Порог дискового пространства OpenSearch - использование, примеры и фрагменты кода

OpenSearch использует несколько параметров, позволяющих ему управлять хранением данных на жестких дисках в кластере.

Для чего он используется

• OpenSearch будет активно пытаться перемещать шарды с узлов, превышающих высокий порог водяного знака диска.
• OpenSearch НЕ будет находить новые шарды или перемещать шарды на узлы, превышающие нижний порог дискового водяного знака.
• OpenSearch будет предотвращать все записи в индекс, в котором есть шарды на узле, превышающем порог disk.watermark.flood_stage.
• Интервал обновления информации - это время, которое потребуется OpenSearch для повторной проверки использования диска.

Примеры

Примечания и полезные сведения

Можно использовать абсолютные значения (100 Гб) или процентные (90%), но нельзя смешивать эти два параметра в одном кластере.

• В общем случае рекомендуется использовать проценты, так как это будет работать в случае изменения размера дисков.
• Настройки кластера можно поместить в opensearch.yml каждого узла, но рекомендуется использовать API PUT _cluster/settings, поскольку это проще в управлении и обеспечивает согласованность настроек по всему кластеру.
• OpenSearch поставляется с разумными значениями по умолчанию для этих настроек, поэтому подумайте дважды, прежде чем изменять их. Если вы обнаружите, что тратите много времени на тонкую настройку этих параметров, то, вероятно, пришло время инвестировать в новое дисковое пространство.
• В случае превышения порога flood_stage после удаления данных OpenSearch должен автоматически определить, что блок может быть освобожден (с учетом интервала обновления, который может составлять, например, минуту). Однако если вы хотите ускорить этот процесс, то можете разблокировать индекс вручную, выполнив следующий вызов:
  
  PUT /my_index/_settings { "index.blocks.read_only_allow_delete": null }

  1 2 3 4

  PUT /my_index/_settings {   "index.blocks.read_only_allow_delete": null }

Общие проблемы

Неправильные настройки кластера (при слишком низком значении параметра disk watermark.low) могут привести к тому, что OpenSearch не сможет распределить шарды на кластере. В частности, следует учитывать, что эти параметры работают в сочетании с другими настройками кластера (например, shard allocation awareness), которые накладывают дополнительные ограничения на распределение шардов в OpenSearch.