Usando Elasticsearch para almacenar los registros del sistema empresarial, se generará un nuevo índice cada día según la fecha; hay millones de documentos cada día; si el índice de Elasticsearch no se limpia a tiempo, se generará un gran espacio en disco, se generará mucha presión sobre el disco y la velocidad de búsqueda también será más lenta. Antes, habíamos estado limpiando manualmente los índices de ES y usando scripts de shell para limpiarlos regularmente, pero ES puede crear una política de ciclo de vida de índices para ayudarnos a eliminar índices históricos antiguos.
La versión de Elasticsearch utilizada en este artículo es: 7.10.2
Hoy es 11-03-2022, y puedes ver que el índice y los documentos de enero de 2022 aún existen, como se muestra en la figura siguiente:
Crea una plantilla de índice
Abre el panel de administración Kibana, haz clic en Gestión de Índice -> Plantilla de Índice -> para crear una plantilla de índice con el siguiente nombre:plantilla de logger, el módulo índice rellena los índices que deben ser emparejados y luego avanza hasta el siguiente paso, como se muestra en la figura siguiente:
Nota: Al crear un nuevo índice de Elasticsearch, la plantilla se emparejará automáticamente para completar la parte básica del índice. Es decir, al crear el índice itsvse-2022-03-13, coincidirá con la versión del logger-template y luego ejecutará las reglas establecidas por la plantilla.Los índices históricos (incluso si coinciden con plantillas) no están asociados con plantillas de índice！！！ En este artículo,Los índices que no se crean basándose en una plantilla no pueden eliminarse automáticamente。
Crear una política de ciclo de vida de índice
Abre el panel de administración de Kibana y haz clic en Indexar Política de Ciclo de Vida -> para crear una política, como se muestra en la siguiente imagen:
Llenado de nombre"auto-clean-30-days-logger, desmarca Habilitar actualizaciones continuas, como se muestra en la siguiente figura:
Abre la fase de eliminación para limpiar automáticamente los índices de hace hasta 30 días, como se muestra en la siguiente imagen:
Finalmente, añade la política a la plantilla del índice, como se muestra en la siguiente imagen:
En este punto, el índice recién creado se guardará automáticamente durante 30 días, el índice que supere los 30 días será eliminado y el índice histórico tendrá que ser limpiado manualmente. Para eliminar manualmente un índice, consulte:
Revisa la plantilla de índice que acabas de crear, que se aplicará a la plantilla final que coincida con el índice. Los detalles son los siguientes:
{
"plantilla": {
"ajustes": {
"index": {
"ciclo de vida": {
"nombre": "auto-limpia-registrador de 30 días"
}
}
},
"alias": {},
"mappings": {}
}
}
Revisa la interfaz de configuración de políticas, por ejemplo:http://192.168.1.182:9200/_ilm/policy/auto-clean-30-days-logger?pretty
{
"auto-clean-30-days-logger" : {
"versión": 1,
"modified_date" : "2022-03-11T06:26:01.972Z",
"política" : {
"fases" : {
"hot" : {
"min_age" : "0ms",
"acciones" : {
"set_priority" : {
"Prioridad": 100
}
}
},
"delete" : {
"min_age" : "30d",
"acciones" : {
"delete" : {
"delete_searchable_snapshot" : cierto
}
}
}
}
}
}
}
ILM (Gestión del Ciclo de Vida del Índice)
Nuestra nueva política de ciclo de vida del índice se ejecuta mediante encuestas cronometradas.
ILM Service consulta la política de ejecución en segundo plano:
ILM define cuatro etapas del ciclo de vida:
Caliente: Actualizar y consultar activamente el índice.
Cálido: No más actualizar índices, pero sigo consultando.
frío: No más índices actualizados, pocas consultas. La información aún debe ser buscable, pero está bien si esas consultas son más lentas.
Eliminar: El índice ya no es necesario y puede eliminarse de forma segura.
Operación periódica de ILM (indices.lifecycle.poll_interval),El valor por defecto es 10 minutoscomprobar que el índice cumple con los criterios de política y tomar las medidas necesarias.
Para evitar situaciones de carrera, puede ser necesario ejecutar ILM varias veces para completar todos los pasos necesarios para completar una acción. Así que, incluso si indices.lifecycle.poll_interval está configurado en 10 minutos y el índice cumple con el rollover, puede tardar 20 minutos en completarlo.
Por ejemplo, si configuramos que más de 10 documentos se redistribuyan, pero como este proceso no se implementa de inmediato, los artículos 11º y 12º pueden seguir cayendo en el índice anterior, y los documentos recién creados no estarán en el nuevo índice hasta que el rollover sea exitoso.
Configuración de gestión del ciclo de vida del índice en Elasticsearch:El inicio de sesión del hipervínculo es visible.
Ver estado de ILM
Es 2022-03-13, se crean automáticamente 2 índices cada día, ya puedes ver los índices creadosLas políticas se asocian automáticamente, como se muestra en la figura siguiente:
(Fin)
|
Publicado en 13/3/2022 13:22:29
|
|
|
|
