En utilisant Elasticsearch pour stocker les journaux du système métier, un nouvel index sera généré chaque jour selon la date, il y a des millions de documents chaque jour, si l’index Elasticsearch n’est pas nettoyé à temps, cela provoquera un grand espace disque, exercera beaucoup de pression sur le disque, et la vitesse de recherche deviendra également plus lente. Auparavant, nous nettoyions manuellement les index d’ES et utilisions régulièrement des scripts shell, mais ES peut créer une politique de cycle de vie d’index pour nous aider à supprimer les anciens index historiques.
La version d’Elasticsearch utilisée dans cet article est : 7.10.2
Aujourd’hui, nous sommes le 11/03/2022, et vous pouvez voir que l’index et les documents de janvier 2022 existent toujours, comme le montre la figure ci-dessous :
Créer un modèle d’index
Ouvrez le panneau d’administration Kibana, cliquez sur Gestion d’index -> Modèle d’index -> pour créer un modèle d’index portant le nom suivant :Modèle de logger-, le module d’index remplit les indices à faire correspondre, puis passe à l’étape suivante, comme montré dans la figure ci-dessous :
Remarque : Lors de la création d’un nouvel index Elasticsearch, le modèle sera automatiquement associé pour compléter la partie de base de l’index. C’est-à-dire que, lors de la création de l’index itsvse-2022-03-13, il correspond à la version du modèle de logger, puis exécute les règles définies par le modèle.Les index historiques (même s’ils correspondent aux modèles) ne sont pas associés aux modèles d’index！！！ Dans cet article,Les index qui ne sont pas créés à partir d’un modèle ne peuvent pas être supprimés automatiquement。
Créer une politique de cycle de vie indiciel
Ouvrez le panneau d’administration Kibana et cliquez sur Index Politique de cycle de vie -> pour créer une politique, comme montré sur l’image suivante :
Remplissage de nom »auto-clean-30-days-logger, décoche Activer les mises à jour progressives, comme montré dans la figure suivante :
Ouvrez la phase de suppression pour nettoyer automatiquement les index jusqu’à 30 jours auparavant, comme montré sur l’image suivante :
Enfin, ajoutez la politique au modèle d’index, comme montré sur l’image suivante :
À ce stade, l’index nouvellement créé sera automatiquement sauvegardé pendant 30 jours, et l’index au-delà de 30 jours sera supprimé, et l’index historique devra être nettoyé manuellement !! Pour supprimer manuellement un index, référez-vous à :
Examinez le modèle d’index que vous venez de créer, qui sera appliqué au modèle final correspondant à l’index. Les détails sont les suivants :
{
« template » : {
« paramètres » : {
« index » : {
« cycle de vie » : {
« nom » : « auto-nettoyage-30-jour-bûcher »
}
}
},
« alias » : {},
« mappings » : {}
}
}
Examinez l’interface de configuration des politiques, par exemple :http://192.168.1.182:9200/_ilm/policy/auto-clean-30-days-logger?pretty
{
« auto-clean-30-days-logger » : {
« version » : 1,
« modified_date » : « 2022-03-11T06:26:01.972Z »,
« policy » : {
« phases » : {
« hot » : {
« min_age » : « 0ms »,
« actions » : {
« set_priority » : {
« priorité » : 100
}
}
},
« delete » : {
« min_age » : « 30 jours »,
« actions » : {
« delete » : {
« delete_searchable_snapshot » : vrai
}
}
}
}
}
}
}
ILM (Gestion du cycle de vie des indices)
Notre nouvelle politique de cycle de vie des indices est mise en œuvre par sondage chronométré.
ILM Service interroge la politique d’exécution en arrière-plan :
L’ILM définit quatre étapes du cycle de vie :
Chaud : mise à jour active et interrogation de l’index.
Chaud : Plus de mise à jour des index, mais toujours les requêtes.
froid : Plus d’index mis à jour, peu de requêtes. Les informations doivent toujours être consultables, mais ce n’est pas grave si ces requêtes sont plus lentes.
Supprimer : L’index n’est plus nécessaire et peut être supprimé en toute sécurité.
Opération périodique ILM (indices.lifecycle.poll_interval),La durée par défaut est de 10 minutesVérifier que l’indice respecte les critères de politique et prendre toutes les mesures nécessaires.
Pour éviter les situations de course, il peut être nécessaire de faire fonctionner l’ILM plusieurs fois pour effectuer toutes les étapes nécessaires à l’exécution d’une action. Ainsi, même si indices.lifecycle.poll_interval est réglé à 10 minutes et que l’indice est conforme au rollover, il peut falloir 20 minutes pour compléter le rollover.
Par exemple, si nous fixons plus de 10 documents pour un roulement, mais que ce processus n’est pas mis en œuvre immédiatement, les 11e et 12e articles peuvent toujours figurer sur l’index précédent, et les documents nouvellement créés ne figureront pas dans le nouvel index tant que le roulement n’est pas réussi.
Paramètres de gestion du cycle de vie des index dans Elasticsearch :La connexion hyperlientérée est visible.
Voir le statut d’ILM
Nous sommes le 13-03-2022, 2 index sont créés automatiquement chaque jour, vous pouvez déjà voir les index créésLes politiques sont automatiquement associées, comme montré dans la figure ci-dessous :
(Fin)
|
Publié sur 13/03/2022 13:22:29
|
|
|
|
