Mit Elasticsearch zur Speicherung der Protokolle des Geschäftssystems wird jeden Tag ein neuer Index entsprechend dem Datum generiert, es gibt Millionen von Dokumenten pro Tag; wenn der Elasticsearch-Index nicht rechtzeitig bereinigt wird, entsteht ein großer Speicherplatz, der Druck auf die Festplatte und die Suchgeschwindigkeit wird zudem langsamer. Früher hatten wir die Indizes von ES manuell gereinigt und regelmäßig Shell-Skripte verwendet, um sie zu bereinigen, aber ES kann eine Indexlebenszyklus-Richtlinie erstellen, die uns hilft, alte historische Indizes zu löschen.
Die in diesem Artikel verwendete Version von Elasticsearch lautet: 7.10.2
Heute ist der 11.03.2022, und Sie können sehen, dass der Index und die Dokumente für Januar 2022 noch existieren, wie in der untenstehenden Abbildung gezeigt:
Erstellen Sie eine Indexvorlage
Öffnen Sie das Kibana-Verwaltungspanel, klicken Sie auf Indexverwaltung -> Indexvorlage ->, um eine Indexvorlage mit folgendem Namen zu erstellen:Holzfäller-Vorlage, das Indexmodul füllt die zu gleichen Indizes aus und geht dann zum nächsten Schritt über, wie in der untenstehenden Abbildung dargestellt:
Hinweis: Beim Erstellen eines neuen Elasticsearch-Index wird die Vorlage automatisch abgeglichen, um den grundlegenden Teil des Index abzuschließen. Das heißt, beim Erstellen des itsvse-2022-03-13-Index entspricht er der Logger-Template-Version und führt dann die von der Vorlage festgelegten Regeln aus.Historische Indizes (selbst wenn sie mit Vorlagen übereinstimmen) sind nicht mit Indexvorlagen verknüpft！！！ In diesem Artikel,Indexe, die nicht auf Basis einer Vorlage erstellt werden, können nicht automatisch gelöscht werden。
Erstellen Sie eine Index-Lebenszyklusrichtlinie
Öffnen Sie das Kibana-Admin-Panel und klicken Sie auf Index Lifecycle Policy ->, um eine Richtlinie zu erstellen, wie im folgenden Bild gezeigt:
Namensausschüttung"Auto-Clean-30-Days-Logger, deaktivieren Sie das Aktivieren von laufenden Updates, wie in der folgenden Abbildung gezeigt:
Öffnen Sie die Löschphase, um Indizes bis zu vor 30 Tagen automatisch zu bereinigen, wie im folgenden Bild gezeigt:
Fügen Sie schließlich die Richtlinie der Indexvorlage hinzu, wie im folgenden Bild gezeigt:
An diesem Punkt wird der neu erstellte Index automatisch für 30 Tage gespeichert, der Index über 30 Tage hinaus gelöscht und der historische Index muss manuell bereinigt werden!! Um einen Index manuell zu löschen, siehe Folgendes:
Überprüfen Sie die gerade erstellte Indexvorlage, die auf die endgültige Vorlage angewendet wird, die zum Index passt. Die Details sind wie folgt:
{
"template": {
"settings": {
"index": {
"Lebenszyklus": {
"name": "auto-clean-30-days-logger"
}
}
},
"Alias": {},
"Mappings": {}
}
}
Überprüfen Sie zum Beispiel die Policy-Konfigurationsschnittstelle:http://192.168.1.182:9200/_ilm/policy/auto-clean-30-days-logger?pretty
{
"Auto-clean-30-days-logger" : {
"Version" : 1,
"modified_date" : "2022-03-11T06:26:01.972Z",
"Policy" : {
"Phasen" : {
"heiß" : {
"min_age" : "0ms",
"Handlungen" : {
"set_priority" : {
"Priorität" : 100
}
}
},
"löschen" : {
"min_age" : "30 Pence",
"Handlungen" : {
"löschen" : {
"delete_searchable_snapshot": Wahr
}
}
}
}
}
}
}
ILM (Index Lifecycle Management)
Unsere neue Indexlebenszyklus-Politik wird durch zeitgesteuerte Abfragen durchgeführt.
ILM Service fragt die Ausführungsrichtlinie im Hintergrund ab:
ILM definiert vier Lebenszyklusstadien:
Hot: Aktives Update und Abfragen des Indexes.
Warm: Keine Aktualisierung der Indizes mehr, aber weiterhin Abfragen.
Kalt: Keine Indizes mehr aktualisiert, nur wenige Anfragen. Die Informationen müssen zwar durchsuchbar sein, aber es ist in Ordnung, wenn die Abfragen langsamer sind.
Löschen: Der Index wird nicht mehr benötigt und kann sicher gelöscht werden.
ILM-Periodischer Betrieb (indices.lifecycle.poll_interval),Standardmäßig sind es 10 Minutenzu überprüfen, ob der Index die Richtlinienkriterien erfüllt, und alle erforderlichen Schritte zu ergreifen.
Um Rennsituationen zu vermeiden, muss ILM möglicherweise mehrfach durchgeführt werden, um alle erforderlichen Schritte zur Ausführung einer Aktion durchzuführen. Selbst wenn indices.lifecycle.poll_interval auf 10 Minuten eingestellt ist und der Index rollover-konform ist, kann es 20 Minuten dauern, bis der Rollover abgeschlossen ist.
Wenn wir zum Beispiel mehr als 10 Dokumente zum Rollover setzen, dieser Prozess aber nicht sofort implementiert wird, können die Artikel 11 und 12 weiterhin im vorherigen Index landen, und die neu erstellten Dokumente werden erst auf den neuen Index fallen, wenn der Rollover erfolgreich ist.
Index-Lebenszyklus-Management-Einstellungen in Elasticsearch:Der Hyperlink-Login ist sichtbar.
ILM-Status ansehen
Es ist der 13.03.2022, jeden Tag werden automatisch 2 Indizes erstellt, du kannst die erstellten Indizes schon sehenPolicen sind automatisch verknüpft, wie in der untenstehenden Abbildung dargestellt:
(Ende)
|
Veröffentlicht am 13.03.2022 13:22:29
|
|
|
|
