Korzystając z Elasticsearch do przechowywania logów systemu biznesowego, codziennie generowany będzie nowy indeks według daty, codziennie jest miliony dokumentów, a jeśli indeks Elasticsearch nie zostanie wyczyszczony na czas, spowoduje to dużą ilość miejsca na dysku, duże obciążenie dysku, a tempo wyszukiwania również się spowolni. Wcześniej ręcznie czyściliśmy indeksy ES i używaliśmy skryptów powłoki do ich regularnego czyszczenia, ale ES może stworzyć politykę cyklu życia indeksów, która pomaga usuwać stare historyczne indeksy.
Wersja Elasticsearch użyta w tym artykule to: 7.10.2
Dziś jest 11 marca 2022 i możesz zobaczyć, że indeks oraz dokumenty za styczeń 2022 nadal istnieją, co pokazano na poniższym rysunku:
Stwórz szablon indeksu
Otwórz panel administracyjny Kibana, kliknij Zarządzanie indeksem -> Szablon indeksu ->, aby utworzyć szablon indeksu o następującej nazwie:logger-template, moduł indeksowy wypełnia indeksy, które trzeba dopasować, a następnie przechodzi do kolejnego kroku, jak pokazano na poniższym rysunku:
Uwaga: Podczas tworzenia nowego indeksu Elasticsearch szablon zostanie automatycznie dopasowany, aby uzupełnić podstawową część indeksu. Oznacza to, że przy tworzeniu indeksu itsvse-2022-03-13 będzie on odpowiadał wersji szablonu loggera, a następnie wykonał reguły ustalone przez ten szablon.Indeksy historyczne (nawet jeśli pasują do szablonów) nie są powiązane z szablonami indeksów！！！ W tym artykule,Indeksy, które nie są tworzone na podstawie szablonu, nie mogą być automatycznie usuwane。
Stwórz politykę cyklu życia indeksu
Otwórz panel administracyjny Kibana i kliknij Index Lifecycle Policy ->, aby utworzyć politykę, jak pokazano na poniższym obrazku:
Uzupełnianie imienia"automatyczny rejestrator czyszczenia 30 dni, odznacz Włącz aktualizacje ciągłe, jak pokazano na poniższym rysunku:
Otwórz fazę usuwania, aby automatycznie czyścić indeksy do 30 dni temu, jak pokazano na poniższym obrazku:
Na koniec dodaj politykę do szablonu indeksu, jak pokazano na poniższym obrazku:
W tym momencie nowo utworzony indeks będzie automatycznie zapisywany przez 30 dni, a indeks po 30 dniach zostanie usunięty, a indeks historyczny będzie musiał być ręcznie czyszczony!! Aby ręcznie usunąć indeks, sprawdź:
Przejrzyj właśnie utworzony szablon indeksu, który zostanie zastosowany do ostatecznego szablonu pasującego do indeksu. Szczegóły są następujące:
{
"template": {
"settings": {
"index": {
"cykl życia": {
"Nazwa": "Auto-clean-30-Days-logger"
}
}
},
"aliasy": {},
"mappings": {}
}
}
Na przykład przejrzyj interfejs konfiguracyjny polityki:http://192.168.1.182:9200/_ilm/policy/auto-clean-30-days-logger?pretty
{
"auto-clean-30-days-logger" : {
"wersja": 1,
"modified_date" : "2022-03-11T06:26:01.972Z",
"policy" : {
"fazy" : {
"gorący" : {
"min_age" : "0ms",
"akcje" : {
"set_priority" : {
"Priorytety": 100
}
}
},
"delete" : {
"min_age" : "30d",
"akcje" : {
"delete" : {
"delete_searchable_snapshot": prawda
}
}
}
}
}
}
}
ILM (Zarządzanie cyklem życia indeksu)
Nasza nowa polityka cyklu życia indeksu realizowana jest poprzez ankiety czasowe.
Usługa ILM w tle ankietuje politykę wykonywania:
ILM definiuje cztery etapy cyklu życia:
Gorąco: Aktywnie aktualizuję i zapytuję indeks.
Warm: Koniec z aktualizowaniem indeksów, ale nadal wysyłanie zapytań.
zimne: Brak aktualizacji indeksów, kilka zapytań. Informacje nadal muszą być przeszukiwalne, ale jeśli zapytania są wolniejsze, to w porządku.
Usuń: Indeks nie jest już potrzebny i można go bezpiecznie usunąć.
Okresowa Operacja ILM (indices.lifecycle.poll_interval),Domyślnie to 10 minutSprawdzić, czy indeks spełnia kryteria polityki i podjąć wszelkie niezbędne kroki.
Aby uniknąć sytuacji wyścigowych, ILM może być uruchamiany wielokrotnie, aby wykonać wszystkie niezbędne kroki do wykonania akcji. Tak więc, nawet jeśli indices.lifecycle.poll_interval ustawione na 10 minut, a indeks jest zgodny z rolloverem, zakończenie rolloveru może zająć 20 minut.
Na przykład, jeśli ustawimy więcej niż 10 dokumentów do przejścia, ale proces ten nie jest realizowany od razu, artykuły 11. i 12. mogą nadal należeć do poprzedniego indeksu, a nowo utworzone dokumenty nie znajdą się w nowym indeksie, dopóki przewracanie nie zostanie pomyślne.
Ustawienia zarządzania cyklem życia indeksów w Elasticsearch:Logowanie do linku jest widoczne.
Zobacz status ILM
Jest 2022-03-13, codziennie tworzone są automatycznie 2 indeksy, już widzisz te utworzone indeksyPolityki są automatycznie powiązane, jak pokazano na poniższym rysunku:
(Koniec)
|
Opublikowano 13.03.2022 13:22:29
|
|
|
|
