Pomocou Elasticsearch na ukladanie logov podnikového systému sa každý deň generuje nový index podľa dátumu, denne sú milióny dokumentov, ak sa index Elasticsearch nevyčistí včas, vznikne veľké miesto na disku, veľký tlak na disk a rýchlosť vyhľadávania sa tiež spomalí. Predtým sme manuálne čistili indexy ES a pravidelne ich čistili skriptmi shellu, ale ES dokáže vytvoriť politiku životného cyklu indexov, ktorá nám pomôže vymazať staré historické indexy.
Verzia Elasticsearch použitá v tomto článku je: 7.10.2
Dnes je 2022-03-11 a môžete vidieť, že index a dokumenty za január 2022 stále existujú, ako je znázornené na obrázku nižšie:
Vytvorte šablónu indexu
Otvorte administrátorský panel Kibany, kliknite na Správa indexu -> Šablóna indexu -> a vytvoríte šablónu indexu s nasledujúcim názvom:logger-template, indexový modul vyplní indexy, ktoré je potrebné zladiť, a potom pokračuje až do ďalšieho kroku, ako je znázornené na obrázku nižšie:
Poznámka: Pri vytváraní nového indexu Elasticsearch bude šablóna automaticky spárovaná tak, aby sa doplnila základná časť indexu. To znamená, že pri vytváraní indexu itsvse-2022-03-13 bude zodpovedať verzii šablóny loggeru a potom vykonať pravidlá nastavené šablónou.Historické indexy (aj keď zodpovedajú šablónam) nie sú spojené s indexovými šablónami！！！ V tomto článku,Indexy, ktoré nie sú vytvorené na základe šablóny, nemôžu byť automaticky vymazané。
Vytvorte politiku životného cyklu indexu
Otvorte administrátorský panel Kibana a kliknite na Index Lifecycle Policy -> na vytvorenie politiky, ako je znázornené na nasledujúcom obrázku:
Doplnenie mena"automatické čistenie 30-dňového zapisovača, odznačiť Povoliť plynulé aktualizácie, ako je znázornené na nasledujúcom obrázku:
Otvorte fázu vymazania, aby ste automaticky vyčistili indexy až do 30 dní dozadu, ako je znázornené na nasledujúcom obrázku:
Nakoniec pridajte politiku do šablóny indexu, ako je znázornené na nasledujúcom obrázku:
V tomto bode sa novo vytvorený index automaticky uloží na 30 dní, index po 30 dňoch bude vymazaný a historický index bude potrebné manuálne vyčistiť!! Na manuálne vymazanie indexu sa pozrite:
Prezrite si práve vytvorenú šablónu indexu, ktorá sa aplikuje na finálnu šablónu zodpovedajúcu indexu. Podrobnosti sú nasledovné:
{
"template": {
"settings": {
"index": {
"životný cyklus": {
"meno": "auto-clean-30-days-logger"
}
}
},
"aliasy": {},
"mappings": {}
}
}
Prezrite si napríklad rozhranie na konfiguráciu politík:http://192.168.1.182:9200/_ilm/policy/auto-clean-30-days-logger?pretty
{
"auto-clean-30-days-logger" : {
"verzia" : 1,
"modified_date" : "2022-03-11T06:26:01.972Z",
"politika" : {
"fázy" : {
"horúce" : {
"min_age" : "0ms",
"akcie" : {
"set_priority" : {
"priorita": 100
}
}
},
"delete" : {
"min_age" : "30d",
"akcie" : {
"delete" : {
"delete_searchable_snapshot" : pravda
}
}
}
}
}
}
}
ILM (Riadenie životného cyklu indexov)
Naša nová politika životného cyklu indexov sa realizuje prostredníctvom časovaných prieskumov.
ILM Service na pozadí skúma vykonávanie politiky:
ILM definuje štyri fázy životného cyklu:
Horúce: Aktívne aktualizovanie a dotazovanie indexu.
Warm: Už žiadne aktualizácie indexov, ale stále dotazovanie.
studené: Žiadne ďalšie indexy aktualizované, pár dotazov. Informácie musia byť stále vyhľadávateľné, ale je v poriadku, ak sú tieto dotazy pomalšie.
Vymazať: Index už nie je potrebný a dá sa bezpečne vymazať.
ILM periodická prevádzka (indices.lifecycle.poll_interval),Predvolená doba je 10 minútskontrolovať, či index spĺňa kritériá politiky a prijať potrebné kroky.
Aby sa predišlo pretekárskym situáciám, ILM môže byť potrebné spustiť viackrát, aby sa vykonali všetky kroky potrebné na dokončenie akcie. Takže aj keď je indices.lifecycle.poll_interval nastavené na 10 minút a index je v súlade s rolloverom, dokončenie rolloveru môže trvať 20 minút.
Napríklad, ak nastavíme viac ako 10 dokumentov na rollover, ale keďže tento proces nie je implementovaný okamžite, 11. a 12. článok môžu stále spadnúť do predchádzajúceho indexu a novo vytvorené dokumenty sa nedostanú do nového indexu, kým rollover nebude úspešný.
Nastavenia správy životného cyklu indexu v Elasticsearch:Prihlásenie na hypertextový odkaz je viditeľné.
Zobraziť stav ILM
Je 2022-03-13, každý deň sa automaticky vytvárajú 2 indexy, už ich môžete vidieťPolitiky sú automaticky priradené, ako je znázornené na obrázku nižšie:
(Koniec)
|
Zverejnené 13. 3. 2022 13:22:29
|
|
|
|
