Pomocí Elasticsearch k ukládání logů podnikového systému bude každý den generován nový index podle data, každý den jsou miliony dokumentů, pokud není index Elasticsearch včas vyčištěn, vznikne velké místo na disku, velký tlak na disk a rychlost vyhledávání se také zpomalí. Dříve jsme indexy ES čistili ručně a používali skripty shell k jejich pravidelnému čištění, ale ES může vytvořit politiku životního cyklu indexu, která nám pomůže mazat staré historické indexy.
Verze Elasticsearch použitá v tomto článku je: 7.10.2
Dnes je 11. 3. 2022 a můžete vidět, že index a dokumenty za leden 2022 stále existují, jak ukazuje obrázek níže:
Vytvořte šablonu indexu
Otevřete administrátorský panel Kibany, klikněte na Správa indexu -> Šablona indexu -> a vytvořte šablonu indexu s následujícím názvem:logger-template, indexový modul vyplní indexy, které je třeba spárovat, a poté pokračuje až k dalšímu kroku, jak je znázorněno na obrázku níže:
Poznámka: Při vytváření nového indexu Elasticsearch bude šablona automaticky spárována tak, aby byla dokončena základní část indexu. To znamená, že při vytváření indexu itsvse-2022-03-13 bude odpovídat verzi logger-template a poté spustí pravidla nastavená šablonou.Historické indexy (i když odpovídají šablonám) nejsou spojeny se šablonami indexů！！！ V tomto článku,Indexy, které nejsou vytvořeny na základě šablony, nelze automaticky smazat。
Vytvořte politiku životního cyklu indexu
Otevřete administrátorský panel Kibana a klikněte na Index Lifecycle Policy -> pro vytvoření politiky, jak je vidět na následujícím obrázku:
Vyplnění jména"auto-clean-30-day-logger, odškrtněte Povolit průběžné aktualizace, jak je znázorněno na následujícím obrázku:
Otevřete fázi mazání pro automatické čištění indexů až do 30 dnů staré, jak je vidět na následujícím obrázku:
Nakonec přidejte politiku do šablony indexu, jak je znázorněno na následujícím obrázku:
V tomto okamžiku bude nově vytvořený index automaticky uložen na 30 dní, index po 30 dnech bude smazán a historický index bude nutné ručně vyčistit!! Pro ruční smazání indexu se podívejte:
Prohlédněte si právě vytvořenou šablonu indexu, která bude aplikována na finální šablonu, která odpovídá indexu. Podrobnosti jsou následující:
{
"template": {
"settings": {
"index": {
"životní cyklus": {
"Jméno": "Auto-clean-30-days-logger"
}
}
},
"aliasy": {},
"mappings": {}
}
}
Prohlédněte si například rozhraní pro konfiguraci politiky:http://192.168.1.182:9200/_ilm/policy/auto-clean-30-days-logger?pretty
{
"auto-clean-30-days-logger" : {
"verze": 1,
"modified_date" : "2022-03-11T06:26:01.972Z",
"politika" : {
"fáze" : {
"horké" : {
"min_age" : "0ms",
"akce" : {
"set_priority" : {
"priorita": 100
}
}
},
"delete" : {
"min_age" : "30d",
"akce" : {
"delete" : {
"delete_searchable_snapshot": pravda
}
}
}
}
}
}
}
ILM (Řízení životního cyklu indexu)
Naše nová politika životního cyklu indexu je realizována prostřednictvím časovaných průzkumů.
ILM služba na pozadí dotazuje politiku provádění:
ILM definuje čtyři fáze životního cyklu:
Hot: Aktivně aktualizuji a dotazuji index.
Warm: Už žádné aktualizace indexů, ale stále dotazování.
chladné: Žádné další aktualizace rejstříků, pár dotazů. Informace musí být stále vyhledávatelné, ale je v pořádku, pokud jsou dotazy pomalejší.
Smazat: Index již není potřeba a lze jej bezpečně smazat.
ILM periodická operace (indices.lifecycle.poll_interval),Výchozí je 10 minutOvěřit, zda index splňuje kritéria politiky a podniknout potřebné kroky.
Aby se předešlo závodním situacím, může být nutné ILM spustit vícekrát, aby se provedly všechny kroky potřebné k dokončení akce. Takže i když je indices.lifecycle.poll_interval nastaveno na 10 minut a index je v souladu s rolloverem, dokončení rolloveru může trvat 20 minut.
Například pokud nastavíme více než 10 dokumentů na převedení zpět, ale protože tento proces není implementován okamžitě, mohou 11. a 12. článek stále spadat do předchozího indexu a nově vytvořené dokumenty se nedostanou do nového indexu, dokud rollover nebude úspěšný.
Nastavení správy životního cyklu indexu v Elasticsearch:Přihlášení k hypertextovému odkazu je viditelné.
Zobrazit stav ILM
Je 13. 3. 2022, každý den se automaticky vytvářejí 2 indexy, už je můžete vidětPolitiky jsou automaticky přiřazeny, jak je znázorněno na obrázku níže:
(Konec)
|
Zveřejněno 13.03.2022 13:22:29
|
|
|
|
