Az Elasticsearch segítségével tárolják az üzleti rendszer naplóit, minden nap új index generálódik a dátum szerint, naponta milliónyi dokumentum jelenik meg, ha az Elasticsearch indexet nem takarítják meg időben, nagy korosztály lesz a lemezre, nagy nyomást gyakorol a lemezre, és a keresési sebesség is lassul. Korábban manuálisan tisztítottuk az ES-indexeket, és shell szkripteket használtunk a rendszeres tisztításhoz, de az ES képes létrehozni egy index életciklus-szabályzatot, hogy segítsen eltávolítani a régi történelmi indexeket.
A cikkben használt Elasticsearch verziója: 7.10.2
Ma 2022-03-11 van, és látható, hogy a 2022 januári index és dokumentumok még mindig megvannak, ahogy az alábbi ábrán látható:
Indexsablon létrehozása
Nyisd meg a Kibana adminisztrátori panelt, kattints az Index Management -> Index Template -> gombra, hogy létrehozz egy indexsablont a következő néven:logger-template, az index modul kitölti azokat az indexeket, amelyeket össze kell illeszteni, majd egészen a következő lépésig halad, ahogy az alábbi ábrán látható:
Megjegyzés: Új Elasticsearch index létrehozásakor a sablon automatikusan párosítja az index alapvető részét. Vagyis az itsvse-2022-03-13 index létrehozásakor egyezik a logger-template verzióval, majd végrehajtja a sablon által beállított szabályokat.A történelmi indexek (még ha egyeznek is a sablonokkal) nem kapcsolódnak indexsablonokhoz！！！ Ebben a cikkbenAzok az indexek, amelyek nem sablon alapján készültek, nem törölhetők automatikusan。
Hozz létre index életciklus-politikát
Nyisd meg a Kibana adminisztrátori panelt, és kattints az Index Lifecycle Policy -> gombra, hogy létrehozz egy szabályzatot, ahogy az alábbi képen látható:
Névkitöltés"Automatikus tisztítás-30 napos naplózó, kapcsold be a Folyamatos frissítések engedélyezése (Enabled rolling updates) (Enabled rolling updates) opció, ahogy az alábbi ábrán látható:
Nyisd meg a törlési fázist, hogy automatikusan tisztítsd az indexeket akár 30 nappal ezelőttig, ahogy az alábbi képen is látható:
Végül a politika hozzáadása az indexsablonhoz, ahogy az alábbi képen látható:
Ekkor az újonnan létrehozott index automatikusan 30 napig mentődik el, a 30 napnál meghaladó indexet pedig töröljük, és a korábbi indexet kézzel kell tisztítani!! Az index kézi törléséhez lásd a következőket:
Nézd át az imént létrehozott index-sablont, amely a végleges sablonra kerül az indexhez illeszkedve. A részletek a következők:
{
"template": {
"beállítások": {
"index": {
"életciklus": {
"név": "automata tisztítás-30 napos naplózó"
}
}
},
"alias": {},
"leképezések": {}
}
}
Tekintse át például a politikakonfigurációs felületet:http://192.168.1.182:9200/_ilm/policy/auto-clean-30-days-logger?pretty
{
"automata tisztítás-30-napos-naplózó" : {
"verzió": 1,
"modified_date" : "2022-03-11T06:26:01.972Z",
"politika" : {
"fázisok" : {
"forró" : {
"min_age" : "0ms",
"akciók" : {
"set_priority" : {
"prioritás" : 100
}
}
},
"delete" : {
"min_age" : "30d",
"akciók" : {
"delete" : {
"delete_searchable_snapshot": igaz
}
}
}
}
}
}
}
ILM (Index Lifecycle Management)
Új index-életciklus politikánk időzített felméréseken keresztül valósul meg.
Az ILM Szolgálat a háttérben közvetíti a végrehajtási szabályzatot:
Az ILM négy életciklus szakaszt határoz meg:
Hot: Aktívan frissítem és lekérdezem az indexet.
Warm: Nincs több indexfrissítés, de továbbra is lekérdezés.
cold: Több indexet nem frissítettek, néhány kérdés érkezett. Az információnak továbbra is kereshetőnek kell lennie, de rendben van, ha ezek a lekérdezések lassabbak.
Törlés: Az index már nem szükséges, és biztonságosan törölhető.
ILM Periodikus Művelet (indices.lifecycle.poll_interval),Az alapértelmezett idő 10 percEllenőrizni, hogy az index megfelel-e a szabályzati kritériumoknak, és megtegyék a szükséges lépéseket.
A versenyhelyzetek elkerülése érdekében az ILM-t többször is futtatni kell, hogy végrehajtsák az összes szükséges lépést egy akció befejezéséhez. Tehát még ha indices.lifecycle.poll_interval 10 percre van állítva, és az index is felfordulási kompatibilis, akkor is 20 percbe telhet, mire befejezzük a rollovert.
Például, ha több mint 10 dokumentumot állítunk be a váltásra, de mivel ez a folyamat nem történik meg azonnal, a 11. és 12. cikk még mindig a korábbi indexre eshet, és az újonnan létrehozott dokumentumok csak akkor kerülnek az új indexbe, amíg a rollover sikeres nem lesz.
Index életciklus-kezelési beállítások az Elasticsearch-ben:A hiperlink bejelentkezés látható.
ILM státuszának megtekintése
2022-03-13 van, naponta automatikusan 2 index jön létre, már láthatod a létrehozott indexeketA szabályzatok automatikusan kapcsolódnak, ahogy az alábbi ábrán látható:
(Vége)
|
Közzétéve 2022. 03. 13. 13:22:29
|
|
|
|
