Izmantojot Elasticsearch, lai saglabātu biznesa sistēmas žurnālus, katru dienu tiks ģenerēts jauns indekss atbilstoši datumam, katru dienu ir miljoniem dokumentu, ja Elasticsearch indekss netiek iztīrīts laikā, tas radīs lielu vietu diskā, radīs lielu spiedienu uz disku, un meklēšanas ātrums arī kļūs lēnāks. Iepriekš mēs manuāli tīrījām ES indeksus un izmantojām čaulas skriptus, lai tos regulāri tīrītu, bet ES var izveidot indeksa dzīves cikla politiku, lai palīdzētu mums izdzēst vecos vēsturiskos indeksus.
Šajā rakstā izmantotā Elasticsearch versija ir: 7.10.2
Šodien ir 2022-03-11, un jūs varat redzēt, ka indekss un dokumenti par 2022. gada janvāri joprojām pastāv, kā parādīts zemāk redzamajā attēlā:
Indeksa veidnes izveide
Atveriet Kibana administratora paneli, noklikšķiniet uz Indeksa pārvaldība -> Indeksa veidne ->, lai izveidotu indeksa veidni ar šādu nosaukumu:Logger-template, indeksa modulis aizpilda indeksus, kas jāsaskaņo, un pēc tam pāriet uz nākamo soli, kā parādīts attēlā:
Piezīmes: Veidojot jaunu Elasticsearch indeksu, veidne tiks automātiski saskaņota, lai pabeigtu indeksa pamatdaļu. Tas ir, veidojot itsvse-2022-03-13 indeksu, tas atbildīs reģistrētāja veidnes versijai un pēc tam izpildīs veidnes noteiktos noteikumus.Vēsturiskie indeksi (pat ja tie atbilst veidnēm) nav saistīti ar indeksa veidnēm！！！ Šajā rakstāIndeksus, kas nav izveidoti, pamatojoties uz veidni, nevar automātiski izdzēst。
Indeksa dzīves cikla politikas izveide
Atveriet Kibana administratora paneli un noklikšķiniet uz Indeksa dzīves cikla politika ->, lai izveidotu politiku, kā parādīts šajā attēlā:
Vārda aizpildīšana"Automātiskā tīrīšana-30 dienu reģistrētājsnoņemiet atzīmi no opcijas Iespējot ritošos atjauninājumus, kā parādīts šajā attēlā:
Atveriet dzēšanas fāzi, lai automātiski notīrītu indeksus pirms 30 dienām, kā parādīts šajā attēlā:
Visbeidzot, pievienojiet politiku indeksa veidnei, kā parādīts šajā attēlā:
Šajā brīdī jaunizveidotais indekss tiks automātiski saglabāts 30 dienas, un indekss pēc 30 dienām tiks izdzēsts, un vēsturiskais indekss būs manuāli jāiztīra! Lai manuāli izdzēstu indeksu, skatiet:
Pārskatiet tikko izveidoto indeksa veidni, kas tiks lietota galīgajai veidnei, kas atbilst indeksam. Sīkāka informācija ir šāda:
{
"veidne": {
"iestatījumi": {
"indekss": {
"dzīves cikls": {
"name": "automātiskā tīrīšana-30 dienu reģistrētājs"
}
}
},
"pseidonīmi": {},
"kartējumi": {}
}
}
Pārskatiet politikas konfigurācijas interfeisu, piemēram:http://192.168.1.182:9200/_ilm/policy/auto-clean-30-days-logger?pretty
{
"auto-clean-30-days-logger" : {
"versija": 1,
"modified_date" : "2022-03-11T06:26:01.972Z",
"politika" : {
"fāzes" : {
"karsts" : {
"min_age" : "0ms",
"darbības" : {
"set_priority" : {
"Prioritāte" : 100
}
}
},
"dzēst" : {
"min_age" : "30d",
"darbības" : {
"dzēst" : {
"delete_searchable_snapshot" : patiess
}
}
}
}
}
}
}
ILM (indeksa dzīves cikla pārvaldība)
Mūsu jaunā indeksa dzīves cikla politika tiek īstenota, izmantojot laika aptauju.
ILM pakalpojums fonā aptaujā izpildes politiku:
ILM definē četrus dzīves cikla posmus:
Karsts: aktīva indeksa atjaunināšana un vaicāšana.
Silts: vairs nav jāatjaunina indeksi, bet joprojām tiek vaicāts.
auksts: vairs nav atjaunināti indeksi, daži vaicājumi. Informācijai joprojām ir jābūt meklējamai, bet tas ir labi, ja šie vaicājumi ir lēnāki.
Dzēst: indekss vairs nav nepieciešams, un to var droši izdzēst.
ILM periodiskā darbība (indices.lifecycle.poll_interval),Noklusējums ir 10 minūtes, lai pārbaudītu, vai indekss atbilst politikas kritērijiem, un veiktu nepieciešamos pasākumus.
Lai izvairītos no sacensību situācijām, ILM var būt jāpalaiž vairākas reizes, lai veiktu visas darbības, kas nepieciešamas, lai pabeigtu darbību. Tātad, pat ja indices.lifecycle.poll_interval ir iestatīts uz 10 minūtēm un indekss atbilst pārnešanai, var paiet 20 minūtes, lai pabeigtu pārnešanu.
Piemēram, ja mēs iestatām vairāk nekā 10 dokumentu pārnešanai, bet tā kā šis process netiek īstenots nekavējoties, 11. un 12. raksti joprojām var būt iepriekšējā indeksā, un jaunizveidotie dokumenti netiks iekļauti jaunajā indeksā, kamēr pārnešana nav veiksmīga.
Indeksa dzīves cikla pārvaldības iestatījumi programmā Elasticsearch:Hipersaites pieteikšanās ir redzama.
ILM statusa skatīšana
Ir 2022-03-13, katru dienu automātiski tiek izveidoti 2 indeksi, jau varat redzēt izveidotos indeksusPolitikas tiek automātiski saistītas, kā parādīts attēlā:
(Beigas)
|
Publicēts 13.03.2022 13:22:29
|
|
|
|
