Kasutades Elasticsearchi ärisüsteemi logide salvestamiseks, genereeritakse iga päev uus indeks vastavalt kuupäevale, dokumente on miljoneid päev; kui Elasticsearchi indeksit õigeaegselt ei puhastata, tekib suur kettaruumi, suur surve kettale ja otsingukiirus aeglustub. Varem puhastasime ES-i indekseid käsitsi ja kasutasime neid regulaarselt shell-skriptidega, kuid ES saab luua indeksi elutsükli poliitika, mis aitab meil vanu ajaloolisi indekseid kustutada.
Selles artiklis kasutatud Elasticsearchi versioon on: 7.10.2
Täna on 2022-03-11 ja näete, et 2022. aasta jaanuari indeks ja dokumendid on endiselt olemas, nagu alloleval joonisel näidatud:
Loo indeksimall
Ava Kibana administraatoripaneel, klõpsa Index Management -> Index Template ->, et luua indeksimall järgmise nimega:logger-template, indeksimoodul täidab indeksid, mida tuleb sobitada, ja liigub seejärel järgmise sammuni, nagu alloleval joonisel näidatud:
Märkus: Uue Elasticsearchi indeksi loomisel sobitatakse mall automaatselt, et täita indeksi põhiosa. See tähendab, et itsvse-2022-03-13 indeksi loomisel kattub see logijamalli versiooniga ja seejärel käivitab malli kehtestatud reeglid.Ajaloolised indeksid (isegi kui need vastavad mallidele) ei ole seotud indeksimallidega！！！ Selles artiklis,Indekseid, mis ei loo malli alusel, ei saa automaatselt kustutada。
Loo indeksi elutsükli poliitika
Ava Kibana administraatoripaneel ja klõpsa Index Lifecycle Policy ->, et luua poliitika, nagu näidatud järgmisel pildil:
Nime täitmine"Automaatne puhastus-30-päevane logija, eemalda linnuke Luba jooksvad uuendused, nagu näidatud järgmisel joonisel:
Ava kustutamise faas, et automaatselt puhastada indeksid kuni 30 päeva tagasi, nagu näidatud järgmisel pildil:
Lõpuks lisa poliitika indeksimallile, nagu näidatud järgmisel pildil:
Sel hetkel salvestatakse uus indeks automaatselt 30 päevaks, indeks, mis on üle 30 päeva, kustutatakse ja ajalooline indeks tuleb käsitsi puhastada!! Indeksi käsitsi kustutamiseks vaata:
Vaata üle just loodud indeksimalli, mis rakendatakse lõplikule mallile, mis indeksiga sobib. Üksikasjad on järgmised:
{
"mall": {
"seaded": {
"indeks": {
"elutsükkel": {
"nimi": "automaatne puhastus-30-päevane logija"
}
}
},
"alias": {},
"kaardistused": {}
}
}
Vaadake üle poliitika konfiguratsiooniliides, näiteks:http://192.168.1.182:9200/_ilm/policy/auto-clean-30-days-logger?pretty
{
"automaatne puhastus-30-päevane-logija" : {
"versioon" : 1,
"modified_date" : "2022-03-11T06:26:01.972Z",
"poliitika" : {
"faasid" : {
"kuum" : {
"min_age" : "0ms",
"tegevused" : {
"set_priority" : {
"prioriteet" : 100
}
}
},
"delete" : {
"min_age" : "30d",
"tegevused" : {
"delete" : {
"delete_searchable_snapshot" : tõsi
}
}
}
}
}
}
}
ILM (indeksi elutsükli haldus)
Meie uus indeksi elutsükli poliitika viiakse ellu ajastatud küsitluste kaudu.
ILM Service küsitleb taustal hukkamispoliitikat:
ILM määratleb neli elutsükli etappi:
Kuum: Aktiivselt uuendan ja pärin indeksit.
Warm: Indekseid enam ei uuendata, aga päringud jätkuvad.
cold: Rohkem indekseid ei uuendatud, mõned päringud. Info peab siiski olema otsitav, aga on okei, kui need päringud on aeglasemad.
Kustuta: Indeks pole enam vajalik ja seda saab ohutult kustutada.
ILM perioodiline operatsioon (indices.lifecycle.poll_interval),Vaikimisi on 10 minutitEt kontrollida, kas indeks vastab poliitikakriteeriumidele ja võtta vajalikud sammud.
Võistlusolukordade vältimiseks võib ILM-i vaja minna mitu korda, et sooritada kõik vajalikud sammud tegevuse lõpetamiseks. Seega, isegi kui indices.lifecycle.poll_interval on seatud 10 minutile ja indeks vastab rolloverile, võib rollover'i lõpetamine võtta 20 minutit.
Näiteks, kui seame üle 10 dokumendi ülekandmiseks, kuid kuna seda protsessi kohe ei rakendata, võivad 11. ja 12. artikkel siiski langeda eelmisele indeksile ning uued dokumendid ei lange uude indeksisse enne, kui ülekanne on edukas.
Indeksi elutsükli halduse seaded Elasticsearchis:Hüperlingi sisselogimine on nähtav.
Vaata ILM-i staatust
On 2022-03-13, iga päev luuakse automaatselt 2 indeksit, sa näed juba loodud indekseidPoliitikad seostatakse automaatselt, nagu alloleval joonisel näidatud:
(Lõpp)
|
Postitatud 13.03.2022 13:22:29
|
|
|
|
