Käyttämällä Elasticsearchia liiketoimintajärjestelmän lokien tallentamiseen, uusi indeksi luodaan joka päivä päivämäärän mukaan; dokumentteja on miljoonia päivittäin; jos Elasticsearch-indeksiä ei puhdisteta ajoissa, se aiheuttaa suuren levytilan, aiheuttaa paljon painetta levylle ja hakunopeus hidastuu. Aiemmin puhdistimme ES:n indeksit manuaalisesti ja käytimme shell-skriptejä niiden säännölliseen puhdistukseen, mutta ES voi luoda indeksin elinkaaren politiikan, joka auttaa meitä poistamaan vanhoja historiallisia indeksejä.
Tässä artikkelissa käytetty Elasticsearch-versio on: 7.10.2
Tänään on 11.3.2022, ja näet, että tammikuun 2022 indeksi ja asiakirjat ovat yhä olemassa, kuten alla olevassa kuvassa näkyy:
Luo indeksipohja
Avaa Kibanan hallintapaneeli, klikkaa Index Management -> Index Template -> luodaksesi indeksipohjan seuraavalla nimellä:logger-template, indeksimoduuli täyttää indeksit, jotka täytyy sovittaa, ja etenee sitten seuraavaan vaiheeseen, kuten alla olevassa kuvassa näkyy:
Huomautus: Kun luodaan uusi Elasticsearch-indeksi, mallipohja yhdistetään automaattisesti täydentämään indeksin perusosaa. Toisin sanoen, kun luodaan itsvse-2022-03-13 -indeksiä, se vastaa lokimallipohjan versiota ja suorittaa sitten mallipohjan asettamat säännöt.Historialliset indeksit (vaikka ne vastaavat malleja) eivät liity indeksimalleihin！！！ Tässä artikkelissa,Hakemistoja, joita ei luoda mallipohjan perusteella, ei voi poistaa automaattisesti。
Luo indeksin elinkaaripolitiikka
Avaa Kibanan ylläpitäjäpaneeli ja klikkaa Index Lifecycle Policy -> luodaksesi politiikan, kuten seuraavassa kuvassa näkyy:
Nimen täyttäminen"Automaattinen puhdistus – 30 päivän lokija, poista valinta Ota käyttöön jatkuvat päivitykset, kuten seuraavassa kuvassa näkyy:
Avaa poistovaihe ja puhdista automaattisesti indeksit jopa 30 päivää sitten, kuten seuraavassa kuvassa näkyy:
Lopuksi lisää politiikka indeksimalliin, kuten seuraavassa kuvassa näkyy:
Tässä vaiheessa uusi indeksi tallennetaan automaattisesti 30 päiväksi, ja yli 30 päivän hakemisto poistetaan, ja historiallinen indeksi täytyy puhdistaa manuaalisesti!! Hakemiston manuaalista poistamista varten katso:
Tarkista juuri luomasi indeksipohja, joka sovelletaan lopulliseen mallipohjaan, joka vastaa indeksiä. Yksityiskohdat ovat seuraavat:
{
"template": {
"asetukset": {
"indeksi": {
"elinkaari": {
"nimi": "automaattinen puhdistus-30-päivä-logger"
}
}
},
"aliakset": {},
"mappings": {}
}
}
Tarkastele politiikan konfiguraatiorajapintaa, esimerkiksi:http://192.168.1.182:9200/_ilm/policy/auto-clean-30-days-logger?pretty
{
"automaattinen puhdistus-30-päivä-logger" : {
"versio" : 1,
"modified_date" : "2022-03-11T06:26:01.972Z",
"politiikka" : {
"vaiheet" : {
"kuuma" : {
"min_age" : "0ms",
"toiminnot" : {
"set_priority" : {
"Prioriteetti" : 100
}
}
},
"poista" : {
"min_age" : "30d",
"toiminnot" : {
"poista" : {
"delete_searchable_snapshot" : totta
}
}
}
}
}
}
}
ILM (Indeksin elinkaaren hallinta)
Uusi indeksin elinkaaren politiikkamme toteutetaan ajastetun kyselyn avulla.
ILM-palvelu tutkii toteutuspolitiikkaa taustalla:
ILM määrittelee neljä elinkaaren vaihetta:
Kuuma: Indeksin aktiivinen päivitys ja kysely.
Lämmin: Ei enää indeksien päivittämistä, mutta kyselyt jatkuvat.
cold: Ei enää indeksejä päivitetty, muutama kysely. Tiedon täytyy silti olla haettavissa, mutta on ihan ok, jos kyselyt ovat hitaampia.
Poista: Indeksiä ei enää tarvita ja se voidaan poistaa turvallisesti.
ILM:n jaksollinen toiminta (indices.lifecycle.poll_interval),Oletusaika on 10 minuuttiaTarkistaaksesi, täyttääkö indeksi politiikkakriteerit ja ryhtyä tarvittaviin toimenpiteisiin.
Kilpailutilanteiden välttämiseksi ILM saattaa joutua suorittamaan useita kertoja, jotta kaikki toiminnon suorittamiseen tarvittavat vaiheet suoritetaan. Joten vaikka indices.lifecycle.poll_interval olisi asetettu 10 minuuttiin ja indeksi olisi rollover-yhteensopiva, siirto voi kestää 20 minuuttia.
Esimerkiksi, jos asetamme yli 10 dokumenttia siirrettäväksi, mutta koska tätä prosessia ei toteuteta heti, 11. ja 12. artikkeli voivat silti jäädä edelliseen indeksiin, eikä uudet asiakirjat siirry uuteen indeksiin ennen kuin siirto onnistuu.
Indeksin elinkaaren hallinta-asetukset Elasticsearchissa:Hyperlinkin kirjautuminen on näkyvissä.
Katso ILM-tila
On 2022-03-13, 2 indeksiä luodaan automaattisesti joka päivä, näet jo luodut indeksitPolitiikat liitetään automaattisesti, kuten alla olevassa kuvassa näkyy:
(Loppu)
|
Julkaistu 13.3.2022 13.22.29
|
|
|
|
