Folosind Elasticsearch pentru a stoca jurnalele sistemului de business, un nou index va fi generat în fiecare zi în funcție de dată, există milioane de documente în fiecare zi, iar dacă indexul Elasticsearch nu este curățat la timp, va crea un spațiu mare pe disc, va pune multă presiune pe disc, iar viteza căutării va deveni și ea mai lentă. Anterior, curățam manual indexurile ES și foloseam scripturi shell pentru a le curăța regulat, dar ES poate crea o politică de ciclu de viață a indicelui pentru a ne ajuta să ștergem indexurile istorice vechi.
Versiunea de Elasticsearch folosită în acest articol este: 7.10.2
Astăzi este 11-03-2022 și puteți vedea că indexul și documentele pentru ianuarie 2022 încă există, așa cum se vede în figura de mai jos:
Creează un șablon de index
Deschide panoul de administrare Kibana, apasă pe Index Management -> Index Template -> pentru a crea un șablon de index cu următorul nume:șablon-logger-șablon, modulul de index completează indicii care trebuie potriviți, apoi trece la pasul următor, așa cum se arată în figura de mai jos:
Notă: La crearea unui nou index Elasticsearch, șablonul va fi asociat automat pentru a completa partea de bază a indexului. Adică, la crearea indexului itsvse-2022-03-13, acesta va corespunde cu versiunea șablonului de logger și apoi va executa regulile stabilite de șablon.Indexurile istorice (chiar dacă corespund șabloanelor) nu sunt asociate cu șabloanele de index！！！ În acest articol,Indexurile care nu sunt create pe baza unui șablon nu pot fi șterse automat。
Creează o politică pentru ciclul de viață al indicilor
Deschide panoul de administrare Kibana și apasă pe Index Lifecycle Policy -> pentru a crea o politică, așa cum se vede în imaginea următoare:
Umplerea numelui"auto-curățare-30-zile-logger, debifează Activează actualizările progresive, așa cum se arată în figura următoare:
Deschide faza de ștergere pentru a curăța automat indexurile de până la 30 de zile în urmă, așa cum se arată în imaginea următoare:
În final, adăugați politica în șablonul de index, așa cum se arată în imaginea următoare:
În acest moment, noul index creat va fi salvat automat timp de 30 de zile, iar indexul de peste 30 de zile va fi șters, iar indexul istoric va trebui curățat manual!! Pentru a șterge manual un index, consultați:
Revizuiește șablonul de index pe care tocmai l-ai creat, care va fi aplicat șablonului final ce corespunde indexului. Detaliile sunt următoarele:
{
"șablon": {
"setări": {
"index": {
"ciclu de viață": {
"nume": "auto-curățare-de-30-zile-de-tăietor"
}
}
},
"aliasuri": {},
"mappings": {}
}
}
Revizuiți interfața de configurare a politicilor, de exemplu:http://192.168.1.182:9200/_ilm/policy/auto-clean-30-days-logger?pretty
{
"auto-clean-30-days-logger" : {
"versiune": 1,
"modified_date" : "2022-03-11T06:26:01.972Z",
"politică" : {
"faze" : {
"fierbinte" : {
"min_age" : "0ms",
"acțiuni" : {
"set_priority" : {
"prioritate" : 100
}
}
},
"delete" : {
"min_age" : "30d",
"acțiuni" : {
"delete" : {
"delete_searchable_snapshot" : adevărat
}
}
}
}
}
}
}
ILM (Managementul Ciclului de Viață al Indicilor)
Noua noastră politică de ciclu de viață a indicelui este implementată prin sondaje temporizate.
ILM Service interoghează politica de execuție în fundal:
ILM definește patru etape ale ciclului de viață:
Hot: Actualizarea activă și interogarea indexului.
Cald: Nu mai trebuie actualizat indexurile, dar tot interogări.
rece: Fără indexuri actualizate, puține interogări. Informația trebuie totuși să poată fi căutată, dar e în regulă dacă acele interogări sunt mai lente.
Șterge: Indexul nu mai este necesar și poate fi șters în siguranță.
Operațiuni periodice ILM (indices.lifecycle.poll_interval),Valoarea implicită este 10 minutepentru a verifica dacă indicele îndeplinește criteriile de politică și pentru a lua toate măsurile necesare.
Pentru a evita situațiile de cursă, ILM poate fi necesar să fie rulat de mai multe ori pentru a efectua toți pașii necesari pentru a finaliza o acțiune. Așadar, chiar dacă indices.lifecycle.poll_interval este setat la 10 minute și indicele este conform rollover-ului, poate dura 20 de minute pentru a finaliza rollover-ul.
De exemplu, dacă setăm mai mult de 10 documente să fie transferate, dar pentru că acest proces nu este implementat imediat, articolele 11 și 12 pot totuși să cadă pe indexul anterior, iar documentele nou create nu vor ajunge pe noul index până când rollover-ul nu este reușit.
Setări de gestionare a ciclului de viață al indexului în Elasticsearch:Autentificarea cu hyperlink este vizibilă.
Vizualizează statutul ILM
Este 2022-03-13, 2 indici sunt creați automat în fiecare zi, poți vedea deja indexurile createPoliticile sunt asociate automat, așa cum se arată în figura de mai jos:
(Sfârșit)
|
Postat pe 13.03.2022 13:22:29
|
|
|
|
