Elasticsearch kullanılarak iş sisteminin günlükleri saklanır, tarihe göre her gün yeni bir indeks oluşturulur, her gün milyonlarca belge vardır, Elasticsearch indeksi zamanında temizlenmezse disk alanı büyük olur, disk üzerinde çok fazla baskı oluşur ve arama hızı da yavaşlar. Daha önce ES'nin indekslerini manuel olarak temizliyor ve düzenli olarak shell scriptleri kullanıyorduk, ancak ES, eski tarihsel indeksleri silmemize yardımcı olacak bir indeks yaşam döngüsü politikası oluşturabiliyor.
Bu makalede kullanılan Elasticsearch sürümü: 7.10.2
Bugün 2022-03-11 ve aşağıdaki şekilde gösterildiği gibi Ocak 2022 için endeks ve belgelerin hâlâ var olduğunu görebilirsiniz:
Bir indeks şablonu oluştur
Kibana yönetici panelini açın, Index Management -> Index Template -> tıklayarak aşağıdaki isimle bir indeks şablonu oluşturun:logger-template, indeks modülü eşleşmesi gereken indeksleri doldurur ve ardından aşağıdaki şekilde gösterildiği gibi bir sonraki adıma geçer:
Not: Yeni bir Elasticsearch indeksi oluşturulurken, şablon otomatik olarak dizinin temel kısmını tamamlamak için eşleştirilir. Yani, itsvse-2022-03-13 indeksi oluşturulurken, logger-template sürümüyle eşleşir ve ardından şablonun belirlediği kuralları çalıştırır.Tarihsel indeksler (şablonlarla eşleşseler bile) indeks şablonlarıyla ilişkilendirilmez！！！ Bu makalede,Bir şablona dayalı oluşturulmayan indeksler otomatik olarak silinemez。
Bir endeks yaşam döngüsü politikası oluşturun
Kibana yönetici panelini açın ve aşağıdaki görselde gösterildiği gibi bir politika oluşturmak için Index Lifecycle Policy -> tuşuna tıklayın:
İsim doldurma"Otomatik Temiz-30 Gün-Kaydlayıcı, aşağıdaki şekilde gösterildiği gibi Rolling güncellemeleri etkinleştir seçeneğini kaldır:
Aşağıdaki görselde gösterildiği gibi, 30 gün öncesine kadar olan indeksleri otomatik olarak temizlemek için silme aşamasını açın:
Son olarak, aşağıdaki görselde gösterildiği gibi politikayı indeks şablonuna ekleyin:
Bu noktada, yeni oluşturulan indeks otomatik olarak 30 gün kaydedilecek, 30 günü aşan indeks silinecek ve geçmiş indeks manuel olarak temizlenmesi gerekecek!! Bir dizini manuel olarak silmek için şuna bakınız:
Az önce oluşturduğunuz indeks şablonunu gözden geçirin; bu şablon, indeksle eşleşen son şablona uygulanacaktır. Detaylar aşağıdaki gibidir:
{
"template": {
"ayarlar": {
"indeks": {
"yaşam döngüsü": {
"isim": "otomatik temizleme-30-gün-gün-logger"
}
}
},
"aliases": {},
"eşlemeler": {}
}
}
Politika yapılandırma arayüzünü inceleyin, örneğin:http://192.168.1.182:9200/_ilm/policy/auto-clean-30-days-logger?pretty
{
"Otomatik Temiz-30-Gün-Kayıtçı" : {
"versiyon" : 1,
"modified_date" : "2022-03-11T06:26:01.972Z",
"politika" : {
"aşamalar" : {
"hot" : {
"min_age" : "0ms",
"eylemler" : {
"set_priority" : {
"öncelik" : 100
}
}
},
"sil" : {
"min_age" : "30d",
"eylemler" : {
"sil" : {
"delete_searchable_snapshot" : doğru
}
}
}
}
}
}
}
ILM (Endeks Yaşam Döngüsü Yönetimi)
Yeni endeks yaşam döngüsü politikamız zamanlamalı anket yoluyla uygulanıyor.
ILM Servisi, arka planda uygulama politikasını sorgular:
ILM dört yaşam döngüsü aşamasını tanımlar:
Sıcak: Indeks aktif olarak güncelleniyor ve sorgulanıyor.
Sıcak: Artık indeksleri güncellemek yok ama yine de sorgulama yapılıyor.
cold: Artık indeks güncellenmedi, birkaç sorgu var. Bilgilerin hâlâ aranabilir olması gerekiyor, ama bu sorgular daha yavaş olsa sorun değil.
Sil: Indeks artık gerekli değildir ve güvenli bir şekilde silinebilir.
ILM Periyodik Operasyonu (indices.lifecycle.poll_interval),Varsayılan süre 10 dakikaIndeksin politika kriterlerine uyduğunu kontrol etmek ve gerekli adımları atmak.
Yarış durumlarından kaçınmak için, bir eylemi tamamlamak için gereken tüm adımları gerçekleştirmek için ILM'in birden fazla kez çalıştırılması gerekebilir. Yani, indices.lifecycle.poll_interval 10 dakikaya ayarlansa ve indeks rollover'a uygun olsa bile, rollover'ı tamamlamak 20 dakika sürebilir.
Örneğin, 10'dan fazla belgeyi rollover etmek için ayarlarsak ama bu süreç hemen uygulanmadığı için, 11. ve 12. makaleler önceki indekse düşebilir ve yeni oluşturulan belgeler ise rollover başarılı olana kadar yeni indekse düşmez.
Elasticsearch'te indeks yaşam döngüsü yönetim ayarları:Bağlantı girişi görünür.
ILM durumunu görüntüle
2022-03-13, her gün otomatik olarak 2 indeks oluşturuluyor, oluşturulan indeksleri görebilirsinizPolitikalar otomatik olarak ilişkilendirilir, aşağıdaki şekilde gösterildiği gibi:
(Son)
|
Yayınlandı 13.03.2022 13:22:29
|
|
|
|
