Χρησιμοποιώντας το Elasticsearch για την αποθήκευση των αρχείων καταγραφής του επιχειρηματικού συστήματος, ένα νέο ευρετήριο θα δημιουργείται κάθε μέρα σύμφωνα με την ημερομηνία, υπάρχουν εκατομμύρια έγγραφα κάθε μέρα, εάν το ευρετήριο Elasticsearch δεν καθαριστεί εγκαίρως, θα προκαλέσει μεγάλο χώρο στο δίσκο, θα προκαλέσει μεγάλη πίεση στο δίσκο και η ταχύτητα αναζήτησης θα γίνει επίσης πιο αργή. Προηγουμένως, καθαρίζαμε χειροκίνητα τα ευρετήρια του ES και χρησιμοποιούσαμε σενάρια κελύφους για να τα καθαρίζουμε τακτικά, αλλά το ES μπορεί να δημιουργήσει μια πολιτική κύκλου ζωής ευρετηρίου για να μας βοηθήσει να διαγράψουμε παλιά ιστορικά ευρετήρια.
Η έκδοση του Elasticsearch που χρησιμοποιείται σε αυτό το άρθρο είναι: 7.10.2
Σήμερα είναι 2022-03-11 και μπορείτε να δείτε ότι το ευρετήριο και τα έγγραφα για τον Ιανουάριο του 2022 εξακολουθούν να υπάρχουν, όπως φαίνεται στο παρακάτω σχήμα:
Δημιουργία προτύπου ευρετηρίου
Ανοίξτε τον πίνακα διαχείρισης του Kibana, κάντε κλικ στην επιλογή Διαχείριση ευρετηρίου -> Πρότυπο ευρετηρίου -> για να δημιουργήσετε ένα πρότυπο ευρετηρίου με το ακόλουθο όνομα:καταγραφικό-πρότυπο, η μονάδα ευρετηρίου συμπληρώνει τα ευρετήρια που πρέπει να αντιστοιχιστούν και, στη συνέχεια, προχωρά στο επόμενο βήμα, όπως φαίνεται στην παρακάτω εικόνα:
Σημείωση: Κατά τη δημιουργία ενός νέου ευρετηρίου Elasticsearch, το πρότυπο θα αντιστοιχιστεί αυτόματα για να ολοκληρωθεί το βασικό μέρος του ευρετηρίου. Δηλαδή, κατά τη δημιουργία του ευρετηρίου itsvse-2022-03-13, θα ταιριάζει με την έκδοση του καταγραφικού-προτύπου και, στη συνέχεια, θα εκτελεί τους κανόνες που ορίζονται από το πρότυπο.Τα ιστορικά ευρετήρια (ακόμα και αν ταιριάζουν με πρότυπα) δεν συσχετίζονται με τα πρότυπα ευρετηρίου！！！ Σε αυτό το άρθρο,Τα ευρετήρια που δεν δημιουργούνται με βάση ένα πρότυπο δεν μπορούν να διαγραφούν αυτόματα。
Δημιουργία πολιτικής κύκλου ζωής ευρετηρίου
Ανοίξτε τον πίνακα διαχείρισης του Kibana και κάντε κλικ στην επιλογή Πολιτική κύκλου ζωής ευρετηρίου -> για να δημιουργήσετε μια πολιτική, όπως φαίνεται στην παρακάτω εικόνα:
Συμπλήρωση ονόματος"Αυτόματος καθαρισμός-30-ημέρες-καταγραφέας, καταργήστε την επιλογή Ενεργοποίηση κυλιόμενων ενημερώσεων, όπως φαίνεται στην παρακάτω εικόνα:
Ανοίξτε τη φάση διαγραφής για αυτόματη εκκαθάριση ευρετηρίων έως και πριν από 30 ημέρες, όπως φαίνεται στην παρακάτω εικόνα:
Τέλος, προσθέστε την πολιτική στο πρότυπο ευρετηρίου, όπως φαίνεται στην παρακάτω εικόνα:
Σε αυτό το σημείο, το ευρετήριο που δημιουργήθηκε πρόσφατα θα αποθηκευτεί αυτόματα για 30 ημέρες και το ευρετήριο πέραν των 30 ημερών θα διαγραφεί και το ιστορικό ευρετήριο θα πρέπει να καθαριστεί χειροκίνητα!! Για να διαγράψετε ένα ευρετήριο με μη αυτόματο τρόπο, ανατρέξτε στα εξής:
Ελέγξτε το πρότυπο ευρετηρίου που μόλις δημιουργήσατε, το οποίο θα εφαρμοστεί στο τελικό πρότυπο που ταιριάζει με το ευρετήριο. Οι λεπτομέρειες έχουν ως εξής:
{
"πρότυπο": {
"ρυθμίσεις": {
"ευρετήριο": {
"κύκλος ζωής": {
"name": "αυτόματος καθαρισμός-30-ημέρες-καταγραφέας"
}
}
},
"ψευδώνυμα": {},
"mappings": {}
}
}
Εξετάστε το περιβάλλον ρύθμισης παραμέτρων πολιτικής, για παράδειγμα:http://192.168.1.182:9200/_ilm/policy/auto-clean-30-days-logger?pretty
{
"auto-clean-30-days-logger" : {
"version" : 1,
"modified_date" : "2022-03-11T06:26:01.972Z",
"πολιτική" : {
"φάσεις" : {
"καυτό" : {
"min_age" : "0ms",
"δράσεις" : {
"set_priority" : {
"Προτεραιότητα" : 100
}
}
},
"διαγραφή" : {
"min_age" : "30δ",
"δράσεις" : {
"διαγραφή" : {
"delete_searchable_snapshot" : αληθές
}
}
}
}
}
}
}
ILM (Διαχείριση κύκλου ζωής ευρετηρίου)
Η νέα πολιτική κύκλου ζωής του δείκτη μας εκτελείται μέσω χρονομετρημένης ψηφοφορίας.
Η υπηρεσία ILM πραγματοποιεί δημοσκόπηση της πολιτικής εκτέλεσης στο παρασκήνιο:
Η ILM ορίζει τέσσερα στάδια του κύκλου ζωής:
Hot: Ενεργή ενημέρωση και υποβολή ερωτημάτων στο ευρετήριο.
Ζεστό: Δεν χρειάζεται πλέον ενημέρωση ευρετηρίων, αλλά εξακολουθεί να υποβάλλει ερωτήματα.
κρύο: Δεν ενημερώθηκαν άλλα ευρετήρια, λίγα ερωτήματα. Οι πληροφορίες πρέπει ακόμα να είναι αναζητήσιμες, αλλά δεν πειράζει αν αυτά τα ερωτήματα είναι πιο αργά.
Διαγραφή: Το ευρετήριο δεν χρειάζεται πλέον και μπορεί να διαγραφεί με ασφάλεια.
Περιοδική λειτουργία ILM (indices.lifecycle.poll_interval),Η προεπιλογή είναι 10 λεπτάγια να ελέγξετε ότι ο δείκτης πληροί τα κριτήρια πολιτικής και να λάβετε τυχόν απαιτούμενα μέτρα.
Για να αποφύγετε καταστάσεις αγώνα, το ILM μπορεί να χρειαστεί να εκτελεστεί πολλές φορές για να εκτελέσετε όλα τα βήματα που απαιτούνται για την ολοκλήρωση μιας ενέργειας. Έτσι, ακόμα κι αν indices.lifecycle.poll_interval έχει οριστεί σε 10 λεπτά και το ευρετήριο είναι συμβατό με τη μετακύλιση, μπορεί να χρειαστούν 20 λεπτά για να ολοκληρωθεί η μετακύλιση.
Για παράδειγμα, εάν ορίσουμε περισσότερα από 10 έγγραφα για μεταφορά, αλλά επειδή αυτή η διαδικασία δεν εφαρμοστεί αμέσως, το 11ο και το 12ο άρθρο ενδέχεται να εξακολουθούν να εμπίπτουν στο προηγούμενο ευρετήριο και τα έγγραφα που δημιουργήθηκαν πρόσφατα δεν θα εμπίπτουν στο νέο ευρετήριο έως ότου η κατάδειξη είναι επιτυχής.
Ρυθμίσεις διαχείρισης κύκλου ζωής ευρετηρίου στο Elasticsearch:Η σύνδεση με υπερσύνδεσμο είναι ορατή.
Προβολή κατάστασης ILM
Είναι 2022-03-13, 2 ευρετήρια δημιουργούνται αυτόματα κάθε μέρα, μπορείτε να δείτε τα δημιουργημένα ευρετήρια, ήδηΟι πολιτικές συσχετίζονται αυτόματα, όπως φαίνεται στο παρακάτω σχήμα:
(Τέλος)
|
Δημοσιεύτηκε στις 13/3/2022 1:22:29 μ.μ.
|
|
|
|
