Usando o Elasticsearch para armazenar os logs do sistema empresarial, um novo índice será gerado todos os dias de acordo com a data, há milhões de documentos todos os dias; se o índice do Elasticsearch não for limpo a tempo, isso causará um grande espaço em disco, gerará muita pressão sobre o disco e a velocidade da busca também ficará mais lenta. Antes, estávamos limpando manualmente os índices do ES e usando scripts de shell para limpá-los regularmente, mas o ES pode criar uma política de ciclo de vida de índice para nos ajudar a deletar índices históricos antigos.
A versão do Elasticsearch usada neste artigo é: 7.10.2
Hoje é 11 de 03-2022, e você pode ver que o índice e os documentos de janeiro de 2022 ainda existem, conforme mostrado na figura abaixo:
Criar um modelo de índice
Abra o painel de administração do Kibana, clique em Gerenciamento de Índice -> Modelo de Índice -> para criar um modelo de índice com o seguinte nome:Modelo de logger, o módulo de índice preenche os índices que precisam ser correspondidos e depois avança até a próxima etapa, como mostrado na figura abaixo:
Nota: Ao criar um novo índice Elasticsearch, o template será automaticamente correspondido para completar a parte básica do índice. Ou seja, ao criar o índice itsvse-2022-03-13, ele corresponde à versão do template do logger e então executa as regras estabelecidas pelo template.Índices históricos (mesmo que correspondam a modelos) não estão associados aos modelos de índice！！！ Neste artigo,Índices que não são criados com base em um modelo não podem ser automaticamente excluídos。
Crie uma política de ciclo de vida de índice
Abra o painel de administração do Kibana e clique em Indexar Política do Ciclo de Vida -> para criar uma política, como mostrado na imagem a seguir:
Preenchimento de nome"auto-limpeza-30-dias-registradora, desmarque Habilitar atualizações contínuas, conforme mostrado na figura a seguir:
Abra a fase de exclusão para limpar automaticamente os índices até 30 dias atrás, como mostrado na imagem a seguir:
Por fim, adicione a política ao modelo de índice, como mostrado na imagem a seguir:
Neste ponto, o índice recém-criado será salvo automaticamente por 30 dias, e o índice além de 30 dias será excluído, e o índice histórico precisará ser limpo manualmente!! Para excluir manualmente um índice, consulte:
Revise o modelo de índice que você acabou de criar, que será aplicado ao modelo final que corresponde ao índice. Os detalhes são os seguintes:
{
"template": {
"configurações": {
"index": {
"ciclo de vida": {
"nome": "Limpeza automática de 30 dias-registradora"
}
}
},
"aliases": {},
"mapeamentos": {}
}
}
Revise a interface de configuração de políticas, por exemplo:http://192.168.1.182:9200/_ilm/policy/auto-clean-30-days-logger?pretty
{
"auto-clean-30-days-logger" : {
"versão": 1,
"modified_date" : "2022-03-11T06:26:01.972Z",
"política" : {
"fases" : {
"quente" : {
"min_age" : "0ms",
"ações" : {
"set_priority" : {
"prioridade": 100
}
}
},
"delete" : {
"min_age" : "30d",
"ações" : {
"delete" : {
"delete_searchable_snapshot" : verdade
}
}
}
}
}
}
}
ILM (Gestão do Ciclo de Vida do Índice)
Nossa nova política de ciclo de vida do índice é executada por meio de votações cronometradas.
O Serviço ILM questiona a política de execução em segundo plano:
A ILM define quatro estágios do ciclo de vida:
Hot: Atualizando e consultando ativamente o índice.
Warm: Nada de atualizar índices, mas ainda consultas.
frio: Sem mais índices atualizados, poucas consultas. A informação ainda precisa ser pesquisável, mas tudo bem se essas consultas forem mais lentas.
Exclusão: O índice não é mais necessário e pode ser excluído com segurança.
Operação Periódica do ILM (indices.lifecycle.poll_interval),O padrão é 10 minutosVerificar se o índice atende aos critérios da política e tomar todas as medidas necessárias.
Para evitar situações de corrida, o ILM pode precisar ser executado várias vezes para realizar todas as etapas necessárias para completar uma ação. Então, mesmo que indices.lifecycle.poll_interval esteja definido para 10 minutos e o índice esteja em conformidade com o rollover, pode levar 20 minutos para concluir o rollover.
Por exemplo, se configurarmos mais de 10 documentos para rolar, mas como esse processo não é implementado imediatamente, os artigos 11º e 12º ainda podem cair no índice anterior, e os documentos recém-criados não estarão no novo índice até que o rollover seja bem-sucedido.
Configurações de gerenciamento do ciclo de vida do índice no Elasticsearch:O login do hiperlink está visível.
Veja o status da ILM
Estamos em 2022-03-13, 2 índices são criados automaticamente todos os dias, você já pode ver os índices criadosAs políticas são automaticamente associadas, como mostrado na figura abaixo:
(Fim)
|
Publicado em 13/03/2022 13:22:29
|
|
|
|
