ERRO do Windows Kafka Falhou em limpar o log para __consumer_offsets

Pequeno · Publicado em 06/07/2021 13:30:04

Revisar:

Kafka configura monitoramento remoto JMX
https://www.itsvse.com/thread-9968-1-1.html

Explicação detalhada dos parâmetros de configuração de Kafka
https://www.itsvse.com/thread-9965-1-1.html

Kafka define manualmente o deslocamento
https://www.itsvse.com/thread-9641-1-1.html

Operações Kafka para filas de mensagens .NET/C# [com código-fonte]
https://www.itsvse.com/thread-9619-1-1.html

O erro do Windows Kafka é o seguinte:

[2021-07-06 09:05:54,809] ERRO Falhou em limpar o log para __consumer_offsets-42 no diretor C:\tmp\kafka-logs devido ao IOException (kafka.server.LogDirFailureChannel)
java.nio.file.FileSystemException: C:\tmp\kafka-logs\__consumer_offsets-42\00000000000000000000.timeindex.cleaned -> C:\tmp\kafka-logs\__consumer_offsets-42\00000000000000000000.timeindex.swap:

[2021-07-06 09:06:06,460] ERRO [Partição log=__consumer_offsets-42, dir=C:\tmp\kafka-logs] Não foi possível encontrar o arquivo de índice offset correspondente ao arquivo log C:\tmp\kafka-logs\__consumer_offsets-42\ 00000000000000000000.log, recuperando segmentos e reconstruindo arquivos de índice... (kafka.log.Log)

[2021-07-06 09:06:10,607] ERRO Erro Erro ao criar um efêmero em /brokers/ids/0, o nó já existe e o proprietário '72057597827809280' não corresponde à sessão atual '72057597827809313' (kafka.zk.KafkaZkClient$ Conferido Efêmero)
[2021-07-06 09:06:10,616] ERRO [KafkaServer id=0] Erro fatal durante a inicialização do KafkaServer. Prepare to shutdown (kafka.server.KafkaServer)
org.apache.zookeeper.KeeperException$NodeExistsException: KeeperErrorCode = NodeExists
em org.apache.zookeeper.KeeperException.create(KeeperException.java:126)
at kafka.zk.KafkaZkClient$CheckedEphemeral.getAfterNodeExists(KafkaZkClient.scala:1904)
at kafka.zk.KafkaZkClient$CheckedEphemeral.create(KafkaZkClient.scala:1842)
at kafka.zk.KafkaZkClient.checkedEphemeralCreate(KafkaZkClient.scala:1809)
at kafka.zk.KafkaZkClient.registerBroker(KafkaZkClient.scala:96)
at kafka.server.KafkaServer.startup(KafkaServer.scala:308)
Em Kafka. Kafka$.main(Kafka.scala:109)
Em Kafka. Kafka.main(Kafka.scala)

Solução temporária

Parem o zookeeper e o Kafka, apaguem todos os arquivos na pasta C:\tmp\kafka-logs\__consumer_offsets-42\.

Pequeno · Publicado em 06/07/2021 13:34:36

O processo kafka desliga de vez em quando.

1、ERRO Falhou na limpeza do log para __consumer_offsets-30 no diretor /tmp/kafka-logs devido ao IOException (kafka.server.LogDirFailureChannel)

2. O Linux limpa os arquivos no diretório /tmp regularmente, e meu diretório de arquivos de log kafka fica no diretório /tmp/kafka-logs, resultando em limpeza regular, então kafka comete um erro ao tentar ler ou adicionar logs.
grep log.dirs /opt/kafka_2.12-2.3.0/config/server.properties
/tmp/kafka-logs
3. Modificar
log.dirs=/opt/kafka_2.12-2.3.0/kafka-logs/
4. Reiniciar o kafka
5. Adicionar o diretório de log kafka à lista branca de limpeza
A limpeza do diretório /tmp sob centos7 é responsável pelo serviço systemd, e seus arquivos de configuração relacionados estão no diretório /usr/lib/tmpfiles.d; modificamos o arquivo de configuração tmp.conf e adicionamos o diretório de log kafka a ele.
#防止删除kafka日志文件
X /tmp/kafka-logs

A limpeza do diretório /tmp no centos6 é feita via tmpwatch, que depende do tempo do cron, e o arquivo de agendamento é /etc/cron.daily/tmpwatch
#防止删除kafka日志文件
X /tmp/kafka-logs

Pequeno · Publicado em 12/07/2021 10:57:17

O sistema Kafka Windows trava após rodar por um período de tempo
https://www.itsvse.com/thread-9984-1-1.html

ERRO do Windows Kafka Falhou em limpar o log para __consumer_offsets

Posts Relacionados

Seções visualizadas