이 글은 기계 번역의 미러 문서이며, 원본 기사로 바로 이동하려면 여기를 클릭해 주세요.

보기: 15810|회답: 2

Windows Kafka 오류 로그가 정리되지 않음__consumer_offsets

[링크 복사]
게시됨 2021. 7. 6. 오후 1:30:04 | | |
복습:

Kafka가 JMX 원격 모니터링을 구성합니다
https://www.itsvse.com/thread-9968-1-1.html

카프카 구성 매개변수에 대한 상세 설명
https://www.itsvse.com/thread-9965-1-1.html

카프카는 수동으로 오프셋 오프셋을 설정합니다
https://www.itsvse.com/thread-9641-1-1.html

.NET/C# 메시지 큐를 위한 Kafka 연산 [소스 코드 포함]
https://www.itsvse.com/thread-9619-1-1.html


Windows Kafka 오류는 다음과 같습니다:

[2021-07-06 09:05:54,809] 오류 IOException (kafka.server.LogDirFailureChannel) 때문에 __consumer_offsets-42 로그가 C:\tmp\kafka-logs 방향으로 정리되지 않음
java.nio.file.FileSystemException: C:\tmp\kafka-logs\__consumer_offsets-42\00000000000000000000.timeindex.cleaned -> C:\tmp\kafka-logs\__consumer_offsets-42\00000000000000000000.timeindex.swap:


[2021-07-06 09:06:06,460] 오류 [로그 파티션=__consumer_offsets-42, dir=C:\tmp\kafka-logs] 로그 파일 C:\tmp\kafka-logs\__consumer_offsets-42\에 해당하는 오프셋 인덱스 파일을 찾을 수 없음 00000000000000000000.log, 세그먼트 복구와 인덱스 파일 재구성... (kafka.log.로그)

[2021-07-06 09:06:10,607] 오류 /brokers/ids/0에서 임시를 생성하는 동안, 노드가 이미 존재하고 소유자 '72057597827809280'가 현재 세션 '72057597827809313'(kafka.zk.KafkaZkClient$)와 일치하지 않습니다 확인됨 일시적)
[2021-07-06 09:06:10,616] ERROR [KafkaServer id=0] KafkaServer 시작 중 치명적인 오류. 종료 준비 (kafka.server.KafkaServer)
org.apache.zookeeper.KeeperException$NodeExistsException: KeeperErrorCode = NodeExists
        org.apache.zookeeper.KeeperException.create(KeeperException.java:126)
        at kafka.zk.KafkaZkClient$CheckedEphemeral.getAfterNodeExists(KafkaZkClient.scala:1904)
        at kafka.zk.KafkaZkClient$CheckedEphemeral.create(KafkaZkClient.scala:1842)
        at kafka.zk.KafkaZkClient.checkedEphemeralCreate(KafkaZkClient.scala:1809)
        at kafka.zk.KafkaZkClient.registerBroker(KafkaZkClient.scala:96)
        at kafka.server.KafkaServer.startup(KafkaServer.scala:308)
        카프카에서. Kafka$.main(Kafka.scala:109)
        카프카에서. Kafka.main(Kafka.scala)


임시 해결책

zookeeper와 Kafka를 멈추고, C:\tmp\kafka-logs\__consumer_offsets-42\ 폴더 내 모든 파일을 삭제하세요.





이전의:Windows 아래에서 Java.exe가 속한 프로그램을 확인하세요
다음:리눅스 레디스 소스 코드 설치 및 배포
 집주인| 게시됨 2021. 7. 6. 오후 1:34:36 |
카프카 과정은 가끔 중단됩니다.

1, 오류 IOException (kafka.server.LogDirFailureChannel) 때문에 __consumer_offsets-30 dir dir dir /tmp/kafka-logs 로그 정리에 실패

2. 리눅스는 /tmp 디렉터리의 파일을 정기적으로 정리하고, 제 kafka log 파일 디렉터리는 /tmp/kafka-logs 폴더에 배치되어 정기적으로 정리되는데, 그래서 kafka가 로그를 읽거나 추가할 때 오류가 발생합니다.
grep log.dirs /opt/kafka_2.12-2.3.0/config/server.properties
/tmp/kafka-logs
3. 수정
log.dirs=/opt/kafka_2.12-2.3.0/kafka-logs/
4. 카프카 재시작
5. 카프카 로그 디렉터리를 정리 화이트리스트에 추가하세요
centos7 하의 /tmp 디렉터리 삭제는 servicesystemd와 관련된 설정 파일이 /usr/lib/tmpfiles.d 디렉터리에 있으며, tmp.conf 설정 파일을 수정하고 kafka log 디렉터리를 추가합니다.
#防止删除kafka日志文件
X /tmp/kafka-logs

centos6에서 /tmp 디렉터리의 정리는 cron의 타이밍에 의존하는 tmpwatch를 통해 이루어지며, 스케줄링 파일은 /etc/cron.daily/tmpwatch입니다
#防止删除kafka日志文件
X /tmp/kafka-logs
 집주인| 게시됨 2021. 7. 12. 오전 10:57:17 |
Kafka 윈도우 시스템은 일정 시간 실행 후 끊깁니다
https://www.itsvse.com/thread-9984-1-1.html
면책 조항:
Code Farmer Network에서 발행하는 모든 소프트웨어, 프로그래밍 자료 또는 기사는 학습 및 연구 목적으로만 사용됩니다; 위 내용은 상업적 또는 불법적인 목적으로 사용되지 않으며, 그렇지 않으면 모든 책임이 사용자에게 부담됩니다. 이 사이트의 정보는 인터넷에서 가져온 것이며, 저작권 분쟁은 이 사이트와는 관련이 없습니다. 위 내용은 다운로드 후 24시간 이내에 컴퓨터에서 완전히 삭제해야 합니다. 프로그램이 마음에 드신다면, 진짜 소프트웨어를 지원하고, 등록을 구매하며, 더 나은 진짜 서비스를 받아주세요. 침해가 있을 경우 이메일로 연락해 주시기 바랍니다.

Mail To:help@itsvse.com