Szemle:
Használja a következő parancsot a Kafka futó állapotának ellenőrzésére. Következőképpen:
kafka.service
Loaded: betöltve (/usr/lib/systemd/system/system/kafka.service; Engedélyezve; vendor preset: kikapcsolva)
Aktív: sikertelen (Eredmény: exit-code) 2021-09-22 szerda 14:43:11 CST óta; 1 óra 43 perc ezelőtt
Folyamat: 7363 ExecStart=/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties (code=exited, status=1/FAILURE)
Fő PID: 7363 (kód=kilépett, állapot=1/HIBA)
Sep 22 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,295] WARN [ReplicaManager broker=1] Megállítva a replikák szolgáltatását dir /tmp/kafka-logs ( kafka.server.ReplicaManager)
Szept. 22. 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,298] FIGYELMEZTETÉS [CsoportKoordinátor 1]: Nem írtam üres metaadatot a KqBatch csoporthozAna: Ez nem helyes Koordinátor. (kafka.co... upCoordinator)
Sep 22 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,303] INFO [ReplicaFetcherManager a birodalom 1-en] Eltávolítva fetcher for partitions HashSet(__consumer_offsets-22, __ consumer_offsets-30, ...-8, __consumer
Sep 22 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,304] INFO [ReplicaAlterLogDirsManager on broker 1] Eltávolítva fetcher for partitions HashSet(__consumer_ 22-es elmozdulások __consumer_offsets... FSETS-8, __con
Sep 22 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,378] FIGYELMEZTETÉS [ReplicaManager broker=1] Broker 1 leállította a fetchert a partíciók __consumer_offsets-22,__ esetén consumer_offsets-30,__consumer_... fsets-21,__con
Szep 22. 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,379] FIGYELMEZTETÉS Megállítom a naplók szolgáltatását dir /tmp/kafka-logs (kafka.log.LogManager)
Szept. 22. 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,386] HIBA Leállítva a bróker, mert minden log dirs a /tmp/kafka-logs-ban meghibásodott (kafka.log.LogManager)
Sep 22 14:43:11 devops02 systemd[1]: kafka.service: fő folyamat kilépett, code=exited, status=1/FAILURE
Sept. 22. 14:43:11 devops02 systemd[1]: Kafka.service egység hibás állapotba lépett.
Sep 22 14:43:11 devops02 systemd[1]: kafka.service failed.
Hint: Some lines were ellipsized, use -l to show in full.
A Kafka log directory /usr/local/kafka/logs menübe nézze meg a server.log naplófájlokat, az alábbiak szerint:
[2021-09-22 14:43:11,286] HIBAHIBA a naplószegmens __consumer_offsets-8 forgatáskor a dir /tmp/kafka-logs (kafka.server.LogDirFailureChannel) területén
java.io.FileNotFoundException: /tmp/kafka-logs/__consumer_offsets-8/00000000000000000000.index (No such file or directory)
java.io.RandomAccessFile.open0 (Natív Metódus) címen
java.io.RandomAccessFile.open(RandomAccessFile.java:316) címen
a java.io.RandomAccessFile címen. <init>(RandomAccessFile.java:243)
a kafka.log.AbstractIndex.$anonfun$resize$1(AbstractIndex.scala:182)
a kafka.log.AbstractIndex.resize(AbstractIndex.scala:175)
a kafka.log.AbstractIndex.$anonfun$trimToValidSize$1(AbstractIndex.scala:241)
a kafka.log.AbstractIndex.trimToValidSize(AbstractIndex.scala:241)
at kafka.log.LogSegment.onBecomeInactiveSegment(LogSegment.scala:507)
a kafka.log.Log.$anonfun$roll$8(Log.scala:2037)
at kafka.log.Log.$anonfun$roll$8$adapted(Log.scala:2037)
Scalán. Option.foreach(Option.scala:437)
a kafka.log.Log.$anonfun$roll$2(Log.scala:2037)
a kafka.log.Log.roll (Log.scala:2453)
a kafka.log.Log.maybeRoll(Log.scala:1988)
a kafka.log.Log.append(Log.scala:1263)
at kafka.log.Log.appendAsLeader(Log.scala:1112)
at kafka.cluster.Partition.$anonfun$appendRecordsToLeader$1(Partition.scala:1069)
at kafka.cluster.Partition.appendRecordsToLeader(Partition.scala:1057)
at kafka.server.ReplicaManager.$anonfun$appendToLocalLog$6(ReplicaManager.scala:958)
at scala.collection.Iterator$$anon$9.next(Iterator.scala:575)
a scala.collection.mutable.Growable.addAll címen (Growable.scala:62)
a scala.collection.mutable.Growable.addAll$(Growable.scala:57) címen
a scala.collection.immutable.MapBuilderImpl.addAll(Map.scala:692) címen
a scala.collection.immutable.Map$.from(Map.scala:643) címen
a scala.collection.immutable.Map$.from(Map.scala:173) címen
a scala.collection.MapOps.map címen (Map.scala:266)
a scala.collection.MapOps.map$ (Map.scala:266) címen
a scala.collection.AbstractMap.map (Map.scala:372) címen
at kafka.server.ReplicaManager.appendToLocalLog(ReplicaManager.scala:946)
at kafka.server.ReplicaManager.appendRecords(ReplicaManager.scala:616)
kafka.coordinator.group.GroupMetadataManager.storeGroup(GroupMetadataManager.scala:325) címen
a kafka.coordinator.group.GroupCoordinator.$anonfun$onCompleteJoin$1(GroupCoordinator.scala:1206) címen
a kafka.coordinator.group.GroupMetadata.inLock(GroupMetadata.scala:227) címen
kafka.coordinator.group.GroupCoordinator.onCompleteJoin(GroupCoordinator.scala:1178) címen
at kafka.coordinator.group.DelayedJoin.onComplete(DelayedJoin.scala:43)
a kafka.server.DelayedOperation.forceComplete(DelayedOperation.scala:72) címen
a kafka.coordinator.group.DelayedJoin.$anonfun$tryComplete$1(DelayedJoin.scala:38)
a kafka.coordinator.group.GroupCoordinator.$anonfun$tryCompleteJoin$1(GroupCoordinator.scala:1172) címen
a scala.runtime.java8.JFunction0$mcZ$sp.apply címen (JFunction0$mcZ$sp.scala:17)
a kafka.coordinator.group.GroupMetadata.inLock(GroupMetadata.scala:227) címen
kafka.coordinator.group.GroupCoordinator.tryCompleteJoin(GroupCoordinator.scala:1171) címen
at kafka.coordinator.group.DelayedJoin.tryComplete(DelayedJoin.scala:38)
at kafka.server.DelayedOperation.safeTryCompleteOrElse(DelayedOperation.scala:110) címen
at kafka.server.DelayedOperationPurgatory.tryCompleteElseWatch(DelayedOperation.scala:234)
kafka.coordinator.group.GroupCoordinator.prepareRebalance(GroupCoordinator.scala:1144) címen
a kafka.coordinator.group.GroupCoordinator.$anonfun$maybePrepareRebalance$1(GroupCoordinator.scala:1118) címen
at scala.runtime.java8.JFunction0$mcV$sp.apply (JFunction0$mcV$sp.scala:18)
a kafka.coordinator.group.GroupMetadata.inLock(GroupMetadata.scala:227) címen
kafka.coordinator.group.GroupCoordinator.maybePrepareRebalance(GroupCoordinator.scala:1117) címen
a kafka.coordinator.group.GroupCoordinator.removeMemberAndUpdateGroup(GroupCoordinator.scala:1156) címen
at kafka.coordinator.group.GroupCoordinator.$anonfun$handleLeaveGroup$3(GroupCoordinator.scala:498)
a scala.collection.immutable.list.map címen (List.scala:246)
kafka.coordinator.group.GroupCoordinator.$anonfun$handleLeaveGroup$2(GroupCoordinator.scala:470) címen
at scala.runtime.java8.JFunction0$mcV$sp.apply (JFunction0$mcV$sp.scala:18)
a kafka.coordinator.group.GroupMetadata.inLock(GroupMetadata.scala:227) címen
kafka.coordinator.group.GroupCoordinator.handleLeaveGroup(GroupCoordinator.scala:467) címen
at kafka.server.KafkaApis.handleLeaveGroupRequest(KafkaApis.scala:1659)
at kafka.server.KafkaApis.handle (KafkaApis.scala:180)
at kafka.server.KafkaRequestHandler.run(KafkaRequestHandler.scala:74)
java.lang.Thread.run(Thread.java:748) címen
A hiba okai a következők:A Linux rendszeresen tisztítja a /tmp könyvtárban lévő fájlokat, a Kafka fájlkönyvtár alapértelmezés szerint van tárolva/tmp/kafka-logsa könyvtár rendszeres tisztítását eredményezte, ami rendellenes programműködést eredményez.
A CentOS 7 alatt három rendszerszolgáltatás található, amelyek a tisztításhoz kapcsolódnak:
systemd-tmpfiles-setup.service :Létrehozz volatile fájlokat és könyvtárakat
systemd-tmpfiles-setup-dev.service:Statikus eszközcsomópontok létrehozása a /dev formátumban
systemd-tmpfiles-clean.service :Ideiglenes könyvtárak tisztítása
Három kapcsolódó profil is létezik, az alábbiak:
/etc/tmpfiles.d/*.conf
/run/tmpfiles.d/*.conf
/usr/lib/tmpfiles.d/*.conf
Használja az alábbi parancsot a tmpfile-ekhez kapcsolódó naplók megtekintéséhez:
TMP könyvtár a/usr/lib/tmpfiles.d/tmp.confA fájlkonfiguráció a következő ábrán látható:
# Ez a fájl a systemd része.
#
# systemd egy szabad szoftver; Újraterjesztheted és/vagy módosíthatod
# a GNU Kisebb Általános Közszolgálati Engedély feltételei szerint, amelyet a
# a Szabad Szoftver Alapítvány; vagy a licenc 2.1-es verziója, vagy
# (a te választásodon felül) bármilyen későbbi verzió.
# Részletekért lásd a tmpfiles.d(5) oldalt
# Tisztítsd meg külön a tmp könyvtárat, hogy könnyebb legyen felülírni őket
V /TMP 1777 gyökér 10d
v /var/tmp 1777 root 30d
# A névtér összeállítási pontok kizárása PrivateTmp=yes
x /tmp/systemd-private-%b-*
X /tmp/systemd-private-%b-*/tmp
x /var/tmp/systemd-private-%b-*
X /var/tmp/systemd-private-%b-*/tmp
1. megoldás
Módosítsuk a Kafka /config/server.properties konfigurációs fájlját, hogy módosítsuk a log.dirs konfigurációt, például:
2. megoldás
Hozzáadj egy kizárási könyvtárat és szerkesszd a fájlt: /usr/lib/tmpfiles.d/tmp.conf
(Vége)
|
Közzétéve 2021. 09. 22. 17:31:38
|
|
|
|
Közzétéve 2021. 09. 22. 19:51:17
|
Háziúr