Recension:
Använd följande kommando för att kontrollera Kafkas körstatus. Följande följer:
Kafka.tjänst
Laddad: laddad (/usr/lib/systemd/system/kafka.service; Aktiverat; leverantörsinställning: inaktiverad)
Aktiv: misslyckades (Resultat: utgångskod) sedan ons 2021-09-22 14:43:11 CST; 1 timme 43 minuter sedan
Process: 7363 ExecStart=/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties (code=exited, status=1/FAILURE)
Huvud-PID: 7363 (kod=avstängd, status=1/FEL)
22 sep 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,295] VARNING [ReplicaManager broker=1] Stoppar servering av replikor i dir/tmp/kafka-logs ( kafka.server.ReplicaManager)
22 sep 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,298] VARNING [GroupCoordinator 1]: Misslyckades med att skriva tom metadata för gruppen KqBatchAna: Detta är inte korrekt samordnare. (kafka.co... upCoordinator)
22 sep 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,303] INFO [ReplicaFetcherManager på mäklare 1] Tog bort hämtaren för partitioner HashSet(__consumer_offsets-22, __ consumer_offsets-30, ...-8, __consumer
22 sep 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,304] INFO [ReplicaAlterLogDirsManager på mäklare 1] Tog bort hämtaren för partitioner HashSet(__consumer_ offset-22, __consumer_offsets... FSETS-8, __con
22 sep 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,378] VARNING [ReplicaManager broker=1] Broker 1 stoppade hämtare för partitioner __consumer_offsets-22,__ consumer_offsets-30,__consumer_... fsets-21,__con
22 sep 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,379] VARNING Stoppar servering av loggar i dir/tmp/kafka-logs (kafka.log.LogManager)
22 sep 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,386] FEL Avstängningsmäklare eftersom alla loggfiler i /tmp/kafka-loggar har misslyckats (kafka.log.LogManager)
22 sep 14:43:11 devops02 systemd[1]: kafka.service: huvudprocess avslutad, code=avslutad, status=1/FAILURE
22 sep 14:43:11 devops02 systemd[1]: Enhet kafka.service gick in i feltillstånd.
22 sep 14:43:11 devops02 systemd[1]: kafka.service misslyckades.
Hint: Some lines were ellipsized, use -l to show in full.
Gå till Kafkas loggkatalog /usr/local/kafka/logs för att se de server.log loggfilerna, enligt följande:
[2021-09-22 14:43:11,286] ERROR-fel vid rullning av loggsegment för __consumer_offsets-8 i dir/tmp/kafka-logs (kafka.server.LogDirFailureChannel)
java.io.FileNotFoundException: /tmp/kafka-logs/__consumer_offsets-8/00000000000000000000.index (No such file or directory)
på java.io.RandomAccessFile.open0(Native Method)
på java.io.RandomAccessFile.open(RandomAccessFile.java:316)
på java.io.RandomAccessFile. <init>(RandomAccessFile.java:243)
på kafka.log.AbstractIndex.$anonfun$resize$1(AbstractIndex.scala:182)
på kafka.log.AbstractIndex.resize(AbstractIndex.scala:175)
på kafka.log.AbstractIndex.$anonfun$trimToValidSize$1(AbstractIndex.scala:241)
på kafka.log.AbstractIndex.trimToValidSize(AbstractIndex.scala:241)
på kafka.log.LogSegment.onBecomeInactiveSegment(LogSegment.scala:507)
på kafka.log.Log.$anonfun$roll$8(Log.scala:2037)
på kafka.log.Log.$anonfun$roll$8$adapted(Log.scala:2037)
På Scala. Option.foreach(Option.scala:437)
på kafka.log.Log.$anonfun$roll$2(Log.scala:2037)
på kafka.log.Log.roll(Log.scala:2453)
på kafka.log.Log.maybeRoll(Log.scala:1988)
på kafka.log.Log.append(Log.scala:1263)
på kafka.log.Log.appendAsLeader(Log.scala:1112)
på kafka.cluster.Partition.$anonfun$appendRecordsToLeader$1(Partition.scala:1069)
på kafka.cluster.Partition.appendRecordsToLeader (Partition.scala:1057)
på kafka.server.ReplicaManager.$anonfun$appendToLocalLog$6(ReplicaManager.scala:958)
på scala.collection.Iterator$$anon$9.next(Iterator.scala:575)
på scala.collection.mutable.Growable.addAll(Growable.scala:62)
på scala.collection.mutable.Growable.addAll$(Growable.scala:57)
på scala.collection.immutable.MapBuilderImpl.addAll(Map.scala:692)
på scala.collection.immutable.Map$.from(Map.scala:643)
på scala.collection.immutable.Map$.from(Map.scala:173)
på scala.collection.MapOps.map(Map.scala:266)
på scala.collection.MapOps.map$(Map.scala:266)
på scala.collection.AbstractMap.map(Map.scala:372)
på kafka.server.ReplicaManager.appendToLocalLog(ReplicaManager.scala:946)
på kafka.server.ReplicaManager.appendRecords(ReplicaManager.scala:616)
på kafka.coordinator.group.GroupMetadataManager.storeGroup(GroupMetadataManager.scala:325)
på kafka.coordinator.group.GroupCoordinator.$anonfun$onCompleteJoin$1(GroupCoordinator.scala:1206)
på kafka.coordinator.group.GroupMetadata.inLock(GroupMetadata.scala:227)
på kafka.coordinator.group.GroupCoordinator.onCompleteJoin(GroupCoordinator.scala:1178)
på kafka.coordinator.group.DelayedJoin.onComplete(DelayedJoin.scala:43)
på kafka.server.DelayedOperation.forceComplete(DelayedOperation.scala:72)
på kafka.coordinator.group.DelayedJoin.$anonfun$tryComplete$1(DelayedJoin.scala:38)
på kafka.coordinator.group.GroupCoordinator.$anonfun$tryCompleteJoin$1(GroupCoordinator.scala:1172)
på scala.runtime.java8.JFunction0$mcZ$sp.apply(JFunction0$mcZ$sp.scala:17)
på kafka.coordinator.group.GroupMetadata.inLock(GroupMetadata.scala:227)
på kafka.coordinator.group.GroupCoordinator.tryCompleteJoin(GroupCoordinator.scala:1171)
på kafka.coordinator.group.DelayedJoin.tryComplete(DelayedJoin.scala:38)
på kafka.server.DelayedOperation.safeTryCompleteOrElse(DelayedOperation.scala:110)
på kafka.server.DelayedOperationPurgatory.tryCompleteElseWatch(DelayedOperation.scala:234)
på kafka.coordinator.group.GroupCoordinator.prepareRebalance(GroupCoordinator.scala:1144)
på kafka.coordinator.group.GroupCoordinator.$anonfun$maybePrepareRebalance$1(GroupCoordinator.scala:1118)
på scala.runtime.java8.JFunction0$mcV$sp.apply(JFunction0$mcV$sp.scala:18)
på kafka.coordinator.group.GroupMetadata.inLock(GroupMetadata.scala:227)
på kafka.coordinator.group.GroupCoordinator.maybePreparerebalance(GroupCoordinator.scala:1117)
på kafka.coordinator.group.GroupCoordinator.removeMemberAndUpdateGroup(GroupCoordinator.scala:1156)
på kafka.coordinator.group.GroupCoordinator.$anonfun$handleLeaveGroup$3(GroupCoordinator.scala:498)
på scala.collection.immutable.List.map(List.scala:246)
på kafka.coordinator.group.GroupCoordinator.$anonfun$handleLeaveGroup$2(GroupCoordinator.scala:470)
på scala.runtime.java8.JFunction0$mcV$sp.apply(JFunction0$mcV$sp.scala:18)
på kafka.coordinator.group.GroupMetadata.inLock(GroupMetadata.scala:227)
på kafka.coordinator.group.GroupCoordinator.handleLeaveGroup(GroupCoordinator.scala:467)
på kafka.server.KafkaApis.handleLeaveGroupRequest(KafkaApis.scala:1659)
på kafka.server.KafkaApis.handle(KafkaApis.scala:180)
på kafka.server.KafkaRequestHandler.run(KafkaRequestHandler.scala:74)
på java.lang.Thread.run(Thread.java:748)
Felorsaker:Linux rensar regelbundet filer i /tmp-katalogen, arkivmappen Kafka lagras som standard/tmp/kafka-logskatalogen, vilket gör att den rensas regelbundet, vilket resulterar i onormal programfunktion.
Under CentOS 7 finns det tre systemtjänster relaterade till sanering:
systemd-tmpfiles-setup.service :Skapa flyktiga filer och kataloger
systemd-tmpfiles-setup-dev.service: Skapa statiska enhetsnoder i /dev
systemd-tmpfiles-clean.service :Rensning av tillfälliga kataloger
Det finns också tre relaterade profiler, enligt följande:
/etc/tmpfiles.d/*.conf
/run/tmpfiles.d/*.conf
/usr/lib/tmpfiles.d/*.conf
Använd följande kommando för att se loggarna relaterade till tmpfiles:
TMP-katalogen i/usr/lib/tmpfiles.d/tmp.confFilkonfigurationen är som visas i följande figur:
# Den här filen är en del av systemd.
#
# SystemD är fri programvara; Du kan distribuera det och/eller ändra det
# enligt villkoren i GNU Lesser General Public License som publiceras av
# Free Software Foundation; antingen version 2.1 av licensen, eller
# (på ditt val) någon senare version.
# Se tmpfiles.d(5) för detaljer
# Rensa tmp-kataloger separat, för att göra dem lättare att åsidosätta dem
v /tmp 1777 rotrot 10d
v /var/tmp 1777 rot 30d
# Exkludera namnrymdsmonteringspunkter skapade med PrivateTmp=ja
x /tmp/systemd-private-%b-*
X /tmp/systemd-private-%b-*/tmp
x /var/tmp/systemd-private-%b-*
X /var/tmp/systemd-private-%b-*/tmp
Lösning 1
Modifiera Kafkas konfigurationsfil /config/server.properties för att ändra log.dirs-konfigurationen, till exempel:
Lösning 2
Lägg till en exklusionskatalog och redigera filen: /usr/lib/tmpfiles.d/tmp.conf
(Slut)
|
Publicerad på 2021-09-22 17:31:38
|
|
|
|
Publicerad på 2021-09-22 19:51:17
|
Hyresvärd