Arvostelu:
Käytä seuraavaa komentoa tarkistaaksesi Kafkan suoritustilan. Seuraavasti:
kafka.service Ladattu: ladattu (/usr/lib/systemd/system/system/kafka.service; Käytössä; toimittajan esiasetus: pois päältä) Aktiivinen: epäonnistui (Tulos: exit-code) ke 2021-09-22 klo 14:43:11 CST; 1 tunti 43 minuuttia sitten Prosessi: 7363 ExecStart=/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties (code=exited, status=1/FAILURE) Pää-PID: 7363 (koodi=poistettu, tila=1/EPÄONNISTUMINEN)
22. syyskuuta 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,295] VAROITUS [ReplicaManager broker=1] Replikoiden tarjoaminen dir /tmp/kafka-logsissa ( kafka.server.ReplicaManager) 22. syyskuuta 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,298] VAROITUS [Ryhmäkoordinaattori 1]: Epäonnistui kirjoittamaan tyhjää metatietoa ryhmälle KqBatchAna: Tämä ei ole oikein koordinaattori. (kafka.co... upCoordinator) 22. syyskuuta 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,303] INFO [ReplicaFetcherManager välittäjä 1:ssä] Poistettu fetcher osioille HashSet(__consumer_offsets-22, __ consumer_offsets-30, ...-8, __consumer Sep 22 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,304] INFO [ReplicaAlterLogDirsManager välittäjä 1] Poistettu fetcher osioille HashSet(__consumer_ offsetit-22, __consumer_offsets... FSETS-8, __con 22. syyskuuta 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,378] VAROITUS [ReplicaManager välittäjä=1] Välittäjä 1 pysäytti hakutoiminnon osioille __consumer_offsets-22,__ consumer_offsets-30,__consumer_... fsets-21,__con 22. syyskuuta klo 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,379] VAROITUS Lokien tarjoaminen lopetetaan dir /tmp/kafka-logs -tilassa (kafka.log.LogManager) 22. syyskuuta klo 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,386] VIRHE Sammutusvälittäjä, koska kaikki lokin ohjaukset /tmp/kafka-logs ovat epäonnistuneet (kafka.log.LogManager) 22. syyskuuta 14:43:11 devops02 systemd[1]: kafka.service: pääprosessi poistettu, code=exited, status=1/FAILURE 22. syyskuuta 14:43:11 devops02 systemd[1]: Yksikkö kafka.service siirtyi epäonnistuneeksi tilaksi. 22. syyskuuta 14:43:11 devops02 systemd[1]: kafka.service epäonnistui.
Hint: Some lines were ellipsized, use -l to show in full.
Mene Kafka-lokihakemistoon: /usr/local/kafka/logs nähdäksesi server.log lokitiedostot seuraavasti:
[2021-09-22 14:43:11,286] ERROR Error Rolling log -segmentti __consumer_offsets-8:ssa dir /tmp/kafka-logs (kafka.server.LogDirFailureChannel)
java.io.FileNotFoundException: /tmp/kafka-logs/__consumer_offsets-8/00000000000000000000.index (No such file or directory) osoitteessa java.io.RandomAccessFile.open0 (Natiivimetodi) osoitteessa java.io.RandomAccessFile.open(RandomAccessFile.java:316) osoitteessa java.io.RandomAccessFile. <init>(RandomAccessFile.java:243) osoitteessa kafka.log.AbstractIndex.$anonfun$resize$1(AbstractIndex.scala:182) osoitteessa kafka.log.AbstractIndex.resize(AbstractIndex.scala:175) osoitteessa kafka.log.AbstractIndex.$anonfun$trimToValidSize$1(AbstractIndex.scala:241) osoitteessa kafka.log.AbstractIndex.trimToValidSize(AbstractIndex.scala:241) osoitteessa kafka.log.LogSegment.onBecomeInactiveSegment(LogSegment.scala:507) osoitteessa kafka.log.Log.$anonfun$roll$8(Log.scala:2037) osoitteessa kafka.log.Log.$anonfun$roll$8$adapted(Log.scala:2037) Scalassa. Option.foreach(Option.scala:437) osoitteessa kafka.log.Log.$anonfun$roll$2(Log.scala:2037) osoitteessa kafka.log.Log.roll (Log.scala:2453) osoitteessa kafka.log.Log.maybeRoll(Log.scala:1988) osoitteessa kafka.log.Log.append(Log.scala:1263) osoitteessa kafka.log.Log.appendAsLeader(Log.scala:1112) osoitteessa kafka.cluster.Partition.$anonfun$appendRecordsToLeader$1(Partition.scala:1069) osoitteessa kafka.cluster.Partition.appendRecordsToLeader(Partition.scala:1057) osoitteessa kafka.server.ReplicaManager.$anonfun$appendToLocalLog$6(ReplicaManager.scala:958) osoitteessa scala.collection.Iterator$$anon$9.next(Iterator.scala:575) osoitteessa scala.collection.mutable.Growable.addAll(Growable.scala:62) osoitteessa scala.collection.mutable.Growable.addAll$(Growable.scala:57) osoitteessa scala.collection.immutable.MapBuilderImpl.addAll(Map.scala:692) osoitteessa scala.collection.immutable.Map$.from(Map.scala:643) osoitteessa scala.collection.immutable.Map$.from(Map.scala:173) osoitteessa scala.collection.MapOps.map (Map.scala:266) osoitteessa scala.collection.MapOps.map$(Map.scala:266) osoitteessa scala.collection.AbstractMap.map (Map.scala:372) osoitteessa kafka.server.ReplicaManager.appendToLocalLog(ReplicaManager.scala:946) osoitteessa kafka.server.ReplicaManager.appendRecords(ReplicaManager.scala:616) osoitteessa kafka.coordinator.group.GroupMetadataManager.storeGroup(GroupMetadataManager.scala:325) osoitteessa kafka.coordinator.group.GroupCoordinator.$anonfun$onCompleteJoin$1(GroupCoordinator.scala:1206) osoitteessa kafka.coordinator.group.GroupMetadata.inLock(GroupMetadata.scala:227) osoitteessa kafka.coordinator.group.GroupCoordinator.onCompleteJoin (GroupCoordinator.scala:1178) osoitteessa kafka.coordinator.group.DelayedJoin.onComplete(DelayedJoin.scala:43) osoitteessa kafka.server.DelayedOperation.forceComplete(DelayedOperation.scala:72) osoitteessa kafka.coordinator.group.DelayedJoin.$anonfun$tryComplete$1(DelayedJoin.scala:38) osoitteessa kafka.coordinator.group.GroupCoordinator.$anonfun$tryCompleteJoin$1(GroupCoordinator.scala:1172) osoitteessa scala.runtime.java8.JFunction0$mcZ$sp.apply(JFunction0$mcZ$sp.scala:17) osoitteessa kafka.coordinator.group.GroupMetadata.inLock(GroupMetadata.scala:227) osoitteessa kafka.coordinator.group.GroupCoordinator.tryCompleteJoin (GroupCoordinator.scala:1171) osoitteessa kafka.coordinator.group.DelayedJoin.tryComplete(DelayedJoin.scala:38) osoitteessa kafka.server.DelayedOperation.safeTryCompleteOrElse(DelayedOperation.scala:110) osoitteessa kafka.server.DelayedOperationPurgatory.tryCompleteElseWatch(DelayedOperation.scala:234) osoitteessa kafka.coordinator.group.GroupCoordinator.prepareRebalance (GroupCoordinator.scala:1144) osoitteessa kafka.coordinator.group.GroupCoordinator.$anonfun$maybePrepareRebalance$1(GroupCoordinator.scala:1118) osoitteessa scala.runtime.java8.JFunction0$mcV$sp.apply(JFunction0$mcV$sp.scala:18) osoitteessa kafka.coordinator.group.GroupMetadata.inLock(GroupMetadata.scala:227) osoitteessa kafka.coordinator.group.GroupCoordinator.maybePrepareRebalance(GroupCoordinator.scala:1117) osoitteessa kafka.coordinator.group.GroupCoordinator.removeMemberAndUpdateGroup(GroupCoordinator.scala:1156) osoitteessa kafka.coordinator.group.GroupCoordinator.$anonfun$handleLeaveGroup$3(GroupCoordinator.scala:498) osoitteessa scala.collection.immutable.List.map (List.scala:246) osoitteessa kafka.coordinator.group.GroupCoordinator.$anonfun$handleLeaveGroup$2(GroupCoordinator.scala:470) osoitteessa scala.runtime.java8.JFunction0$mcV$sp.apply(JFunction0$mcV$sp.scala:18) osoitteessa kafka.coordinator.group.GroupMetadata.inLock(GroupMetadata.scala:227) osoitteessa kafka.coordinator.group.GroupCoordinator.handleLeaveGroup(GroupCoordinator.scala:467) osoitteessa kafka.server.KafkaApis.handleLeaveGroupRequest(KafkaApis.scala:1659) osoitteessa kafka.server.KafkaApis.handle(KafkaApis.scala:180) osoitteessa kafka.server.KafkaRequestHandler.run(KafkaRequestHandler.scala:74) java.lang.Thread.run(Thread.java:748) Virhe aiheuttaa:Linux puhdistaa säännöllisesti tiedostoja /tmp-hakemistossa, Kafka-tiedostohakemisto tallennetaan oletuksena/tmp/kafka-logskansio, mikä johti siihen, että sitä puhdistetaan säännöllisesti, mikä johtaa ohjelman epänormaaliin toimintaan.
CentOS 7:n alla on kolme siivoukseen liittyvää järjestelmäpalvelua:
systemd-tmpfiles-setup.service :Luo haihtuvia tiedostoja ja hakemistoja systemd-tmpfiles-setup-dev.service: Luo staattiset laitesolmut /dev systemd-tmpfiles-clean.service :Väliaikaisten hakemistojen puhdistus Lisäksi on kolme aiheeseen liittyvää profiilia, seuraavasti:
/etc/tmpfiles.d/*.conf
/run/tmpfiles.d/*.conf
/usr/lib/tmpfiles.d/*.conf Käytä seuraavaa komentoa nähdäksesi tmpfileihin liittyvät lokit:
TMP-hakemisto sisällä/usr/lib/tmpfiles.d/tmp.confTiedostojen kokoonpano on seuraavassa kuvassa esitetty:
# Tämä tiedosto on osa systemd:tä.
# # systemd on vapaa ohjelmisto; Voit jakaa sen uudelleen ja/tai muokata sitä # GNU Lesser General Public License -lisenssin ehtojen mukaisesti, jonka on julkaissut # Free Software Foundation; joko lisenssin versio 2.1, tai # (haluamallasi) mikä tahansa myöhempi versio.
# Katso tmpfiles.d(5) lisätietoja varten
# Tyhjennä TMP-hakemistot erikseen, jotta niiden ohittaminen on helpompaa V /TMP 1777 juuri 10d v /var/tmp 1777 juuri 30d
# Sulje pois nimiavaruuden liittämispisteet, jotka on luotu PrivateTmp=yes x /tmp/systemd-private-%b-* X /tmp/systemd-private-%b-*/tmp x /var/tmp/systemd-private-%b-* X /var/tmp/systemd-private-%b-*/tmp
Ratkaisu 1
Muokkaa Kafkan konfiguraatiotiedostoa /config/server.properties muuttaaksesi log.dirs-konfiguraatiota, esimerkiksi:
Ratkaisu 2
Lisää poissulkemishakemisto ja muokkaa tiedostoa: /usr/lib/tmpfiles.d/tmp.conf
(Loppu)
|