Tämä artikkeli on konekäännöksen peiliartikkeli, klikkaa tästä siirtyäksesi alkuperäiseen artikkeliin.

Näkymä: 10663|Vastaus: 2

CentOS 7:n alla Kafka usein lyö ratkaisuja pois

[Kopioi linkki]
Julkaistu 22.9.2021 17.31.38 | | | |
Arvostelu:

Kafka Windows -järjestelmä jumiutuu jonkin ajan käytön jälkeen
https://www.itsvse.com/thread-9984-1-1.html

Windows Kafka ERROR Ei onnistunut puhdistamaan lokia __consumer_offsets
https://www.itsvse.com/thread-9980-1-1.html

Käytä seuraavaa komentoa tarkistaaksesi Kafkan suoritustilan. Seuraavasti:

kafka.service
   Ladattu: ladattu (/usr/lib/systemd/system/system/kafka.service; Käytössä; toimittajan esiasetus: pois päältä)
   Aktiivinen: epäonnistui (Tulos: exit-code) ke 2021-09-22 klo 14:43:11 CST; 1 tunti 43 minuuttia sitten
  Prosessi: 7363 ExecStart=/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties (code=exited, status=1/FAILURE)
Pää-PID: 7363 (koodi=poistettu, tila=1/EPÄONNISTUMINEN)

22. syyskuuta 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,295] VAROITUS [ReplicaManager broker=1] Replikoiden tarjoaminen dir /tmp/kafka-logsissa ( kafka.server.ReplicaManager)
22. syyskuuta 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,298] VAROITUS [Ryhmäkoordinaattori 1]: Epäonnistui kirjoittamaan tyhjää metatietoa ryhmälle KqBatchAna: Tämä ei ole oikein koordinaattori. (kafka.co... upCoordinator)
22. syyskuuta 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,303] INFO [ReplicaFetcherManager välittäjä 1:ssä] Poistettu fetcher osioille HashSet(__consumer_offsets-22, __ consumer_offsets-30, ...-8, __consumer
Sep 22 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,304] INFO [ReplicaAlterLogDirsManager välittäjä 1] Poistettu fetcher osioille HashSet(__consumer_ offsetit-22, __consumer_offsets... FSETS-8, __con
22. syyskuuta 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,378] VAROITUS [ReplicaManager välittäjä=1] Välittäjä 1 pysäytti hakutoiminnon osioille __consumer_offsets-22,__ consumer_offsets-30,__consumer_... fsets-21,__con
22. syyskuuta klo 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,379] VAROITUS Lokien tarjoaminen lopetetaan dir /tmp/kafka-logs -tilassa (kafka.log.LogManager)
22. syyskuuta klo 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,386] VIRHE Sammutusvälittäjä, koska kaikki lokin ohjaukset /tmp/kafka-logs ovat epäonnistuneet (kafka.log.LogManager)
22. syyskuuta 14:43:11 devops02 systemd[1]: kafka.service: pääprosessi poistettu, code=exited, status=1/FAILURE
22. syyskuuta 14:43:11 devops02 systemd[1]: Yksikkö kafka.service siirtyi epäonnistuneeksi tilaksi.
22. syyskuuta 14:43:11 devops02 systemd[1]: kafka.service epäonnistui.
Hint: Some lines were ellipsized, use -l to show in full.



Mene Kafka-lokihakemistoon: /usr/local/kafka/logs nähdäksesi server.log lokitiedostot seuraavasti:

[2021-09-22 14:43:11,286] ERROR Error Rolling log -segmentti __consumer_offsets-8:ssa dir /tmp/kafka-logs (kafka.server.LogDirFailureChannel)
java.io.FileNotFoundException: /tmp/kafka-logs/__consumer_offsets-8/00000000000000000000.index (No such file or directory)
        osoitteessa java.io.RandomAccessFile.open0 (Natiivimetodi)
        osoitteessa java.io.RandomAccessFile.open(RandomAccessFile.java:316)
        osoitteessa java.io.RandomAccessFile. <init>(RandomAccessFile.java:243)
        osoitteessa kafka.log.AbstractIndex.$anonfun$resize$1(AbstractIndex.scala:182)
        osoitteessa kafka.log.AbstractIndex.resize(AbstractIndex.scala:175)
        osoitteessa kafka.log.AbstractIndex.$anonfun$trimToValidSize$1(AbstractIndex.scala:241)
        osoitteessa kafka.log.AbstractIndex.trimToValidSize(AbstractIndex.scala:241)
        osoitteessa kafka.log.LogSegment.onBecomeInactiveSegment(LogSegment.scala:507)
        osoitteessa kafka.log.Log.$anonfun$roll$8(Log.scala:2037)
        osoitteessa kafka.log.Log.$anonfun$roll$8$adapted(Log.scala:2037)
        Scalassa. Option.foreach(Option.scala:437)
        osoitteessa kafka.log.Log.$anonfun$roll$2(Log.scala:2037)
        osoitteessa kafka.log.Log.roll (Log.scala:2453)
        osoitteessa kafka.log.Log.maybeRoll(Log.scala:1988)
        osoitteessa kafka.log.Log.append(Log.scala:1263)
        osoitteessa kafka.log.Log.appendAsLeader(Log.scala:1112)
        osoitteessa kafka.cluster.Partition.$anonfun$appendRecordsToLeader$1(Partition.scala:1069)
        osoitteessa kafka.cluster.Partition.appendRecordsToLeader(Partition.scala:1057)
        osoitteessa kafka.server.ReplicaManager.$anonfun$appendToLocalLog$6(ReplicaManager.scala:958)
        osoitteessa scala.collection.Iterator$$anon$9.next(Iterator.scala:575)
        osoitteessa scala.collection.mutable.Growable.addAll(Growable.scala:62)
        osoitteessa scala.collection.mutable.Growable.addAll$(Growable.scala:57)
        osoitteessa scala.collection.immutable.MapBuilderImpl.addAll(Map.scala:692)
        osoitteessa scala.collection.immutable.Map$.from(Map.scala:643)
        osoitteessa scala.collection.immutable.Map$.from(Map.scala:173)
        osoitteessa scala.collection.MapOps.map (Map.scala:266)
        osoitteessa scala.collection.MapOps.map$(Map.scala:266)
        osoitteessa scala.collection.AbstractMap.map (Map.scala:372)
        osoitteessa kafka.server.ReplicaManager.appendToLocalLog(ReplicaManager.scala:946)
        osoitteessa kafka.server.ReplicaManager.appendRecords(ReplicaManager.scala:616)
        osoitteessa kafka.coordinator.group.GroupMetadataManager.storeGroup(GroupMetadataManager.scala:325)
        osoitteessa kafka.coordinator.group.GroupCoordinator.$anonfun$onCompleteJoin$1(GroupCoordinator.scala:1206)
        osoitteessa kafka.coordinator.group.GroupMetadata.inLock(GroupMetadata.scala:227)
        osoitteessa kafka.coordinator.group.GroupCoordinator.onCompleteJoin (GroupCoordinator.scala:1178)
        osoitteessa kafka.coordinator.group.DelayedJoin.onComplete(DelayedJoin.scala:43)
        osoitteessa kafka.server.DelayedOperation.forceComplete(DelayedOperation.scala:72)
        osoitteessa kafka.coordinator.group.DelayedJoin.$anonfun$tryComplete$1(DelayedJoin.scala:38)
        osoitteessa kafka.coordinator.group.GroupCoordinator.$anonfun$tryCompleteJoin$1(GroupCoordinator.scala:1172)
        osoitteessa scala.runtime.java8.JFunction0$mcZ$sp.apply(JFunction0$mcZ$sp.scala:17)
        osoitteessa kafka.coordinator.group.GroupMetadata.inLock(GroupMetadata.scala:227)
        osoitteessa kafka.coordinator.group.GroupCoordinator.tryCompleteJoin (GroupCoordinator.scala:1171)
        osoitteessa kafka.coordinator.group.DelayedJoin.tryComplete(DelayedJoin.scala:38)
        osoitteessa kafka.server.DelayedOperation.safeTryCompleteOrElse(DelayedOperation.scala:110)
        osoitteessa kafka.server.DelayedOperationPurgatory.tryCompleteElseWatch(DelayedOperation.scala:234)
        osoitteessa kafka.coordinator.group.GroupCoordinator.prepareRebalance (GroupCoordinator.scala:1144)
        osoitteessa kafka.coordinator.group.GroupCoordinator.$anonfun$maybePrepareRebalance$1(GroupCoordinator.scala:1118)
        osoitteessa scala.runtime.java8.JFunction0$mcV$sp.apply(JFunction0$mcV$sp.scala:18)
        osoitteessa kafka.coordinator.group.GroupMetadata.inLock(GroupMetadata.scala:227)
        osoitteessa kafka.coordinator.group.GroupCoordinator.maybePrepareRebalance(GroupCoordinator.scala:1117)
        osoitteessa kafka.coordinator.group.GroupCoordinator.removeMemberAndUpdateGroup(GroupCoordinator.scala:1156)
        osoitteessa kafka.coordinator.group.GroupCoordinator.$anonfun$handleLeaveGroup$3(GroupCoordinator.scala:498)
        osoitteessa scala.collection.immutable.List.map (List.scala:246)
        osoitteessa kafka.coordinator.group.GroupCoordinator.$anonfun$handleLeaveGroup$2(GroupCoordinator.scala:470)
        osoitteessa scala.runtime.java8.JFunction0$mcV$sp.apply(JFunction0$mcV$sp.scala:18)
        osoitteessa kafka.coordinator.group.GroupMetadata.inLock(GroupMetadata.scala:227)
        osoitteessa kafka.coordinator.group.GroupCoordinator.handleLeaveGroup(GroupCoordinator.scala:467)
        osoitteessa kafka.server.KafkaApis.handleLeaveGroupRequest(KafkaApis.scala:1659)
        osoitteessa kafka.server.KafkaApis.handle(KafkaApis.scala:180)
        osoitteessa kafka.server.KafkaRequestHandler.run(KafkaRequestHandler.scala:74)
        java.lang.Thread.run(Thread.java:748)

Virhe aiheuttaa:Linux puhdistaa säännöllisesti tiedostoja /tmp-hakemistossa, Kafka-tiedostohakemisto tallennetaan oletuksena/tmp/kafka-logskansio, mikä johti siihen, että sitä puhdistetaan säännöllisesti, mikä johtaa ohjelman epänormaaliin toimintaan.

CentOS 7:n alla on kolme siivoukseen liittyvää järjestelmäpalvelua:

systemd-tmpfiles-setup.service :Luo haihtuvia tiedostoja ja hakemistoja
systemd-tmpfiles-setup-dev.service: Luo staattiset laitesolmut /dev
systemd-tmpfiles-clean.service :Väliaikaisten hakemistojen puhdistus

Lisäksi on kolme aiheeseen liittyvää profiilia, seuraavasti:

/etc/tmpfiles.d/*.conf
/run/tmpfiles.d/*.conf
/usr/lib/tmpfiles.d/*.conf

Käytä seuraavaa komentoa nähdäksesi tmpfileihin liittyvät lokit:



TMP-hakemisto sisällä/usr/lib/tmpfiles.d/tmp.confTiedostojen kokoonpano on seuraavassa kuvassa esitetty:

# Tämä tiedosto on osa systemd:tä.
#
# systemd on vapaa ohjelmisto; Voit jakaa sen uudelleen ja/tai muokata sitä
# GNU Lesser General Public License -lisenssin ehtojen mukaisesti, jonka on julkaissut
# Free Software Foundation; joko lisenssin versio 2.1, tai
# (haluamallasi) mikä tahansa myöhempi versio.

# Katso tmpfiles.d(5) lisätietoja varten

# Tyhjennä TMP-hakemistot erikseen, jotta niiden ohittaminen on helpompaa
V /TMP 1777 juuri 10d
v /var/tmp 1777 juuri 30d

# Sulje pois nimiavaruuden liittämispisteet, jotka on luotu PrivateTmp=yes
x /tmp/systemd-private-%b-*
X /tmp/systemd-private-%b-*/tmp
x /var/tmp/systemd-private-%b-*
X /var/tmp/systemd-private-%b-*/tmp



Ratkaisu 1

Muokkaa Kafkan konfiguraatiotiedostoa /config/server.properties muuttaaksesi log.dirs-konfiguraatiota, esimerkiksi:



Ratkaisu 2

Lisää poissulkemishakemisto ja muokkaa tiedostoa: /usr/lib/tmpfiles.d/tmp.conf


(Loppu)




Edellinen:CentOS 7 asentaa ajonaikaisen ympäristön ASP.NET Core 3.1:llä
Seuraava:nslookup-komento esiteltiin lyhyesti
Julkaistu 22.9.2021 19.51.17 |
Tule ja opi uudelleen。。。。。
 Vuokraisäntä| Julkaistu 7.2.2022 14.31.46 |
Katso puhdistuslokin komento:


2. helmikuuta 18:18:09 centos7-itsvse systemd[1]: Aloitetaan väliaikaisten hakemistojen siivous...
2. helmikuuta klo 18:18:09 centos7-itsvse systemd[1]: Aloitettiin väliaikaisten hakemistojen siivous.
3. helmikuuta klo 18:19:09 centos7-itsvse systemd[1]: Aloitetaan väliaikaisten hakemistojen siivous...
3. helmikuuta klo 18:19:09 centos7-itsvse systemd[1]: Aloitettiin väliaikaisten hakemistojen siivous.
4. helmikuuta klo 18:20:09 centos7-itsvse systemd[1]: Aloitetaan väliaikaisten hakemistojen siivous...
4. helmikuuta klo 18:20:09 centos7-itsvse systemd[1]: Aloitettiin väliaikaisten hakemistojen siivous.
5. helmikuuta klo 18:21:09 centos7-itsvse systemd[1]: Aloitetaan väliaikaisten hakemistojen siivous...
5. helmikuuta klo 18:21:09 centos7-itsvse systemd[1]: Aloitettiin väliaikaisten hakemistojen siivous.
6. helmikuuta 18:22:09 centos7-itsvse systemd[1]: Aloitetaan väliaikaisten hakemistojen siivous...
6. helmikuuta klo 18:22:09 centos7-itsvse systemd[1]: Aloitettiin väliaikaisten hakemistojen siivous.
Vastuuvapauslauseke:
Kaikki Code Farmer Networkin julkaisemat ohjelmistot, ohjelmamateriaalit tai artikkelit ovat tarkoitettu vain oppimis- ja tutkimustarkoituksiin; Yllä mainittua sisältöä ei saa käyttää kaupallisiin tai laittomiin tarkoituksiin, muuten käyttäjät joutuvat kantamaan kaikki seuraukset. Tämän sivuston tiedot ovat peräisin internetistä, eikä tekijänoikeuskiistat liity tähän sivustoon. Sinun tulee poistaa yllä oleva sisältö kokonaan tietokoneeltasi 24 tunnin kuluessa lataamisesta. Jos pidät ohjelmasta, tue aitoa ohjelmistoa, osta rekisteröityminen ja hanki parempia aitoja palveluita. Jos rikkomuksia ilmenee, ota meihin yhteyttä sähköpostitse.

Mail To:help@itsvse.com