Denne artikkelen er en speilartikkel om maskinoversettelse, vennligst klikk her for å hoppe til originalartikkelen.

Architect_Programmer_Code Landbruksnettverket»Arkitekt › Programmering › Teknisk prat › Under CentOS 7 henger Kafka ofte opp løsningen ...
Utsikt: 10663|Svare: 2

Under CentOS 7 henger Kafka ofte opp løsninger

[Kopier lenke]
Publisert på 22.09.2021 17:31:38 | | | |
Anmeldelse:

Kafka Windows-systemet henger seg opp etter å ha kjørt en periode
https://www.itsvse.com/thread-9984-1-1.html

Windows Kafka FEIL Klarte ikke å rydde loggen for __consumer_offsets
https://www.itsvse.com/thread-9980-1-1.html

Bruk følgende kommando for å sjekke Kafkas kjørestatus. Som følger:

Kafka.tjeneste
   Lastet: lastet (/usr/lib/systemd/system/kafka.service; Aktivert; leverandørforhåndsinnstilling: deaktivert)
   Aktiv: mislykket (Resultat: utgangskode) siden onsdag 2021-09-22 14:43:11 CST; 1 time 43 minutter siden
  Prosess: 7363 ExecStart=/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties (code=exited, status=1/FAILURE)
Hoved-PID: 7363 (kode=avsluttet, status=1/FEIL)

22. sep 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,295] ADVARSEL [ReplicaManager broker=1] Stopper å levere replikaer i dir /tmp/kafka-logs ( kafka.server.ReplicaManager)
22. sep 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,298] ADVARSEL [GroupCoordinator 1]: Mislykkedes i å skrive tomme metadata for gruppen KqBatchAna: Dette er ikke korrekt koordinator. (kafka.co... upCoordinator)
22. sep 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,303] INFO [ReplicaFetcherManager på megler 1] Fjernet fetcher for partisjoner HashSet(__consumer_offsets-22, __ consumer_offsets-30, ...-8, __consumer
22. sep 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,304] INFO [ReplicaAlterLogDirsManager på megler 1] Fjernet henteren for partisjoner HashSet(__consumer_ forskyvninger-22, __consumer_offsets... FSETS-8, __con
22. sep 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,378] ADVARSEL [ReplicaManager broker=1] Megler 1 stoppet henter for partisjoner __consumer_offsets-22,__ consumer_offsets-30,__consumer_... FSETS-21,__con
22. sep 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,379] ADVARSEL Stopper servering av logger i dir. /tmp/kafka-logs (kafka.log.LogManager)
22. sep 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,386] FEIL Nedstengningsmegler fordi alle loggfiler i /tmp/kafka-logs har feilet (kafka.log.LogManager)
22. sep 14:43:11 devops02 systemd[1]: kafka.service: hovedprosess avsluttet, kode=avsluttet, status=1/FEIL
22. sep 14:43:11 devops02 systemd[1]: Enhet kafka.service gikk inn i feiltilstand.
22. sep 14:43:11 devops02 systemd[1]: kafka.service feilet.
Hint: Some lines were ellipsized, use -l to show in full.



Gå til Kafka-loggkatalogen /usr/local/kafka/logs for å se server.log loggfilene, som følger:

[2021-09-22 14:43:11,286] ERROR Feil ved rulling av loggsegment for __consumer_offsets-8 i dir /tmp/kafka-logs (kafka.server.LogDirFailureChannel)
java.io.FileNotFoundException: /tmp/kafka-logs/__consumer_offsets-8/00000000000000000000.index (No such file or directory)
        på java.io.RandomAccessFile.open0(Native metode)
        på java.io.RandomAccessFile.open(RandomAccessFile.java:316)
        på java.io.RandomAccessFile. <init>(RandomAccessFile.java:243)
        på kafka.log.AbstractIndex.$anonfun$resize$1(AbstractIndex.scala:182)
        på kafka.log.AbstractIndex.resize(AbstractIndex.scala:175)
        på kafka.log.AbstractIndex.$anonfun$trimToValidSize$1(AbstractIndex.scala:241)
        på kafka.log.AbstractIndex.trimToValidSize(AbstractIndex.scala:241)
        på kafka.log.LogSegment.onBecomeInactiveSegment(LogSegment.scala:507)
        på kafka.log.Log.$anonfun$roll$8(Log.scala:2037)
        på kafka.log.Log.$anonfun$roll$8$adaptert(Log.scala:2037)
        På Scala. Option.foreach(Option.scala:437)
        på kafka.log.Log.$anonfun$roll$2(Log.scala:2037)
        på kafka.log.Log.roll(Log.scala:2453)
        på kafka.log.Log.maybeRoll(Log.scala:1988)
        på kafka.log.Log.append(Log.scala:1263)
        på kafka.log.Log.appendAsLeader(Log.scala:1112)
        på kafka.cluster.Partition.$anonfun$appendRecordsToLeader$1(Partition.scala:1069)
        på kafka.cluster.Partition.appendRecordsToLeader(Partition.scala:1057)
        på kafka.server.ReplicaManager.$anonfun$appendToLocalLog$6(ReplicaManager.scala:958)
        på scala.collection.Iterator$$anon$9.next(Iterator.scala:575)
        på scala.collection.mutable.Growable.addAll(Growable.scala:62)
        på scala.collection.mutable.Growable.addAll$(Growable.scala:57)
        på scala.collection.immutable.MapBuilderImpl.addAll(Map.scala:692)
        på scala.collection.immutable.Map$.from(Map.scala:643)
        på scala.collection.immutable.Map$.from(Map.scala:173)
        på scala.collection.MapOps.map(Map.scala:266)
        på scala.collection.MapOps.map$(Map.scala:266)
        på scala.collection.AbstractMap.map(Map.scala:372)
        på kafka.server.ReplicaManager.appendToLocalLog(ReplicaManager.scala:946)
        på kafka.server.ReplicaManager.appendRecords(ReplicaManager.scala:616)
        på kafka.coordinator.group.GroupMetadataManager.storeGroup(GroupMetadataManager.scala:325)
        på kafka.coordinator.group.GroupCoordinator.$anonfun$onCompleteJoin$1(GroupCoordinator.scala:1206)
        på kafka.coordinator.group.GroupMetadata.inLock(GroupMetadata.scala:227)
        på kafka.coordinator.group.GroupCoordinator.onCompleteJoin(GroupCoordinator.scala:1178)
        på kafka.coordinator.group.DelayedJoin.onComplete(DelayedJoin.scala:43)
        på kafka.server.DelayedOperation.forceComplete(DelayedOperation.scala:72)
        på kafka.coordinator.group.DelayedJoin.$anonfun$tryComplete$1(DelayedJoin.scala:38)
        på kafka.coordinator.group.GroupCoordinator.$anonfun$tryCompleteJoin$1(GroupCoordinator.scala:1172)
        at scala.runtime.java8.JFunction0$mcZ$sp.apply(JFunction0$mcZ$sp.scala:17)
        på kafka.coordinator.group.GroupMetadata.inLock(GroupMetadata.scala:227)
        på kafka.coordinator.group.GroupCoordinator.tryCompleteJoin(GroupCoordinator.scala:1171)
        på kafka.coordinator.group.DelayedJoin.tryComplete(DelayedJoin.scala:38)
        på kafka.server.DelayedOperation.safeTryCompleteOrElse(DelayedOperation.scala:110)
        på kafka.server.DelayedOperationPurgatory.tryCompleteElseWatch(DelayedOperation.scala:234)
        på kafka.coordinator.group.GroupCoordinator.prepareRebalanceRebalance(GroupCoordinator.scala:1144)
        på kafka.coordinator.group.GroupCoordinator.$anonfun$maybePrepareRebalance$1(GroupCoordinator.scala:1118)
        på scala.runtime.java8.JFunction0$mcV$sp.apply(JFunction0$mcV$sp.scala:18)
        på kafka.coordinator.group.GroupMetadata.inLock(GroupMetadata.scala:227)
        på kafka.coordinator.group.GroupCoordinator.maybePrepareRebalance(GroupCoordinator.scala:1117)
        på kafka.coordinator.group.GroupCoordinator.removeMemberAndUpdateGroup(GroupCoordinator.scala:1156)
        på kafka.coordinator.group.GroupCoordinator.$anonfun$handleLeaveGroup$3(GroupCoordinator.scala:498)
        på scala.collection.immutable.List.map(List.scala:246)
        på kafka.coordinator.group.GroupCoordinator.$anonfun$handleLeaveGroup$2(GroupCoordinator.scala:470)
        på scala.runtime.java8.JFunction0$mcV$sp.apply(JFunction0$mcV$sp.scala:18)
        på kafka.coordinator.group.GroupMetadata.inLock(GroupMetadata.scala:227)
        på kafka.coordinator.group.GroupCoordinator.handleLeaveGroup(GroupCoordinator.scala:467)
        på kafka.server.KafkaApis.handleLeaveGroupRequest(KafkaApis.scala:1659)
        på kafka.server.KafkaApis.handle(KafkaApis.scala:180)
        på kafka.server.KafkaRequestHandler.run(KafkaRequestHandler.scala:74)
        på java.lang.Thread.run(Thread.java:748)

Feilårsaker:Linux renser jevnlig filer i /tmp-mappen, Kafka-filmappen lagres som standard/tmp/kafka-logskatalogen, noe som gjør at den blir ryddet opp jevnlig, noe som resulterer i unormal programdrift.

Under CentOS 7 finnes det 3 systemtjenester relatert til opprydding:

systemd-tmpfiles-setup.service :Lag flyktige filer og kataloger
systemd-tmpfiles-setup-dev.service: Opprett statiske enhetsnoder i /dev
systemd-tmpfiles-clean.service : Opprydding av midlertidige kataloger

Det finnes også 3 relaterte profiler, som følger:

/etc/tmpfiles.d/*.conf
/run/tmpfiles.d/*.conf
/usr/lib/tmpfiles.d/*.conf

Bruk følgende kommando for å se loggene relatert til tmpfiles:



TMP-katalog i/usr/lib/tmpfiles.d/tmp.confFilkonfigurasjonen er som vist i følgende figur:

# Denne filen er en del av systemd.
#
# SystemD er fri programvare; Du kan distribuere det og/eller endre det
# under vilkårene i GNU Lesser General Public License som utgitt av
# Free Software Foundation; enten versjon 2.1 av lisensen, eller
# (etter eget valg) enhver senere versjon.

# Se tmpfiles.d(5) for detaljer

# Rydd tmp-kataloger separat, for å gjøre dem lettere å overstyre
v /tmp 1777 rotrot 10d
v /var/tmp 1777 rotrot 30d

# Ekskluder navneromsmonteringspunkter opprettet med PrivateTmp=yes
x /tmp/systemd-private-%b-*
X /tmp/systemd-private-%b-*/tmp
x /var/tmp/systemd-private-%b-*
X /var/tmp/systemd-private-%b-*/tmp



Løsning 1

Endre Kafkas konfigurasjonsfil /config/server.properties for å endre log.dirs-konfigurasjonen, for eksempel:



Løsning 2

Legg til en eksklusjonsmappe og rediger filen: /usr/lib/tmpfiles.d/tmp.conf


(Slutt)




Foregående:CentOS 7 installerer kjøretidsmiljøet med ASP.NET Core 3.1
Neste:NSLOOKUP-kommandoen ble kort introdusert

Relaterte innlegg
Publisert på 22.09.2021 19:51:17 |
Kom og lær igjen。。。。。
 Vert| Publisert på 07.02.2022 14:31:46 |
Sjekk ut kommandoen for oppryddingsloggen:


Feb 02 18:18:09 centos7-itsvse systemd[1]: Starter opprydding av midlertidige kataloger...
Feb 02 18:18:09 centos7-itsvse systemd[1]: Startet opprydding av midlertidige kataloger.
3. feb 18:19:09 centos7-itsvse systemd[1]: Starter opprydding av midlertidige kataloger...
03. feb 18:19:09 centos7-itsvse systemd[1]: Startet opprydding av midlertidige kataloger.
4. feb 18:20:09 centos7-itsvse systemd[1]: Starter opprydding av midlertidige kataloger...
4. feb 18:20:09 centos7-itsvse systemd[1]: Startet opprydding av midlertidige kataloger.
5. feb 18:21:09 centos7-itsvse systemd[1]: Starter opprydding av midlertidige kataloger...
5. feb 18:21:09 centos7-itsvse systemd[1]: Startet opprydding av midlertidige kataloger.
Feb 06 18:22:09 centos7-itsvse systemd[1]: Starter opprydding av midlertidige kataloger...
06. feb 18:22:09 centos7-itsvse systemd[1]: Startet opprydding av midlertidige kataloger.
Ansvarsfraskrivelse:
All programvare, programmeringsmateriell eller artikler publisert av Code Farmer Network er kun for lærings- og forskningsformål; Innholdet ovenfor skal ikke brukes til kommersielle eller ulovlige formål, ellers skal brukerne bære alle konsekvenser. Informasjonen på dette nettstedet kommer fra Internett, og opphavsrettstvister har ingenting med dette nettstedet å gjøre. Du må fullstendig slette innholdet ovenfor fra datamaskinen din innen 24 timer etter nedlasting. Hvis du liker programmet, vennligst støtt ekte programvare, kjøp registrering, og få bedre ekte tjenester. Hvis det foreligger noen krenkelse, vennligst kontakt oss på e-post.
Mail To:help@itsvse.com