Denne artikel er en spejling af maskinoversættelse, klik venligst her for at springe til den oprindelige artikel.

Architect_Programmer_Code Landbrugsnetværk»Arkitekt › Programmering › Teknisk chat › Under CentOS 7 lægger Kafka ofte løsningen på hylden ...
Udsigt: 10663|Svar: 2

Under CentOS 7 lægger Kafka ofte løsningerne på hylden

[Kopier link]
Opslået på 22/09/2021 17.31.38 | | | |
Anmeldelse:

Kafka Windows-systemet vil gå i stå efter at have kørt i en periode
https://www.itsvse.com/thread-9984-1-1.html

Windows Kafka FEJL Kunne ikke rydde op i logbogen for __consumer_offsets
https://www.itsvse.com/thread-9980-1-1.html

Brug følgende kommando til at tjekke Kafka-kørselsstatus. Som følger:

Kafka.service
   Indlæst: indlæst (/usr/lib/systemd/system/kafka.service; Aktiveret; Leverandørindstilling: deaktiveret)
   Aktiv: fejlet (Resultat: udgangskode) siden onsdag 2021-09-22 kl. 14:43:11 CST; 1 time 43 minutter siden
  Proces: 7363 ExecStart=/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties (code=exited, status=1/FAILURE)
Hoved-PID: 7363 (kode=afsluttet, status=1/FEJL)

22. sep 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,295] ADVARSEL [ReplicaManager broker=1] Stop med at levere replikaer i leder /tmp/kafka-logs ( kafka.server.ReplicaManager)
22. sep 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,298] ADVARSEL [GroupCoordinator 1]: Fejlede i at skrive tomme metadata for gruppen KqBatchAna: Dette er ikke korrekt koordinator. (kafka.co... upCoordinator)
22. sep 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,303] INFO [ReplicaFetcherManager på broker 1] Fjernede fetcher for partitioner HashSet(__consumer_offsets-22, __ consumer_offsets-30, ...-8, __consumer
22. sep 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,304] INFO [ReplicaAlterLogDirsManager på broker 1] Fjernede fetcher for partitioner HashSet(__consumer_ offsets-22, __consumer_offsets... FSETS-8, __con
22. sep 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,378] ADVARSEL [ReplicaManager broker=1] Broker 1 stoppede hentning for partitioner __consumer_offsets-22,__ consumer_offsets-30.__consumer_... fsets-21,__con
22. sep 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,379] ADVARSEL Stop med at servere logs i dir. /tmp/kafka-logs (kafka.log.LogManager)
22. sep 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,386] FEJL Nedlukningsmægler fordi alle logfiler i /tmp/kafka-logs er fejlet (kafka.log.LogManager)
22. sep 14:43:11 devops02 systemd[1]: kafka.service: hovedprocessen afsluttet, kode=afsluttet, status=1/FEJL
22. sep 14:43:11 devops02 systemd[1]: Enhed kafka.service gik i fejltilstand.
22. sep 14:43:11 devops02 systemd[1]: kafka.service fejlede.
Hint: Some lines were ellipsized, use -l to show in full.



Gå til Kafka-logmappen /usr/local/kafka/logs for at se de server.log logfiler som følger:

[2021-09-22 14:43:11,286] ERROR-fejl under rulning af logsegment for __consumer_offsets-8 i dir/tmp/kafka-logs (kafka.server.LogDirFailureChannel)
java.io.FileNotFoundException: /tmp/kafka-logs/__consumer_offsets-8/00000000000000000000.index (No such file or directory)
        på java.io.RandomAccessFile.open0(Native metode)
        på java.io.RandomAccessFile.open(RandomAccessFile.java:316)
        på java.io.RandomAccessFile. <init>(RandomAccessFile.java:243)
        på kafka.log.AbstractIndex.$anonfun$resize$1(AbstractIndex.scala:182)
        på kafka.log.AbstractIndex.resize(AbstractIndex.scala:175)
        på kafka.log.AbstractIndex.$anonfun$trimToValidSize$1(AbstractIndex.scala:241)
        på kafka.log.AbstractIndex.trimToValidSize(AbstractIndex.scala:241)
        på kafka.log.LogSegment.onBecomeInactiveSegment(LogSegment.scala:507)
        på kafka.log.Log.$anonfun$roll$8(Log.scala:2037)
        på kafka.log.Log.$anonfun$roll$8$adaptered(Log.scala:2037)
        På Scala. Option.foreach(Option.scala:437)
        på kafka.log.Log.$anonfun$roll$2(Log.scala:2037)
        på kafka.log.Log.roll(Log.scala:2453)
        på kafka.log.Log.maybeRoll(Log.scala:1988)
        på kafka.log.Log.append(Log.scala:1263)
        på kafka.log.Log.appendAsLeader(Log.scala:1112)
        på kafka.cluster.Partition.$anonfun$appendRecordsToLeader$1(Partition.scala:1069)
        på kafka.cluster.Partition.appendRecordsToLeader(Partition.scala:1057)
        at kafka.server.ReplicaManager.$anonfun$appendToLocalLog$6(ReplicaManager.scala:958)
        på scala.collection.Iterator$$anon$9.next(Iterator.scala:575)
        på scala.collection.mutable.Growable.addAll(Growable.scala:62)
        på scala.collection.mutable.Growable.addAll$(Growable.scala:57)
        på scala.collection.immutable.MapBuilderImpl.addAll(Map.scala:692)
        på scala.collection.immutable.Map$.from(Map.scala:643)
        på scala.collection.immutable.Map$.from(Map.scala:173)
        på scala.collection.MapOps.map(Map.scala:266)
        på scala.collection.MapOps.map$(Map.scala:266)
        på scala.collection.AbstractMap.map(Map.scala:372)
        på kafka.server.ReplicaManager.appendToLocalLog(ReplicaManager.scala:946)
        på kafka.server.ReplicaManager.appendRecords(ReplicaManager.scala:616)
        på kafka.coordinator.group.GroupMetadataManager.storeGroup(GroupMetadataManager.scala:325)
        på kafka.coordinator.group.GroupCoordinator.$anonfun$onCompleteJoin$1(GroupCoordinator.scala:1206)
        på kafka.coordinator.group.GroupMetadata.inLock(GroupMetadata.scala:227)
        på kafka.coordinator.group.GroupCoordinator.onCompleteJoin(GroupCoordinator.scala:1178)
        på kafka.coordinator.group.DelayedJoin.onComplete(DelayedJoin.scala:43)
        på kafka.server.DelayedOperation.forceComplete(DelayedOperation.scala:72)
        på kafka.coordinator.group.DelayedJoin.$anonfun$tryComplete$1(DelayedJoin.scala:38)
        på kafka.coordinator.group.GroupCoordinator.$anonfun$tryCompleteJoin$1(GroupCoordinator.scala:1172)
        på scala.runtime.java8.JFunction0$mcZ$sp.apply(JFunction0$mcZ$sp.scala:17)
        på kafka.coordinator.group.GroupMetadata.inLock(GroupMetadata.scala:227)
        på kafka.coordinator.group.GroupCoordinator.tryCompleteJoin(GroupCoordinator.scala:1171)
        på kafka.coordinator.group.DelayedJoin.tryComplete(DelayedJoin.scala:38)
        på kafka.server.DelayedOperation.safeTryCompleteOrElse(DelayedOperation.scala:110)
        på kafka.server.DelayedOperationPurgatory.tryCompleteElseWatch(DelayedOperation.scala:234)
        på kafka.coordinator.group.GroupCoordinator.prepareRebalance(GroupCoordinator.scala:1144)
        på kafka.coordinator.group.GroupCoordinator.$anonfun$maybePrepareRebalance$1(GroupCoordinator.scala:1118)
        på scala.runtime.java8.JFunction0$mcV$sp.apply(JFunction0$mcV$sp.scala:18)
        på kafka.coordinator.group.GroupMetadata.inLock(GroupMetadata.scala:227)
        på kafka.coordinator.group.GroupCoordinator.maybePreparerebalance(GroupCoordinator.scala:1117)
        på kafka.coordinator.group.GroupCoordinator.removeMemberAndUpdateGroup(GroupCoordinator.scala:1156)
        på kafka.coordinator.group.GroupCoordinator.$anonfun$handleLeaveGroup$3(GroupCoordinator.scala:498)
        på scala.collection.immutable.List.map(List.scala:246)
        på kafka.coordinator.group.GroupCoordinator.$anonfun$handleLeaveGroup$2(GroupCoordinator.scala:470)
        på scala.runtime.java8.JFunction0$mcV$sp.apply(JFunction0$mcV$sp.scala:18)
        på kafka.coordinator.group.GroupMetadata.inLock(GroupMetadata.scala:227)
        på kafka.coordinator.group.GroupCoordinator.handleLeaveGroup(GroupCoordinator.scala:467)
        på kafka.server.KafkaApis.handleLeaveGroupRequest(KafkaApis.scala:1659)
        på kafka.server.KafkaApis.handle(KafkaApis.scala:180)
        på kafka.server.KafkaRequestHandler.run(KafkaRequestHandler.scala:74)
        på java.lang.Thread.run(Thread.java:748)

Fejlårsager:Linux renser regelmæssigt filer i /tmp-mappen, Kafka-filmappen gemmes som standard/tmp/kafka-logsmappe, hvilket får den til at blive ryddet op regelmæssigt, hvilket resulterer i unormal programfunktion.

Under CentOS 7 findes der 3 systemtjenester relateret til oprydning:

systemd-tmpfiles-setup.service :Opret flygtige filer og mapper
systemd-tmpfiles-setup-dev.service:Opret statiske enhedsnoder i /dev
systemd-tmpfiles-clean.service :Oprydning af midlertidige mapper

Der er også 3 relaterede profiler, som følger:

/etc/tmpfiles.d/*.conf
/run/tmpfiles.d/*.conf
/usr/lib/tmpfiles.d/*.conf

Brug følgende kommando til at se logs relateret til tmpfiles:



TMP-mappe i/usr/lib/tmpfiles.d/tmp.confFilkonfigurationen er som vist i følgende figur:

# Denne fil er en del af systemd.
#
# SystemD er fri software; Du kan omfordele det og/eller ændre det
# under vilkårene i GNU Lesser General Public License som udgivet af
# Free Software Foundation; enten version 2.1 af licensen, eller
# (efter eget valg) enhver senere version.

# Se tmpfiles.d(5) for detaljer

# Ryd tmp-mapper separat, så de lettere kan tilsidesættes
v /tmp 1777 rodrod 10d
v /var/tmp 1777 rodrod 30d

# Udeluk navnerums-mountpoints oprettet med PrivateTmp=yes
x /tmp/systemd-private-%b-*
X /tmp/systemd-private-%b-*/tmp
x /var/tmp/systemd-private-%b-*
X /var/tmp/systemd-private-%b-*/tmp



Løsning 1

Ændr Kafkas konfigurationsfil /config/server.properties for at ændre log.dirs-konfigurationen, for eksempel:



Løsning 2

Tilføj en eksklusionsmappe og rediger filen: /usr/lib/tmpfiles.d/tmp.conf


(Slut)




Tidligere:CentOS 7 installerer runtime-miljøet med ASP.NET Core 3.1
Næste:nslookup-kommandoen blev kortvarigt introduceret

Relaterede indlæg
Opslået på 22/09/2021 19.51.17 |
Kom og lær igen。。。。。
 Udlejer| Opslået på 07/02/2022 14.31.46 |
Tjek oprydningslogkommandoen:


2. feb 18:18:09 centos7-itsvse systemd[1]: Starter oprydning af midlertidige mapper...
2. feb 18:18:09 centos7-itsvse systemd[1]: Startede oprydning af midlertidige mapper.
Feb 03 18:19:09 centos7-itsvse systemd[1]: Start oprydning af midlertidige mapper...
03. feb 18:19:09 centos7-itsvse systemd[1]: Startede oprydning af midlertidige mapper.
Feb 04 18:20:09 centos7-itsvse systemd[1]: Starter oprydning af midlertidige mapper...
4. feb 18:20:09 centos7-itsvse systemd[1]: Startede oprydning af midlertidige mapper.
5. feb 18:21:09 centos7-itsvse systemd[1]: Starter oprydning af midlertidige mapper...
5. feb 18:21:09 centos7-itsvse systemd[1]: Startede oprydning af midlertidige mapper.
6. feb 18:22:09 centos7-itsvse systemd[1]: Starter oprydning af midlertidige mapper...
06. feb 18:22:09 centos7-itsvse systemd[1]: Startet oprydning af midlertidige mapper.
Ansvarsfraskrivelse:
Al software, programmeringsmaterialer eller artikler udgivet af Code Farmer Network er kun til lærings- og forskningsformål; Ovenstående indhold må ikke bruges til kommercielle eller ulovlige formål, ellers skal brugerne bære alle konsekvenser. Oplysningerne på dette site kommer fra internettet, og ophavsretstvister har intet med dette site at gøre. Du skal slette ovenstående indhold fuldstændigt fra din computer inden for 24 timer efter download. Hvis du kan lide programmet, så understøt venligst ægte software, køb registrering og få bedre ægte tjenester. Hvis der er nogen overtrædelse, bedes du kontakte os via e-mail.
Mail To:help@itsvse.com