Šis raksts ir mašīntulkošanas spoguļraksts, lūdzu, noklikšķiniet šeit, lai pārietu uz oriģinālo rakstu.

Skats: 10663|Atbildi: 2

Saskaņā ar CentOS 7 Kafka bieži uzliek risinājumus

[Kopēt saiti]
Publicēts 22.09.2021 17:31:38 | | | |
Pārskats:

Kafka Windows sistēma pēc kāda laika darbības uzkars
https://www.itsvse.com/thread-9984-1-1.html

Windows Kafka KĻŪDA Neizdevās iztīrīt žurnālu __consumer_offsets
https://www.itsvse.com/thread-9980-1-1.html

Izmantojiet šo komandu, lai pārbaudītu Kafka darbības statusu. Šādi:

kafka.pakalpojums
   Ielādēts: ielādēts (/usr/lib/systemd/system/kafka.service; Iespējota; Piegādātāja sākotnējais iestatījums: atspējots)
   Aktīvs: neizdevās (Rezultāts: izejas kods) kopš Trešdiena 2021-09-22 14:43:11 CST; Pirms 1h 43min
  Process: 7363 ExecStart=/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties (code=exited, status=1/FAILURE)
Galvenais PID: 7363 (kods = izstājās, statuss = 1 / KĻŪME)

Sep 22 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,295] WARN [ReplicaManager broker=1] Pārtrauc repliku apkalpošanu dir /tmp/kafka-logs ( kafka.server.ReplicaManager)
Sep 22 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,298] WARN [GroupCoordinator 1]: Neizdevās uzrakstīt tukšus metadatus grupai KqBatchAna: Tas nav pareizi Koordinators. (kafka.co... upCoordinator)
22. septembris 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,303] INFO [ReplicaFetcherManager par brokeri 1] Noņemts nodalījumu HashSet(__consumer_offsets-22, __ consumer_offsets-30, ...-8, __consumer
Sep 22 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,304] INFO [ReplicaAlterLogDirsManager par brokeri 1] Noņemts nodalījumu HashSet(__consumer_ nobīdes-22, __consumer_offsets... fsets-8, __con
22. septembris 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,378] BRĪDINĀT [ReplicaManager broker=1] 1. brokeris pārtrauca iegūšanu starpsienām __consumer_offsets-22,__ consumer_offsets-30,__consumer_... fsets-21,__con
Sep 22 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,379] BRĪDINĀJUMS Pārtrauc žurnālu apsniegšanu dir /tmp/kafka-logs (kafka.log.LogManager)
22. septembris 14:43:11 devops02 kafka-server-start.sh[7363]: [2021-09-22 14:43:11,386] KĻŪDA Izslēgšanas brokeris, jo visi žurnālu diri /tmp/kafka-logs ir neizdevušies (kafka.log.LogManager)
Sep 22 14:43:11 devops02 systemd[1]: kafka.service: galvenais process izstājās, kods=iznāca, statuss=1/FAILURE
Sep 22 14:43:11 devops02 systemd[1]: Vienība kafka.service nonāca neveiksmīgā stāvoklī.
Sep 22 14:43:11 devops02 systemd[1]: kafka.service neizdevās.
Hint: Some lines were ellipsized, use -l to show in full.



Dodieties uz Kafkas žurnālu direktoriju /usr/local/kafka/logs, lai apskatītu server.log žurnālfailus, kā norādīts tālāk.

[2021-09-22 14:43:11,286] KĻŪDA Kļūda, ritinot žurnāla segmentu __consumer_offsets-8 dir /tmp/kafka-logs (kafka.server.LogDirFailureChannel)
java.io.FileNotFoundException: /tmp/kafka-logs/__consumer_offsets-8/00000000000000000000.index (No such file or directory)
        vietnē java.io.RandomAccessFile.open0 (vietējā metode)
        vietnē java.io.RandomAccessFile.open(RandomAccessFile.java:316)
        vietnē java.io.RandomAccessFile. <init>(RandomAccessFile.java:243)
        pie kafka.log.AbstractIndex.$anonfun$resize$1(AbstractIndex.scala:182)
        vietnē kafka.log.AbstractIndex.resize(AbstractIndex.scala:175)
        pie kafka.log.AbstractIndex.$anonfun$trimToValidSize$1(AbstractIndex.scala:241)
        vietnē kafka.log.AbstractIndex.trimToValidSize(AbstractIndex.scala:241)
        vietnē kafka.log.LogSegment.onBecomeInactiveSegment(LogSegment.scala:507)
        pie kafka.log.Log.$anonfun$roll$8(Log.scala:2037)
        pie kafka.log.Log.$anonfun$roll$8$adapted(Log.scala:2037)
        Skalā. Option.foreach(Opcija.scala:437)
        pie kafka.log.Log.$anonfun$roll$2(Log.scala:2037)
        pie kafka.log.Log.roll(Log.scala:2453)
        pie kafka.log.Log.maybeRoll(Log.scala:1988)
        pie kafka.log.Log.append(Log.scala:1263)
        kafka.log.Log.appendAsLeader(Log.scala:1112)
        pie kafka.cluster.Partition.$anonfun$appendRecordsToLeader$1(Partition.scala:1069)
        pie kafka.cluster.Partition.appendRecordsToLeader(Partition.scala:1057)
        pie kafka.server.ReplicaManager.$anonfun$appendToLocalLog$6(ReplicaManager.scala:958)
        vietnē scala.collection.Iterator$$anon$9.next(Iterator.scala:575)
        vietnē scala.collection.mutable.Growable.addAll(Growable.scala:62)
        vietnē scala.collection.mutable.Growable.addAll$(Growable.scala:57)
        vietnē scala.collection.immutable.MapBuilderImpl.addAll(Map.scala:692)
        vietnē scala.collection.immutable.Map$.from(Map.scala:643)
        vietnē scala.collection.immutable.Map$.from(Map.scala:173)
        vietnē scala.collection.MapOps.map(Map.scala:266)
        vietnē scala.collection.MapOps.map$(Map.scala:266)
        vietnē scala.collection.AbstractMap.map(Map.scala:372)
        at kafka.server.ReplicaManager.appendToLocalLog(ReplicaManager.scala:946)
        vietnē kafka.server.ReplicaManager.appendRecords(ReplicaManager.scala:616)
        vietnē kafka.coordinator.group.GroupMetadataManager.storeGroup(GroupMetadataManager.scala:325)
        vietnē kafka.coordinator.group.GroupCoordinator.$anonfun$onCompleteJoin$1(GroupCoordinator.scala:1206)
        vietnē kafka.coordinator.group.GroupMetadata.inLock(GroupMetadata.scala:227)
        vietnē kafka.coordinator.group.GroupCoordinator.onCompleteJoin(GroupCoordinator.scala:1178)
        vietnē kafka.coordinator.group.DelayedJoin.onComplete(DelayedJoin.scala:43)
        vietnē kafka.server.DelayedOperation.forceComplete(DelayedOperation.scala:72)
        vietnē kafka.coordinator.group.DelayedJoin.$anonfun$tryComplete$1(DelayedJoin.scala:38)
        vietnē kafka.coordinator.group.GroupCoordinator.$anonfun$tryCompleteJoin$1(GroupCoordinator.scala:1172)
        at scala.runtime.java8.JFunction0$mcZ$sp.apply(JFunction0$mcZ$sp.scala:17)
        vietnē kafka.coordinator.group.GroupMetadata.inLock(GroupMetadata.scala:227)
        vietnē kafka.coordinator.group.GroupCoordinator.tryCompleteJoin(GroupCoordinator.scala:1171)
        vietnē kafka.coordinator.group.DelayedJoin.tryComplete(DelayedJoin.scala:38)
        vietnē kafka.server.DelayedOperation.safeTryCompleteOrElse(DelayedOperation.scala:110)
        vietnē kafka.server.DelayedOperationPurgatory.tryCompleteElseWatch(DelayedOperation.scala:234)
        vietnē kafka.coordinator.group.GroupCoordinator.prepareRebalance(GroupCoordinator.scala:1144)
        vietnē kafka.coordinator.group.GroupCoordinator.$anonfun$maybePrepareRebalance$1(GroupCoordinator.scala:1118)
        at scala.runtime.java8.JFunction0$mcV$sp.apply(JFunction0$mcV$sp.scala:18)
        vietnē kafka.coordinator.group.GroupMetadata.inLock(GroupMetadata.scala:227)
        vietnē kafka.coordinator.group.GroupCoordinator.maybePrepareRebalance(GroupCoordinator.scala:1117)
        vietnē kafka.coordinator.group.GroupCoordinator.removeMemberAndUpdateGroup(GroupCoordinator.scala:1156)
        vietnē kafka.coordinator.group.GroupCoordinator.$anonfun$handleLeaveGroup$3(GroupCoordinator.scala:498)
        vietnē scala.collection.immutable.List.map(List.scala:246)
        vietnē kafka.coordinator.group.GroupCoordinator.$anonfun$handleLeaveGroup$2(GroupCoordinator.scala:470)
        at scala.runtime.java8.JFunction0$mcV$sp.apply(JFunction0$mcV$sp.scala:18)
        vietnē kafka.coordinator.group.GroupMetadata.inLock(GroupMetadata.scala:227)
        vietnē kafka.coordinator.group.GroupCoordinator.handleLeaveGroup(GroupCoordinator.scala:467)
        at kafka.server.KafkaApis.handleLeaveGroupRequest(KafkaApis.scala:1659)
        at kafka.server.KafkaApis.handle(KafkaApis.scala:180)
        at kafka.server.KafkaRequestHandler.run(KafkaRequestHandler.scala:74)
        vietnē java.lang.Thread.run(Thread.java:748)

Kļūdas cēloņi:Linux regulāri attīra failus direktorijā /tmp, Kafka failu direktorijs tiek glabāts pēc noklusējuma/tmp/kafka-logsdirektoriju, izraisot to regulāri tīrīt, kā rezultātā notiek nenormāla programmas darbība.

Saskaņā ar CentOS 7 ir 3 sistēmas pakalpojumi, kas saistīti ar tīrīšanu:

systemd-tmpfiles-setup.service: Izveidojiet gaistošus failus un direktorijus
systemd-tmpfiles-setup-dev.service:Statisku ierīču mezglu izveide /dev
systemd-tmpfiles-clean.service :Pagaidu direktoriju tīrīšana

Ir arī 3 saistītie profili:

/etc/tmpfiles.d/*.conf
/run/tmpfiles.d/*.conf
/usr/lib/tmpfiles.d/*.conf

Izmantojiet šo komandu, lai skatītu žurnālus, kas saistīti ar tmpfiles:



TMP direktorijs/usr/lib/tmpfiles.d/tmp.confFaila konfigurācija ir tāda, kā parādīts šajā attēlā:

# Šis fails ir daļa no systemd.
#
# systemd ir bezmaksas programmatūra; jūs varat to izplatīt tālāk un/vai modificēt
# saskaņā ar GNU Lesser General Public License noteikumiem, ko publicējis
# Brīvās programmatūras fonds; vai nu Licences versija 2.1, vai
# (pēc jūsu izvēles) jebkuru jaunāku versiju.

# Sīkāku informāciju skatiet tmpfiles.d(5)

# Notīriet tmp direktorijus atsevišķi, lai tos būtu vieglāk ignorēt
v /tmp 1777 saknes sakne 10d
v /var/tmp 1777 saknes sakne 30d

# Izslēgt nosaukumvietas stiprinājumus, kas izveidoti ar PrivateTmp=yes
x /tmp/systemd-privāts-%b-*
X /tmp/systemd-private-%b-*/tmp
x /var/tmp/systemd-private-%b-*
X /var/tmp/systemd-private-%b-*/tmp



1. risinājums

Modificējiet Kafkas konfigurācijas failu /config/server.properties, lai modificētu log.dirs konfigurāciju, piemēram:



2. risinājums

Pievienojiet izslēgšanas direktoriju un rediģējiet failu: /usr/lib/tmpfiles.d/tmp.conf


(Beigas)




Iepriekšējo:CentOS 7 instalē izpildlaika vidi ar ASP.NET Core 3.1
Nākamo:Īsi ieviesta komanda nslookup
Publicēts 22.09.2021 19:51:17 |
Nāciet un mācieties vēlreiz。。。。。
 Saimnieks| Publicēts 07.02.2022 14:31:46 |
Apskatiet tīrīšanas žurnāla komandu:


Feb 02 18:18:09 centos7-itsvse systemd[1]: Pagaidu direktoriju tīrīšanas sākums...
Feb 02 18:18:09 centos7-itsvse systemd[1]: Sākta pagaidu direktoriju tīrīšana.
Feb 03 18:19:09 centos7-itsvse systemd[1]: Pagaidu direktoriju tīrīšanas sākums...
Feb 03 18:19:09 centos7-itsvse systemd[1]: Sākta pagaidu direktoriju tīrīšana.
Feb 04 18:20:09 centos7-itsvse systemd[1]: Pagaidu direktoriju tīrīšanas sākums...
Feb 04 18:20:09 centos7-itsvse systemd[1]: Sākta pagaidu direktoriju tīrīšana.
Feb 05 18:21:09 centos7-itsvse systemd[1]: Pagaidu direktoriju tīrīšanas sākums...
Feb 05 18:21:09 centos7-itsvse systemd[1]: Sākta pagaidu direktoriju tīrīšana.
Feb 06 18:22:09 centos7-itsvse systemd[1]: Pagaidu direktoriju tīrīšanas sākums...
Feb 06 18:22:09 centos7-itsvse systemd[1]: Sākta pagaidu direktoriju tīrīšana.
Atruna:
Visa programmatūra, programmēšanas materiāli vai raksti, ko publicē Code Farmer Network, ir paredzēti tikai mācību un pētniecības mērķiem; Iepriekš minēto saturu nedrīkst izmantot komerciāliem vai nelikumīgiem mērķiem, pretējā gadījumā lietotājiem ir jāuzņemas visas sekas. Informācija šajā vietnē nāk no interneta, un autortiesību strīdiem nav nekāda sakara ar šo vietni. Iepriekš minētais saturs ir pilnībā jāizdzēš no datora 24 stundu laikā pēc lejupielādes. Ja jums patīk programma, lūdzu, atbalstiet oriģinālu programmatūru, iegādājieties reģistrāciju un iegūstiet labākus oriģinālus pakalpojumus. Ja ir kādi pārkāpumi, lūdzu, sazinieties ar mums pa e-pastu.

Mail To:help@itsvse.com