În timpul sărbătorii de 1 Mai, echipa de service a actualizat mediul serverului site-ului Yitaobang, de la PHP5.3 la PHP5.6, iar după actualizarea reușită, CPU-ul serverului a fost redus la peste 90%, ceea ce a rămas ridicat. Verifică serverul și constată că mai multe procese PHP-FPM cauzează încărcarea CPU-ului prea mare, ceea ce face ca site-ul să nu poată fi accesat normal. Reinstalarea mediului serverului și a versiunii PHP de mai multe ori, și chiar schimbarea PHP în HHVM, nu poate rezolva problema încărcării mari a CPU-ului.
Procesul de operare al serverului E-Taobang (diagramă de arhitectură a serviciilor): Clientul utilizator → Rezoluția numelor de domeniu → nodul Baidu Cloud Acceleration Node (atacuri CDN/cache/anti-DDOS/CC) → nodul Alibaba Cloud Shield (atacuri anti-CC/DDOS/WAF) → serverul sursă ECS (CSS, JS și imagini pentru devierea CDN), iar Alibaba Cloud Cloud Shield nu are nicio informație despre atac, deci poate fi complet exclus ca atac.
Privind jurnalele nginx, php-fpm și logurile lente, nu există factori anormali și văd mai multe informații TIME_WAIT de la comanda netstat -n, care este cauzată de segmentul IP al 100.97.x.x (ultimul segment IP este adresa IP a serviciului de ascultare Alibaba Cloud SLB).
Fără alte introduceri, să vorbim despre soluția specifică, care a fost în cele din urmă gestionată de echipa profesionistă de operare și mentenanță a Yitao Gang (V Station Power), iar rezultatul final a fost că sarcina CPU-ului cauzată de setările de monitorizare a serviciului SLB a fost prea mare.
Serviciul SLB original ascultă portul 80 al protocolului HTTP, iar verificarea stării protocolului http va trimite regulat cereri http de la mai multe capete, rezultând acces continuu la citirea HTTP, ceea ce face ca php-fpm să facă ca încărcarea CPU-ului să depășească 90% pentru mult timp, iar cota specifică de utilizare a încărcării CPU depinde de configurația ECS. După schimbarea serviciului de verificare a sănătății, utilizarea CPU-ului se dezactivează.
Dacă apare și această situație, schimbați configurația verificării stării de sănătate a ascultării serviciilor SLB de la protocolul HTTP 80 la configurația protocolului TCP 80 astfel:
|
Postat pe 08.05.2015 20:22:09
|
|
|
|
