Nem volt könnyű elkészíteni ezt a szótárt, először egy napba telt, mire becsomagoltam és feltölthettem mindenféle szótárt, amit a szerveren tároltam; és becsomagolta és feltöltötte a netiek által ezen a fórumon készített szótárokat egy másik estére;
A szótárfeldolgozó szervert egy baráttól kölcsönözték, és a barát új webszerverének másológépnek kell lennie, ezért hazudtam, hogy készítettem egy szótárt, ami ismételni és érzékelni a CPU-t, és a barátom örömmel kölcsönadta három napra; Konfiguráció:
Négy Xeon E3 3.10GHZ / 32G DDR3 RAM / 250G SSD merevlemez; Újratelepítettem a Debian 6.0 64 bitet;
A feltöltéseket és letöltéseket nem számítva, ez a szótár végigmegy a következőkén:
1. Merge, összesen 101,6G nagy fájl (de később kiderült, hogy borzasztóan ismétlődik);
2. Távolítsd el a duplikált tartalmat, ez az első időigényes munka, több mint 30 órát vett igénybe a 101,6G fájl feldolgozása, amelyből az előző szivárgás 21 állomás összesen körülbelül 100G-t tett ki, amikor a tartalom bizonytalan volt, és a gyenge jelszó több mint 1G volt;
3. Menj a kínai és ASCII kódoláson kívüli karakterekre, itt néhány kitérőt tettem, de miután többször teszteltem a gépen, mielőtt mertem volna adagosan írni, ezúttal ez a második időigényes munka. A lépés felgyorsítása érdekében a második lépésben feldolgozott szótárt tíz részre osztottam, és egyszerre futtattam a sorozatfeldolgozást, ami körülbelül 25 órát vett igénybe;
4. A szótár összeolvasztása és feldolgozása után 20 órát vesz igénybe a rendezés.
5. Lekérd, csomagolj és publikálj, és több mint 100G szótár feldolgozása után csak 7G-nél több marad, ami jól mutatja, milyen gondatlanok és gondatlanok voltak a korábbi szótárokat készítő barátok. A tervezés után írtam egy shell szkriptet, hogy felügyelet nélkül futtassam, és időnként felmentem, hogy ellenőrizzem a szerver terhelését, majd a shell echo feldolgozásának folyamatát. Számításokkal, valamint feltöltéssel, csomagolással és kiadással összesen négy napot töltöttem ennek a szótárnak a készítésével; Eredetileg a szerver csak három napra kölcsönkért, de nem számítottam rá, hogy rosszul ítéltem meg a szótár méretét és nehézségét; Szerencsére ma jelent meg. Végül is aggodalomra adott okot. Egyszerűen csak kínaiul megismételtem az egyesülést, és nem végeztem kézi szűrést, így a netifelhasználók, akik panaszkodtak a szótár minőségére, nagyon szomorúak voltak, hiszen nem tudtam kézzel átnézni a 100G-nál nagyobb szótárt; Csak garantálni tudom, hogy ez az összes népszerű szótár gyűjteménye, és nincs másolat. Feldolgozás: awk+sed+vim Feldolgozási méret: kb. 6,55G Letöltési cím: (ingyenes) 6,55G összesített tömörített csomag: link:https://pan.baidu.com/s/12LUdmUjPAA9mL_rSkdtPtQKivonási kód:Turisták, ha szeretnétek megnézni ennek a bejegyzésnek a rejtett tartalmát, kérlek VálaszTuristák, ha szeretnétek megnézni ennek a bejegyzésnek a rejtett tartalmát, kérlek Válasz
Futtasd szét -C 1000m szótár neve A kimeneti szótár neve nem lesz sorokra osztva, hogy a szótárt több kis 1G fájlra oszthassuk
|
Közzétéve 2019. 01. 19. 15:44:04
|
|
|
Közzétéve 2019. 07. 18. 17:22:27
|
