Izveidot šo vārdnīcu nebija viegli, vispirms man vajadzēja dienu, lai iesaiņotu un augšupielādētu visu veidu vārdnīcas, kuras biju saglabājis serverī; un iesaiņoja un augšupielādēja interneta lietotāju sagatavotās vārdnīcas šajā forumā vēl vienu nakti;
Vārdnīcas apstrādes serveris ir aizņemts no drauga, un drauga jaunajam tīmekļa serverim ir jābūt kopēšanas mašīnai, tāpēc es meloju, ka esmu izveidojis vārdnīcu, lai atkārtotu un atklātu CPU, un mans draugs labprāt man to aizdeva trīs dienas; Konfigurācija:
Četri Xeon E3 3.10GHZ / 32G DDR3 RAM / 250G SSD cietie diski; Es pārinstalēju Debian 6.0 64 bitu;
Neskaitot augšupielādes un lejupielādes, šī vārdnīca iet cauri:
1. Apvienošana, kopumā 101.6G lieli faili (bet vēlāk izrādījās briesmīgi atkārtošanās);
2. Noņemiet satura dublikātu, tas ir pirmais laikietilpīgais darbs, 101.6G faila apstrāde prasīja vairāk nekā 30 stundas, no kurām iepriekšējās noplūdes durvis 21 stacija es atklāju, ka kopumā ir aptuveni 100G, kad saturs bija neskaidrs, un vājā parole bija lielāka par 1G;
3. Dodieties uz rakstzīmēm, kas nav ķīniešu un ASCII kodējums, šeit es veicu dažus apvedceļus, bet pēc tam, kad vairākas reizes pārbaudīju to mašīnā, pirms uzdrošinājos to rakstīt partijā, šis laiks ir otrais laikietilpīgais darbs. Lai paātrinātu šo soli, es sadalīju otrajā solī apstrādāto vārdnīcu desmit daļās un vienlaikus veicu partijas apstrādi, kas aizņēma apmēram 25 stundas;
4. Pēc vārdnīcas apvienošanas un apstrādes kārtošana aizņem 20 stundas.
5. Izgūstiet, iesaiņojiet un publicējiet, un pēc vairāk nekā 100G vārdnīcu apstrādes ir tikai vairāk nekā 7G, kas parāda, cik neuzmanīgi un neuzmanīgi draugi, kas iepriekš veidoja vārdnīcas. Pēc plānošanas es uzrakstīju čaulas skriptu, lai to palaistu bez uzraudzības, un es ik pa laikam devos uz augšu, lai pārbaudītu servera slodzi un pēc tam pārbaudītu čaulas atbalss apstrādes gaitu. Aprēķinot, kā arī augšupielādējot, lejupielādējot, iesaiņojot un publicējot, es pavadīju kopumā četras dienas, veidojot šo vārdnīcu; Sākotnēji serveris mani aizņēmās tikai uz trim dienām, bet es negaidīju, ka esmu nepareizi novērtējis vārdnīcas lielumu un grūtības; Par laimi, tas tika izlaists šodien. Galu galā, tas bija jautājums, kas radīja bažas. Es vienkārši izpildīju apvienošanos, lai atkārtotu ķīniešu valodā, un neveicu manuālu pārbaudi, tāpēc interneta lietotāji, kuri sūdzējās par vārdnīcas kvalitāti, bija ļoti skumji, galu galā es nevarēju manuāli iziet cauri vārdnīcai, kas pārsniedz 100G; Es varu tikai garantēt, ka šī ir visu populāro vārdnīcu kolekcija un ka nav dublikātu. Apstrāde: awk + sed + vim Apstrādes izmērs: apmēram 6.55G Lejupielādes adrese: (bezmaksas) 6.55G kopējā saspiestā pakete: saite:https://pan.baidu.com/s/12LUdmUjPAA9mL_rSkdtPtQEkstrakcijas kods:Tūristi, ja vēlaties redzēt šīs ziņas slēpto saturu, lūdzu AtbildiTūristi, ja vēlaties redzēt šīs ziņas slēpto saturu, lūdzu Atbildi
Palaist sadalīt -C 1000m vārdnīcas nosaukumu Izvades vārdnīcas nosaukums netiks sadalīts rindās, lai sadalītu vārdnīcu vairākos mazos 1G failos
|
Publicēts 19.01.2019 15:44:04
|
|
|
Publicēts 18.07.2019 17:22:27
|
