Tämän sanakirjan tekeminen ei ollut helppoa, ensin kesti päivän pakata ja ladata kaikenlaisia sanakirjoja, joita olin tallentanut palvelimelle; ja paketoi ja latasi tämän foorumin nettikäyttäjien tuottamat sanakirjat toiselle illalle;
Sanakirjan käsittelypalvelin on lainattu ystävältä, ja ystävän uuden web-palvelimen täytyy olla kopiokone, joten valehtelin tehneeni sanakirjan CPU:n toistamiseen ja tunnistamiseen, ja ystäväni lainasi sen mielellään minulle kolmeksi päiväksi; Kokoonpano:
Neljä Xeon E3 3.10GHZ /32G DDR3 RAM-muistia / 250G SSD-kovalevyä; Asensin uudelleen Debian 6.0 64-bittisen;
Latauksia ja latauksia lukuun ottamatta tämä sanakirja käy läpi:
1. Merge, yhteensä 101,6G suuria tiedostoja (mutta myöhemmin osoittautui huonoksi toistossa);
2. Poista päällekkäinen sisältö, tämä on ensimmäinen aikaa vievä työ, 101.6G-tiedoston käsittely kesti yli 30 tuntia, joista aiemmat vuotoluukun 21 asemat löysivät yhteensä noin 100G, kun sisältö oli epävarmaa, ja heikko salasana oli yli 1G;
3. Siirry muihin merkkeihin kuin kiinan ja ASCII-koodauksen kanssa, tässä tein muutaman poikkeaman, mutta kun testasin sitä useita kertoja koneella ennen kuin uskalsin kirjoittaa sen erissä, tällä kertaa on toinen aikaa vievä työ. Tämän vaiheen nopeuttamiseksi jaoin toisen vaiheen sanakirjan kymmeneen osaan ja suoritin eräkäsittelyn samanaikaisesti, mikä kesti noin 25 tuntia;
4. Sanakirjan yhdistämisen ja käsittelyn jälkeen lajittelu vie 20 tuntia.
5. Hae, pakkaa ja julkaise, ja yli 100G sanakirjojen käsittelyn jälkeen niitä on vain yli 7G, mikä osoittaa, kuinka huolimattomia ja huolimattomia ystävät, jotka tekivät sanakirjoja, olivat. Suunnittelun jälkeen kirjoitin shell-skriptin, joka ajaa sen ilman valvontaa, ja menin silloin tällöin tarkistamaan palvelimen kuormituksen ja sitten shell echon prosessoinnin etenemisen. Laskien sekä lataamisen, lataamisen, pakkaamisen ja julkaisemisen lisäksi käytin tämän sanakirjan tekemiseen yhteensä neljä päivää; Alun perin tarjoilija lainasi minua vain kolmeksi päiväksi, mutta en odottanut arvioineeni sanakirjan koon ja vaikeustason väärin; Onneksi se julkaistiin tänään. Loppujen lopuksi se oli huolenaihe. Suoritin vain fuusion toistaakseni sen kiinaksi, enkä tehnyt manuaalista seulontaa, joten netin käyttäjät, jotka valittivat sanakirjan laadusta, olivat hyvin surullisia, sillä en voinut käydä manuaalisesti läpi yli 100G:n sanakirjaa; Voin vain taata, että tämä on kokoelma kaikkia suosittuja sanakirjoja eikä niissä ole kaksoiskappaleita. Käsittely: awk+sed+vim Käsittelykoko: noin 6,55G Latausosoite: (ilmainen) 6,55G kokonaispakattu paketti: linkki:https://pan.baidu.com/s/12LUdmUjPAA9mL_rSkdtPtQUuttokoodi:Turistit, jos haluatte nähdä tämän postauksen piilotetun sisällön, olkaa hyvä VastausTuristit, jos haluatte nähdä tämän postauksen piilotetun sisällön, olkaa hyvä Vastaus
Suorita split -C 1000m sanakirjan nimi Tulostetun sanakirjan nimeä ei jaeta riveihin, jotta sanakirja voidaan jakaa useisiin pieniin 1G-tiedostoihin
|
Julkaistu 19.1.2019 15.44.04
|
|
|
Julkaistu 18.7.2019 17.22.27
|
