Bu sözlüğü yapmak kolay olmadı, önce sunucuda sakladığım her türlü sözlüğü paketleyip yüklemem bir gün sürdü; ve bu forumda internet kullanıcıları tarafından hazırlanan sözlükleri bir gece daha paketleyip yükledi;
Sözlük işleme sunucusu bir arkadaşımdan ödünç alındı ve arkadaşımın yeni web sunucusu bir kopyalama makinesi olmalı, bu yüzden CPU'yu tekrar etmek ve algılamak için bir sözlük yaptığımı yalan söyledim ve arkadaşım bunu bana üç gün boyunca memnuniyetle ödünç verdi; Konfigürasyon:
Dört Xeon E3 3.10GHZ /32G DDR3 RAM / 250G SSD sabit disk; Debian 6.0 64-bit yeniden yükledim;
Yükleme ve indirmeleri saymadan, bu sözlük şunları anlatıyor:
1. Merge, toplam 101.6G büyük dosya (ancak sonradan tekrarlama açısından kötü olduğu ortaya çıktı);
2. Tekrarlanan içeriği kaldırın, bu ilk zaman alan iş, 101.6G dosyasını işlemek 30 saatten fazla sürdü, önceki sızıntı kapısı 21 istasyonunda içerik belirsizken toplamda yaklaşık 100G üretiyordu ve zayıf şifre 1G'den fazlaydı;
3. Çince ve ASCII kodlaması dışındaki karakterlere geçin, burada birkaç sapma yaptım ama makinede birkaç kez test ettikten sonra toplu yazmaya cesaret ettikten sonra, bu sefer ikinci zaman alıcı iş oldu. Bu adımı hızlandırmak için, ikinci adımda işlenen sözlüğü on parçaya böldüm ve aynı anda toplu işleme yaptım, bu yaklaşık 25 saat sürdü;
4. Sözlük birleştirilip işlendikten sonra sıralaması 20 saat sürer.
5. Geri alın, paketleyin ve yayımlayın, ve 100G'den fazla sözlük işledikten sonra sadece 7G'den fazla kalıyor, bu da daha önce sözlük yapan arkadaşların ne kadar dikkatsiz ve dikkatsiz olduğunu gösteriyor. Planlamadan sonra, onu gözetimsiz çalıştırmak için bir shell script yazdım ve ara sıra sunucu yükünü kontrol etmek için yukarı çıktım, ardından shell echo'nun işlem ilerlemesini kontrol ettim. Hesaplama yaparak, yükleyerek, indirerek, paketleyip yayımlayarak bu sözlüğü oluşturmak için toplamda dört gün harcadım; Başlangıçta sunucu beni sadece üç günlüğüne ödünç aldı, ama sözlüğün büyüklüğünü ve zorluğunu yanlış tahmin etmiş olduğumu beklemiyordum; Neyse ki, bugün piyasaya sürüldü. Sonuçta, bu bir endişe kaynağıydı. Birleşmeyi sadece Çince tekrarlamak için gerçekleştirdim ve manuel tarama yapmadım, bu yüzden sözlüğün kalitesinden şikayet eden internet kullanıcıları çok üzgündü, sonuçta 100G'den fazla sözlüğü manuel olarak inceleyemiyordum; Bunun tüm popüler sözlüklerin bir koleksiyonu olduğunu ve kopyalarının olmadığını garanti edebilirim. İşleme: awk+sed+vim İşlem boyutu: yaklaşık 6.55G İndirme adresi: (ücretsiz) 6.55G genel sıkıştırılmış paket: bağlantı:https://pan.baidu.com/s/12LUdmUjPAA9mL_rSkdtPtQÇıkarma kodu:Turistler, bu gönderinin gizli içeriğini görmek isterseniz lütfen YanıtTuristler, bu gönderinin gizli içeriğini görmek isterseniz lütfen Yanıt
Çalıştır split -C 1000m sözlük adı Çıktı sözlük adı, sözlüğü birkaç küçük 1G dosyasına bölmek için satırlara bölünmez
|
Yayınlandı 19.01.2019 15:44:04
|
|
|
Yayınlandı 18.07.2019 17:22:27
|
