Es war nicht einfach, dieses Wörterbuch zu erstellen, zuerst brauchte ich einen Tag, um alle möglichen Wörterbücher, die ich auf dem Server gespeichert hatte, zu verpacken und hochzuladen; und die von Internetnutzern in diesem Forum erstellten Wörterbücher für einen anderen Abend verpackt und hochgeladen;
Der Wörterbuchverarbeitungsserver wurde von einem Freund ausgeliehen, und der neue Webserver des Freundes muss eine Kopiermaschine sein, also log ich, dass ich ein Wörterbuch gemacht hätte, um die CPU zu wiederholen und zu erkennen, und mein Freund lieh es mir gerne drei Tage lang; Konfiguration:
Vier Xeon E3 3,10 GHz / 32 GB DDR3 RAM / 250 GB SSD Festplatten; Ich habe Debian 6.0 64-Bit neu installiert;
Abgesehen von Uploads und Downloads geht dieses Wörterbuch durch:
1. Merge, insgesamt 101,6 GB große Dateien (die sich später jedoch als schrecklich an Wiederholungen erwiesen);
2. Duplikatinhalte entfernen, dies ist die erste zeitaufwändige Arbeit, die Verarbeitung der 101,6G-Datei hat mehr als 30 Stunden gedauert, wobei die vorherigen Leak-Door-21 Stationen, die ich gefunden habe, insgesamt etwa 100G ergaben, wenn der Inhalt unsicher war und das schwache Passwort mehr als 1G betrug;
3. Gehe zu anderen Zeichen als Chinesisch und ASCII-Codierung. Hier habe ich ein paar Umwege gemacht, aber nachdem ich es mehrmals auf dem Gerät getestet habe, bevor ich es gewagt habe, es in Batch zu schreiben, ist dies die zweite zeitaufwändige Arbeit. Um diesen Schritt zu beschleunigen, teilte ich das im zweiten Schritt bearbeitete Wörterbuch in zehn Teile auf und führte gleichzeitig die Batch-Verarbeitung durch, die etwa 25 Stunden dauerte;
4. Nach dem Zusammenführen und Bearbeiten des Wörterbuchs dauert das Sortieren 20 Stunden.
5. Abrufen, verpacken und veröffentlichen, und nach der Verarbeitung von mehr als 100G-Wörterbüchern gibt es nur mehr als 7G, was zeigt, wie nachlässig und sorglos Freunde waren, die zuvor Wörterbücher gemacht haben. Nach der Planung schrieb ich ein Shell-Skript, um es unbeaufsichtigt auszuführen, und ging ab und zu hoch, um die Serverbelastung zu überprüfen und dann den Verarbeitungsfortschritt von Shell Echo zu überprüfen. Berechnend sowie hochladen, herunterladen, verpacken und veröffentlichen habe ich insgesamt vier Tage damit verbracht, dieses Wörterbuch zu erstellen; Ursprünglich hatte mich der Server nur für drei Tage ausgeliehen, aber ich hatte nicht erwartet, dass ich die Größe und den Schwierigkeitsgrad des Wörterbuchs falsch eingeschätzt hatte; Glücklicherweise wurde es heute veröffentlicht. Schließlich war es ein Grund zur Sorge. Ich habe die Zusammenführung einfach auf Chinesisch wiederholt und keine manuelle Überprüfung durchgeführt, sodass die Internetnutzer, die sich über die Qualität des Wörterbuchs beschwerten, sehr traurig waren, schließlich konnte ich das Wörterbuch von mehr als 100G nicht manuell durchgehen; Ich kann nur garantieren, dass dies eine Sammlung aller populären Wörterbücher ist und es keine Duplikate gibt. Verarbeitung: awk+sed+vim Verarbeitungsgröße: ca. 6,55G Downloadadresse: (kostenlos) 6,55G insgesamt 6,55G komprimiertes Paket: Link:https://pan.baidu.com/s/12LUdmUjPAA9mL_rSkdtPtQExtraktionscode:Touristen, wenn ihr den versteckten Inhalt dieses Beitrags sehen wollt, bitte AntwortTouristen, wenn ihr den versteckten Inhalt dieses Beitrags sehen wollt, bitte Antwort
Führe split -C 1000m Wörterbuchname aus. Der Ausgabe-Wörterbuchname wird nicht in Zeilen aufgeteilt, um das Wörterbuch in mehrere kleine 1G-Dateien zu spalten.
|
Veröffentlicht am 19.01.2019 15:44:04
|
|
|
Veröffentlicht am 18.07.2019 17:22:27
|
