이 사전을 만드는 것은 쉽지 않았습니다. 처음에는 서버에 저장해 둔 온갖 사전들을 포장하고 업로드하는 데 하루가 걸렸습니다; 그리고 이 포럼에서 네티즌들이 만든 사전들을 포장해 업로드했으며,
사전 처리 서버는 친구에게서 빌린 것이고, 친구의 새 웹서버는 복사기가 되어야 해서, CPU를 반복하고 감지하기 위해 사전을 만들었다고 거짓말을 했고, 친구가 기꺼이 3일 동안 빌려줬습니다; 구성:
Xeon E3 3.10GHz / 32G DDR3 RAM / 250G SSD 하드 드라이브 4개; Debian 6.0 64비트를 재설치했습니다;
업로드와 다운로드를 제외하고, 이 사전은 다음과 같이 다룹니다:
1. 합병, 총 101.6G 대형 파일 (하지만 나중에 반복이 매우 어렵다는 것이 밝혀짐);
2. 중복 콘텐츠 제거: 이 작업은 처음으로 시간이 많이 걸리는 작업으로, 101.6G 파일 처리에 30시간 이상 걸렸습니다. 이전 누설 도어 중 21개 스테이션을 찾았는데, 내용이 불확실할 때 총 약 100G가 되었고, 약한 비밀번호는 1G 이상이었습니다;
3. 중국어 및 ASCII 인코딩 외의 문자로 이동할 때, 여기서는 몇 번 우회했지만 기계에서 여러 번 테스트한 후 감히 배치 작성을 시작했고, 이번에는 두 번째로 시간이 많이 걸리는 작업입니다. 이 단계를 빠르게 하기 위해 두 번째 단계에서 처리된 사전을 10부분으로 나누고 동시에 배치 처리를 실행했는데, 약 25시간이 걸렸습니다;
4. 사전을 병합하고 처리한 후에는 정렬하는 데 20시간이 걸립니다.
5. 검색, 패키징, 출판, 100G 이상의 사전을 처리한 후 7G를 넘는 사전만 남았는데, 이는 이전에 사전을 만들던 친구들이 얼마나 부주의하고 부주의했는지를 보여줍니다. 계획을 세운 후, 무인 상태로 실행할 셸 스크립트를 작성했고, 가끔씩 서버 부하를 확인하고 셸 에코의 처리 진행 상황을 확인했습니다. 계산과 업로드, 다운로드, 포장, 출판까지 모두 포함해 총 4일간 이 사전을 만들었습니다; 원래 서버는 나를 3일만 빌려주었지만, 사전의 크기와 난이도를 잘못 판단했다고 예상하지 못했다; 다행히도 오늘 출시되었습니다. 어쨌든 그것은 걱정거리였다. 저는 단순히 중국어로 반복하기 위해 합병을 실행했고, 수작업 심사는 하지 않았습니다. 그래서 사전 품질에 대해 불만을 토로하는 네티즌들은 매우 안타까워했습니다. 결국 100G 이상의 사전을 수동으로 살펴볼 수 없었으니까요; 이 사전은 모든 인기 사전을 모은 것이며 중복이 없음을 보장합니다. 처리 속도: awk+sed+vim 처리 용량: 약 6.55G 다운로드 주소: (무료) 전체 압축 패키지 6.55G 링크:https://pan.baidu.com/s/12LUdmUjPAA9mL_rSkdtPtQ추출 코드:관광객 여러분, 이 게시물의 숨겨진 내용을 보고 싶으시다면 부탁드립니다 회답관광객 여러분, 이 게시물의 숨겨진 내용을 보고 싶으시다면 부탁드립니다 회답
실행 분할 -C 1000m 사전 이름 출력 사전 이름은 여러 개의 1G 작은 파일로 나뉘지 않습니다
| 
게시됨 2019. 1. 19. 오후 3:44:04
|
|
|
게시됨 2019. 7. 18. 오후 5:22:27
|
