Oficiálny predvolený plugin na segmentáciu slov v elasticsearch nie je ideálny pre segmentáciu čínskych slov. Napríklad teraz uvediem konkrétny príklad, aby som ukázal, prečo plugin na segmentáciu slov poskytovaný oficiálnou stránkou ES nie je efektívny pre segmentáciu čínskych slov.
Referenčná dokumentácia:
https://www.elastic.co/guide/en/ ... ting_analyzers.html
https://www.elastic.co/guide/en/ ... ndices-analyze.html
Do analytického rozhrania odovzdáme jeden údaj, nasledovne:
http://ip:9200/_analyze POST请求
Ak používate Elasticsearch priamo, určite narazíte na trápne problémy pri vyhľadávaní čínskeho obsahu.Čínske slová sa postupne delia na čínske znakyPri kreslení Kibana sa zoskupuje podľa termínu, a v dôsledku toho sa čínsky znak rozdelí do skupiny.
Našťastie existujú dva pluginy na segmentáciu čínskych slov napísané medclom (jedným z prvých ľudí, ktorí študovali ES v Číne), jeden je ik a druhý mmseg, a nasledujúci len uvádza použitie ik.
IK Analysis plugin integruje analyzátor Lucene IK do elasticsearch a podporuje vlastné slovníky.
Adresa projektu elasticsearch-analysis-ik:https://github.com/medcl/elasticsearch-analysis-ik
Install elasticsearch-analysis-ik
Najprv zastavte spustenie Elasticsearch, JPS nájde ID procesu a ukončí ho pomocou kill -9 process ID! (Aj tak som to netestoval, je bezpečnejšie zastaviť a nainštalovať)
Inštalácia pomocou elasticsearch-pluginu (podporovaného od verzie v5.5.1):
Poznámka: Nahradiť 6.3.0 svojou vlastnou verziou elasticsearch
Nainštaloval som ho na svoj serverElasticsearch je 6.5.2takže príkaz je nasledovný:
Chyba pri inštalácii je nasledovná:
Výnimka vo vlákne "main" java.nio.file.FileSystemException: /usr/local/elasticsearch-6.5.2/config/analysis-ik: Operácia nie je povolená
Inštalačný plugin Elasticsearch musí byť spustený ako rootTakže použijeme root na prepnutie do statusu správcu, opätovné vykonanie inštalácie a je to úspešné, ako je znázornené na obrázku nižšie:
Testujeme opätovným odoslaním požiadavky na príspevok do rozhrania a obsah príspevku je nasledovný:
Zistil som, že rozumiem našej sémantike normálne a rozdelil som "architekt", "krásny" a "architektúra" do jedného slova.
Aký je rozdiel medzi ik_max_word a ik_smart?
ik_max_word: Text bude rozdelený do najjemnejších detailov, napríklad "Národná hymna Čínskej ľudovej republiky" bude rozdelená na "Čínska ľudová republika, Čínsky ľud, Čína, Čína, Ľud, Ľud, Ľud, Republika, Republika, Národná hymna" a vyčerpá všetky možné kombinácie;
ik_smart: Urobí najhrubšiu úroveň rozdelenia, napríklad rozdelí "Národnú hymnu Čínskej ľudovej republiky" na "Národnú hymnu Čínskej ľudovej republiky".
|
Zverejnené 13. 12. 2018 10:21:21
|
|
|
|
Prenajímateľ|
Zverejnené 13. 12. 2018 11:04:13
|
