απαιτήσεις: Η αναζήτηση πλήρους κειμένου στον ιστότοπο είναι μια λειτουργία που χρησιμοποιείται συνήθως και χρησιμοποιείται συνήθως με βάση αυτήνElasticSearch、ΣολρΑνάπτυξη και ανάπτυξη, και τώρα κυκλοφόρησαν δύο νέαRedisSearch、MeiliSearchΜηχανή αναζήτησης, τα δύο πρώτα είναι βαρύτερα, αν και τα δύο τελευταία δεν είναι τόσο βαριά όσο τα δύο πρώτα, αλλά πρέπει να αναπτύξουν εξαρτημένες υπηρεσίες, αυτό το άρθρο χρησιμοποιεί Lucene.Net + Jieba.NET για να δημιουργήσει μια ελαφριά επιτόπια αναζήτηση.
Lucene.Net
Lucene.Net είναι μια θύρα .NET του Lucene και είναι ένα κιτ ανάπτυξης μηχανών αναζήτησης πλήρους κειμένου ανοιχτού κώδικα, δηλαδή δεν είναι μια πλήρης μηχανή αναζήτησης πλήρους κειμένου, αλλά μια αρχιτεκτονική μηχανής αναζήτησης πλήρους κειμένου που παρέχει μια πλήρη μηχανή ερωτημάτων και μηχανή ευρετηρίασης.
Τοποθεσία:Η σύνδεση με υπερσύνδεσμο είναι ορατή.
Διεύθυνση GitHub:Η σύνδεση με υπερσύνδεσμο είναι ορατή.
Jieba.NET
Jieba.NET είναι μετοχή κινέζικο jieba. Έκδοση .NET (υλοποίηση C#). Μπορεί να εκτελέσει λειτουργίες όπως τμηματοποίηση λέξεων, σχολιασμός μέρους του λόγου, εξαγωγή λέξεων-κλειδιών κ.λπ. για κινεζικό κείμενο και υποστηρίζει προσαρμοσμένα λεξικά.
Διεύθυνση GitHub:Η σύνδεση με υπερσύνδεσμο είναι ορατή.
Αρχικά, ας ρίξουμε μια ματιά στις αποδόσεις:
Προσαρμογή του αναλυτή
Analyzer, TokenStream, Tokenizer, TokenFilterTokenStream στο Lucene TokenStream: Μια ροή που λαμβάνεται μετά την επεξεργασία του tokenizer. Αυτή η ροή αποθηκεύει διάφορες πληροφορίες σχετικά με την τμηματοποίηση λέξεων, οι οποίες μπορούν να ληφθούν αποτελεσματικά μέσω του TokenStream. Ακολουθεί η διαδικασία μετατροπής της ροής αρχείων σε TokenStream Αρχικά, χρησιμοποιήστε το Tokenizer για να τμηματοποιήσετε τις λέξεις, διαφορετικοί tokenizers έχουν διαφορετικά tokenziers, αφού διαχωριστεί το tokenzier, φιλτράρετε τα δεδομένα που έχουν χωριστεί σε λέξεις μέσω του TokenFilter, όπως λέξεις διακοπής. Μετά το φιλτράρισμα, συνδυάστε όλα τα δεδομένα σε ένα TokenStream.
Αναφορά:
Η σύνδεση με υπερσύνδεσμο είναι ορατή.
Η σύνδεση με υπερσύνδεσμο είναι ορατή.
Η σύνδεση με υπερσύνδεσμο είναι ορατή.
Για να προσαρμόσετε τον αναλυτή Lucene με βάση Jieba.NET, η πρώτη αναφορά είναι η εξής:
Ανατρέξτε απευθείας στο πακέτο Lucene.Net.Analysis.Common, καθώς το Lucene.Net.Analysis.Common βασίζεται στο πακέτο Lucene.Net για αυτόματη λήψη.
Δημιουργήστε ένα νέο JiebaTokenizer.cs με τον ακόλουθο κώδικα:
Δημιουργήστε ένα νέο JiebaAnalyzer.cs με τον ακόλουθο κώδικα:
Lucene.Net Δημιουργήστε νέα έγγραφα και αναζητήσεις
Προσθέστε δεδομένα από έναν ιστότοπο στο Lucene σε τακτική ή ενεργοποιημένη βάση και το Lucene αποθηκεύει το έγγραφο σε έναν φυσικό δίσκο μέσω του αναλυτή και, στη συνέχεια, καλεί τη διεπαφή αναζήτησης για να το βρει.
Ο κώδικας κλάσης βοήθειας του LuceneHelper έχει ως εξής:
Αποθήκευση αποθήκευσης
Store.YES: Όχι μόνο θα ευρετηριάσει τα δεδομένα, αλλά θα αποθηκεύσει και τα δεδομένα, έτσι ώστε τα αποτελέσματα αναζήτησης να μπορούν να επιστρέψουν πληροφορίες πεδίου.
Store.NO: Μόνο τα δεδομένα θα ευρετηριαστούν και τα δεδομένα δεν θα αποθηκευτούν και τα αποτελέσματα αναζήτησης δεν μπορούν να λάβουν αυτές τις πληροφορίες πεδίου.Εξοικονομεί χώρο στο δίσκο；
Οπως φαίνεται παρακάτω:
Τύπος πεδίου πεδίου
Οι τύποι πεδίων σε Lucene.Net είναι Int32Field, Int64Field, SingleField, DoubleField, BinaryDocValuesField, NumericDocValuesField, SortedDocValuesField, StringField, TextField, StoredField, Χρησιμοποιήστε τον κατάλληλο τύπο δεδομένων ανάλογα με την κατάστασή σας.
TextField εναντίον StringField
Το TextField σίγουρα θα λεξικοποιηθεί, το StringField δεν θα εκτελέσει λεξιλογική ανάλυση του περιεχομένου που είναι αποθηκευμένο στο doc, ανατρέξτε στο:Η σύνδεση με υπερσύνδεσμο είναι ορατή.
Εμφάνιση σύνθετης αναζήτησης
Υπάρχουν 6 συνδυασμοί από τα ακόλουθα:
1. ΠΡΕΠΕΙ και ΠΡΕΠΕΙ: Λάβετε τη διασταύρωση διαδοχικών ρητρών ερωτήματος.
2. MUST και MUST_NOT: Υποδεικνύει ότι τα αποτελέσματα αναζήτησης της ρήτρας ερωτήματος που αντιστοιχεί στο MUST_NOT δεν μπορούν να συμπεριληφθούν στα αποτελέσματα του ερωτήματος.
3.ΠΡΕΠΕΙ και MUST_NOT: Όταν χρησιμοποιείται συνεχώς, η συνάρτηση είναι ίδια με το MUST και το MUST_NOT.
4. Όταν το ΠΡΕΠΕΙ και το ΠΡΕΠΕΙ χρησιμοποιούνται μαζί, το αποτέλεσμα είναι το αποτέλεσμα αναζήτησης της ρήτρας ΠΡΕΠΕΙ, αλλά το ΠΡΕΠΕΙ μπορεί να επηρεάσει την ταξινόμηση.
5. ΠΡΕΠΕΙ και ΠΡΕΠΕΙ: Υποδεικνύει τη σχέση μεταξύ "ή" και το τελικό αποτέλεσμα αναζήτησης είναι η ένωση όλων των ρητρών αναζήτησης.
6.MUST_NOT και MUST_NOT: χωρίς νόημα, ανάκτηση χωρίς αποτελέσματα.
Εκτελέστε το έργο
Σε αυτό το σημείο, μπορείτε να ξεκινήσετε το έργο για να προσθέσετε, να ενημερώσετε και να αναζητήσετε τον κώδικα διεπαφής ως εξής:
Τα σφάλματα μπορούν να αναφέρονται ως εξής:
Παρουσιάστηκε μια ανεπίλυτη εξαίρεση κατά την επεξεργασία της αίτησης.
DirectoryNotFoundException: Could not find a part of the path 'C:\Users\itsvse_nuc11\source\repos\DiscuzSearch\DiscuzSearch\bin\Debug\net6.0\Resources\prob_trans.json'.
Microsoft.Win32.SafeHandles.SafeFileHandle.CreateFile(συμβολοσειρά fullPath, λειτουργία FileMode, πρόσβαση FileAccess, κοινόχρηστο στοιχείο FileShare, επιλογές FileOptions)
TypeInitializationException: The type initializer for 'JiebaNet.Segmenter.JiebaSegmenter' threw an exception.
jieba.net Μετά την εγκατάσταση, μπορείτε να δείτε τον κατάλογο Resources στον κατάλογο packages\jieba.NET, ο οποίος περιέχει το λεξικό και άλλα αρχεία δεδομένων που απαιτούνται για την εκτέλεση του jieba.NET και η ευκολότερη μέθοδος διαμόρφωσης είναι να αντιγράψετε ολόκληρο τον κατάλογο Resources στον κατάλογο όπου βρίσκεται η συγκρότηση, έτσι ώστε οι ενσωματωμένες προεπιλεγμένες τιμές διαμόρφωσης να χρησιμοποιηθούν jieba.NET.
C:\Users\%USERPROFILE%\.nuget\packages\jieba.net\0.42.2\Resources
Το JiebaNet πρέπει να προσθέσει έναν φάκελο διαμόρφωσης, ο κώδικας είναι ο εξής:
Η δοκιμή δημιούργησε 500 νέα έγγραφα (που σχετίζονται με την πραγματική μου κατάσταση, μόνο για αναφορά) και ο δίσκος καταλαμβάνει 119 KB, όπως φαίνεται στο παρακάτω σχήμα:
(Τέλος)
|
Δημοσιεύτηκε στις 2023-10-29 18:05:43
|
|
|
|
Σπιτονοικοκύρης|
Δημοσιεύτηκε στις 2023-10-29 18:10:40
|
