Αυτό το άρθρο είναι ένα άρθρο καθρέφτη της αυτόματης μετάφρασης, κάντε κλικ εδώ για να μεταβείτε στο αρχικό άρθρο.

Άποψη: 2394|Απάντηση: 10

【AI】(3) Το Tencent Cloud αναπτύσσει το DeepSeek-R1 με εκμάθηση HAI

[Αντιγραφή συνδέσμου]
Δημοσιεύτηκε στις 2025-2-5 21:14:04 | | | |
Το Hyper Application Inventor (HAI) είναι ένα προϊόν υπηρεσίας εφαρμογών GPU για τεχνητή νοημοσύνη και επιστημονικούς υπολογιστές, που παρέχει υπολογιστική ισχύ plug-and-play και κοινά περιβάλλοντα για να βοηθήσει τις μικρές και μεσαίες επιχειρήσεις και τους προγραμματιστές να αναπτύξουν γρήγορα LLM.

Διεύθυνση:Η σύνδεση με υπερσύνδεσμο είναι ορατή.

Διακομιστές HAI έναντι GPU

Μειώστε σημαντικά το όριο για τη χρήση διακομιστή cloud GPU, βελτιστοποιήστε την εμπειρία του προϊόντος από πολλές οπτικές γωνίες και χρησιμοποιήστε το εκτός συσκευασίας, όπως φαίνεται στο παρακάτω σχήμα:



Αγορά υπολογιστικής ισχύος HAI

Μεταβείτε στη σελίδα αγοράς, επιλέξτε την εικόνα του βασικού περιβάλλοντος "Ubuntu 20.04" και διαμορφώστε το περιβάλλον:Ubuntu 20.04, Πρόγραμμα οδήγησης 525.105.17, Python 3.8, CUDA 12.0, cuDNN 8Η εικόνα έχει ήδη εγκαταστήσει το πρόγραμμα οδήγησης για εμάς και επιλέγουμε να πληρώνουμε καθώς πηγαίνουμε, όπως φαίνεται στο παρακάτω σχήμα:



Μνήμη βίντεο: 32GB+
Ρυθμός κατακερματισμού: 15+TFlops SP
CPU: 8~10 πυρήνες
ΕΜΒΟΛΟ: 40 GB

Μετά από αναμονή μερικών λεπτών, η παρουσία δημιουργείται με επιτυχία και η ακαδημαϊκή επιτάχυνση ενεργοποιείται, όπως φαίνεται στην παρακάτω εικόνα:



Την πρώτη φορά που θα το χρησιμοποιήσετε, πρέπει να επαναφέρετε τον κωδικό πρόσβασής σας και το όνομα χρήστη σύνδεσης είναι:Το Ubuntu。 Δοκιμάστε να συνδεθείτε στον διακομιστή και να ελέγξετε τις πληροφορίες του προγράμματος οδήγησης GPU NVIDIA με την ακόλουθη εντολή:


Οπως φαίνεται παρακάτω:


Εγκαταστήστε το Ollama

Επίσημος ιστότοπος Ollama:Η σύνδεση με υπερσύνδεσμο είναι ορατή.

Συνδεθείτε στον διακομιστή χρησιμοποιώντας το εργαλείο στόκου και ξεκινήστε την εγκατάσταση του εργαλείου Ollama με την ακόλουθη εντολή:


Η εγκατάσταση έχει ολοκληρωθεί και η έξοδος έχει ως εξής:
>>> Εγκατάσταση του ollama στο /usr/local
>>> Λήψη πακέτου Linux amd64
######################################################################## 100.0%
>>> Δημιουργία χρήστη ollama...
>>> Προσθήκη χρήστη ollama στην απόδοση ομάδας...
>>> Προσθήκη χρήστη ollama στην ομάδα βίντεο...
>>> Προσθήκη τρέχοντος χρήστη στην ομάδα ollama...
>>> Δημιουργία υπηρεσίας ollama systemd...
>>> Ενεργοποίηση και εκκίνηση της υπηρεσίας ollama...
Δημιουργήθηκε συμβολικός σύνδεσμος /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.

Ελέγξτε την εντολή έκδοσης: ollama -v
Δείτε το μοντέλο που είναι φορτωμένο στη μνήμη: ollama ps

Δημιουργήστε έναν φάκελο αποθήκευσης προσαρμοσμένου μοντέλου με την ακόλουθη εντολή:

Τροποποιήστε την προεπιλεγμένη διεύθυνση ακρόασης και τη διαδρομή αποθήκευσης του μοντέλου (δεν μπορείτε να τροποποιήσετε την προεπιλεγμένη θύρα, διαφορετικά η εντολή θα αποτύχει) και χρησιμοποιήστε τις ακόλουθες εντολές:


Αναπτύξτε το μοντέλο deepseek-r1

Εκτελέστε το μοντέλο deepseek-r1:8b με την ακόλουθη εντολή:


Οπως φαίνεται παρακάτω:



Δοκιμάστε το παράθυρο διαλόγου όπως φαίνεται παρακάτω:



Το τείχος προστασίας απελευθερώνει τη θύρα TCP 11434 και καλεί τη διασύνδεση HTTP, όπως φαίνεται στην παρακάτω εικόνα:



{
  "μοντέλα": [
    {
      "name": "deepseek-r1:8b",
      "μοντέλο": "deepseek-r1:8b",
      "μέγεθος": 6930032640,
      "digest": "28f8fd6cdc677661426adab9338ce3c013d7e69a5bea9e704b364171a5d61a10",
      "λεπτομέρειες": {
        "parent_model": "",
        "format": "gguf",
        "οικογένεια": "λάμα",
        "οικογένειες": [
          "λάμα"
        ],
        "parameter_size": "8.0Β",
        "quantization_level": "Q4_K_M"
      },
      "expires_at": "2025-02-05T21:14:50.715753614+08:00",
      "size_vram": 6930032640
    }
  ]
}

Αναφορά:
Η σύνδεση με υπερσύνδεσμο είναι ορατή.
Η σύνδεση με υπερσύνδεσμο είναι ορατή.
Η σύνδεση με υπερσύνδεσμο είναι ορατή.




Προηγούμενος:[AI] (2) Η διαφορά μεταξύ των εκδόσεων DeepSeek-V3 και R1
Επόμενος:[AI] (4) Χρησιμοποιήστε το Open WebUI για να καλέσετε το μοντέλο DeepSeek-R1
 Σπιτονοικοκύρης| Δημοσιεύτηκε στις 2025-2-5 21:22:49 |
Εάν το μοντέλο δεν λαμβάνει αιτήματα ή εισόδους για κάποιο χρονικό διάστημα, το Ollama τερματίζει αυτόματα το μοντέλο στο κέντρο cloud για εξοικονόμηση πόρων.
 Σπιτονοικοκύρης| Δημοσιεύτηκε στις 2025-2-6 09:03:57 |
Στοιχείο διαμόρφωσης μεταβλητής περιβάλλοντος ollama

ΜεταβλητόςΠροεπιλεγμένη τιμήΠεριγραφή + Εφέ + Σενάριο
OLLAMA_HOST"[color=var(--fgColor-accent, var(--color-accent-fg))]Η σύνδεση με υπερσύνδεσμο είναι ορατή."Ρυθμίζει τις παραμέτρους του κεντρικού υπολογιστή και του σχήματος για τον διακομιστή Ollama. Εφέ: Καθορίζει τη διεύθυνση URL που χρησιμοποιείται για τη σύνδεση με τον διακομιστή Ollama. Σενάριο: Χρήσιμο κατά την ανάπτυξη του Ollama σε ένα κατανεμημένο περιβάλλον ή όταν πρέπει να εκθέσετε την υπηρεσία σε μια συγκεκριμένη διεπαφή δικτύου.
OLLAMA_ORIGINS[localhost, 127.0.0.1, 0.0.0.0] + app://, file://, tauri://Οι διαμορφώσεις επέτρεψαν την προέλευση του CORS. Effect: Ελέγχει ποιες προελεύσεις επιτρέπεται να κάνουν αιτήματα στον διακομιστή Ollama. Σενάριο: Κρίσιμο κατά την ενσωμάτωση του Ollama με εφαρμογές Ιστού για την αποτροπή μη εξουσιοδοτημένης πρόσβασης από διαφορετικούς τομείς.
OLLAMA_MODELS$HOME/.ollama/μοντέλαΟρίζει τη διαδρομή προς τον κατάλογο μοντέλων. Εφέ: Καθορίζει από πού αποθηκεύονται και φορτώνονται τα αρχεία μοντέλου. Σενάριο: Χρήσιμο για τη διαχείριση χώρου στο δίσκο σε διαφορετικές μονάδες δίσκου ή τη ρύθμιση κοινόχρηστων αποθετηρίων μοντέλων σε περιβάλλοντα πολλών χρηστών.
OLLAMA_KEEP_ALIVE5 λεπτάΡυθμίζει το χρονικό διάστημα για το οποίο τα μοντέλα παραμένουν φορτωμένα στη μνήμη. Εφέ: Ελέγχει τη διάρκεια παραμονής των μοντέλων στη μνήμη μετά τη χρήση. Σενάριο: Οι μεγαλύτερες διάρκειες βελτιώνουν τους χρόνους απόκρισης για συχνά ερωτήματα, αλλά αυξάνουν τη χρήση της μνήμης. Οι μικρότερες διάρκειες απελευθερώνουν πόρους, αλλά μπορεί να αυξήσουν τους αρχικούς χρόνους απόκρισης.
OLLAMA_DEBUGfalseΕνεργοποιεί πρόσθετες πληροφορίες εντοπισμού σφαλμάτων. Αποτέλεσμα: Αυξάνει την πολυγλωσσία της καταγραφής και του εντοπισμού σφαλμάτων. Σενάριο: Ανεκτίμητο για την αντιμετώπιση προβλημάτων ή την κατανόηση της συμπεριφοράς του συστήματος κατά την ανάπτυξη ή την ανάπτυξη.
OLLAMA_FLASH_ATTENTIONfalseΕνεργοποιεί τη δυνατότητα πειραματικής προσοχής φλας. Επίδραση: Ενεργοποιεί μια πειραματική βελτιστοποίηση για μηχανισμούς προσοχής. Σενάριο: Μπορεί ενδεχομένως να βελτιώσει την απόδοση σε συμβατό υλικό, αλλά μπορεί να προκαλέσει αστάθεια.
OLLAMA_NOHISTORYfalseΑπενεργοποιεί το ιστορικό γραμμής ανάγνωσης. Εφέ: Αποτρέπει την αποθήκευση του ιστορικού εντολών. Σενάριο: Χρήσιμο σε περιβάλλοντα ευαίσθητα στην ασφάλεια όπου το ιστορικό εντολών δεν πρέπει να διατηρείται.
OLLAMA_NOPRUNEfalseΑπενεργοποιεί το κλάδεμα των blob του μοντέλου κατά την εκκίνηση. Εφέ: Διατηρεί όλα τα blob του μοντέλου, αυξάνοντας ενδεχομένως τη χρήση του δίσκου. Σενάριο: Χρήσιμο όταν χρειάζεται να διατηρήσετε όλες τις εκδόσεις του μοντέλου για λόγους συμβατότητας ή επαναφοράς.
OLLAMA_SCHED_SPREADfalseΕπιτρέπει τον προγραμματισμό μοντέλων σε όλες τις GPU. Εφέ: Ενεργοποιεί τη χρήση πολλαπλών GPU για εξαγωγή συμπερασμάτων μοντέλου. Σενάριο: Ευεργετικό σε υπολογιστικά περιβάλλοντα υψηλής απόδοσης με πολλαπλές GPU για μεγιστοποίηση της χρήσης υλικού.
OLLAMA_INTEL_GPUfalseΕπιτρέπει την πειραματική ανίχνευση GPU της Intel. Αποτέλεσμα: Επιτρέπει τη χρήση GPU της Intel για εξαγωγή συμπερασμάτων μοντέλου. Σενάριο: Χρήσιμο για οργανισμούς που αξιοποιούν το υλικό Intel GPU για φόρτους εργασίας AI.
OLLAMA_LLM_LIBRARY"" (αυτόματος εντοπισμός)Ρυθμίζει τη βιβλιοθήκη LLM που θα χρησιμοποιηθεί. Εφέ: Παρακάμπτει τον αυτόματο εντοπισμό της βιβλιοθήκης LLM. Σενάριο: Χρήσιμο όταν πρέπει να επιβάλετε μια συγκεκριμένη έκδοση ή υλοποίηση βιβλιοθήκης για λόγους συμβατότητας ή απόδοσης.
OLLAMA_TMPDIRΠροεπιλεγμένος προσωρινός κατάλογος συστήματοςΟρίζει τη θέση για τα προσωρινά αρχεία. Εφέ: Καθορίζει πού αποθηκεύονται τα προσωρινά αρχεία. Σενάριο: Σημαντικό για τη διαχείριση της απόδοσης I/O ή όταν ο κατάλογος θερμοκρασίας συστήματος έχει περιορισμένο χώρο.
CUDA_VISIBLE_DEVICESΌλα διαθέσιμαΟρίζει ποιες συσκευές NVIDIA είναι ορατές. Εφέ: Ελέγχει ποιες GPU NVIDIA μπορούν να χρησιμοποιηθούν. Σενάριο: Κρίσιμο για τη διαχείριση της κατανομής GPU σε περιβάλλοντα πολλών χρηστών ή πολλαπλών διεργασιών.
HIP_VISIBLE_DEVICESΌλα διαθέσιμαΟρίζει ποιες συσκευές AMD είναι ορατές. Αποτέλεσμα: Ελέγχει ποιες GPU της AMD μπορούν να χρησιμοποιηθούν. Σενάριο: Παρόμοιο με CUDA_VISIBLE_DEVICES αλλά για υλικό AMD.
OLLAMA_RUNNERS_DIRΕξαρτάται από το σύστημαΟρίζει τη θέση για τους δρομείς. Εφέ: Καθορίζει πού βρίσκονται τα εκτελέσιμα αρχεία δρομέων. Σενάριο: Σημαντικό για προσαρμοσμένες αναπτύξεις ή όταν οι δρομείς πρέπει να απομονωθούν από την κύρια εφαρμογή.
OLLAMA_NUM_PARALLEL0 (απεριόριστο)Ορίζει τον αριθμό των αιτήσεων παράλληλου μοντέλου. Εφέ: Ελέγχει την ταυτόχρονη εξαγωγή συμπερασμάτων μοντέλου. Σενάριο: Κρίσιμο για τη διαχείριση του φόρτου του συστήματος και τη διασφάλιση της ανταπόκρισης σε περιβάλλοντα υψηλής επισκεψιμότητας.
OLLAMA_MAX_LOADED_MODELS0 (απεριόριστο)Ορίζει τον μέγιστο αριθμό φορτωμένων μοντέλων. Εφέ: Περιορίζει τον αριθμό των μοντέλων που μπορούν να φορτωθούν ταυτόχρονα. Σενάριο: Βοηθά στη διαχείριση της χρήσης μνήμης σε περιβάλλοντα με περιορισμένους πόρους ή πολλά διαφορετικά μοντέλα.
OLLAMA_MAX_QUEUE512Ορίζει τον μέγιστο αριθμό αιτήσεων σε ουρά. Αποτέλεσμα: Περιορίζει το μέγεθος της ουράς αιτημάτων. Σενάριο: Αποτρέπει την υπερφόρτωση του συστήματος κατά τη διάρκεια αιχμών της κυκλοφορίας και διασφαλίζει την έγκαιρη επεξεργασία των αιτημάτων.
OLLAMA_MAX_VRAM0 (απεριόριστο)Ορίζει μια μέγιστη παράκαμψη VRAM σε byte. Επίδραση: Περιορίζει την ποσότητα της VRAM που μπορεί να χρησιμοποιηθεί. Σενάριο: Χρήσιμο σε κοινόχρηστα περιβάλλοντα GPU για να αποτρέψετε τη μονοπώληση της μνήμης GPU από μία μόνο διαδικασία.


Πηγή:Η σύνδεση με υπερσύνδεσμο είναι ορατή.

$ ollama βοήθεια σερβίρετε
Ξεκινήστε το ollama

Usage:
  Ollama serve [σημαίες]

Aliases:
  Σερβίρισμα, Έναρξη

Flags:
  -η, --βοήθεια για το σερβίρισμα

Μεταβλητές περιβάλλοντος:
      OLLAMA_DEBUG Εμφάνιση πρόσθετων πληροφοριών εντοπισμού σφαλμάτων (π.χ. OLLAMA_DEBUG=1)
      OLLAMA_HOST Διεύθυνση IP για τον διακομιστή ollama (προεπιλογή 127.0.0.1:11434)
      OLLAMA_KEEP_ALIVE Η διάρκεια κατά την οποία τα μοντέλα παραμένουν φορτωμένα στη μνήμη (προεπιλογή "5m")
      OLLAMA_MAX_LOADED_MODELS Μέγιστος αριθμός φορτωμένων μοντέλων ανά GPU
      OLLAMA_MAX_QUEUE Μέγιστος αριθμός αιτημάτων σε ουρά
      OLLAMA_MODELS Η διαδρομή προς τον κατάλογο μοντέλων
      OLLAMA_NUM_PARALLEL Μέγιστος αριθμός παράλληλων αιτημάτων
      OLLAMA_NOPRUNE Μην κλαδεύετε τα blobs του μοντέλου κατά την εκκίνηση
      OLLAMA_ORIGINS Μια λίστα επιτρεπόμενων προελεύσεων διαχωρισμένη με κόμματα
      OLLAMA_SCHED_SPREAD Πάντα να προγραμματίζετε το μοντέλο σε όλες τις GPU
      OLLAMA_TMPDIR Θέση για προσωρινά αρχεία
      OLLAMA_FLASH_ATTENTION Ενεργοποιημένη προσοχή φλας
      OLLAMA_LLM_LIBRARY Ρυθμίστε τη βιβλιοθήκη LLM για παράκαμψη της αυτόματης ανίχνευσης
      OLLAMA_GPU_OVERHEAD Κρατήστε ένα μέρος της VRAM ανά GPU (byte)
      OLLAMA_LOAD_TIMEOUT Πόσο καιρό να αφήσετε τα φορτία του μοντέλου να σταματήσουν πριν τα παρατήσετε (προεπιλογή "5m")


Αναφορά:Η σύνδεση με υπερσύνδεσμο είναι ορατή.
 Σπιτονοικοκύρης| Δημοσιεύτηκε στις 2025-2-6 09:19:49 |
Εντολή Ollama

ollama list: Εμφανίζει μια λίστα μοντέλων
Εμφάνιση Ollama: Εμφανίζει πληροφορίες σχετικά με το μοντέλο
Ollama Pull: Μοντέλο έλξης
ollama push: Μοντέλο ώθησης
Ollama CP: Αντιγραφή μοντέλου
ollama rm: Διαγραφή μοντέλου
ollama run: Τρέξε ένα μοντέλο
 Σπιτονοικοκύρης| Δημοσιεύτηκε στις 2025-2-6 09:33:17 |
Βελτιστοποίηση μοντέλου, επεξεργασία/etc/systemd/system/ollama.service.d/override.confδιαμόρφωση, προσθέστε τα εξής:


Η πλήρης διαμόρφωση έχει ως εξής:



 Σπιτονοικοκύρης| Δημοσιεύτηκε στις 2025-2-6 09:35:26 |
--φλύαροςΗ παράμετρος χρησιμοποιείται για την εμφάνιση της ταχύτητας εξαγωγής συμπερασμάτων (token / δευτερόλεπτο). Για παράδειγμα:

>>> Γεια σας, ποιος είστε;
<think>

</think>

Γεια σας! Είμαι βοηθός τεχνητής νοημοσύνης που αναπτύχθηκε ανεξάρτητα από την DeepSeek στην Κίνα και είμαι στην ευχάριστη θέση να σας εξυπηρετήσω!

Συνολική διάρκεια: 489.831897ms
Διάρκεια φόρτωσης: 24.116423ms
Αριθμός άμεσων αξιολογήσεων: 10 Token(s)
Διάρκεια Άμεσης Αξιολόγησης: 4ms
Ποσοστό άμεσης αξιολόγησης: 2500.00 tokens/s
Αριθμός αξιολόγησης: 36 Token(s)
Διάρκεια αξιολόγησης: 460ms
Ποσοστό αξιολόγησης: 78.26 μάρκες/δευτ.
>>> είμαι ένα μικρό κάθαρμα, πώς με λένε;
<think>
Λοιπόν, το όνομά μου είναι μικρό απόβρασμα; Επιτρέψτε μου να το σκεφτώ προσεκτικά. Θυμάμαι όταν ήμουν παιδί, οι γονείς μου με αποκαλούσαν «Μικρό Σκουπίδι» επειδή η οικογένειά μου νόμιζε ότι είχα μεγάλα αυτιά, αλλά στην πραγματικότητα, μέχρι εκεί
Δεν είναι ο πραγματικός λόγος. Ίσως επειδή όταν ήμουν παιδί, έβαζα πάντα το δάχτυλό μου στο στόμα μου σαν σκουπίδι, οπότε με αποκαλούσαν «μικρά αποβράσματα».

Ωστόσο, το όνομα ακούγεται λίγο περίεργο τώρα και δεν ταιριάζει απόλυτα στο στυλ ονομασίας της σημερινής κοινωνίας. Θα πρέπει να σκεφτώ να το μετονομάσω με ένα όνομα που μου ταιριάζει καλύτερα. Πρώτα, πρέπει να κατανοήσω τον εαυτό μου
Τα χαρακτηριστικά της προσωπικότητάς σας και τα ενδιαφέροντά σας, ώστε να μπορείτε να επιλέξετε ένα όνομα που να έχει νόημα και μοναδικό.

Μου αρέσει να βοηθάω τους άλλους και είμαι καλός στο να ακούω και να επικοινωνώ, οπότε ίσως να διαλέξω ένα όνομα με «σοφία», «ζεστό» ή «φιλικό». Ταυτόχρονα, θέλω επίσης να αντικατοπτρίζω την προσωπικότητά μου, όπως
Αν σας αρέσουν τα βιβλία, η μουσική ή ο αθλητισμός, μπορείτε να ενσωματώσετε αυτά τα στοιχεία στο όνομά σας.

Επιπλέον, πρέπει να βεβαιωθώ ότι το νέο όνομα δεν θα παρεξηγηθεί ή παρεξηγηθεί. Αυτό σημαίνει ότι το όνομα πρέπει να είναι μοναδικό και αναγνωρίσιμο, όχι πολύ περίπλοκο ή πολύ συνηθισμένο. Μπορώ
Ανατρέξτε στα ονόματα ορισμένων γνωστών προσωπικοτήτων για να δείτε ποιες έχουν τόσο πολιτιστική κληρονομιά όσο και νεωτερικότητα.

Επιπλέον, πρέπει να εξετάσω αν η προφορά είναι ομαλή, αν υπάρχει θετικό νόημα και πώς εκφράζεται σε διαφορετικά συμφραζόμενα. Αυτό σημαίνει ότι όταν επιλέγετε ένα όνομα, όχι μόνο ακούγεται καλό, αλλά και
Πρέπει να υπάρχει νόημα και αξία πίσω από αυτό.

Τέλος, πρέπει να επικοινωνήσω με την οικογένεια και τους φίλους μου για να βεβαιωθώ ότι είναι ευχαριστημένοι με το νέο όνομα και ότι το όνομα μπορεί να είναι μέρος της ζωής μου. Άλλωστε το όνομα δεν είναι μόνο
Το αναγνωριστικό είναι μέρος της αυτοέκφρασης.

Εν ολίγοις, το Xiao Zhao δεν είναι το πραγματικό μου όνομα και έχω το δικαίωμα να επιλέξω ένα όνομα που μου ταιριάζει καλύτερα. Χρειάζεται χρόνος και σκέψη, αλλά αναλύοντας προσεκτικά την προσωπικότητά σας, τα ενδιαφέροντά σας
Εκτός από τη σημασία του ονόματος, πιστεύω ότι θα μπορέσω να βρω το πιο κατάλληλο όνομα για τον εαυτό μου.
</think>

Με βάση την παραπάνω διαδικασία σκέψης, αποφάσισα να ονομάσω τον εαυτό μου «Αστέρι της Σοφίας». Το όνομα αντικατοπτρίζει τόσο την εφευρετικότητα όσο και τη ζεστασιά και την ελπίδα μου, καθιστώντας το ιδανικό για την προσωπική μου σεξουαλικότητα
Χαρακτηριστικά. Ταυτόχρονα, το «αστέρι» συμβολίζει το φως και τις άπειρες δυνατότητες, εμπνέοντάς με να επιδιώκω συνεχώς την πρόοδο και την ανάπτυξη.

**Οριστικό όνομα: Αστέρι της Σοφίας**

Αυτό το όνομα όχι μόνο ταιριάζει με την προσωπικότητά μου, αλλά είναι επίσης γεμάτο θετική ενέργεια που με κάνει να νιώθω πολύ περήφανη και ολοκληρωμένη.

Συνολική Διάρκεια: 7.600299527s
Διάρκεια φόρτωσης: 24.37534ms
Αριθμός άμεσων αξιολογήσεων: 59 Token(s)
Διάρκεια Άμεσης Αξιολόγησης: 10ms
Ποσοστό άμεσης αξιολόγησης: 5900.00 tokens/s
Αριθμός αξιολόγησης: 557 Token(s)
Διάρκεια αξιολόγησης: 6.618s
Ποσοστό αξιολόγησης: 84.16 μάρκες/δευτερόλεπτο

 Σπιτονοικοκύρης| Δημοσιεύτηκε στις 2025-2-6 10:22:02 |
 Σπιτονοικοκύρης| Δημοσιεύτηκε στις 2025-2-6 13:26:17 |
Εκτελέστε το μοντέλο deepseek-r1:32b




root@VM-0-8-ubuntu:~# nvidia-smi
Πέμ Φεβ 6 13:25:04 2025
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 525.105.17 Έκδοση προγράμματος οδήγησης: 525.105.17 Έκδοση CUDA: 12.0 |
|-------------------------------+----------------------+----------------------+
| Όνομα GPU Persistence-M| Bus-ID Disp.A | Πτητικό Uncorr. ΕΚΚ |
| Θερμοκρασία ανεμιστήρα Perf Pwr: Χρήση/Καπάκι|         Χρήση μνήμης | GPU-Util Compute M. |
|                               |                      |               MIG Μ. |
|===============================+======================+======================|
|   0 Tesla V100-SXM2...  Στις | 00000000:00:08.0 Απενεργοποίηση |                  Απενεργοποίηση |
| Δ/Υ 65C P0 205W / 300W |  21822MiB / 32768MiB |     89% Προεπιλογή |
|                               |                      |                  Άνευ αντικειμένου |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Διαδικασίες: |
|  GPU GI CI PID Τύπος Όνομα διαδικασίας Μνήμη GPU |
|        Χρήση αναγνωριστικού ταυτότητας |
|=============================================================================|
|    0 ά.α. ά.α. 91457 C ... 1_avx/ollama_llama_server 21820MiB |
+-----------------------------------------------------------------------------+
root@VM-0-8-ubuntu:~# ollama show deepseek-r1:32b
  Υπόδειγμα
    αρχιτεκτονική qwen2
    παράμετροι 32.8B
    Μήκος περιβάλλοντος 131072
    μήκος ενσωμάτωσης 5120
    κβαντοποίηση Q4_K_M

  Παραμέτρους
    Διακοπή "<|αρχή πρότασης|>"
    Σταματήστε το "<|τέλος πρότασης|>"
    διακοπή "<|Χρήστης|>"
    διακοπή "<|Βοηθός|>"

  Άδεια
    Άδεια MIT
    Πνευματικά δικαιώματα (γ) 2023 DeepSeek

root@VM-0-8-ubuntu:~# ollama ps
ΕΠΕΞΕΡΓΑΣΤΉΣ ΜΕΓΈΘΟΥΣ ΑΝΑΓΝΩΡΙΣΤΙΚΟΎ ΟΝΌΜΑΤΟΣ ΈΩΣ
deepseek-r1:32b    38056bbcbb2d    23 GB    100% GPU     Forever


 Σπιτονοικοκύρης| Δημοσιεύτηκε στις 2025-2-8 08:34:18 |
Πώς να λύσετε το πρόβλημα έλξης του μοντέλου Ollama
https://www.itsvse.com/thread-10939-1-1.html
 Σπιτονοικοκύρης| Δημοσιεύτηκε στις 2025-2-13 09:25:04 |
Ζήστε το μοντέλο DeepSeek R1 32b στο Jetson AGX Orin (32G):Η σύνδεση με υπερσύνδεσμο είναι ορατή.
Η Jetson εκτελεί μεγάλα γλωσσικά μοντέλα:https://www.jetson-ai-lab.com/models.html

Αποκήρυξη:
Όλο το λογισμικό, το υλικό προγραμματισμού ή τα άρθρα που δημοσιεύονται από το Code Farmer Network προορίζονται μόνο για μαθησιακούς και ερευνητικούς σκοπούς. Το παραπάνω περιεχόμενο δεν θα χρησιμοποιηθεί για εμπορικούς ή παράνομους σκοπούς, άλλως οι χρήστες θα υποστούν όλες τις συνέπειες. Οι πληροφορίες σε αυτόν τον ιστότοπο προέρχονται από το Διαδίκτυο και οι διαφορές πνευματικών δικαιωμάτων δεν έχουν καμία σχέση με αυτόν τον ιστότοπο. Πρέπει να διαγράψετε εντελώς το παραπάνω περιεχόμενο από τον υπολογιστή σας εντός 24 ωρών από τη λήψη. Εάν σας αρέσει το πρόγραμμα, υποστηρίξτε γνήσιο λογισμικό, αγοράστε εγγραφή και λάβετε καλύτερες γνήσιες υπηρεσίες. Εάν υπάρχει οποιαδήποτε παραβίαση, επικοινωνήστε μαζί μας μέσω email.

Mail To:help@itsvse.com