【AI】(3) Tencent Cloud setzt DeepSeek-R1 mit HAI-Tutorial ein

Videospeicher: 32GB+
Hashrate: 15+TFlops SP
CPU: 8~10 Kerne
RAM: 40 GB

>>> Installation von Ollama auf /usr/local
>>> Linux amd64 Bundle herunterladen
######################################################################## 100.0%
>>> Olama-Nutzer erstellen...
>>> Olama-Benutzer zur Rendergruppe hinzufügen...
>>> Olama-Nutzer zur Videogruppe hinzufügen...
>>> Aktueller Nutzer zur Olama-Gruppe hinzufügen...
>>> Schaffung eines Olama-Systemd-Dienstes...
>>> Aktivieren und Starten des Olama-Dienstes...
Ich habe symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service erstellt.

{
  "Models": [
    {
      "name": "deepseek-r1:8b",
      "Modell": "Deepseek-r1:8b",
      "Größe": 6930032640,
      "Digest": "28f8fd6cdc677661426adab9338ce3c013d7e69a5bea9e704b364171a5d61a10",
      "Details": {
        "parent_model": "",
        "Format": "GGUF",
        "Familie": "Lama",
        "Familien": [
          "Lama"
        ],
        "parameter_size": "8.0B",
        "quantization_level": "Q4_K_M"
      },
      "expires_at": "2025-02-05T21:14:50.715753614+08:00",
      "size_vram": 6930032640
    }
  ]
}

$ ollama helfen zu servieren
Starte Ollama

Usage:
  Olama-Aufschlag [Fahnen]

Aliases:
  Aufschlag, Start

Flags:
  -H, --Hilfe, Hilfe für den Dienst

Umweltvariablen:
      OLLAMA_DEBUG Zusätzliche Debug-Informationen anzeigen (z. B. OLLAMA_DEBUG=1)
      OLLAMA_HOST IP-Adresse für den Olama-Server (Standard 127.0.0.1:11434)
      OLLAMA_KEEP_ALIVE Die Dauer, in der Modelle im Speicher geladen bleiben (Standard "5m")
      OLLAMA_MAX_LOADED_MODELS Maximale Anzahl geladener Modelle pro GPU
      OLLAMA_MAX_QUEUE Maximale Anzahl der Warteschlangenanfragen
      OLLAMA_MODELS Der Pfad zum Models-Verzeichnis
      OLLAMA_NUM_PARALLEL Maximale Anzahl paralleler Anfragen
      OLLAMA_NOPRUNE Nicht beim Start Modellblobs beschneiden
      OLLAMA_ORIGINS Eine komma-getrennte Liste erlaubter Ursprünge
      OLLAMA_SCHED_SPREAD Planen Sie das Modell immer über alle GPUs hinweg
      OLLAMA_TMPDIR Speicherort für temporäre Dateien
      OLLAMA_FLASH_ATTENTION Aktivierte Flash-Aufmerksamkeit
      OLLAMA_LLM_LIBRARY Stelle die LLM-Bibliothek so ein, dass sie die automatische Erkennung umgeht
      OLLAMA_GPU_OVERHEAD Reserviere einen Teil VRAM pro GPU (Bytes)
      OLLAMA_LOAD_TIMEOUT Wie lange sollte man Modellladungen zum Stillstand lassen, bevor man aufgibt (Standard "5m")

>>> Hallo, wer sind Sie?
<think>

</think>

Hallo! Ich bin ein KI-Assistent, der unabhängig von DeepSeek in China entwickelt wurde, und ich freue mich, Ihnen zu helfen!

Gesamtdauer: 489,831897 ms
Ladedauer: 24,116423 ms
Prompt-Evaluierungsanzahl: 10 Token(s)
Dauer der Promptbewertung: 4 ms
Prompt-Evaluierungsrate: 2500,00 Token/s
Bewertungszahl: 36 Token
Evaluierungsdauer: 460 ms
Bewertungsrate: 78,26 Token/s
>>> ich ein kleiner Dreckskerl bin, wie heiße ich?
<think>
Na, heißt ich der kleine Dreckskerl? Lass mich genau darüber nachdenken. Ich erinnere mich, als ich ein Kind war, nannten mich meine Eltern "Kleiner", weil meine Familie dachte, ich hätte große Ohren, aber in Wirklichkeit war es das auch
Nicht der eigentliche Grund. Vielleicht liegt es daran, dass ich als Kind immer meinen Finger wie Müll in den Mund gesteckt habe und deshalb "kleiner Abschaum" genannt wurde.

Allerdings klingt der Name heute etwas seltsam und passt nicht ganz zum Namensstil der heutigen Gesellschaft. Ich sollte in Erwägung ziehen, sie mit einem Namen umzubenennen, der besser zu mir passt. Zuerst muss ich mich selbst verstehen
Deine Persönlichkeitsmerkmale und Interessen, damit du einen Namen wählen kannst, der sowohl bedeutungsvoll als auch einzigartig ist.

Ich helfe gerne anderen und bin gut im Zuhören und Kommunizieren, also wähle vielleicht einen Namen mit "Weisheit", "warm" oder "freundlich". Gleichzeitig möchte ich auch meine Persönlichkeit widerspiegeln, zum Beispiel
Wenn Sie Bücher, Musik oder Sport mögen, können Sie diese Elemente in Ihren Namen einbauen.

Außerdem muss ich sicherstellen, dass der neue Name nicht falsch erinnert oder missverstanden wird. Das bedeutet, dass der Name einzigartig und erkennbar sein muss, nicht zu komplex oder zu gewöhnlich. Ich kann
Beziehen Sie sich auf die Namen einiger bekannter Persönlichkeiten, um zu sehen, welche sowohl kulturelles Erbe als auch Moderne haben.

Außerdem muss ich überlegen, ob die Aussprache glatt ist, ob es eine positive Bedeutung gibt und wie sie in verschiedenen Kontexten ausgedrückt wird. Das bedeutet, dass bei der Namenswahl nicht nur gut klingt, sondern auch
Es muss Sinn und Wert dahinter geben.

Schließlich muss ich mit meiner Familie und meinen Freunden kommunizieren, um sicherzustellen, dass sie mit dem neuen Namen zufrieden sind und der Name ein Teil meines Lebens sein kann. Schließlich ist der Name nicht nur
Der Identifizierer ist Teil des Selbstausdrucks.

Kurz gesagt, Xiao Zhao ist nicht mein richtiger Name, und ich habe das Recht, einen Namen zu wählen, der besser zu mir passt. Es braucht Zeit und Nachdenken, aber durch sorgfältige Analyse deiner Persönlichkeit und Interessen
Neben der Bedeutung des Namens glaube ich, dass ich den passendsten Namen für mich finden werde.
</think>

Basierend auf dem oben genannten Denkprozess habe ich mich entschieden, mich "Weisheitsstern" zu nennen. Der Name spiegelt sowohl meine Einfallsreichtum als auch meine Wärme und Hoffnung wider und passt perfekt zu meiner persönlichen Sexualität
Charaktereigenschaften. Gleichzeitig symbolisiert der "Stern" Licht und unendliche Möglichkeiten und inspiriert mich, ständig Fortschritt und Wachstum zu verfolgen.

**Endgültiger Name: Weisheitsstern**

Dieser Name passt nicht nur zu meiner Persönlichkeit, sondern ist auch voller positiver Energie, die mich sehr stolz und erfüllt macht.

Gesamtdauer: 7,600299527s
Ladezeit: 24,37534 ms
Prompt-Evaluierungsanzahl: 59 Token(n)
Dauer der Promptbewertung: 10 ms
Promptbewertungsrate: 5900,00 Token/s
Bewertungszahl: 557 Token(s)
Evaluierungsdauer: 6,618 Sekunden
Auswertungsrate: 84,16 Token/s

root@VM-0-8-ubuntu:~# nvidia-smi
Do 6. Feb 13:25:04 2025
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 525.105.17 Treiber-Version: 525.105.17 CUDA-Version: 12.0 |
|-------------------------------+----------------------+----------------------+
| GPU-Name Persistenz-M| Bus-ID Disp.A | Volatile Uncorr. ECC |
| Lüftertemperatur-Perf Pwr:Usage/Cap|         Speichernutzung | GPU-Util Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0 Tesla V100-SXM2...  Auf | 000000000:00:08.0 Aus |                  Off |
| N/A 65C P0 205W / 300W |  21822MiB / 32768MiB |     89% Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Prozesse: |
|  GPU GI CI PID Typ Prozessname GPU Speicher |
|        ID-ID-Nutzung |
|=============================================================================|
|    0 N/A N/A 91457 C ... 1_avx/ollama_llama_server 21820MiB |
+-----------------------------------------------------------------------------+
root@VM-0-8-ubuntu:~# ollama show deepseek-r1:32b
  Modell
    Architektur qwen2
    Parameter 32,8B
    Kontextlänge 131072
    Einbettungslänge 5120
    Quantisierung Q4_K_M

  Parameter
    stopp "<|Beginn des Satzes|>"
    Stopp "<|Satzende|>"
    stop "<|User|>"
    stop "<|Assistent|>"

  Lizenz
    MIT-Lizenz
    Copyright (c) 2023 DeepSeek

root@VM-0-8-ubuntu:~# ollama ps
NAME, ID, GRÖSSE, PROZESSOR BIS
deepseek-r1:32b    38056bbcbb2d    23 GB    100% GPU     Forever

Wie man das Ullama-Modell-Pull-Problem löst
https://www.itsvse.com/thread-10939-1-1.html