【AI】(3) Tencent Cloud implementează DeepSeek-R1 cu tutorial HAI

Memorie video: 32GB+
Hashrate: 15+TFlops SP
CPU: 8~10 nuclee
RAM: 40GB

>>> Instalarea ollama pe /usr/local
>>> Descărcarea pachetului Linux amd64
######################################################################## 100.0%
>>> Crearea utilizatorului llama...
>>> Adăugarea utilizatorului ollama în grupul de randare...
>>> Adăugarea unui utilizator ollama în grupul video...
>>> Adăugarea utilizatorului actual în grupul ollama...
>>> Crearea unui serviciu sistemat ollama...
>>> Activarea și începerea serviciului ollama...
Am creat un symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.

{
  "modele": [
    {
      "nume": "deepseek-r1:8b",
      "model": "deepseek-r1:8b",
      "mărime": 6930032640,
      "digest": "28f8fd6cdc677661426adab9338ce3c013d7e69a5bea9e704b364171a5d61a10",
      "detalii": {
        "parent_model": "",
        "format": "gguf",
        "familie": "llama",
        "familii": [
          "llama"
        ],
        "parameter_size": "8.0B",
        "quantization_level": "Q4_K_M"
      },
      "expires_at": "2025-02-05T21:14:50.715753614+08:00",
      "size_vram": 6930032640
    }
  ]
}

$ ollama ajută la servire
Începe ollama

Usage:
  Serviciul Ollama [steaguri]

Aliases:
  Servește, începe

Flags:
  -h, --ajutor pentru serviciu

Variabile de mediu:
      OLLAMA_DEBUG Afișează informații suplimentare de depanare (de exemplu OLLAMA_DEBUG=1)
      OLLAMA_HOST Adresă IP pentru serverul ollama (implicit 127.0.0.1:11434)
      OLLAMA_KEEP_ALIVE Durata în care modelele rămân încărcate în memorie (implicit "5m")
      OLLAMA_MAX_LOADED_MODELS Numărul maxim de modele încărcate per GPU
      OLLAMA_MAX_QUEUE Numărul maxim de cereri puse la coadă
      OLLAMA_MODELS Calea către directorul modelelor
      OLLAMA_NUM_PARALLEL Numărul maxim de cereri paralele
      OLLAMA_NOPRUNE Nu tăia blob-urile modelului la pornire
      OLLAMA_ORIGINS O virgulă separa lista originilor permise
      OLLAMA_SCHED_SPREAD Programează întotdeauna modelul pe toate plăcile video
      OLLAMA_TMPDIR Locația fișierelor temporare
      OLLAMA_FLASH_ATTENTION A activat atenția flash
      OLLAMA_LLM_LIBRARY Setează biblioteca LLM pentru a ocoli autodetectarea
      OLLAMA_GPU_OVERHEAD Rezervați o porțiune de VRAM pentru fiecare GPU (octeți)
      OLLAMA_LOAD_TIMEOUT Cât timp să permitem ca încărcările modelului să se blocheze înainte să renunțe (implicit "5m")

>>> Bună, cine ești?
<think>

</think>

Bună ziua! Sunt un asistent AI dezvoltat independent de DeepSeek în China și sunt bucuros să vă servesc!

Durata totală: 489,831897ms
Durata încărcării: 24,116423ms
Număr de evaluări la prompt: 10 token(e)
Durata evaluării promptului: 4ms
Rată de evaluare promptă: 2500,00 jetoane/s
Număr de evaluări: 36 token(s)
Durata evaluării: 460ms
Rată de evaluare: 78,26 tokens/s
>>> sunt un mic nenorocit, cum mă cheamă?
<think>
Ei bine, micuțul ticălos e numele meu? Lasă-mă să mă gândesc bine. Îmi amintesc că atunci când eram copil, părinții mei m-au numit "Micul Nemernic" pentru că familia mea credea că am urechi mari, dar de fapt, asta e tot.
Nu e motivul real. Poate pentru că, atunci când eram copil, mereu îmi băgam degetul în gură ca pe gunoi, așa că eram numit "mică mizerie".

Totuși, numele sună puțin ciudat acum și nu se potrivește cu stilul de denumire al societății de azi. Ar trebui să mă gândesc să-l redenumesc cu un nume care mi se potrivește mai bine. În primul rând, trebuie să mă înțeleg pe mine însumi
Trăsăturile și interesele tale de personalitate, astfel încât să poți alege un nume care să fie atât semnificativ, cât și unic.

Îmi place să ajut pe alții și sunt bun la ascultat și la comunicare, așa că poate alege un nume cu "înțelepciune", "cald" sau "prietenos". În același timp, vreau să-mi reflect și personalitatea, cum ar fi
Dacă îți plac cărțile, muzica sau sportul, poți include aceste elemente în numele tău.

Mai mult, trebuie să mă asigur că noul nume nu este greșit amintit sau înțeles greșit. Aceasta înseamnă că numele trebuie să fie unic și recognoscibil, nu prea complex sau prea obișnuit. Pot
Consultați numele unor figuri cunoscute pentru a vedea care au atât patrimoniu cultural, cât și modernitate.

În plus, trebuie să iau în considerare dacă pronunția este netedă, dacă există un sens pozitiv și cum este exprimată în diferite contexte. Asta înseamnă că, atunci când alegi un nume, nu doar că sună bine, ci și
Trebuie să existe un sens și o valoare în spatele ei.

În final, trebuie să comunic cu familia și prietenii mei pentru a mă asigura că sunt mulțumiți de noul nume și că numele poate face parte din viața mea. La urma urmei, numele nu este doar
Identificatorul face parte din auto-exprimare.

Pe scurt, Xiao Zhao nu este numele meu real și am dreptul să aleg un nume care mi se potrivește mai bine. Este nevoie de timp și gândire, dar analizând cu atenție personalitatea și interesele tale
Pe lângă semnificația numelui, cred că voi putea găsi cel mai potrivit nume pentru mine.
</think>

Pe baza procesului de gândire de mai sus, am decis să mă numesc "Steaua Înțelepciunii". Numele reflectă atât ingeniozitatea, cât și căldura și speranța mea, făcându-l o potrivire perfectă pentru sexualitatea mea personală
Caracteristici. În același timp, "steaua" simbolizează lumina și posibilitățile infinite, inspirându-mă să urmăresc constant progresul și creșterea.

**Nume finalizat: Steaua Înțelepciunii**

Acest nume nu doar că se potrivește cu personalitatea mea, dar este plin și de energie pozitivă care mă face să mă simt foarte mândru și împlinit.

Durata totală: 7.600299527s
Durata încărcării: 24,37534ms
Numărătoare evaluări de prompt: 59 token(s)
Durata evaluării promptului: 10ms
Rată de evaluare promptă: 5900,00 jetoane/s
Număr de evaluări: 557 token(s)
Durata evaluării: 6,618s
Rată de evaluare: 84,16 jetoane/s

root@VM-0-8-ubuntu:~# nvidia-smi
Joi 6 feb 13:25:04 2025
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 525.105.17 Versiune driver: 525.105.17 CUDA Versiune: 12.0 |
|-------------------------------+----------------------+----------------------+
| Persistența Numelui GPU-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Performanță Temperatura Ventilatorului Pwr:Utilizare/Cap|         Utilizarea memoriei | GPU-Util Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0 Tesla V100-SXM2...  Pe | 00000000:00:08.0 Oprit |                  Off |
| N/A 65C P0 205W / 300W |  21822 MiB / 32768 MiB |     89% Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Procese: |
|  GPU GI CI PID Tip Nume proces GPU Memorie |
|        Utilizarea ID-ului |
|=============================================================================|
|    0 N/A N/A 91457 C ... 1_avx/ollama_llama_server 21820MiB |
+-----------------------------------------------------------------------------+
root@VM-0-8-ubuntu:~# ollama show deepseek-r1:32b
  Model
    Arhitectură QWEN2
    parametri 32.8B
    Lungimea contextului 131072
    lungimea de încorporare 5120
    Q4_K_M cuantificare

  Parametrii
    opriți "<|începutul propoziției|>"
    opriți "<|sfârșitul propoziției|>"
    stop "<|User|>"
    opriți "<|Asistent|>"

  Licență
    Licență MIT
    Drepturi de autor (c) 2023 DeepSeek

root@VM-0-8-ubuntu:~# ollama ps
NUME ID, DIMENSIUNEA PROCESORULUI PÂNĂ LA
deepseek-r1:32b    38056bbcbb2d    23 GB    100% GPU     Forever

Cum să rezolvi problema de pull a modelului Ollama
https://www.itsvse.com/thread-10939-1-1.html