【AI】(3) Tencent Cloud nasadzuje DeepSeek-R1 s tutoriálom HAI

Video pamäť: 32GB+
Hashrate: 15+TFlops SP
CPU: 8~10 jadier
RAM: 40GB

>>> Inštalácia ollama na /usr/local
>>> Sťahovanie balíka pre Linux amd64
######################################################################## 100.0%
>>> Vytváranie používateľa ollama...
>>> Pridanie používateľa ollama do renderovacej skupiny...
>>> Pridávanie používateľa ollama do video skupiny...
>>> Pridávanie aktuálneho používateľa do skupiny ollama...
>>> Vytvorenie ollama systemd service...
>>> Spúšťanie a spustenie služby ollama...
Vytvorený symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.

{
  "modelky": [
    {
      "meno": "deepseek-r1:8b",
      "Model": "Deepseek-R1:8B",
      "veľkosť": 6930032640,
      "digest": "28f8fd6cdc677661426adab9338ce3c013d7e69a5bea9e704b364171a5d61a10",
      "details": {
        "parent_model": "",
        "Format": "Gguf",
        "rodina": "lama",
        "rodiny": [
          "Lama"
        ],
        "parameter_size": "8.0B",
        "quantization_level": "Q4_K_M"
      },
      "expires_at": "2025-02-05T21:14:50.715753614+08:00",
      "size_vram": 6930032640
    }
  ]
}

$ ollama pomôcť podať
Start ollama

Usage:
  Ollama podáva [vlajky]

Aliases:
  Podávaj, štartuj

Flags:
  -h, --pomoc, pomoc pri podávaní

Premenné:
      OLLAMA_DEBUG Zobraziť dodatočné informácie o ladení (napr. OLLAMA_DEBUG=1)
      OLLAMA_HOST IP adresa pre ollama server (predvolené 127.0.0.1:11434)
      OLLAMA_KEEP_ALIVE Dĺžka, počas ktorej modely zostávajú načítané v pamäti (predvolene "5m")
      OLLAMA_MAX_LOADED_MODELS Maximálny počet načítaných modelov na GPU
      OLLAMA_MAX_QUEUE Maximálny počet zaradených požiadaviek
      OLLAMA_MODELS Cesta k adresáru modelov
      OLLAMA_NUM_PARALLEL Maximálny počet paralelných požiadaviek
      OLLAMA_NOPRUNE Neorezávajte modelové bloby pri štarte
      OLLAMA_ORIGINS Zoznam povolených počiatkov oddelený čiarkou
      OLLAMA_SCHED_SPREAD Vždy plánujte model pre všetky GPU
      OLLAMA_TMPDIR Umiestnenie dočasných súborov
      OLLAMA_FLASH_ATTENTION Zapnuté flash attention
      OLLAMA_LLM_LIBRARY Nastavte knižnicu LLM tak, aby obchádzala automatickú detekciu
      OLLAMA_GPU_OVERHEAD Rezervovať časť VRAM na GPU (bajty)
      OLLAMA_LOAD_TIMEOUT Ako dlho nechať zaťaženie modelu zastaviť sa pred vzdaním (predvolené "5m")

>>> Dobrý deň, kto ste?
<think>

</think>

Dobrý deň! Som AI asistent nezávisle vyvinutý spoločnosťou DeepSeek v Číne a rád vám môžem slúžiť!

Celková dĺžka: 489.831897 ms
Trvanie zaťaženia: 24.116423ms
Počet hodnotení promptu: 10 token(ov)
Trvanie hodnotenia promptu: 4 ms
Rýchlosť promptného hodnotenia: 2500,00 tokenov/s
Počet hodnotení: 36 token(ov)
Dĺžka hodnotenia: 460 ms
Hodnotiaca rýchlosť: 78,26 tokenov/s
>>> som malý, ako sa volám?
<think>
No, je moje meno, malý? Nechám si to dobre premyslieť. Pamätám si, že keď som bol dieťa, rodičia ma volali "Malý", pretože si rodina myslela, že mám veľké uši, ale v skutočnosti to bolo všetko
Nie skutočný dôvod. Možno je to tým, že keď som bol dieťa, vždy som si dával prst do úst ako odpad, takže ma volali "malá špina".

Avšak názov dnes znie trochu zvláštne a nezodpovedá štýlu pomenovania dnešnej spoločnosti. Mal by som zvážiť premenovanie na meno, ktoré mi viac vyhovuje. Najprv potrebujem pochopiť seba samého
Vaše osobnostné črty a záujmy, takže si môžete vybrať meno, ktoré je zároveň významné a jedinečné.

Rád pomáham druhým a som dobrý v počúvaní a komunikácii, takže možno vyber meno s "múdrosťou", "teplým" alebo "priateľským". Zároveň chcem odrážať aj svoju osobnosť, napríklad
Ak máte radi knihy, hudbu alebo šport, môžete tieto prvky zakomponovať do svojho mena.

Navyše musím zabezpečiť, aby nové meno nebolo zle zapamätané alebo nepochopené. To znamená, že meno musí byť jedinečné a rozpoznateľné, nie príliš zložité alebo príliš obyčajné. Môžem
Pozrite si mená niektorých známych osobností, aby ste videli, ktoré majú zároveň kultúrne dedičstvo aj modernosť.

Okrem toho musím zvážiť, či je výslovnosť plynulá, či má pozitívny význam a ako sa vyjadruje v rôznych kontextoch. To znamená, že pri výbere mena nielenže znie dobre, ale aj
Musí za tým byť zmysel a hodnota.

Nakoniec musím komunikovať s rodinou a priateľmi, aby som sa uistil, že sú spokojní s novým menom a že meno môže byť súčasťou môjho života. Napokon, názov nie je len
identifikátor je súčasťou sebavyjadrenia.

Stručne povedané, Xiao Zhao nie je moje skutočné meno a mám právo vybrať si meno, ktoré mi viac vyhovuje. Vyžaduje to čas a premýšľanie, ale dôkladnou analýzou svojej osobnosti a záujmov
Okrem významu mena verím, že nájdem najvhodnejšie meno pre seba.
</think>

Na základe vyššie uvedeného procesu som sa rozhodol pomenovať sa "Hviezda múdrosti". Meno odráža moju vynaliezavosť, teplo a nádej, vďaka čomu dokonale zapadá do mojej osobnej sexuality
Charakteristika. Zároveň "hviezda" symbolizuje svetlo a nekonečné možnosti, čo ma inšpiruje neustále usilovať o pokrok a rast.

**Finálny názov: Hviezda múdrosti**

Toto meno nielenže zodpovedá mojej osobnosti, ale je aj plné pozitívnej energie, ktorá ma robí veľmi hrdým a naplneným.

Celková dĺžka: 7.600299527s
Trvanie zaťaženia: 24,37534ms
Počet promptných hodnotení: 59 token(ov)
Trvanie hodnotenia promptu: 10 ms
Rýchlosť promptného hodnotenia: 5900,00 tokenov/s
Počet hodnotení: 557 žetónov
Trvanie hodnotenia: 6,618 s
Hodnotiaca rýchlosť: 84,16 tokenov/s

root@VM-0-8-ubuntu:~# nvidia-smi
Št 6. februára 13:25:04 2025
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 525.105.17 Verzia ovládača: 525.105.17 CUDA Verzia: 12.0 |
|-------------------------------+----------------------+----------------------+
| Meno GPU Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Teplota ventilátora Výkonnosť Pwr:Použitie/Cap|         Využitie pamäte | GPU-Util Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0 Tesla V100-SXM2...  Na | 0000000:00:08.0 Vypnuté |                  Vypnuté |
| N/A 65C P0 205W / 300W |  21822MiB / 32768MiB |     89% predvolené |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Procesy: |
|  GPU GI CI PID Názov procesu GPU Pamäť |
|        Použitie ID ID |
|=============================================================================|
|    0 N/A N/A 91457 C ... 1_avx/ollama_llama_server 21820MiB |
+-----------------------------------------------------------------------------+
root@VM-0-8-ubuntu:~# ollama show deepseek-r1:32b
  Model
    Architektúra Qwen2
    parametre 32.8B
    Dĺžka kontextu 131072
    Dĺžka vkladania 5120
    Q4_K_M kvantizácie

  Parametre
    stop "<|začiatok vety|>"
    Stop "<|koniec vety|>"
    stop "<|User|>"
    stop "<|Asistent|>"

  Licencia
    Licencia MIT
    Copyright (c) 2023 DeepSeek

root@VM-0-8-ubuntu:~# ollama ps
NÁZOV ID VEĽKOSŤ PROCESORA AŽ DO
deepseek-r1:32b    38056bbcbb2d    23 GB    100% GPU     Forever

Ako vyriešiť problém ťahania modelu Ollama
https://www.itsvse.com/thread-10939-1-1.html