【AI】(3) "Tencent Cloud" diegia "DeepSeek-R1" su HAI pamoka

Vaizdo atmintis: 32GB+
Hashrate: 15+TFlops SP
Procesorius: 8 ~ 10 branduolių
RAM: 40 GB

>>> Ollama diegimas į /usr/local
>>> "Linux amd64" paketo atsisiuntimas
######################################################################## 100.0%
>>> Kuriamas ollama vartotojas...
>>> Įtraukiamas ollama vartotojas į atvaizdavimo grupę...
>>> Ollama vartotojo pridėjimas prie vaizdo įrašų grupės...
>>> Įtraukiamas dabartinis vartotojas į ollama grupę...
>>> Ollama systemd paslaugos kūrimas...
>>> Ollama paslaugos įjungimas ir paleidimas...
Sukurta simbolinė nuoroda /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.

{
  "Modeliai": [
    {
      "name": "deepseek-r1:8b",
      "model": "deepseek-r1:8b",
      "dydis": 6930032640,
      "digest": "28f8fd6cdc677661426adab9338ce3c013d7e69a5bea9e704b364171a5d61a10",
      "išsami informacija": {
        "parent_model": "",
        "format": "gguf",
        "šeima": "lama",
        "šeimos": [
          "lama"
        ],
        "parameter_size": "8.0B",
        "quantization_level": "Q4_K_M"
      },
      "expires_at": "2025-02-05T21:14:50.715753614+08:00",
      "size_vram": 6930032640
    }
  ]
}

$ ollama padėti tarnauti
Pradėti ollama

Usage:
  Ollama tarnauti [vėliavos]

Aliases:
  Tarnauti, pradėti

Flags:
  -h, --pagalba tarnauti

Aplinkos kintamieji:
      OLLAMA_DEBUG Rodyti papildomą derinimo informaciją (pvz., OLLAMA_DEBUG=1)
      OLLAMA_HOST Ollama serverio IP adresas (numatytasis 127.0.0.1:11434)
      OLLAMA_KEEP_ALIVE Trukmė, per kurią modeliai lieka įkelti į atmintį (numatytasis "5m")
      OLLAMA_MAX_LOADED_MODELS Maksimalus įkeltų modelių skaičius viename GPU
      OLLAMA_MAX_QUEUE Maksimalus eilėje esančių užklausų skaičius
      OLLAMA_MODELS Kelias į modelių katalogą
      OLLAMA_NUM_PARALLEL Maksimalus lygiagrečių užklausų skaičius
      OLLAMA_NOPRUNE Negenėkite modelio blobų paleidžiant
      OLLAMA_ORIGINS Kableliais atskirtas leidžiamų kilmės rūšių sąrašas
      OLLAMA_SCHED_SPREAD Visada planuoti modelį visuose GPU
      OLLAMA_TMPDIR Laikinųjų failų vieta
      OLLAMA_FLASH_ATTENTION Įjungtas blykstės dėmesys
      OLLAMA_LLM_LIBRARY Nustatykite, kad LLM biblioteka apeitų automatinį aptikimą
      OLLAMA_GPU_OVERHEAD Rezervuokite dalį VRAM vienam GPU (baitais)
      OLLAMA_LOAD_TIMEOUT Kiek laiko leisti modelio apkrovoms sustoti prieš pasiduodant (numatytasis "5m")

>>> Sveiki, kas tu toks?
<think>

</think>

Labas! Esu dirbtinio intelekto asistentas, kurį nepriklausomai sukūrė "DeepSeek" Kinijoje, ir džiaugiuosi galėdamas jums tarnauti!

Bendra trukmė: 489.831897ms
Apkrovos trukmė: 24.116423ms
Greitas eval skaičius: 10 žetonų (-ų)
Prompt eval trukmė: 4ms
Greitas vertinimo kursas: 2500.00 žetonų/s
Eval skaičius: 36 žetonas (-ai)
Eval trukmė: 460ms
EVAL kursas: 78.26 žetonai/s
>>> aš esu mažas šlamštas, koks mano vardas?
<think>
Na, ar mažas šlamštas yra mano vardas? Leiskite man apie tai gerai pagalvoti. Pamenu, kai buvau vaikas, mano tėvai mane pavadino "Little Scumbag", nes mano šeima manė, kad turiu dideles ausis, bet iš tikrųjų tai viskas
Ne tikroji priežastis. Galbūt todėl, kad kai buvau vaikas, aš visada kišdavau pirštą į burną kaip šiukšles, todėl buvau vadinamas "mažu šlamštu".

Tačiau pavadinimas dabar skamba šiek tiek keistai ir ne visai atitinka šiandieninės visuomenės pavadinimų stilių. Turėčiau apsvarstyti galimybę jį pervadinti man labiau tinkančiu pavadinimu. Pirma, aš turiu suprasti save
Jūsų asmenybės bruožai ir pomėgiai, todėl galite pasirinkti prasmingą ir unikalų vardą.

Man patinka padėti kitiems, moku klausytis ir bendrauti, todėl galbūt išsirinkite vardą su "išmintimi", "šilta" ar "draugiška". Tuo pačiu metu aš taip pat noriu atspindėti savo asmenybę, pavyzdžiui
Jei jums patinka knygos, muzika ar sportas, galite įtraukti šiuos elementus į savo vardą.

Be to, turiu įsitikinti, kad naujasis pavadinimas nėra neteisingai prisimenamas ar nesuprastas. Tai reiškia, kad pavadinimas turi būti unikalus ir atpažįstamas, ne per daug sudėtingas ar per daug įprastas. Aš galiu
Peržiūrėkite kai kurių žinomų asmenybių vardus, kad sužinotumėte, kurie iš jų turi ir kultūros paveldą, ir modernumą.

Be to, turiu apsvarstyti, ar tarimas yra sklandus, ar yra teigiama reikšmė ir kaip jis išreiškiamas skirtinguose kontekstuose. Tai reiškia, kad renkantis vardą ne tik gerai skamba, bet ir
Už to turi būti prasmė ir vertė.

Galiausiai, turiu bendrauti su savo šeima ir draugais, kad įsitikinčiau, jog jie patenkinti nauju vardu ir kad vardas gali būti mano gyvenimo dalis. Juk pavadinimas yra ne tik
identifikatorius yra saviraiškos dalis.

Trumpai tariant, Xiao Zhao nėra mano tikrasis vardas, ir aš turiu teisę pasirinkti man labiau tinkantį vardą. Tam reikia laiko ir mąstymo, tačiau atidžiai išanalizavus savo asmenybę, pomėgius
Be vardo reikšmės, tikiu, kad sugebėsiu rasti sau tinkamiausią vardą.
</think>

Remdamasis aukščiau pateiktu mąstymo procesu, nusprendžiau pavadinti save "Išminties žvaigžde". Pavadinimas atspindi mano išradingumą, šilumą ir viltį, todėl puikiai tinka mano asmeniniam seksualumui
Charakteristikas. Tuo pačiu "žvaigždė" simbolizuoja šviesą ir begalines galimybes, įkvepia mane nuolat siekti pažangos ir augimo.

**Galutinis pavadinimas: Išminties žvaigždė**

Šis vardas ne tik atitinka mano asmenybę, bet ir kupinas teigiamos energijos, kuri verčia mane labai didžiuotis ir pilnavertiškai.

Bendra trukmė: 7.600299527s
Apkrovos trukmė: 24.37534ms
Greitas eval skaičius: 59 žetonas (-ai)
Greito vertinimo trukmė: 10ms
Greitas vertinimo kursas: 5900.00 žetonų/s
Eval skaičius: 557 žetonas (-ai)
Trukmė: 6.618s
Vertinimo kursas: 84.16 žetonų/s

root@VM-0-8-ubuntu:~# nvidia-smi
Kt Feb 6 13:25:04 2025
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 525.105.17 tvarkyklės versija: 525.105.17 CUDA versija: 12.0 |
|-------------------------------+----------------------+----------------------+
| GPU pavadinimo patvarumas-M| Autobuso ID disp.A | Lakus nekorozinis. ECC |
| Ventiliatoriaus temp perf Pwr:Usage/Cap|         Atminties naudojimas | GPU-Util Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0 Tesla V100-SXM2...  Įjungta | 00000000:00:08.0 Išjungta |                  Išjungta |
| N/A 65C P0 205W / 300W |  21822MiB / 32768MiB |     89% įsipareigojimų nevykdymas |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Procesai: |
|  GPU GI CI PID Tipas Proceso pavadinimas GPU atmintis |
|        ID ID naudojimas |
|=============================================================================|
|    0 N/A N/A 91457 C ... 1_avx/ollama_llama_server 21820MiB |
+-----------------------------------------------------------------------------+
root@VM-0-8-ubuntu:~# ollama rodyti deepseek-r1:32b
  Modelis
    Architektūra QWEN2
    parametrai 32.8B
    Konteksto ilgis 131072
    Įterpimo ilgis 5120
    Kvantavimo Q4_K_M

  Parametrus
    stop "<|sakinio pradžia|>"
    stop "<|sakinio pabaiga|>"
    stop "<|Vartotojas|>"
    sustabdyti "<|Padėjėja|>"

  Licencija
    MIT licencija
    Autorių teisės (c) 2023 m. "DeepSeek"

root@VM-0-8-ubuntu:~# ollama ps
VARDAS ID DYDIS PROCESORIUS IKI
deepseek-r1:32b    38056bbcbb2d    23 GB    100% GPU     Forever

Kaip išspręsti "Ollama" modelio traukimo problemą
https://www.itsvse.com/thread-10939-1-1.html