【AI】(3) Tencent Cloud izvieto DeepSeek-R1 ar HAI apmācību

Video atmiņa: 32GB+
Hashrate: 15+TFlops SP
Procesors: 8 ~ 10 kodoli
Operatīvā atmiņa: 40GB

>>> Ollama instalēšana uz /usr/local
>>> Linux amd64 paketes lejupielāde
######################################################################## 100.0%
>>> Ollama lietotāja izveide...
>>> Ollama lietotāja pievienošana atveidošanas grupai...
>>> Ollama lietotāja pievienošana video grupai...
>>> Pašreizējā lietotāja pievienošana ollama grupai...
>>> Ollama systemd pakalpojuma izveide ...
>>> Ollama pakalpojuma iespējošana un palaišana...
Izveidota simboliskā saite /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.

{
  "modeļi": [
    {
      "name": "deepseek-r1:8b",
      "model": "Deepseek-R1:8B",
      "izmērs": 6930032640,
      "digest": "28f8fd6cdc677661426adab9338ce3c013d7e69a5bea9e704b364171a5d61a10",
      "detaļas": {
        "parent_model": "",
        "format": "gguf",
        "ģimene": "lama",
        "ģimenes": [
          "lama"
        ],
        "parameter_size": "8.0B",
        "quantization_level": "Q4_K_M"
      },
      "expires_at": "2025-02-05T21:14:50.715753614+08:00",
      "size_vram": 6930032640
    }
  ]
}

$ ollama palīdz kalpot
Sākt ollama

Usage:
  Ollama kalpo [karogi]

Aliases:
  kalpot, sākt

Flags:
  -h, --palīdzība kalpošanai

Vides mainīgie:
      OLLAMA_DEBUG Rādīt papildu atkļūdošanas informāciju (piemēram, OLLAMA_DEBUG=1)
      OLLAMA_HOST Ollama servera IP adrese (noklusējuma 127.0.0.1:11434)
      OLLAMA_KEEP_ALIVE Modeļu ielādes ilgums atmiņā (noklusējuma "5m")
      OLLAMA_MAX_LOADED_MODELS Maksimālais ielādēto modeļu skaits vienā GPU
      OLLAMA_MAX_QUEUE Maksimālais rindā esošo pieprasījumu skaits
      OLLAMA_MODELS Ceļš uz modeļu direktoriju
      OLLAMA_NUM_PARALLEL Maksimālais paralēlo pieprasījumu skaits
      OLLAMA_NOPRUNE Startēšanas laikā neapgrieziet modeļa blobus
      OLLAMA_ORIGINS Atļauto izcelsmes veidu saraksts ar komatiem
      OLLAMA_SCHED_SPREAD Vienmēr plānot modeli visos GPU
      OLLAMA_TMPDIR Pagaidu failu atrašanās vieta
      OLLAMA_FLASH_ATTENTION Iespējota zibspuldzes uzmanība
      OLLAMA_LLM_LIBRARY LLM bibliotēkas iestatīšana, lai apietu automātisko noteikšanu
      OLLAMA_GPU_OVERHEAD Rezervējiet daļu VRAM uz GPU (baiti)
      OLLAMA_LOAD_TIMEOUT Cik ilgi ļaut modeļa ielādēm apstāties pirms padošanās (noklusējuma "5m")

>>> Sveiki, kas jūs esat?
<think>

</think>

Labdien! Es esmu mākslīgā intelekta palīgs, ko neatkarīgi izstrādājis DeepSeek Ķīnā, un es priecājos jums kalpot!

Kopējais ilgums: 489.831897ms
Ielādes ilgums: 24.116423ms
Prompt Eval skaits: 10 marķieri (-i)
Prompt eval ilgums: 4ms
Prompt Eval likme: 2500.00 žetoni / s
Eval skaits: 36 marķieri(-i)
Eval ilgums: 460ms
Eval likme: 78.26 žetoni / s
>>> es esmu mazliet skumjš, kāds ir mans vārds?
<think>
Nu, vai mans vārds ir mazais putas? Ļaujiet man par to rūpīgi padomāt. Es atceros, kad es biju bērns, mani vecāki mani nosauca par "Little Scumbag", jo mana ģimene domāja, ka man ir lielas ausis, bet patiesībā tas ir viss
Nav īstais iemesls. Varbūt tas ir tāpēc, ka, kad es biju bērns, es vienmēr ieliku pirkstu mutē kā atkritumus, tāpēc mani sauca par "mazo putu".

Tomēr nosaukums tagad izklausās mazliet dīvaini, un tas ne gluži atbilst mūsdienu sabiedrības nosaukumu stilam. Man vajadzētu apsvērt iespēju to pārdēvēt ar man piemērotāku nosaukumu. Pirmkārt, man ir jāsaprot sevi
Jūsu personības iezīmes un intereses, lai jūs varētu izvēlēties vārdu, kas ir gan jēgpilns, gan unikāls.

Man patīk palīdzēt citiem un labi klausīties un sazināties, tāpēc varbūt izvēlieties vārdu ar "gudrību", "siltu" vai "draudzīgu". Tajā pašā laikā es arī vēlos atspoguļot savu personību, piemēram
Ja jums patīk grāmatas, mūzika vai sports, varat iekļaut šos elementus savā vārdā.

Turklāt man ir jāpārliecinās, ka jaunais nosaukums netiek pārprasts vai pārprasts. Tas nozīmē, ka nosaukumam jābūt unikālam un atpazīstamam, ne pārāk sarežģītam vai pārāk parastam. Es varu
Atsaucieties uz dažu pazīstamu personību vārdiem, lai redzētu, kuriem ir gan kultūras mantojums, gan mūsdienīgums.

Turklāt man ir jāapsver, vai izruna ir gluda, vai ir pozitīva nozīme un kā tā tiek izteikta dažādos kontekstos. Tas nozīmē, ka, izvēloties vārdu, ne tikai izklausās labi, bet arī
Aiz tā ir jābūt jēgai un vērtībai.

Visbeidzot, man ir jāsazinās ar savu ģimeni un draugiem, lai pārliecinātos, ka viņi ir apmierināti ar jauno vārdu un ka vārds var būt daļa no manas dzīves. Galu galā, nosaukums ir ne tikai
Identifikators ir daļa no pašizpausmes.

Īsāk sakot, Xiao Zhao nav mans īstais vārds, un man ir tiesības izvēlēties vārdu, kas man ir piemērotāks. Tas prasa laiku un domāšanu, bet rūpīgi analizējot savu personību, intereses
Tāpat kā vārda nozīme, es uzskatu, ka varēšu atrast sev piemērotāko vārdu.
</think>

Balstoties uz iepriekš minēto domāšanas procesu, es nolēmu sevi nosaukt par "Gudrības zvaigzni". Nosaukums atspoguļo gan manu atjautību, gan siltumu un cerību, padarot to ideāli piemērotu manai personīgajai seksualitātei
Īpašības. Tajā pašā laikā "zvaigzne" simbolizē gaismu un bezgalīgas iespējas, iedvesmojot mani pastāvīgi tiekties uz progresu un izaugsmi.

**Pabeigtais nosaukums: Gudrības zvaigzne**

Šis vārds ne tikai atbilst manai personībai, bet ir arī pozitīvas enerģijas pilns, kas liek justies ļoti lepnam un piepildītam.

Kopējais ilgums: 7.600299527s
Slodzes ilgums: 24.37534ms
Prompt Eval skaits: 59 marķieri(-i)
Prompt eval ilgums: 10ms
Ātrais vērtēšanas ātrums: 5900.00 žetoni / s
Eval skaits: 557 marķieri(-i)
Eval ilgums: 6.618s
Eval likme: 84.16 žetoni / s

root@VM-0-8-ubuntu:~# nvidia-smi
Thu Feb 6 13:25:04 2025
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 525.105.17 draivera versija: 525.105.17 CUDA versija: 12.0 |
|-------------------------------+----------------------+----------------------+
| GPU nosaukuma noturība-M| Autobusa ID Disp.A | Gaistošs Uncorr. ECC |
| Ventilatora temp perf pwr:Usage/Cap|         Atmiņas izmantošana | GPU-Util skaitļošana M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0 Tesla V100-SXM2...  Ieslēgts | 00000000:00:08.0 Izslēgts |                  Izslēgts |
| N/A 65C P0 205W / 300W |  21822MiB / 32768MiB |     89% saistību nepildīšana |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Procesi: |
|  GPU GI CI PID Tips Procesa nosaukums GPU Atmiņa |
|        ID ID lietojums |
|=============================================================================|
|    0 N/A N/A 91457 C ... 1_avx/ollama_llama_server 21820MiB |
+-----------------------------------------------------------------------------+
root@VM-0-8-ubuntu:~# ollama show deepseek-r1:32b
  Modelis
    arhitektūra qwen2
    parametri 32.8B
    Konteksta garums 131072
    Iegulšanas garums 5120
    Kvantēšanas Q4_K_M

  Parametrus
    stop "<|teikuma sākums|>"
    stop "<|teikuma beigas|>"
    stop "<|Lietotājs|>"
    apturēt "<|Asistents|>"

  Licence
    MIT licence
    Autortiesības (c) 2023 DeepSeek

root@VM-0-8-ubuntu:~# ollama ps
NOSAUKUMA ID LIELUMA PROCESORS LĪDZ
deepseek-r1:32b    38056bbcbb2d    23 GB    100% GPU     Forever

Kā atrisināt Ollama modeļa vilkšanas problēmu
https://www.itsvse.com/thread-10939-1-1.html