【AI】(3) Tencent Cloud ottaa käyttöön DeepSeek-R1:n HAI-tutoriaalilla

Pikku roisto · Julkaistu 2025-2-5 21:14:04

Hyper Application Inventor (HAI) on GPU-sovelluspalvelutuote tekoälylle ja tieteelliselle laskennalle, joka tarjoaa plug-and-play-laskentatehoa ja yhteisiä ympäristöjä auttaakseen pieniä ja keskisuuria yrityksiä sekä kehittäjiä ottamaan LLM:t nopeasti käyttöön.

Osoite:Hyperlinkin kirjautuminen on näkyvissä.

HAI vs GPU-palvelimet

Vähennä merkittävästi GPU:n pilvipalvelimen kynnysarvoa, optimoi tuotekokemus monesta näkökulmasta ja käytä sitä suoraan laatikosta, kuten alla olevassa kuvassa näkyy:

Osta HAI-laskentatehoa

Mene ostosivulle, valitse perusympäristökuva "Ubuntu 20.04" ja määritä ympäristö:Ubuntu 20.04, ajuri 525.105.17, Python 3.8, CUDA 12.0, cuDNN 8Kuva on jo asentanut ajurin meille, ja päätämme maksaa sitä mukaa kun kulutamme, kuten alla olevassa kuvassa näkyy:

Videomuisti: 32GB+
Hashrate: 15+TFlops SP
CPU: 8~10 ydintä
RAM-muisti: 40GB

Muutaman minuutin odotuksen jälkeen instanssi luodaan onnistuneesti ja Academic Acceleration kytketään päälle, kuten seuraavassa kuvassa näkyy:

Ensimmäisellä käyttökerralla sinun täytyy nollata salasanasi, ja kirjautumisnimi on:Ubuntu。 Kokeile kirjautua palvelimelle ja tarkistaa NVIDIA-näytönohjaimen ajuritiedot seuraavalla komennolla:

Kirjautuminen näkyy.

Kuten alla on esitetty:

Asenna Ollama

Ollaman virallinen verkkosivusto:Hyperlinkin kirjautuminen on näkyvissä.

Kirjaudu palvelimelle pusty-työkalulla ja ala asentaa Ollama-työkalua seuraavalla komennolla:

Kirjautuminen näkyy.

Asennus on valmis, ja lähtö on seuraava:

>>> Ollaman asentaminen /usr/localiin
>>> Linux amd64 -paketin lataaminen
######################################################################## 100.0%
>>> Luomassa ollama-käyttäjää...
>>> Lisätään ollama-käyttäjä renderöintiryhmään...
>>> Lisään ollama-käyttäjää videoryhmään...
>>> Lisätään nykyinen käyttäjä Ollama-ryhmään...
>>> Ollama systemd -palvelun luominen...
>>> Ollama-palvelun käyttöönotto ja käynnistäminen...
Loin symlinkin /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.

Katso versiokomento: ollama -v
Katso malli, joka on tällä hetkellä ladattu muistiin: ollama ps

Luo mukautettu mallin tallennuskansio seuraavalla komennolla:

Kirjautuminen näkyy.

Muokkaa oletuskuunteluosoitetta ja mallin tallennuspolkua (et voi muuttaa oletusporttia, muuten komento epäonnistuu) ja käytä seuraavia komentoja:

Kirjautuminen näkyy.

Ota käyttöön deepseek-r1-malli

Suorita deepseek-r1:8b-malli seuraavalla komennolla:

Kirjautuminen näkyy.

Kuten alla on esitetty:

Testaa dialogia alla esitetyn mukaisesti:

Palomuuri vapauttaa TCP-portin 11434 ja kutsuu HTTP-rajapintaa, kuten seuraavassa kuvassa näkyy:

{
  "mallit": [
{
   "nimi": "deepseek-r1:8b",
   "malli": "deepseek-r1:8b",
   "koko": 6930032640,
   "tiivistelmä": "28f8fd6cdc677661426adab9338ce3c013d7e69a5bea9e704b364171a5d61a10",
   "yksityiskohdat": {
      "parent_model": "",
      "Formaatti": "GGUF",
      "perhe": "llama",
      "perheet": [
      "Llama"
      ],
      "parameter_size": "8.0B",
      "quantization_level": "Q4_K_M"
   },
   "expires_at": "2025-02-05T21:14:50.715753614+08:00",
   "size_vram": 6930032640
}
  ]
}

Viittaus:
Hyperlinkin kirjautuminen on näkyvissä.
Hyperlinkin kirjautuminen on näkyvissä.
Hyperlinkin kirjautuminen on näkyvissä.

Pikku roisto · Julkaistu 2025-2-5 21:22:49

Jos malli ei saa pyyntöjä tai syötteitä tietyn ajan, Ollama lopettaa mallin automaattisesti pilvikeskuksessa resurssien säästämiseksi.

Pikku roisto · Julkaistu 2025-2-6 09:03:57

Ollama-ympäristömuuttujan konfiguraatiokohde

Muuttuja	Oletusarvo	Kuvaus + Vaikutus + Tilanne
OLLAMA_HOST	"[color=var(--fgColor-accent, var(--color-accent-fg))]Hyperlinkin kirjautuminen on näkyvissä."	Konfiguroi isännän ja järjestelmän Ollama-palvelimelle. Vaikutus: Määrittää URL-osoitteen, jota käytetään Ollama-palvelimeen yhdistämiseen. Skenaario: Hyödyllinen, kun Ollamaa otetaan käyttöön hajautetussa ympäristössä tai kun palvelu täytyy avata tietylle verkkorajapinnalle.
OLLAMA_ORIGINS	[localhost, 127.0.0.1, 0.0.0.0] + app://, file://, tauri://	Konfiguraatiot mahdollistivat CORS:n alkuperät. Vaikutus: Hallitsee, mitkä alkuperät saavat tehdä pyyntöjä Ollama-palvelimelle. Skenaario: Kriittistä, kun integroidaan Ollama web-sovelluksiin, jotta estetään luvattomat pääsyt eri verkkotunnuksilta.
OLLAMA_MODELS	$HOME/.ollama/models	Asettaa polun models-hakemistoon. Vaikutus: Määrittää, mistä mallitiedostot tallennetaan ja mistä ne ladataan. Skenaario: Hyödyllinen levytilan hallintaan eri levyillä tai jaettujen mallivarastojen perustamiseen monikäyttäjäympäristöissä.
OLLAMA_KEEP_ALIVE	5 minuuttia	Määrittää, kuinka kauan mallit pysyvät ladattuina muistissa. Vaikutus: Säätimet, kestomallit pysyvät muistissa käytön jälkeen. Skenaario: Pidemmät kestot parantavat vastausaikoja toistuville kyselyille, mutta lisäävät muistin käyttöä. Lyhyemmät ajat vapauttavat resursseja, mutta voivat pidentää alkuvaiheen vasteaikoja.
OLLAMA_DEBUG	false	Mahdollistaa lisävirheenkorjaustiedot. Vaikutus: Lisää lokituksen ja virheenkorjauksen sanallisuutta. Skenaario: Korvaamaton ongelmien selvittämisessä tai järjestelmän käyttäytymisen ymmärtämisessä kehityksen tai käyttöönoton aikana.
OLLAMA_FLASH_ATTENTION	false	Mahdollistaa kokeellisen välähdyksen tarkkaavaisuusominaisuuden. Vaikutus: Aktivoi kokeellisen optimoinnin tarkkaavaisuusmekanismeille. Skenaario: Voi parantaa suorituskykyä yhteensopivalla laitteistolla, mutta voi aiheuttaa epävakautta.
OLLAMA_NOHISTORY	false	Estää lukulinjan historian. Vaikutus: Estää komentohistorian tallentamisen. Skenaario: Hyödyllinen turvallisuusherkissä ympäristöissä, joissa komentohistoriaa ei tulisi säilyttää.
OLLAMA_NOPRUNE	false	Poistaa malliläiskien karsimisen käytöstä käynnistyksen yhteydessä. Vaikutus: Säilyttää kaikki malliläiskät, mikä voi lisätä levyn käyttöä. Skenaario: Hyödyllinen, kun sinun täytyy ylläpitää kaikkia malliversioita yhteensopivuuden tai palautuksen vuoksi.
OLLAMA_SCHED_SPREAD	false	Mahdollistaa mallien ajoittamisen kaikille näytönohjaimille. Vaikutus: Mahdollistaa moninäytönohjaimen käytön mallipäättelyyn. Skenaario: Hyödyllinen suorituskykyisissä laskentaympäristöissä, joissa on useita GPU:ita, laitteiston käytön maksimoimiseksi.
OLLAMA_INTEL_GPU	false	Mahdollistaa kokeellisen Intel-näytönohjaimen tunnistuksen. Vaikutus: Mahdollistaa Intel-näytönohjainten käytön mallipäättelyyn. Skenaario: Hyödyllinen organisaatioille, jotka hyödyntävät Intelin GPU-laitteistoa tekoälytyökuormissa.
OLLAMA_LLM_LIBRARY	"" (automaattinen tunnistus)	Asettaa LLM-kirjaston käytettäväksi. Vaikutus: Ohittaa LLM-kirjaston automaattisen tunnistuksen. Skenaario: Hyödyllinen, kun sinun täytyy pakottaa tietty kirjastoversio tai toteutus yhteensopivuuden tai suorituskyvyn vuoksi.
OLLAMA_TMPDIR	Järjestelmän oletusväliaikainen hakemisto	Määrittää väliaikaisten tiedostojen sijainnin. Vaikutus: Määrittää, missä väliaikaiset tiedostot säilytetään. Skenaario: Tärkeä I/O-suorituskyvyn hallinnassa tai kun järjestelmän väliaikakansiossa on rajallinen tila.
CUDA_VISIBLE_DEVICES	Kaikki saatavilla	Määrittää, mitkä NVIDIA-laitteet näkyvät. Vaikutus: Säätelee, mitä NVIDIA-näytönohjaimia voi käyttää. Skenaario: Kriittinen GPU:n allokoinnin hallinnassa monikäyttäjä- tai moniprosessiympäristöissä.
HIP_VISIBLE_DEVICES	Kaikki saatavilla	Setit, jotka AMD-laitteet näkyvät. Vaikutus: Säätelee, mitä AMD-näytönohjaimia voi käyttää. Skenaario: Samanlainen kuin CUDA_VISIBLE_DEVICES, mutta AMD-laitteistolle.
OLLAMA_RUNNERS_DIR	Järjestelmäriippuvainen	Määrittää juoksijoiden sijainnin. Vaikutus: Määrittää, missä juoksijan suoritettavat tiedostot sijaitsevat. Skenaario: Tärkeä mukautetuissa käyttöönotoissa tai silloin, kun juoksijat täytyy eristää pääsovelluksesta.
OLLAMA_NUM_PARALLEL	0 (rajoittamaton)	Määrittää rinnakkaisten mallipyyntöjen määrän. Vaikutus: Hallitsee mallipäättelyn samanaikaisuutta. Skenaario: Kriittinen järjestelmän kuormituksen hallinnassa ja reagoivuuden varmistamiseksi vilkkaissa ympäristöissä.
OLLAMA_MAX_LOADED_MODELS	0 (rajoittamaton)	Määrittää ladattujen mallien enimmäismäärän. Vaikutus: Rajoittaa samanaikaisesti ladattujen mallien määrää. Skenaario: Auttaa hallitsemaan muistin käyttöä ympäristöissä, joissa resurssit ovat rajalliset, tai monenlaisia malleja.
OLLAMA_MAX_QUEUE	512	Asettaa jonottavien pyyntöjen maksimimäärän. Vaikutus: Rajoittaa pyyntöjonon kokoa. Skenaario: Estää järjestelmän ylikuormituksen liikennepiikkien aikana ja varmistaa pyyntöjen oikea-aikaisen käsittelyn.
OLLAMA_MAX_VRAM	0 (rajoittamaton)	Asettaa maksimi-VRAM-ohituksen tavuina. Vaikutus: Rajoittaa käytettävän VRAMin määrää. Skenaario: Hyödyllinen jaetuissa GPU-ympäristöissä estämään yhtä prosessia hallitsemasta GPU-muistia.

Lähde:Hyperlinkin kirjautuminen on näkyvissä.

$ Ollama auta palvelemaan
Aloita ollama

Usage:
  Ollama serve [liput]

Aliases:
  Tarjoa, aloita

Flags:
  -h, --apua palveluun

Ympäristömuuttujat:
   OLLAMA_DEBUG Näytä lisävirhetietoja (esim. OLLAMA_DEBUG=1)
   OLLAMA_HOST Ollama-palvelimen IP-osoite (oletus 127.0.0.1:11434)
   OLLAMA_KEEP_ALIVE Mallien latausaika muistissa (oletus "5m")
   OLLAMA_MAX_LOADED_MODELS Suurin määrä ladattuja malleja GPU:ta kohden
   OLLAMA_MAX_QUEUE Jonotettujen pyyntöjen maksimimäärä
   OLLAMA_MODELS Polu mallihakemistoon
   OLLAMA_NUM_PARALLEL Suurin määrä rinnakkaisia pyyntöjä
   OLLAMA_NOPRUNE Älä leikkaa malliläiskiä käynnistyksen yhteydessä
   OLLAMA_ORIGINS Pilkulla erotettu lista sallituista alkumuodoista
   OLLAMA_SCHED_SPREAD Aikatauluta malli aina kaikille näytönohjaimille
   OLLAMA_TMPDIR Väliaikaisten tiedostojen sijainti
   OLLAMA_FLASH_ATTENTION Välähdyksen huomio päällä
   OLLAMA_LLM_LIBRARY Aseta LLM-kirjasto ohittamaan automaattinen tunnistus
   OLLAMA_GPU_OVERHEAD Varaa osa VRAMista per GPU (tavut)
   OLLAMA_LOAD_TIMEOUT Kuinka kauan mallilatausten pysähtyminen ennen luovuttamista (oletus "5m")

Viittaus:Hyperlinkin kirjautuminen on näkyvissä.

Pikku roisto · Julkaistu 2025-2-6 09:19:49

Ollama-komento

ollama-lista: Näyttää mallilistan
Ollama-show: Näyttää tietoa mallista
Ollama Pull: Pull-malli
ollama push: Push-malli
Ollama CP: kopioi malli
ollama rm: Poista malli
Ollama run: Käytä mallia

Pikku roisto · Julkaistu 2025-2-6 09:33:17

Mallin optimointi, editointi/etc/systemd/system/ollama.service.d/override.confkonfiguraatio, lisää seuraavat:

Kirjautuminen näkyy.

Täydellinen kokoonpano on seuraava:

Kirjautuminen näkyy.

Pikku roisto · Julkaistu 2025-2-6 09:35:26

--monisanainenParametria käytetään päättelynopeuden (token / sekunti) näyttämiseen. Esimerkiksi:

Kirjautuminen näkyy.

>>> Hei, kuka olet?
<think>

</think>

Hei! Olen tekoälyavustaja, jonka DeepSeek on itsenäisesti kehittänyt Kiinassa, ja olen iloinen voidessani palvella sinua!

Kokonaiskesto: 489,831897ms
Latausaika: 24.116423ms
Nopea arviointimäärä: 10 tokenia
Kehotteen arvioinnin kesto: 4ms
Nopea arviointinopeus: 2500,00 tokenia/s
Arviointimäärä: 36 merkkiä
Arvioinnin kesto: 460ms
Arviointinopeus: 78,26 tokenia/s
>>> olen pieni roisto, mikä nimeni on?
<think>
No, onko pikku roisto nimeni? Annanpa minun miettiä tarkkaan. Muistan, kun olin lapsi, vanhempani antoivat minulle nimen "Pikku roisto", koska perheeni luuli, että minulla on suuret korvat, mutta todellisuudessa siinä se
Ei oikea syy. Ehkä siksi, että lapsena laitoin aina sormeni suuhuni kuin roskaa, joten minua kutsuttiin "pikku roskaksi".

Nimi kuulostaa kuitenkin nyt hieman oudolta, eikä se aivan sovi nyky-yhteiskunnan nimeämistyyliin. Minun pitäisi harkita sen nimeämistä uudelleen, joka sopii minulle paremmin. Ensiksi minun täytyy ymmärtää itseäni
Persoonallisuuden piirteitäsi ja kiinnostuksen kohteitasi, joten voit valita nimen, joka on sekä merkityksellinen että ainutlaatuinen.

Pidän muiden auttamisesta ja olen hyvä kuuntelemaan ja kommunikoimaan, joten ehkä valitse nimi, jossa on "viisaus", "lämmin" tai "ystävällinen". Samaan aikaan haluan myös heijastaa persoonallisuuttani, kuten
Jos pidät kirjoista, musiikista tai urheilusta, voit sisällyttää nämä elementit nimeesi.

Lisäksi minun täytyy varmistaa, ettei uutta nimeä muisteta väärin tai ymmärretä. Tämä tarkoittaa, että nimen tulee olla ainutlaatuinen ja tunnistettava, ei liian monimutkainen tai liian tavallinen. Osaan
Katso joidenkin tunnettujen henkilöiden nimiä nähdäksesi, kenellä on sekä kulttuuriperintöä että nykyaikaa.

Lisäksi minun täytyy pohtia, onko ääntäminen sujuvaa, onko siinä myönteinen merkitys ja miten se ilmaistaan eri yhteyksissä. Tämä tarkoittaa, että nimen valinnassa se ei ainoastaan kuulosta hyvältä, vaan myös
Sen takana täytyy olla merkitystä ja arvoa.

Lopuksi minun täytyy kommunikoida perheeni ja ystävieni kanssa varmistaakseni, että he ovat tyytyväisiä uuteen nimeen ja että nimi voi olla osa elämääni. Loppujen lopuksi nimi ei ole vain
identifiointi on osa itseilmaisua.

Lyhyesti sanottuna, Xiao Zhao ei ole oikea nimeni, ja minulla on oikeus valita nimi, joka sopii minulle paremmin. Se vaatii aikaa ja ajattelua, mutta analysoimalla huolellisesti persoonallisuuttasi, kiinnostuksen kohteitasi
Nimen merkityksen lisäksi uskon, että löydän itselleni sopivimman nimen.
</think>

Edellä mainitun ajatteluprosessin perusteella päätin nimetä itseni "Viisauden tähdeksi". Nimi heijastaa sekä kekseliäisyyttäni, lämpöäni ja toivoa, tehden siitä täydellisen sopivan henkilökohtaiseen seksuaalisuuteeni
Ominaisuudet. Samaan aikaan "tähti" symboloi valoa ja äärettömiä mahdollisuuksia, inspiroiden minua jatkuvasti tavoittelemaan edistystä ja kasvua.

**Lopullinen nimi: Viisauden tähti**

Tämä nimi ei ainoastaan sovi persoonallisuuteeni, vaan on myös täynnä positiivista energiaa, joka saa minut tuntemaan suurta ylpeyttä ja täyttymystä.

Kokonaiskesto: 7,600299527s
Latausaika: 24.37534ms
Nopea arviointimäärä: 59 tokenia
Prompt-arvioinnin kesto: 10ms
Nopea arviointinopeus: 5900,00 tokenia/s
Arvostusmäärä: 557 merkkiä
Arviointikesto: 6,618s
Arviointinopeus: 84,16 tokenia/s

Pikku roisto · Julkaistu 2025-2-6 10:22:02

Ota käyttöön ollama-mallit AMD-näytönohjaimilla
Ollama-for-AMD:Hyperlinkin kirjautuminen on näkyvissä.

Viittaus:Hyperlinkin kirjautuminen on näkyvissä.

Pikku roisto · Julkaistu 2025-2-6 klo 13:26:17

Käytä deepseek-r1:32b -mallia

root@VM-0-8-ubuntu:~# nvidia-smi
To 6. helmikuuta 13:25:04 2025
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 525.105.17 Ajuriversio: 525.105.17 CUDA-versio: 12.0 |
|-------------------------------+----------------------+----------------------+
| GPU-nimen pysäytys-M| Bus-id Disp.A | Epävakaa korraatio. ECC |
| Tuulettimen lämpötila Pwr:Käyttö/katto|       Muistin käyttö | GPU-Util Compute M. |
|                            |                   |             MIG M. |
|===============================+======================+======================|
| 0 Tesla V100-SXM2...  On | 00000000:00:00:08.0 Pois päältä |                Pois |
| Ei 65C P0 205W / 300W |  21822MiB / 32768MiB |    89 % Oletus |
|                            |                   |                Ei saatavilla |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Prosessit: |
|  GPU GI CI PID Tyyppi Prosessinimi GPU Muisti |
|       ID ID Usage |
|=============================================================================|
| 0 N/A N/A 91457 C ... 1_avx/ollama_llama_server 21820MiB |
+-----------------------------------------------------------------------------+
root@VM-0-8-ubuntu:~# ollama show deepseek-r1:32b
  Malli
Arkkitehtuuri QWEN2
parametrit 32.8B
Kontekstin pituus 131072
upotuksen pituus 5120
Kvantisointi Q4_K_M

  Parametrit
pysäytä "<|lauseen alku|>"
Pysäytä "<|lauseen loppu|>"
pysäytä "<|Käyttäjä|>"
lopeta "<|Assistentti|>"

  Lisenssi
MIT-lisenssi
Tekijänoikeus (c) 2023 DeepSeek

root@VM-0-8-ubuntu:~# ollama ps
NIMI ID -KOKOINEN PROSESSORI KUNNES
deepseek-r1:32b 38056bbcbb2d 23 GB 100% GPU    Forever

Pikku roisto · Julkaistu 2025-2-8 08:34:18

Kuinka ratkaista Ollama-mallin vetoongelma
https://www.itsvse.com/thread-10939-1-1.html

Pikku roisto · Julkaistu 2025-2-13 09:25:04

Koe DeepSeek R1 32b -malli Jetson AGX Orinilla (32G):Hyperlinkin kirjautuminen on näkyvissä.
Jetson ajaa suuria kielimalleja:https://www.jetson-ai-lab.com/models.html

【AI】(3) Tencent Cloud ottaa käyttöön DeepSeek-R1:n HAI-tutoriaalilla

Aiheeseen liittyvät julkaisut

Katsotut osuudet