【AI】(3) Tencent Cloud DeepSeek-R1'i HAI eğitimi ile dağıtıyor

Video belleği: 32GB+
Hashrate: 15+TFlops SP
CPU: 8~10 çekirdek
RAM: 40GB

>>> /usr/local olarak ollama yüklemesi
>>> Linux amd64 paketinin indirilmesi
######################################################################## 100.0%
>>> Ollama kullanıcısı yaratmak...
>>> Render grubuna ollama kullanıcısı ekleniyor...
>>> Video grubuna ollama kullanıcısı ekleniyor...
>>> Mevcut kullanıcı Ollama grubuna ekleniyor...
>>> Ollama systemd hizmeti oluşturmak...
>>> Ollama hizmetini etkinleştirip başlatmak...
/etc/systemd/system/default.target.wants/ollama.service → simlinki oluşturuldu.

{
  "modeller": [
    {
      "Name": "Deepseek-R1:8B",
      "model": "deepseek-r1:8b",
      "Size": 6930032640,
      "Digest": "28f8fd6cdc677661426adab9338ce3c013d7e69a5bea9e704b364171a5d61a10",
      "detaylar": {
        "parent_model": "",
        "format": "gguf",
        "aile": "lama",
        "aileler": [
          "Llama"
        ],
        "parameter_size": "8.0B",
        "quantization_level": "Q4_K_M"
      },
      "expires_at": "2025-02-05T21:14:50.715753614+08:00",
      "size_vram": 6930032640
    }
  ]
}

$ ollama yardım et servis.
Başla ollama

Usage:
  Ollama servisi [bayraklar]

Aliases:
  Servis, Başlat

Flags:
  -h, --yardım yardım hizmet için

Çevre Değişkenleri:
      OLLAMA_DEBUG Ek hata ayıklama bilgisini göster (örneğin OLLAMA_DEBUG=1)
      OLLAMA_HOST Ollama sunucusu için IP Adresi (varsayılan 127.0.0.1:11434)
      OLLAMA_KEEP_ALIVE Modellerin bellekte yüklü kaldığı süre (varsayılan "5m")
      OLLAMA_MAX_LOADED_MODELS GPU başına maksimum yüklü model sayısı
      OLLAMA_MAX_QUEUE Kuyrağa giren istek sayısı
      OLLAMA_MODELS Modeller dizinine giden yol
      OLLAMA_NUM_PARALLEL Paralel isteğin maksimum sayısı
      OLLAMA_NOPRUNE Model bloblarını başlatırken budama
      OLLAMA_ORIGINS İzin verilen kökenlerin virgülle ayrılmış listesi
      OLLAMA_SCHED_SPREAD Her zaman tüm GPU'larda modeli planlayın
      OLLAMA_TMPDIR Geçici dosyaların konumu
      OLLAMA_FLASH_ATTENTION Açık flaş dikkati
      OLLAMA_LLM_LIBRARY LLM kütüphanesini otomatik algılamayı atlayacak şekilde ayarla
      OLLAMA_GPU_OVERHEAD GPU (bayt) başına VRAM'ın bir kısmını ayırt edin
      OLLAMA_LOAD_TIMEOUT Model yüklemelerinin ne kadar süre süre durmasına izin verilmeli (varsayılan "5m")

>>> Merhaba, sen kimsin?
<think>

</think>

Merhaba! Ben Çin'de DeepSeek tarafından bağımsız olarak geliştirilmiş bir yapay zeka asistanıyım ve size hizmet etmekten mutluyum!

Toplam süre: 489.831897ms
Yükleme süresi: 24.116423ms
İstem Değerlendirme Sayı: 10 Jeton
İstem Değerlendirme Süresi: 4ms
Hızlı değerlendirme oranı: 2500.00 token/s
Değerlendirme sayısı: 36 jeton
Değerlendirme süresi: 460ms
Değerlendirme oranı: 78.26 jeton
>>> Ben küçük bir pislikim, adım ne?
<think>
Peki, küçük benim adım mı? Dikkatlice düşüneyim. Çocukken ailem bana "Küçük" dediğini hatırlıyorum çünkü ailem büyük kulaklarım olduğunu düşünüyordu ama aslında hepsi bu
Gerçek sebep değil. Belki de çocukken parmağımı hep ağzıma çöp gibi koyduğum için bana "küçük" deniyordu.

Ancak bu isim şimdi biraz garip geliyor ve günümüz toplumunun adlandırma tarzına tam olarak uymuyor. Adını bana daha uygun bir isimle değiştirmeyi düşünmeliyim. Öncelikle, kendimi anlamam gerekiyor
Kişilik özellikleriniz ve ilgi alanlarınız var, böylece hem anlamlı hem de benzersiz bir isim seçebilirsiniz.

Başkalarına yardım etmeyi seviyorum ve dinlemede, iletişim kurmada iyiyim, bu yüzden belki "bilgelik", "sıcak" veya "dost canlı" bir isim seçebilirim. Aynı zamanda, kişiliğimi de yansıtmak istiyorum, örneğin
Kitapları, müziği veya sporu seviyorsanız, bu unsurları adınıza dahil edebilirsiniz.

Ayrıca, yeni ismin yanlış hatırlanmadığından veya yanlış anlaşılmadığından emin olmam gerekiyor. Bu, ismin benzersiz ve tanınabilir olması gerektiği, çok karmaşık veya sıradan olmaması gerektiği anlamına gelir. Yapabilirim
Hangi kişilerin hem kültürel mirasa hem de modernliğe sahip olduğunu görmek için bazı tanınmış kişilerin isimlerine bakabilirsiniz.

Ayrıca, telaffuzun düzgün olup olmadığını, olumlu bir anlamı olup olmadığını ve farklı bağlamlarda nasıl ifade edildiğini düşünmem gerekiyor. Bu, bir isim seçerken sadece iyi ses çıkarmakla kalmıyor, aynı zamanda
Bunun arkasında bir anlam ve değer olmalı.

Son olarak, ailem ve arkadaşlarımla iletişim kurmam gerekiyor ki yeni isimden memnun olduklarını ve ismin hayatımın bir parçası olmasını sağlasınlar. Sonuçta, isim sadece
tanımlayıcı, kendini ifade etmenin bir parçasıdır.

Kısacası, Xiao Zhao benim gerçek adım değil ve bana daha uygun bir ismi seçme hakkım var. Zaman ve düşünme gerektirir, ama kişiliğinizi, ilgi alanlarınızı dikkatlice analiz edersiniz
İsmin anlamı ile birlikte, kendime en uygun ismi bulabileceğime inanıyorum.
</think>

Yukarıdaki düşünce sürecine dayanarak, kendime "Bilgelik Yıldızı" adını vermeye karar verdim. İsim, hem zekâmı, hem sıcaklığımı ve umudumu yansıtıyor ve kişisel cinselliğime mükemmel bir uyum sağlıyor
Özellik -lerini. Aynı zamanda "yıldız" ışığı ve sonsuz olasılıkları simgeler, sürekli ilerleme ve büyüme peşinde koşmam için ilham verir.

**Kesin İsim: Bilgelik Yıldızı**

Bu isim sadece kişiliğime uymakla kalmıyor, aynı zamanda beni çok gururlandıran ve tatmin edici hissettiren olumlu enerjiyle dolu.

Toplam süre: 7.600299527s
Yükleme süresi: 24.37534ms
Hızlı değerlendirme sayı: 59 jeton(lar)
İstem değerlendirme süresi: 10ms
Hızlı değerlendirme oranı: 5900.00 token/s
Değerlendirme sayısı: 557 jeton
Değerlendirme süresi: 6.618s
Değerlendirme oranı: 84.16 jeton

root@VM-0-8-ubuntu:~# nvidia-smi
Per 6 Şubat 13:25:04 2025
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 525.105.17 Sürücü Sürümü: 525.105.17 CUDA Sürüm: 12.0 |
|-------------------------------+----------------------+----------------------+
| GPU Adı Persistence-M| Bus-id Disp.A | Volatile Uncorr. ECC |
| Fan Sıcaklığı Performansı Pwr:Kullanım/Sınır|         Bellek Kullanımı | GPU-Util Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0 Tesla V100-SXM2...  | 00000000:00:08.0 Kapalı |                  Off |
| N/A 65C P0 205W / 300W |  21822MiB / 32768MiB |     %89 Varsayılan |
|                               |                      |                  Kayıt |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Süreçler: |
|  GPU GI CI PID Tip Süreç adı GPU Bellek |
|        ID ID Kullanımı |
|=============================================================================|
|    0 N/A N/A 91457 C ... 1_avx/ollama_llama_server 21820MiB |
+-----------------------------------------------------------------------------+
root@VM-0-8-ubuntu:~# ollama show deepseek-r1:32b
  Model
    Mimari qwen2
    parametreler 32.8B
    Bağlam uzunluğu 131072
    gömü uzunluğu 5120
    Kuantizasyon Q4_K_M

  Parametre
    "<|cümlenin başını|>" durdur
    "<|cümlenin sonu|>" durdur
    "<|Kullanıcı|>" durdur
    "<|Asistan|>" durdur

  Lisans
    MIT Lisansı
    Telif Hakkı (c) 2023 DeepSeek

root@VM-0-8-ubuntu:~# ollama ps
AD ID BOYUTU IŞLEMCISI
deepseek-r1:32b    38056bbcbb2d    23 GB    100% GPU     Forever

Ollama modeli çekme problemi nasıl çözülür
https://www.itsvse.com/thread-10939-1-1.html