【AI】(3) Tencent Cloud Menerapkan DeepSeek-R1 dengan tutorial HAI

Memori video: 32GB+
Hashrate: 15+TFlops SP
CPU: 8 ~ 10 inti
RAM: 40GB

>>> Menginstal ollama ke /usr/local
>>> Mengunduh bundel Linux amd64
######################################################################## 100.0%
>>> Membuat pengguna ollama...
>>> Menambahkan pengguna ollama ke grup render...
>>> Menambahkan pengguna ollama ke grup video...
>>> Menambahkan pengguna saat ini ke grup ollama...
>>> Membuat layanan ollama systemd...
>>> Mengaktifkan dan memulai layanan ollama...
Membuat symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.

{
  "model": [
    {
      "nama": "deepseek-r1:8b",
      "model": "deepseek-r1:8b",
      "ukuran": 6930032640,
      "intisari": "28f8fd6cdc677661426adab9338ce3c013d7e69a5bea9e704b364171a5d61a10",
      "detail": {
        "parent_model": "",
        "format": "gguf",
        "keluarga": "llama",
        "keluarga": [
          "llama"
        ],
        "parameter_size": "8.0B",
        "quantization_level": "Q4_K_M"
      },
      "expires_at": "2025-02-05T21:14:50.715753614+08:00",
      "size_vram": 6930032640
    }
  ]
}

$ ollama membantu melayani
Mulai ollama

Usage:
  Ollama melayani [bendera]

Aliases:
  menyajikan, mulai

Flags:
  -h, --bantuan untuk melayani

Variabel Lingkungan:
      OLLAMA_DEBUG Menampilkan informasi debug tambahan (misalnya OLLAMA_DEBUG=1)
      OLLAMA_HOST Alamat IP untuk server ollama (default 127.0.0.1:11434)
      OLLAMA_KEEP_ALIVE Durasi model tetap dimuat dalam memori (default "5m")
      OLLAMA_MAX_LOADED_MODELS Jumlah maksimum model yang dimuat per GPU
      OLLAMA_MAX_QUEUE Jumlah maksimum permintaan yang diantrekan
      OLLAMA_MODELS Jalur ke direktori model
      OLLAMA_NUM_PARALLEL Jumlah maksimum permintaan paralel
      OLLAMA_NOPRUNE Jangan memangkas blob model saat startup
      OLLAMA_ORIGINS Daftar asal yang dipisahkan koma
      OLLAMA_SCHED_SPREAD Selalu jadwalkan model di semua GPU
      OLLAMA_TMPDIR Lokasi untuk file sementara
      OLLAMA_FLASH_ATTENTION Mengaktifkan perhatian lampu kilat
      OLLAMA_LLM_LIBRARY Mengatur pustaka LLM untuk melewati deteksi otomatis
      OLLAMA_GPU_OVERHEAD Memesan sebagian VRAM per GPU (byte)
      OLLAMA_LOAD_TIMEOUT Berapa lama untuk membiarkan beban model berhenti sebelum menyerah (default "5m")

>>> Halo, siapa Anda?
<think>

</think>

Halo! Saya adalah asisten AI yang dikembangkan secara independen oleh DeepSeek di Tiongkok, dan saya senang melayani Anda!

Durasi total: 489.831897ms
Durasi Muat: 24.116423ms
Jumlah Eval Prompt: 10 token
Durasi Eval Prompt: 4ms
Tingkat Eval Prompt: 2500.00 token/s
Jumlah eval: 36 token
Durasi eval: 460ms
Tingkat eval: 78.26 token/s
>>> saya kecil, siapa nama saya?
<think>
Nah, apakah sampah kecil nama saya? Biarkan saya memikirkannya dengan hati-hati. Saya ingat ketika saya masih kecil, orang tua saya menamai saya "Little Scumbag" karena keluarga saya mengira saya memiliki telinga yang besar, tetapi sebenarnya, hanya itu saja
Bukan alasan sebenarnya. Mungkin karena ketika saya masih kecil, saya selalu memasukkan jari saya ke dalam mulut saya seperti sampah, jadi saya disebut "sampah kecil".

Namun, namanya terdengar agak aneh sekarang, dan tidak sesuai dengan gaya penamaan masyarakat saat ini. Saya harus mempertimbangkan untuk mengganti namanya dengan nama yang lebih cocok untuk saya. Pertama, saya perlu memahami diri sendiri
Ciri-ciri dan minat kepribadian Anda, sehingga Anda dapat memilih nama yang bermakna dan unik.

Saya suka membantu orang lain dan pandai mendengarkan dan berkomunikasi, jadi mungkin pilih nama dengan "kebijaksanaan", "hangat" atau "ramah". Pada saat yang sama, saya juga ingin mencerminkan kepribadian saya, seperti
Jika Anda menyukai buku, musik, atau olahraga, Anda dapat memasukkan elemen-elemen ini ke dalam nama Anda.

Selain itu, saya perlu memastikan bahwa nama baru tidak disalahingat atau disalahpahami. Artinya, namanya harus unik dan dapat dikenali, tidak terlalu rumit atau terlalu biasa. Saya bisa
Lihat nama-nama beberapa tokoh terkenal untuk melihat mana yang memiliki warisan budaya dan modernitas.

Selain itu, saya perlu mempertimbangkan apakah pengucapannya halus, apakah ada arti positif, dan bagaimana pengucapannya diungkapkan dalam konteks yang berbeda. Artinya, saat memilih nama, tidak hanya terdengar bagus, tetapi juga
Pasti ada makna dan nilai di baliknya.

Akhirnya, saya perlu berkomunikasi dengan keluarga dan teman-teman saya untuk memastikan mereka senang dengan nama baru dan bahwa nama itu dapat menjadi bagian dari hidup saya. Bagaimanapun, namanya tidak hanya
Pengidentifikasi adalah bagian dari ekspresi diri.

Singkatnya, Xiao Zhao bukan nama asli saya, dan saya memiliki hak untuk memilih nama yang lebih cocok untuk saya. Butuh waktu dan pemikiran, tetapi dengan menganalisis kepribadian, minat Anda dengan cermat
Selain arti namanya, saya yakin saya akan dapat menemukan nama yang paling cocok untuk diri saya sendiri.
</think>

Berdasarkan proses berpikir di atas, saya memutuskan untuk menamai diri saya "Wisdom Star". Nama itu mencerminkan kecerdikan dan kehangatan dan harapan saya, membuatnya sangat cocok untuk seksualitas pribadi saya
Karakteristik. Pada saat yang sama, "bintang" melambangkan cahaya dan kemungkinan tak terbatas, menginspirasi saya untuk terus mengejar kemajuan dan pertumbuhan.

**Nama Final: Wisdom Star**

Nama ini tidak hanya cocok dengan kepribadian saya, tetapi juga penuh energi positif yang membuat saya merasa sangat bangga dan puas.

Durasi total: 7.600299527s
Durasi Muat: 24.37534ms
Jumlah Eval Prompt: 59 token
Durasi Eval Prompt: 10ms
Tingkat Eval Prompt: 5900.00 token/s
Jumlah eval: 557 token
Durasi Eval: 6.618 detik
Tingkat eval: 84.16 token/s

root@VM-0-8-ubuntu:~# nvidia-smi
Kamis Feb 6 13:25:04 2025
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 525.105.17 Versi Driver: 525.105.17 Versi CUDA: 12.0 |
|-------------------------------+----------------------+----------------------+
| Persistensi Nama GPU-M| Bus-ID Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr: Penggunaan/Tutup|         Penggunaan Memori | GPU-Util Komputasi M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0 Tesla V100-SXM2...  Aktif | 00000000:00:08.0 Diskon |                  Mati |
| N/A 65C P0 205W / 300W |  21822MiB / 32768MiB |     89% Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Proses: |
|  Tipe GPU GI CI PID Nama proses Memori GPU |
|        Penggunaan ID ID |
|=============================================================================|
|    0 N / A N / A 91457 C ... 1_avx/ollama_llama_server 21820MiB |
+-----------------------------------------------------------------------------+
root@VM-0-8-ubuntu:~# ollama tampilkan deepseek-r1:32b
  Pola
    arsitektur qwen2
    parameter 32.8B
    panjang konteks 131072
    Panjang penyematan 5120
    Q4_K_M kuantisasi

  Parameter
    hentikan "<|awal kalimat|>"
    hentikan "<|akhir kalimat|>"
    hentikan "<|Pengguna|>"
    hentikan "<|Asisten|>"

  Lisensi
    Lisensi MIT
    Hak Cipta (c) 2023 DeepSeek

root@VM-0-8-ubuntu:~# ollama ps
NAMA ID UKURAN PROSESOR SAMPAI
deepseek-r1:32b    38056bbcbb2d    23 GB    100% GPU     Forever

Cara mengatasi masalah tarik model Ollama
https://www.itsvse.com/thread-10939-1-1.html