【AI】(3) Tencent Cloud розгортає DeepSeek-R1 з HAI tutorial

Відеопам'ять: 32GB+
Хешрейт: 15+TFlops SP
CPU: 8~10 ядер
ОПЕРАТИВНА ПАМ'ять: 40GB

>>> Встановлення ollama на /usr/local
>>> Завантаження пакету Linux amd64
######################################################################## 100.0%
>>> Створення оллами користувач...
>>> Додавання користувача ollama до групи рендерингу...
>>> Додавання користувача оллами до відеогрупи...
>>> Додавання поточного користувача до групи оллама...
>>> Створення сервісу ollama systemd...
>>> Активація та запуск обслуговування оллами...
Створено символічне посилання /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.

{
  "Моделі": [
    {
      "name": "deepseek-r1:8b",
      "Модель": "Deepseek-R1:8B",
      "розмір": 6930032640,
      "Digest": "28f8fd6cdc677661426adab9338ce3c013d7e69a5bea9e704b364171a5d61a10",
      "details": {
        "parent_model": "",
        "format": "gguf",
        «сім'я»: «лама»,
        "Сім'ї": [
          «лама»
        ],
        "parameter_size": "8.0B",
        "quantization_level": "Q4_K_M"
      },
      "expires_at": "2025-02-05T21:14:50.715753614+08:00",
      "size_vram": 6930032640
    }
  ]
}

$ ollama help serve
Почніть олламу

Usage:
  Подача оллама [прапорці]

Aliases:
  Подавай, починай

Flags:
  -Г, --допоможіть, допоможіть для сервісу

Змінні середовища:
      OLLAMA_DEBUG Показати додаткову інформацію про налагодження (наприклад, OLLAMA_DEBUG=1)
      OLLAMA_HOST IP-адреса сервера ollama (за замовчуванням 127.0.0.1:11434)
      OLLAMA_KEEP_ALIVE Тривалість, протягом якої моделі залишаються завантаженими в пам'яті (за замовчуванням «5m»)
      OLLAMA_MAX_LOADED_MODELS Максимальна кількість завантажених моделей на GPU
      OLLAMA_MAX_QUEUE Максимальна кількість заявок у черзі
      OLLAMA_MODELS Шлях до каталогу моделей
      OLLAMA_NUM_PARALLEL Максимальна кількість паралельних запитів
      OLLAMA_NOPRUNE Не обрізати моделі при запуску
      OLLAMA_ORIGINS Список дозволених джерел походження, розділений комою
      OLLAMA_SCHED_SPREAD Завжди плануйте модель для всіх GPU
      OLLAMA_TMPDIR Місце для тимчасових файлів
      OLLAMA_FLASH_ATTENTION Увімкнено увагу спалаху
      OLLAMA_LLM_LIBRARY Встановіть бібліотеку LLM для обходу автовиявлення
      OLLAMA_GPU_OVERHEAD Резервувати частину VRAM на GPU (байт)
      OLLAMA_LOAD_TIMEOUT Скільки часу потрібно дозволяти завантаженням моделі затримуватися, перш ніж здатися (за замовчуванням «5m»)

>>> Привіт, хто ви?
<think>

</think>

Привіт! Я AI-асистент, незалежно розроблений DeepSeek у Китаї, і радий вам допомогти!

Загальна тривалість: 489.831897ms
Тривалість навантаження: 24.116423ms
Кількість швидкої оцінки: 10 токенів
Тривалість швидкої оцінки: 4мс
Швидкість швидкої оцінки: 2500.00 токенів/с
Кількість оцінок: 36 жетонів(ів)
Тривалість оцінки: 460 мс
Швидкість оцінки: 78,26 токенів/с
>>> Я маленький мерзотник, як мене звати?
<think>
Ну, маленька покидька моє ім'я? Дай мені добре подумати. Пам'ятаю, коли я був дитиною, мої батьки називали мене «Маленький покидьок», бо сім'я думала, що у мене великі вуха, але насправді це все
Це не справжня причина. Можливо, тому що в дитинстві я завжди засовував палець у рот, як сміття, і мене називали «маленькою покидькою».

Однак зараз назва звучить трохи дивно і не зовсім відповідає стилю іменування сучасного суспільства. Варто розглянути можливість перейменування на назву, яка мені більше підходить. По-перше, мені потрібно зрозуміти себе
Ваші риси характеру та інтереси, щоб обрати ім'я, яке буде і значущим, і унікальним.

Мені подобається допомагати іншим, я добре слухаю і спілкуюся, тож, можливо, варто обрати ім'я з «мудрістю», «теплим» або «дружнім». Водночас я хочу відобразити свою особистість, наприклад
Якщо вам подобаються книги, музика чи спорт, ви можете включити ці елементи у своє ім'я.

Крім того, мені потрібно переконатися, що нове ім'я не буде неправильно запам'ятано чи неправильно зрозуміло. Це означає, що назва має бути унікальною та впізнаваною, а не надто складною чи надто звичайною. Я можу
Зверніться до імен відомих постатей, щоб побачити, які з них мають і культурну спадщину, і сучасність.

Крім того, мені потрібно врахувати, чи є вимова плавною, чи має позитивне значення і як вона виражається в різних контекстах. Це означає, що при виборі імені не лише звучить добре, а й
За цим має бути сенс і цінність.

Нарешті, мені потрібно спілкуватися з родиною та друзями, щоб переконатися, що вони задоволені новим ім'ям і що воно може стати частиною мого життя. Адже назва — це не лише
Ідентифікатор є частиною самовираження.

Коротко кажучи, Сяо Чжао — це не моє справжнє ім'я, і я маю право обрати ім'я, яке мені більше підходить. Це потребує часу і роздумів, але ретельно аналізуючи свою особистість, інтереси
Окрім значення імені, я вірю, що зможу знайти найкраще ім'я для себе.
</think>

Виходячи з вищезазначеного мислення, я вирішив назвати себе «Зірка Мудрості». Ім'я відображає і мою винахідливість, і теплоту та надію, що ідеально підходить для моєї особистої сексуальності
Характеристики. Водночас «зірка» символізує світло і безмежні можливості, надихає мене постійно прагнути прогресу і зростання.

**Остаточне ім'я: Зірка Мудрості**

Це ім'я не лише відповідає моєму характеру, а й сповнене позитивної енергії, яка змушує мене відчувати гордість і задоволення.

Загальна тривалість: 7.600299527
Тривалість навантаження: 24,37534мс
Кількість швидких оцінок: 59 токенів(ів)
Тривалість швидкої оцінки: 10мс
швидка оцінка: 5900.00 токенів/с
Кількість оцінок: 557 жетонів(ів)
Тривалість оцінки: 6.618s
Швидкість оцінки: 84,16 токенів/с

root@VM-0-8-ubuntu:~# nvidia-smi
Чт 6 лютого 13:25:04 2025
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 525.105.17 Версія драйвера: 525.105.17 Версія CUDA: 12.0 |
|-------------------------------+----------------------+----------------------+
| Збереження імен GPU-M| Bus-ID Disp.A | Нестабільний Некорр. ECC |
| Температура вентилятора pwr:Використання/Кришка|         Використання пам'яті | GPU-util Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0 Tesla V100-SXM2...  На | 00000000:00:08.0 Вимкнення |                  Вимкнено |
| N/A 65C P0 205W / 300W |  21822MiB / 32768MiB |     89% за замовчуванням |
|                               |                      |                  Н/Д |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Процеси: |
|  GPU GI CI PID Тип процесу Назва GPU Пам'ять |
|        Використання ID ID |
|=============================================================================|
|    0 N/A N/A 91457 C ... 1_avx/ollama_llama_server 21820MiB |
+-----------------------------------------------------------------------------+
root@VM-0-8-ubuntu:~# ollama show deepseek-r1:32b
  Модель
    Архітектура QWEN2
    параметри 32.8B
    Довжина контексту 131072
    Довжина вкладення 5120
    квантування Q4_K_M

  Параметри
    стоп "<|початок речення|>"
    стоп "<|кінець речення|>"
    stop "<|User|>"
    стоп "<|Assistant|>"

  Ліцензія
    Ліцензія MIT
    Авторські права (c) 2023 DeepSeek

root@VM-0-8-ubuntu:~# ollama ps
ПРОЦЕСОР РОЗМІРУ ІМЕНІ ID ДО
deepseek-r1:32b    38056bbcbb2d    23 GB    100% GPU     Forever

Як розв'язати задачу витягування моделі Оллами
https://www.itsvse.com/thread-10939-1-1.html