Вимоги: Я розгорнув модель DeepSeek-R1 за допомогою Ollama і хотів переглянути інформацію про запити з деяких плагінів, щоб зрозуміти деталі. Наприклад: Відкрити WebUI, продовжити, клайн, Roo Code тощо.
Огляд:
Щоб роздрукувати запит на сервері, потрібно увімкнути режим налагодження. редагувати/etc/systemd/system/ollama.service.d/override.confдодайте таку конфігурацію:
Перезавантажте та запустіть службу оллами за допомогою наступної команди:
Використовуйте journalctl для перегляду журналів вихідних сервісів за допомогою наступної команди:
Використовуйте Open WebUI, щоб викликати олламу для тестування, як показано на зображенні нижче:
Журнали такі:
06 лютого 21:25:48 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:25:48 | 200 | 6.186257471 | 172.18.0.2 | ПОСТ «/api/chat» 06 лютого 21:25:48 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:48.411+08:00 level=DEBUG source=sched.go:407 msg="контекст для запиту завершено" 06 лютого 21:25:48 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:48.411+08:00 level=DEBUG source=sched.go:339 msg="runner with non-null duration залишився без роботи, додаючи таймер" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531a5ecf5c613e93 duration=2562047h47m16.85475807s 06 лютого 21:25:48 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:48.411+08:00 level=DEBUG source=sched.go:357 msg="після обробки запиту завершена подія" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 refCount=0 06 лютого 21:25:54 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:54.834+08:00 level=DEBUG source=sched.go:575 msg="оцінювання вже завантажено" model=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 06 лютого 21:25:54 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:54.835+08:00 level=DEBUG source=routes.go:1470 msg="chat request" images=0 prompt=<|User|>Мене звати Сяо Чжа, а ви хто? <|Асистент|> 06 лютого 21:25:54 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:54.836+08:00 level=DEBUG source=cache.go:104 msg="loading cache slot" id=0 cache=728 prompt=13 used=2 remaining=11 06 лютого 21:26:02 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:26:02 | 200 | 7.642182053 | 172.18.0.2 | ПОСТ «/api/chat» 06 лютого 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.454+08:00 level=DEBUG source=sched.go:407 msg="context for request завершено" 06 лютого 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.454+08:00 level=DEBUG source=sched.go:339 msg="runner with non-null duration залишився без курсу, додавши таймер" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531a5ecf5c613e93 duration=2562047h47m16.85475807s 06 лютого 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.454+08:00 level=DEBUG source=sched.go:357 msg="після обробки запиту завершена подія" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 refCount=0 06 лютого 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.491+08:00 level=DEBUG source=sched.go:575 msg="evaluating already loaded" model=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 06 лютого 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.491+08:00 level=DEBUG source=routes.go:1470 msg="chat request" images=0 prompt="<|User|>### Завдання:\nЗгенеруйте лаконічну назву з 3-5 слів із емодзі, що підсумовує історію чату.\n### Рекомендації:\n- Заголовок має чітко відображати основну тему або тему розмови.\ n- Використовуйте емодзі, які покращують розуміння теми, але уникайте лапок чи спеціального форматування.\n- Пишіть заголовок рідною мовою чату; за замовчуванням англійська, якщо багатомовна.\n- Пріоритет точності над надмірною креативністю; Тримайте все зрозумілим і простим.\n### Вихід:\nJSON format: { \"title\": \"ваш короткий заголовок тут\" }\n### Приклади:\n- { \"title\": \" Тренди фондового ринку\" },\n- { \"title\": \" Ідеальний шоколад Chip Recipe\" },\n- { \"title\": \"Еволюція музичного стрімінгу\" },\n- { \"title\": \"Поради з продуктивності на дистанційній роботі\" },\n- { \"title\": \"Штучний інтелект у охороні здоров'я\" },\n- { \" title\": \" Insights Development Video Game\" }\n### Історія чату:\n<chat_history>\nКОРИСТУВАЧ: Мене звати Сяо Чжа, а ви хто? \nАСИСТЕНТ: Привіт, маленький покидьок! Я — DeepSeek-R1-Lite-Preview, розумний асистент, розроблений DeepSeek, і я зроблю все можливе, щоб допомогти вам. Чи можу я чимось допомогти? \n</chat_history><|Асистент|>" 06 лютого 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.495+08:00 level=DEBUG source=cache.go:104 msg="loading cache slot" id=1 cache=567 prompt=312 used=6 remaining= 306 06 лютого 21:26:14 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:26:14 | 200 | 12.263297485 | 172.18.0.2 | ПОСТ «/api/chat» 06 лютого 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.731+08:00 level=DEBUG source=sched.go:407 msg="контекст для запиту завершено" 06 лютого 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.731+08:00 level=DEBUG source=sched.go:339 msg="runner with non-null duration залишився без руху, додаючи таймер" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531a5ecf5c613e93 duration=2562047h47m16.85475807s 06 лютого 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.731+08:00 level=DEBUG source=sched.go:357 msg="після обробки запиту завершена подія" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 refCount=0 06 лютого 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.769+08:00 level=DEBUG source=sched.go:575 msg="evaluating already loaded" model=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 06 лютого 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.769+08:00 level=DEBUG source=routes.go:1470 msg="chat request" images=0 prompt="<|User|>### Завдання:\nЗгенеруйте 1-3 широкі теги, що категоризують основні теми історії чату, а також 1-3 більш конкретні теги підтем.\n\n### Рекомендації:\n- Починайте з доменів високого рівня (наприклад, Наука, технології, філософія, мистецтво, політика, бізнес, здоров'я, спорт, розваги, освіта)\n- Розгляньте можливість включення відповідних підгалузей/підсфер, якщо вони сильні представлений протягом розмови\n- Якщо зміст занадто короткий (менше 3 повідомлень) або надто різноманітний, використовуйте лише [\"General\"]\n- Використовуйте основну мову чату; за замовчуванням англійська, якщо багатомовна\n- Пріоритет точності над специфікою\n\n### Вихід:\nJSON формат: { \"tags\": [\"tag1\", \"tag2\", \"tag3\"] }\n\n### Історія чату:\n<chat_history>\nКОРИСТУВАЧ: Мене звати Сяо Чжа, а ви хто? \nАСИСТЕНТ: Привіт, маленький покидьок! Я — DeepSeek-R1-Lite-Preview, розумний асистент, розроблений DeepSeek, і я зроблю все можливе, щоб допомогти вам. Чи можу я чимось допомогти? \n</chat_history><|Асистент|>" 06 лютого 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.773+08:00 level=DEBUG source=cache.go:104 msg="loading cache slot" id=1 cache=637 prompt=249 used=7 remaining= 242 06 лютого 21:26:17 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:17.717+08:00 level=DEBUG source=sched.go:575 msg="evaluating already loaded" model=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 06 лютого 21:26:17 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:17.718+08:00 level=DEBUG source=server.go:966 msg="виявлено нового бігуна, модель завантаження для токенізації CGO" 06 лютого 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: завантажено метадані з 26 парами ключ-значення та 771 тензором з /data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 (версія GGUF V3 (найновіша)) 06 лютого 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: Дамп ключів/значень метаданих. Примітка: перевизначення KV у цьому виході не застосовуються. Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 0: general.architecture str = qwen2 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 1: general.type str = model Лютий 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 2: general.name str = DeepSeek R1 Distill Qwen 32B Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 3: general.basename str = DeepSeek-R1-Distill-Qwen Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 4: general.size_label str = 32B 06 лютого 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 5: qwen2.block_count u32 = 64 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 6: qwen2.context_length u32 = 131072 06 лютого 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 7: qwen2.embedding_length u32 = 5120 Лютого 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 8: qwen2.feed_forward_length u32 = 27648 Лютий 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 9: qwen2.attention.head_count u32 = 40 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 10: qwen2.attention.head_count_kv u32 = 8 06 лютого 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 11: qwen2.rope.freq_base f32 = 1000000.000000 06 лютого 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 12: qwen2.attention.layer_norm_rms_epsilon f32 = 0.000010 Лютий 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 13: general.file_type u32 = 15 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 14: tokenizer.ggml.model str = gpt2 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 15: tokenizer.ggml.pre str = deepseek-r1-qwen 06 лютого 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 16: tokenizer.ggml.tokens arr[str,152064] = ["!", "\"", "#", "$", "%", "&", "'", ... 06 лютого 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 17: tokenizer.ggml.token_type arr[i32,152064] = [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, ... 06 лютого 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 18: tokenizer.ggml.merges arr[str,151387] = ["Ġ Ġ", "ĠĠ ĠĠ", "i n", "Ġ t",... 06 лютого 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 19: tokenizer.ggml.bos_token_id u32 = 151646 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 20: tokenizer.ggml.eos_token_id u32 = 151643 06 лютого 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 21: tokenizer.ggml.padding_token_id u32 = 151643 Лютий 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 22: tokenizer.ggml.add_bos_token bool = true 06 лютого 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 23: tokenizer.ggml.add_eos_token bool = false Лютий 06, 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 24: tokenizer.chat_template str = {% якщо не add_generation_prompt is de... 06 лютого 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 25: general.quantization_version u32 = 2 06 лютого 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - тип f32: 321 тензори 06 лютого 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - тип q4_K: 385 тензорів 06 лютого 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - тип q6_K: 65 тензорів 06 лютого 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_vocab: відсутній або невизнаний тип пре-токенайзера, використовуючи: 'default' 06 лютого 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_vocab: special_eos_id не знаходиться в special_eog_ids - конфігурація токенайзера може бути неправильною Лютий 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_vocab: size cache special tokens = 22 06 лютого 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_vocab: token to piece cache size = 0.9310 MB Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: format = GGUF V3 (останній) Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: arch = qwen2 Лютий 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: тип словника = BPE Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: n_vocab = 152064 Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: n_merges = 151387 Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: vocab_only = 1 06 лютого 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: model type = ? B Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: model ftype = all F32 Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: model params = 32.76 B 06 лютого 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: розмір моделі = 18.48 GiB (4.85 BPW) Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: general.name = DeepSeek R1 Distill Qwen 32B 06 лютого 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: BOS token = 151646 '<|початок речення|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOS token = 151643 '<|кінець речення|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOT token = 151643 '<|кінець речення|>' 06 лютого 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: PAD token = 151643 '<|кінець речення|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: LF token = 148848 'ÄĬ' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM PRE token = 151659 '<|fim_prefix|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM SUF token = 151661 '<|fim_suffix|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM MID token = 151660 '<|fim_middle|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM PAD token = 151662 '<|fim_pad|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM REP token = 151663 '<|repo_name|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM SEP token = 151664 '<|file_sep|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOG token = 151643 '<|кінець речення|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOG token = 151662 '<|fim_pad|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOG token = 151663 '<|repo_name|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOG token = 151664 '<|file_sep|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: max token length = 256 06 лютого 21:26:18 VM-0-8-ubuntu ollama[13503]: llama_model_load: лише словниковий запас - пропуск тензорів 06 лютого 21:26:18 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:18.440+08:00 level=DEBUG source=routes.go:1470 msg="chat request" images=0 prompt="<|User|>Мене звати Сяо Чжа, а ви хто? <|Асистент|>\nПривіт, маленький покидьок! Я — DeepSeek-R1-Lite-Preview, розумний асистент, розроблений DeepSeek, і я зроблю все можливе, щоб допомогти вам. Чи можу я чимось допомогти? <|кінець речення|><|Користувач|>Hello DeepSeek-R1<|Assistant|>" 06 лютого 21:26:18 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:18.491+08:00 level=DEBUG source=cache.go:104 msg="loading cache slot" id=0 cache=223 prompt=64 used=13 remaining= 51 06 лютого 21:26:24 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:26:24 | 200 | 6.737131375 | 172.18.0.2 | ПОСТ «/api/chat» 06 лютого 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.426+08:00 level=DEBUG source=sched.go:407 msg="context for request завершено" 06 лютого 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.426+08:00 level=DEBUG source=sched.go:357 msg="після обробки запиту завершена подія" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 refCount=1 06 лютого 21:26:24 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:26:24 | 200 | 10.172441322s | 172.18.0.2 | ПОСТ «/api/chat» 06 лютого 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.918+08:00 level=DEBUG source=sched.go:407 msg="context for request завершено" 06 лютого 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.918+08:00 level=DEBUG source=sched.go:339 msg="runner with non-null duration залишився без активності, додаючи таймер" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531a5ecf5c613e93 duration=2562047h47m16.85475807s 06 лютого 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.918+08:00 level=DEBUG source=sched.go:357 msg="після завершення запиту після обробки подія" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 refCount=0 Посилання:
Вхід за гіперпосиланням видно.
Вхід за гіперпосиланням видно. |