|
|
Публикувано на 2025-2-6 21:48:36
|
|
|
|

Изисквания: Разположих модела DeepSeek-R1 с помощта на Ollama и исках да видя информацията за заявки от някои плъгини, за да разбера детайлите. Например: Open WebUI, continue, cline, Roo Code и т.н.
Преглед:
За да разпечатате заявката за вход от страна на сървъра, трябва да активирате Debug режим. редактирам/etc/systemd/system/ollama.service.d/override.confДобавете следната конфигурация:
Презаредете и започнете услугата на оллама със следната команда:
Използвайте journalctl, за да видите логовете за изход на услугата със следната команда:
Използвайте Open WebUI, за да извикате оллама за тестване, както е показано на изображението по-долу:
Логовете са както следва:
06 фев 21:25:48 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:25:48 | 200 | 6.186257471 | 172.18.0.2 | ПОСТ "/api/chat" 06 февруари 21:25:48 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:48.411+08:00 level=DEBUG source=sched.go:407 msg="контекст за заявка завършен" Фев 06 21:25:48 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:48.411+08:00 level=DEBUG source=sched.go:339 msg="runner с ненулева продължителност е погаснал, добавяйки таймер" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 продължителност=2562047h47m16.85475807s 06 февруари 21:25:48 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:48.411+08:00 level=DEBUG source=sched.go:357 msg="след обработка заявката приключи събитие" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 refCount=0 06 февруари 21:25:54 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:54.834+08:00 level=DEBUG source=sched.go:575 msg="оценяване на вече заредено" model=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 06 февруари 21:25:54 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:54.835+08:00 level=DEBUG source=routes.go:1470 msg="chat request" images=0 prompt=<|User|>Казвам се Сяо Джа, кой сте вие? <|Асистент|> 06 февруари 21:25:54 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:54.836+08:00 level=DEBUG source=cache.go:104 msg="loading cache slot" id=0 cache=728 prompt=13 used=2 останали=11 06 февруари 21:26:02 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:26:02 | 200 | 7.642182053 | 172.18.0.2 | ПОСТ "/api/chat" 06 февруари 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.454+08:00 level=DEBUG source=sched.go:407 msg="контекст за заявка завършен" Фев 06 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.454+08:00 level=DEBUG source=sched.go:339 msg="runner с ненулева продължителност остана неактивен, добавяйки таймер" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 продължителност=2562047h47m16.85475807s 06 февруари 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.454+08:00 level=DEBUG source=sched.go:357 msg="след обработка на заявката приключи събитие" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 refCount=0 06 февруари 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.491+08:00 level=DEBUG source=sched.go:575 msg="оценяване на вече заредено" model=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 Фев 06 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.491+08:00 level=DEBUG source=routes.go:1470 msg="chat request" images=0 prompt="<|User|>### Задача:\nГенерирайте кратко заглавие от 3-5 думи с емоджи, обобщаващо историята на чата.\n### Насоки:\n- Заглавието трябва ясно да представя основната тема или тема на разговора.\ n- Използвайте емоджита, които подобряват разбирането на темата, но избягвайте кавички или специално форматиране.\n- Напишете заглавието на основния език на чата; по подразбиране използвайте английски, ако е многоезично.\n- Приоритизирайте точността пред прекомерната креативност; Дръж го ясно и просто.\n### Изход:\nJSON формат: { \"title\": \"вашето кратко заглавие тук\" }\n### Примери:\n- { \"title\": \" Тенденции на фондовия пазар\" },\n- { \"title\": \" Перфектен шоколад Рецепта за чипове\" },\n- { \"title\": \"Еволюция на музикалното стрийминг\" },\n- { "title\": \"Съвети за продуктивност в дистанционна работа\" },\n- { \"title\": \"Изкуствен интелект в здравеопазването\" },\n- { \" заглавие\": \" Прозрения за разработка на видео игри\" }\n### История на чата:\n<chat_history>\nПОТРЕБИТЕЛ: Казвам се Сяо Джа, кой сте вие? \nАСИСТЕНТ: Здравей, малък негодник! Аз съм DeepSeek-R1-Lite-Preview, интелигентен асистент, разработен от DeepSeek, и ще направя всичко възможно да ви помогна. Мога ли да направя нещо за вас? \n</chat_history><|Асистент|>" 06 февруари 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.495+08:00 level=DEBUG source=cache.go:104 msg="loading cache slot" id=1 cache=567 prompt=312 used=6 останали= 306 Фев 06 21:26:14 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:26:14 | 200 | 12.263297485 | 172.18.0.2 | ПОСТ "/api/chat" 06 февруари 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.731+08:00 level=DEBUG source=sched.go:407 msg="контекст за заявка завършен" 06 февруари 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.731+08:00 level=DEBUG source=sched.go:339 msg="runner с ненулева продължителност е постоял, добавяйки таймер" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 продължителност=2562047h47m16.85475807s 06 февруари 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.731+08:00 level=DEBUG source=sched.go:357 msg="след обработка на заявката приключи събитие" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 refCount=0 06 февруари 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.769+08:00 level=DEBUG source=sched.go:575 msg="оценяване на вече заредено" model=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 Фев 06 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.769+08:00 level=DEBUG source=routes.go:1470 msg="chat request" images=0 prompt="<|User|>### Задача:\nГенерирайте 1-3 широки тага, категоризиращи основните теми от историята на чата, заедно с 1-3 по-конкретни подтемични тага.\n\n### Насоки:\n- Започнете с домейни от високо ниво (например Наука, технологии, философия, изкуства, политика, бизнес, здравеопазване, спорт, забавления, образование) \n- Обмислете включването на релевантни подполета/поддомейни, ако те са силни представено през целия разговор\n- Ако съдържанието е твърде кратко (по-малко от 3 съобщения) или твърде разнообразно, използвайте само [\"Общо\"]\n- Използвайте основния език на чата; по подразбиране английски, ако е многоезично\n- Приоритизирай точността пред специфичността\n\n### Изход:\nJSON формат: { \"tags\": [\"tag1\", \"tag2\", \"tag3\"] }\n\n### История на чат:\n<chat_history>\nПОТРЕБИТЕЛ: Казвам се Сяо Джа, а ти кой си? \nАСИСТЕНТ: Здравей, малък негодник! Аз съм DeepSeek-R1-Lite-Preview, интелигентен асистент, разработен от DeepSeek, и ще направя всичко възможно да ви помогна. Мога ли да направя нещо за вас? \n</chat_history><|Асистент|>" 06 февруари 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.773+08:00 level=DEBUG source=cache.go:104 msg="loading cache slot" id=1 cache=637 prompt=249 used=7 останали= 242 06 фев 21:26:17 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:17.717+08:00 level=DEBUG source=sched.go:575 msg="оценяване вече заредено" model=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 06 февруари 21:26:17 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:17.718+08:00 level=DEBUG source=server.go:966 msg="открит нов runner, модел за зареждане за cgo tokenization" 06 февруари 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: заредени метаданни с 26 двойки ключови стойности и 771 тензора от /data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 (версия GGUF V3 (най-нова)) 06 февруари 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: Изхвърляне на ключове/стойности от метаданни. Забележка: KV презаписи не се прилагат в този изход. Фев 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 0: general.architecture str = qwen2 Фев 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 1: general.type str = модел Фев 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 2: general.name str = DeepSeek R1 Distill Qwen 32B Фев 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 3: general.basename str = DeepSeek-R1-Distill-Qwen Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 4: general.size_label str = 32B Фев 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 5: qwen2.block_count u32 = 64 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 6: qwen2.context_length u32 = 131072 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 7: qwen2.embedding_length u32 = 5120 Фев 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 8: qwen2.feed_forward_length u32 = 27648 Фев 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 9: qwen2.attention.head_count u32 = 40 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 10: qwen2.attention.head_count_kv u32 = 8 Фев 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 11: qwen2.rope.freq_base f32 = 1000000.000000 06 февруари 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 12: qwen2.attention.layer_norm_rms_epsilon f32 = 0.000010 Фев 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 13: general.file_type u32 = 15 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 14: tokenizer.ggml.model str = gpt2 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 15: tokenizer.ggml.pre str = deepseek-r1-qwen Фев 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 16: tokenizer.ggml.tokens arr[str,152064] = ["!", "\"", "#", "$", "%", "&", "'", ... 06 февруари 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 17: tokenizer.ggml.token_type arr[i32,152064] = [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, ... Фев 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 18: tokenizer.ggml.merges arr[str,151387] = ["Ġ Ġ", "ĠĠ ĠĠ", "i n", "Ġ t",... Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 19: tokenizer.ggml.bos_token_id u32 = 151646 Фев 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 20: tokenizer.ggml.eos_token_id u32 = 151643 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 21: tokenizer.ggml.padding_token_id u32 = 151643 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 22: tokenizer.ggml.add_bos_token bool = true 06 февруари 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 23: tokenizer.ggml.add_eos_token bool = false Фев 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 24: tokenizer.chat_template str = {% ако не add_generation_prompt е де... Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 25: general.quantization_version u32 = 2 Фев 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - тип f32: 321 тензори Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - тип q4_K: 385 tensors Фев 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - тип q6_K: 65 тензора 06 февруари 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_vocab: липсващ или неразпознат тип пред-токенизатор, използвайки: 'default' 06 февруари 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_vocab: special_eos_id не е в special_eog_ids - конфигурацията на токенайзера може да е грешна Фев 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_vocab: size кеша на специални токени = 22 Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_vocab: token to piece cache size = 0.9310 MB Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: format = GGUF V3 (последен) Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: arch = qwen2 Фев 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: vocab type = BPE Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: n_vocab = 152064 Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: n_merges = 151387 Фев 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: vocab_only = 1 Фев 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: тип модел = ? B Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: model ftype = all F32 Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: model params = 32.76 B Фев 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: размер на модела = 18.48 GiB (4.85 BPW) Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: general.name = DeepSeek R1 Distill Qwen 32B Фев 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: BOS token = 151646 '<|начало на изречение|>' Фев 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOS token = 151643 '<|end of sentence|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOT token = 151643 '<|end of sentence|>' Фев 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: PAD token = 151643 '<|end of sentence|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: LF token = 148848 'ÄĬ' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM PRE token = 151659 '<|fim_prefix|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM SUF token = 151661 '<|fim_suffix|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM MID token = 151660 '<|fim_middle|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM PAD token = 151662 '<|fim_pad|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM REP token = 151663 '<|repo_name|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM SEP token = 151664 '<|file_sep|>' Фев 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOG token = 151643 '<|end of sentence|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOG token = 151662 '<|fim_pad|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOG token = 151663 '<|repo_name|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOG token = 151664 '<|file_sep|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: max token length = 256 06 февруари 21:26:18 VM-0-8-ubuntu ollama[13503]: llama_model_load: само речник - пропускане на тензори 06 февруари 21:26:18 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:18.440+08:00 level=DEBUG source=routes.go:1470 msg="chat request" images=0 prompt="<|User|>Казвам се Сяо Джа, кой си ти? <|Асистент|>\nЗдравей, малък негодник! Аз съм DeepSeek-R1-Lite-Preview, интелигентен асистент, разработен от DeepSeek, и ще направя всичко възможно да ви помогна. Мога ли да направя нещо за вас? <|край на изречение|><|Потребител|>Здравей, DeepSeek-R1<|Асистент|>" 06 февруари 21:26:18 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:18.491+08:00 level=DEBUG source=cache.go:104 msg="loading cache slot" id=0 cache=223 prompt=64 used=13 оставащи= 51 06 февруари 21:26:24 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:26:24 | 200 | 6.737131375 | 172.18.0.2 | ПОСТ "/api/chat" 06 февруари 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.426+08:00 level=DEBUG source=sched.go:407 msg="контекст за заявка завършен" 06 февруари 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.426+08:00 level=DEBUG source=sched.go:357 msg="след обработка на заявката приключи събитие" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 refCount=1 06 февруари 21:26:24 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:26:24 | 200 | 10.172441322 | 172.18.0.2 | ПОСТ "/api/chat" 06 февруари 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.918+08:00 level=DEBUG source=sched.go:407 msg="контекст за заявка завършен" Фев 06, 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.918+08:00 level=DEBUG source=sched.go:339 msg="runner с ненулева продължителност е остана неактивен, добавяйки таймер" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 продължителност=2562047h47m16.85475807s 06 февруари 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.918+08:00 level=DEBUG source=sched.go:357 msg="след обработка на заявката приключи събитие" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 refCount=0 Препратка:
Входът към хиперлинк е видим.
Входът към хиперлинк е видим. |
Предишен:[AI] (4) Използвайте Open WebUI, за да извикнете модела DeepSeek-R1Следващ:[AI] (6) Кратко въведение в формат на голям модел GGUF
|