Wymagania: Wdrożyłem model DeepSeek-R1 za pomocą Ollama i chciałem zobaczyć informacje o żądaniach z kilku wtyczek, aby zrozumieć szczegóły. Na przykład: Open WebUI, continue, cline, Roo Code itd.
Recenzja:
Aby wydrukować żądanie wejściowe po stronie serwera, musisz włączyć tryb debugowania. redagować/etc/systemd/system/ollama.service.d/override.confDodaj następującą konfigurację:
Przeładuj i rozpocznij usługę ollama następującym poleceniem:
Użyj journalctl, aby zobaczyć logi wyjściowe usługi za pomocą następującego polecenia:
Użyj Open WebUI, aby zadzwonić do ollama w celu testowania, jak pokazano na poniższym obrazku:
Dzienniki są następujące:
06 lutego 21:25:48 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:25:48 | 200 | 6.186257471s | 172.18.0.2 | POST "/api/chat" 06 lutego 21:25:48 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:48.411+08:00 level=DEBUG source=sched.go:407 msg="context for request finished" 06 lutego 21:25:48 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:48.411+08:00 level=DEBUG source=sched.go:339 msg="runner o niezerowym czasie trwania przeszedł w bezczynność, dodaje timer" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 duration=2562047h47m16.854775807s 06 lutego 21:25:48 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:48.411+08:00 level=DEBUG source=sched.go:357 msg="after processing request finished event" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 refCount=0 06 lutego 21:25:54 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:54.834+08:00 level=DEBUG source=sched.go:575 msg="evaluating already loaded" model=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 06 lutego 21:25:54 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:54.835+08:00 level=DEBUG source=routes.go:1470 msg="chat request" images=0 prompt=<|User|>Nazywam się Xiao Zha, kim jesteś? <|Asystentka|> 06 lutego 21:25:54 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:54.836+08:00 level=DEBUG source=cache.go:104 msg="loading cache slot" id=0 cache=728 prompt=13 used=2 remaining=11 06 lutego 21:26:02 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:26:02 | 200 | 7.642182053s | 172.18.0.2 | POST "/api/chat" 06 lutego 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.454+08:00 level=DEBUG source=sched.go:407 msg="context for request finished" 06 lutego 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.454+08:00 level=DEBUG source=sched.go:339 msg="runner o niezerowym czasie trwania przeszedł w bezczynność, dodaje timer" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 duration=2562047h47m16.854775807s 06 lutego 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.454+08:00 level=DEBUG source=sched.go:357 msg="after processing request finished event" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 refCount=0 06 lutego 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.491+08:00 level=DEBUG source=sched.go:575 msg="evaluating already loaded" model=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 06 lutego 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.491+08:00 level=DEBUG source=routes.go:1470 msg="chat request" images=0 prompt="<|User|>### Zadanie:\nStworzyć zwięzły, 3-5-słowowy tytuł z emotką podsumowującą historię czatu.\n### Wytyczne:\n- Tytuł powinien jasno odzwierciedlać główny temat lub temat rozmowy.\ n- Używaj emotikonów, które poprawiają zrozumienie tematu, ale unikają cudzysłowów i specjalnego formatowania.\n- Napisz tytuł w języku podstawowym czatu; domyślnie angielski, jeśli jest wielojęzyczny.\n- Priorytetem jest dokładność ponad nadmierną kreatywnością; Utrzymaj to jasno i prosto.\n### Wyjście:\nJSON format: { \"title\": \"twój zwięzły tytuł tutaj\" }\n### Przykłady:\n- { \"title\": \" Trendy na giełdzie\" },\n- { \"title\": \" Perfect Chocolate Przepis na chipsy\" },\n- { \"tytuł\": \"Ewolucja streamingu muzyki\" },\n- { \"tytuł": \"Wskazówki dotyczące produktywności pracy zdalnej\" },\n- { \"tytuł\": \"Sztuczna inteligencja w opiece zdrowotnej\" },\n- { \" tytuł\": \" Insights Game Game Insights\" }\n### Historia czatu:\n<chat_history>\nUSER: Nazywam się Xiao Zha, kim jesteś? \nASSISTANT: Witaj, mały! Jestem DeepSeek-R1-Lite-Preview, inteligentny asystent opracowany przez DeepSeek i zrobię wszystko, by wam pomóc. Czy mogę w czymś pomóc? \n</chat_history><|Asystentka|>" 06 lutego 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.495+08:00 level=DEBUG source=cache.go:104 msg="loading cache slot" id=1 cache=567 prompt=312 used=6 remaining= 306 06 lutego 21:26:14 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:26:14 | 200 | 12.263297485s | 172.18.0.2 | POST "/api/chat" 06 lutego 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.731+08:00 level=DEBUG source=sched.go:407 msg="context for request finished" 06 lutego 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.731+08:00 level=DEBUG source=sched.go:339 msg="runner o niezerowym czasie trwania przeszedł w bezczynność, dodaje timer" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 duration=2562047h47m16.854775807s 06 lutego 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.731+08:00 level=DEBUG source=sched.go:357 msg="after processing request finished event" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 refCount=0 06 lutego 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.769+08:00 level=DEBUG source=sched.go:575 msg="evaluating already loaded" model=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 06 lutego 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.769+08:00 level=DEBUG source=routes.go:1470 msg="chat request" images=0 prompt="<|User|>### Zadanie:\nWygeneruj 1-3 ogólne tagi kategoryzujące główne tematy historii czatu, wraz z 1-3 bardziej specyficznymi tagami podtematów.\n\n### Wytyczne:\n- Zacznij od domen wysokiego poziomu (np. Nauka, Technologia, Filozofia, Sztuka, Polityka, Biznes, Zdrowie, Sport, Rozrywka, Edukacja) – Rozważ uwzględnienie odpowiednich poddziedzin/poddomen, jeśli są one silne reprezentowane przez całą rozmowę\n- Jeśli treść jest zbyt krótka (mniej niż 3 wiadomości) lub zbyt różnorodna, użyj tylko [\"Ogólnego\"]\n- Użyj języka podstawowego czatu; domyślnie angielski, jeśli jest wielojęzyczny\n- Priorytet jest dokładność\n\n### Wyjście:\nJSON format: { \"tags\": [\"tag1\", \"tag2\", \"tag3\"] }\n\n### Historia czatu:\n<chat_history>\nUSER: Nazywam się Xiao Zha, kim jesteś? \nASSISTANT: Witaj, mały! Jestem DeepSeek-R1-Lite-Preview, inteligentny asystent opracowany przez DeepSeek i zrobię wszystko, by wam pomóc. Czy mogę w czymś pomóc? \n</chat_history><|Asystentka|>" 06 lutego 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.773+08:00 level=DEBUG source=cache.go:104 msg="loading cache slot" id=1 cache=637 prompt=249 použito=7 remaining= 242 06 lutego 21:26:17 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:17.717+08:00 level=DEBUG source=sched.go:575 msg="evaluating already loaded" model=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 06 lutego 21:26:17 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:17.718+08:00 level=DEBUG source=server.go:966 msg="wykryto nowego runnera, model ładowania tokenizacji cgo" 06 lutego 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: załadowano dane meta z 26 parami klucz-wartość i 771 tensorami z /data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 (wersja GGUF V3 (najnowsza)) 06 lutego 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: Zrzut metadanych kluczy/wartości. Uwaga: Na tym wyjściu nie obowiązują nadpisy KV. 06 lutego 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 0: general.architecture str = qwen2 06 lutego 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 1: general.type str = model 06 lutego 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 2: general.name str = DeepSeek R1 Distill Qwen 32B 06 lutego 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 3: general.basename str = DeepSeek-R1-Distill-Qwen 06 lutego 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 4: general.size_label str = 32B 06 lutego 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 5: qwen2.block_count u32 = 64 06 lutego 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 6: qwen2.context_length u32 = 131072 06 lutego 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 7: qwen2.embedding_length u32 = 5120 06 lutego 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 8: qwen2.feed_forward_length u32 = 27648 06 lutego 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 9: qwen2.attention.head_count u32 = 40 06 lutego 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 10: qwen2.attention.head_count_kv u32 = 8 06 lutego 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 11: qwen2.rope.freq_base f32 = 10000000.000000 06 lutego 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 12: qwen2.attention.layer_norm_rms_epsilon f32 = 0.000010 06 lutego 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 13: general.file_type u32 = 15 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 14: tokenizer.ggml.model str = gpt2 06 lutego 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 15: tokenizer.ggml.pre str = deepseek-r1-qwen 06 lutego 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 16: tokenizer.ggml.tokens arr[str,152064] = ["!", "\"", "#", "$", "%", "&", "'", ... 06 lutego 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 17: tokenizer.ggml.token_type arr[i32,152064] = [1, 1, 1, 1, 1, 1, 1, 1, 1, ... 06 lutego 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 18: tokenizer.ggml.merges arr[str,151387] = ["Ġ Ġ", "ĠĠ ĠĠ", "i n", "Ġ t",... 06 lutego 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 19: tokenizer.ggml.bos_token_id u32 = 151646 06 lutego 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 20: tokenizer.ggml.eos_token_id u32 = 151643 06 lutego 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 21: tokenizer.ggml.padding_token_id u32 = 151643 06 lutego 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 22: tokenizer.ggml.add_bos_token bool = true 06 lutego 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 23: tokenizer.ggml.add_eos_token bool = false 06 lutego 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 24: tokenizer.chat_template str = {% jeśli nie add_generation_prompt is de... 06 lutego 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 25: general.quantization_version u32 = 2 06 lutego 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - typ f32: 321 tensorów 06 lutego 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - typ q4_K: 385 tensorów 06 lutego 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - typ q6_K: 65 tensorów 06 lutego 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_vocab: brakuje lub nie jest rozpoznany typ pre-tokenizera, używając: 'default' 06 lutego 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_vocab: special_eos_id nie ma w special_eog_ids - konfiguracja tokenizera może być nieprawidłowa 06 lutego 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_vocab: special tokens size cache = 22 06 lutego 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_vocab: rozmiar pamięci podręcznej token to piece = 0,9310 MB 06 lutego 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: format = GGUF V3 (najnowszy) 06 lutego 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: arch = qwen2 06 lutego 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: typ słowności = BPE 06 lutego 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: n_vocab = 152064 06 lutego 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: n_merges = 151387 06 lutego 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: vocab_only = 1 06 lutego 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: model type = ? B 06 lutego 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: model ftype = all F32 06 lutego 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: model params = 32.76 B 06 lutego 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: rozmiar modelu = 18,48 GiB (4,85 BPW) 06 lutego 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: general.name = DeepSeek R1 Distyl Qwen 32B 06 lutego 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: token BOS = 151646 '<|początek zdania|>' 06 lutego 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOS token = 151643 '<|koniec zdania|>' 06 lutego 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: token EOT = 151643 '<|koniec zdania|>' 06 lutego 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: PAD token = 151643 '<|end of sentence|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: LF token = 148848 'ÄĬ' 06 lutego 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM PRE token = 151659 '<|fim_prefix|>' 06 lutego 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM SUF token = 151661 '<|fim_suffix|>' 06 lutego 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: token FIM MID = 151660 '<|fim_middle|>' 06 lutego 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: token FIM PAD = 151662 '<|fim_pad|>' 06 lutego 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM REP token = 151663 '<|repo_name|>' 06 lutego 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM SEP token = 151664 '<|file_sep|>' 06 lutego 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOG token = 151643 '<|koniec zdania|>' 06 lutego 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOG token = 151662 '<|fim_pad|>' 06 lutego 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOG token = 151663 '<|repo_name|>' 06 lutego 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOG token = 151664 '<|file_sep|>' 06 lutego 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: maksymalna długość tokena = 256 06 lutego 21:26:18 VM-0-8-ubuntu ollama[13503]: llama_model_load: tylko słownictwo - pomijanie tensorów 06 lutego 21:26:18 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:18.440+08:00 level=DEBUG source=routes.go:1470 msg="chat request" images=0 prompt="<|User|>Nazywam się Xiao Zha, kim jesteś? <|Asystent|>\nWitaj, mały! Jestem DeepSeek-R1-Lite-Preview, inteligentny asystent opracowany przez DeepSeek i zrobię wszystko, by wam pomóc. Czy mogę w czymś pomóc? <|koniec zdania|><|Użytkownik|>Cześć DeepSeek-R1<|Asystent|>" 06 lutego 21:26:18 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:18.491+08:00 level=DEBUG source=cache.go:104 msg="loading cache slot" id=0 cache=223 prompt=64 used=13 remaining= 51 06 lutego 21:26:24 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:26:24 | 200 | 6.737131375s | 172.18.0.2 | POST "/api/chat" 06 lutego 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.426+08:00 level=DEBUG source=sched.go:407 msg="context for request finished" 06 lutego 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.426+08:00 level=DEBUG source=sched.go:357 msg="after processing request finished event" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 refCount=1 06 lutego 21:26:24 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:26:24 | 200 | 10.172441322s | 172.18.0.2 | POST "/api/chat" 06 lutego 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.918+08:00 level=DEBUG source=sched.go:407 msg="context for request finished" 06 lutego 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.918+08:00 level=DEBUG source=sched.go:339 msg="runner o niezerowym czasie trwania przeszedł w bezczynność, dodaje timer" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 duration=2562047h47m16.854775807s 06 lutego 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.918+08:00 level=DEBUG source=sched.go:357 msg="after processing request finished event" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 refCount=0 Odniesienie:
Logowanie do linku jest widoczne.
Logowanie do linku jest widoczne. |