Vereisten: Ik heb het DeepSeek-R1 model uitgerold met Ollama en wilde de verzoekinformatie van enkele plugins bekijken om de details te begrijpen. Bijvoorbeeld: Open WebUI, continue, cline, Roo Code, enzovoort.
Recensie:
Om het invoerverzoek aan de serverzijde uit te printen, moet je Debugmodus inschakelen. bewerken/etc/systemd/system/ollama.service.d/override.confBestand voeg de volgende configuratie toe:
Herlaad en start de ollama-service met het volgende commando:
Gebruik journalctl om de service-uitvoerlogs te bekijken met het volgende commando:
Gebruik Open WebUI om ollama aan te roepen voor testen, zoals te zien is in de onderstaande afbeelding:
De logboeken zijn als volgt:
Feb 06 21:25:48 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:25:48 | 200 | 6.186257471s | 172.18.0.2 | POST "/api/chat"
Feb 06 21:25:48 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:48.411+08:00 level=DEBUG source=sched.go:407 msg="context voor verzoek voltooid"
Feb 06 21:25:48 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:48.411+08:00 level=DEBUG source=sched.go:339 msg="runner met niet-nul duur is inactief gegaan, timer toevoegend" modelPath=/data/ollama/modellen/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 duur=2562047h47m16.854775807s
Feb 06 21:25:48 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:48.411+08:00 level=DEBUG source=sched.go:357 msg="after processing request completed event modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 refCount=0
Feb 06 21:25:54 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:54.834+08:00 level=DEBUG source=sched.go:575 msg="evaluating already loaded" model=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66BB8EC531AA5ECF5C613e93
Feb 06 21:25:54 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:54.835+08:00 level=DEBUG source=routes.go:1470 msg="chat request" images=0 prompt=<|User|>Mijn naam is Xiao Zha, wie ben jij? <|Assistant|>
Feb 06 21:25:54 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:54.836+08:00 level=DEBUG source=cache.go:104 msg="loading cache slot" id=0 cache=728 prompt=13 gebruikt=2 remaining=11
Feb 06 21:26:02 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:26:02 | 200 | 7.642182053s | 172.18.0.2 | POST "/api/chat"
Feb 06 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.454+08:00 level=DEBUG source=sched.go:407 msg="context voor verzoek voltooid"
Feb 06 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.454+08:00 level=DEBUG source=sched.go:339 msg="runner met niet-nul duur is inactief gegaan, timer toevoegend" modelPath=/data/ollama/modellen/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 duur=2562047h47m16.854775807s
Feb 06 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.454+08:00 level=DEBUG source=sched.go:357 msg="after processing request completed event modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 refCount=0
Feb 06 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.491+08:00 level=DEBUG source=sched.go:575 msg="evaluating already loaded" model=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66BB8EC531AA5ECF5C613e93
Feb 06 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.491+08:00 level=DEBUG source=routes.go:1470 msg="chat request" images=0 prompt="<|User|>### Taak:\nGenereer een beknopte, 3-5 woorden tellende titel met een emoji die de chatgeschiedenis samenvat.\n### Richtlijnen:\n- De titel moet duidelijk het hoofdthema of onderwerp van het gesprek weergeven.\ n- Gebruik emoji's die het begrip van het onderwerp vergroten, maar vermijd aanhalingstekens of speciale opmaak.\n- Schrijf de titel in de primaire taal van de chat; standaard Engels als je meertalig bent.\n Geef prioriteit aan nauwkeurigheid boven overmatige creativiteit; houd het duidelijk en simpel.\n### Output:\nJSON-formaat: { \"titel\": \"je beknopte titel hier\" }\n### Voorbeelden:\n- { \"titel\": \" Aandelenmarkttrends\" },\n- { \"titel\": \" Perfecte Chocolade Chiprecept\" },\n- { \"titel\": \"Evolutie van muziekstreaming\" },\n- { \"titel\": \"Productiviteitstips voor remote werken\" },\n- { \"titel\": \"Kunstmatige Intelligentie in de Gezondheidszorg\" },\n- { \" titel\": \" Videogame-ontwikkelingsinzichten\" }\n### Chatgeschiedenis:\n<chat_history>\nGEBRUIKER: Mijn naam is Xiao Zha, wie ben jij? \nASSISTENT: Hallo, kleine! Ik ben DeepSeek-R1-Lite-Preview, een intelligente assistent ontwikkeld door DeepSeek, en ik zal mijn best doen om je te helpen. Kan ik iets voor u doen? \n</chat_history><|Assistent|>"
Feb 06 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.495+08:00 level=DEBUG source=cache.go:104 msg="loading cache slot" id=1 cache=567 prompt=312 gebruikt=6 remaining= 306
Feb 06 21:26:14 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:26:14 | 200 | 12.263297485s | 172.18.0.2 | POST "/api/chat"
Feb 06 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.731+08:00 level=DEBUG source=sched.go:407 msg="context voor verzoek voltooid"
Feb 06 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.731+08:00 level=DEBUG source=sched.go:339 msg="runner met niet-nul duur is inactief gegaan, timer toevoegt" modelPath=/data/ollama/modellen/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 duur=2562047h47m16.854775807s
Feb 06 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.731+08:00 level=DEBUG source=sched.go:357 msg="after processing request completed event modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 refCount=0
Feb 06 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.769+08:00 level=DEBUG source=sched.go:575 msg="evaluating already loaded" model=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66BB8EC531AA5ECF5C613e93
Feb 06 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.769+08:00 level=DEBUG source=routes.go:1470 msg="chat request" images=0 prompt="<|User|>### Taak:\nGenereer 1-3 brede tags die de hoofdthema's van de chatgeschiedenis categoriseren, samen met 1-3 meer specifieke subonderwerp-tags.\n\n### Richtlijnen:\n- Begin met high-level domeinen (bijv. Wetenschap, Technologie, Filosofie, Kunst, Politiek, Bedrijfsleven, Gezondheid, Sport, Entertainment, Onderwijs) – Overweeg relevante subgebieden/subdomeinen op te nemen als die sterk zijn weergegeven gedurende het gesprek\n- Als de inhoud te kort is (minder dan 3 berichten) of te divers, gebruik dan alleen [\"Algemeen\"]\n- Gebruik de primaire taal van de chat; standaard naar Engels als het meertalig is\n- Geef prioriteit aan nauwkeurigheid boven specificiteit\n\n### Output:\nJSON-formaat: { \"tags\": [\"tag1\", \"tag2\", \"tag3\"] }\n\n### Chatgeschiedenis:\n<chat_history>\nGEBRUIKER: Mijn naam is Xiao Zha, wie bent u? \nASSISTENT: Hallo, kleine! Ik ben DeepSeek-R1-Lite-Preview, een intelligente assistent ontwikkeld door DeepSeek, en ik zal mijn best doen om je te helpen. Kan ik iets voor u doen? \n</chat_history><|Assistent|>"
Feb 06 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.773+08:00 level=DEBUG source=cache.go:104 msg="loading cache slot" id=1 cache=637 prompt=249 gebruikt=7 remaining= 242
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:17.717+08:00 level=DEBUG source=sched.go:575 msg="evaluating already loaded" model=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66BB8EC531AA5ECF5C613e93
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:17.718+08:00 level=DEBUG source=server.go:966 msg="nieuwe runner gedetecteerd, laadt model voor cgo-tokenisatie"
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: geladen metadata met 26 sleutel-waarde paren en 771 tensoren van /data/ollama/modellen/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66BB8EC531AA5ECF5C613e93 (versie GGUF V3 (laatste))
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: Metadata-sleutels/waarden dumpen. Opmerking: KV-overrides zijn niet van toepassing op deze output.
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 0: general.architecture str = qwen2
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 1: general.type str = model
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 2: general.name str = DeepSeek R1 Distill Qwen 32B
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 3: general.basename str = DeepSeek-R1-Distill-Qwen
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 4: general.size_label str = 32B
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 5: qwen2.block_count u32 = 64
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 6: qwen2.context_length u32 = 131072
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 7: qwen2.embedding_length u32 = 5120
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 8: qwen2.feed_forward_length u32 = 27648
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 9: qwen2.attention.head_count u32 = 40
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 10: qwen2.attention.head_count_kv u32 = 8
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 11: qwen2.rope.freq_base f32 = 10000000.000000
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 12: qwen2.attention.layer_norm_rms_epsilon f32 = 0.000010
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 13: general.file_type u32 = 15
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 14: tokenizer.ggml.model str = gpt2
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 15: tokenizer.ggml.pre str = deepseek-r1-qwen
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 16: tokenizer.ggml.tokens arr[str,152064] = ["!", "\"", "#", "$", "%", "&", "'", ...
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 17: tokenizer.ggml.token_type arr[i32,152064] = [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, ...
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 18: tokenizer.ggml.merges arr[str,151387] = ["Ġ Ġ", "ĠĠ ĠĠ", "i n", "Ġ t",...
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 19: tokenizer.ggml.bos_token_id u32 = 151646
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 20: tokenizer.ggml.eos_token_id u32 = 151643
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 21: tokenizer.ggml.padding_token_id u32 = 151643
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 22: tokenizer.ggml.add_bos_token bool = true
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 23: tokenizer.ggml.add_eos_token bool = false
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 24: tokenizer.chat_template str = {% if not add_generation_prompt is de...
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 25: general.quantization_version u32 = 2
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - type f32: 321 tensoren
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - type q4_K: 385 tensoren
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - type q6_K: 65 tensoren
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_vocab: ontbrekend of onherkend pre-tokenizer type, gebruikt: 'default'
06 feb 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_vocab: special_eos_id staat niet in special_eog_ids - de tokenizerconfiguratie kan onjuist zijn
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_vocab: speciale tokens cachegrootte = 22
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_vocab: token to piece cachegrootte = 0,9310 MB
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: format = GGUF V3 (laatste)
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: arch = qwen2
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: vocab type = BPE
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: n_vocab = 152064
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: n_merges = 151387
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: vocab_only = 1
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: model type = ? B
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: model ftype = all F32
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: model params = 32.76 B
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: modelgrootte = 18,48 GiB (4,85 BPW)
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: general.name = DeepSeek R1 Distill Qwen 32B
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: BOS token = 151646 '<|begin van zin|>'
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOS token = 151643 '<|einde van zin|>'
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOT token = 151643 '<|einde van de zin|>'
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: PAD token = 151643 '<|einde van zin|>'
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: LF token = 148848 'ÄĬ'
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM PRE token = 151659 '<|fim_prefix|>'
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM SUF token = 151661 '<|fim_suffix|>'
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM MID token = 151660 '<|fim_middle|>'
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM PAD token = 151662 '<|fim_pad|>'
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM REP token = 151663 '<|repo_name|>'
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM SEP token = 151664 '<|file_sep|>'
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOG token = 151643 '<|einde van zin|>'
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOG token = 151662 '<|fim_pad|>'
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOG token = 151663 '<|repo_name|>'
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOG token = 151664 '<|file_sep|>'
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: maximale tokenlengte = 256
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llama_model_load: alleen woordenschat - tensoren overslaan
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:18.440+08:00 level=DEBUG source=routes.go:1470 msg="chat request" images=0 prompt="<|User|>Mijn naam is Xiao Zha, wie bent u? <|Assistent|>\nHallo, kleine! Ik ben DeepSeek-R1-Lite-Preview, een intelligente assistent ontwikkeld door DeepSeek, en ik zal mijn best doen om je te helpen. Kan ik iets voor u doen? <|einde van zin|><|User|>Hello DeepSeek-R1<|Assistant|>"
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:18.491+08:00 level=DEBUG source=cache.go:104 msg="loading cache slot" id=0 cache=223 prompt=64 gebruikt=13 remaining= 51
Feb 06 21:26:24 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:26:24 | 200 | 6.737131375s | 172.18.0.2 | POST "/api/chat"
Feb 06 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.426+08:00 level=DEBUG source=sched.go:407 msg="context voor verzoek voltooid"
Feb 06 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.426+08:00 level=DEBUG source=sched.go:357 msg="after processing request completed event modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 refCount=1
Feb 06 21:26:24 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:26:24 | 200 | 10.172441322s | 172.18.0.2 | POST "/api/chat"
Feb 06 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.918+08:00 level=DEBUG source=sched.go:407 msg="context voor verzoek voltooid"
Feb 06 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.918+08:00 level=DEBUG source=sched.go:339 msg="runner met niet-nul duur is inactief gegaan, timer toevoegt" modelPath=/data/ollama/modellen/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 duur=2562047h47m16.854775807s
Feb 06 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.918+08:00 level=DEBUG source=sched.go:357 msg="after processing request completed event modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 refCount=0
Referentie:
De hyperlink-login is zichtbaar.
De hyperlink-login is zichtbaar. |
Geplaatst op 2025-2-6 21:48:36
|
|
|
|
Huisbaas|
Geplaatst op 6-2-2025 21:53:55
|
