Cerințe: Am implementat modelul DeepSeek-R1 folosind Ollama și am vrut să vizualizez informațiile de cerere de la unele pluginuri pentru a înțelege detaliile. De exemplu: Open WebUI, continue, cline, Roo Code etc.
Recenzie:
Pentru a printa cererea de intrare pe partea serverului, trebuie să activezi modul Debug. editare/etc/systemd/system/ollama.service.d/override.confadaugă următoarea configurație:
Reîncarcă și începe serviciul ollama cu următoarea comandă:
Folosiți journalctl pentru a vizualiza jurnalele de ieșire a serviciului cu următoarea comandă:
Folosește Open WebUI pentru a chema ollama pentru testare, așa cum se arată în imaginea de mai jos:
Jurnalele sunt următoarele:
6 feb 21:25:48 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:25:48 | 200 | 6.186257471s | 172.18.0.2 | POST "/api/chat"
Feb 06 21:25:48 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:48.411+08:00 level=DEBUG source=sched.go:407 msg="context pentru cerere finalizat"
6 feb 21:25:48 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:48.411+08:00 level=DEBUG source=sched.go:339 msg="runner cu durată nenulă a fost inactiv, adăugând timer" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531a5ecf5c613e93 durată=2562047h47m16.854775807s
6 feb 21:25:48 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:48.411+08:00 level=DEBUG source=sched.go:357 msg="după procesarea cererii finalizate eveniment" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531a5ecf5c613e93 refCount=0
Feb 06 21:25:54 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:54.834+08:00 level=DEBUG source=sched.go:575 msg="evaluând deja încărcat" model=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531a5ecf5613e93
Feb 06 21:25:54 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:54.835+08:00 level=DEBUG source=routes.go:1470 msg="chat request" imagini=0 prompt=<|User|>Numele meu este Xiao Zha, cine ești? <|Asistent|>
Feb 06 21:25:54 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:54.836+08:00 level=DEBUG source=cache.go:104 msg="încărcare slotului cache" id=0 cache=728 prompt=13 used=2 rămase=11
6 feb 21:26:02 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:26:02 | 200 | 7.642182053s | 172.18.0.2 | POST "/api/chat"
6 feb 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.454+08:00 level=DEBUG source=sched.go:407 msg="context pentru cerere finalizat"
Feb 06 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.454+08:00 level=DEBUG source=sched.go:339 msg="runner cu durată nenulă a fost inactiv, adăugând timer" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531a5ecf5c613e93 durată=2562047h47m16.854775807s
Feb 06 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.454+08:00 level=DEBUG source=sched.go:357 msg="after processing request completed event" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531a5ecf5c613e93 refCount=0
Feb 06 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.491+08:00 level=DEBUG source=sched.go:575 msg="evaluând deja încărcat" model=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531a5ecf5613e93
6 feb 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.491+08:00 level=DEBUG source=routes.go:1470 msg="chat request" imagini=0 prompt="<|User|>### Sarcină:\nGenerează un titlu concis, de 3-5 cuvinte, cu un emoji care să rezume istoricul chatului.\n### Ghiduri:\n- Titlul ar trebui să reprezinte clar tema principală sau subiectul conversației.\ n- Folosește emoji-uri care să îmbunătățească înțelegerea subiectului, dar evită ghilimelele sau formatarea specială.\n- Scrie titlul în limba principală a chatului; implicit pe engleză dacă ești multilingv.\n- Prioritizează acuratețea în detrimentul creativității excesive; păstrează-l clar și simplu.\n### Ieșire:\nJSON format: { \"titlu\": \"titlul tău concis aici\" }\n### Exemple: \n- { \"titlu\": \" Tendințe pe piața bursieră" },\n- { \"titlu\": \" Perfect Chocolate Rețetă de chipsuri\" },\n- { \"titlu\": \"Evoluția streamingului muzical" },\n- { \"titlu": \"Sfaturi pentru productivitate la distanță" },\n- { \"titlu\": \"Inteligență artificială în sănătate" },\n- { \" titlu\": \" Informații despre dezvoltarea jocurilor video" }\n### Istoric chat:\n<chat_history>\nUTILIZATOR: Numele meu este Xiao Zha, cine ești? \nASISTENT: Salut, nenorocitule! Sunt DeepSeek-R1-Lite-Preview, un asistent inteligent dezvoltat de DeepSeek, și voi face tot posibilul să vă ajut. Pot face ceva pentru tine? \n</chat_history><|Asistent|>"
Feb 06 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.495+08:00 level=DEBUG source=cache.go:104 msg="încărcare slot cache" id=1 cache=567 prompt=312 used=6 rămas= 306
6 feb 21:26:14 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:26:14 | 200 | 12.263297485s | 172.18.0.2 | POST "/api/chat"
Feb 06 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.731+08:00 level=DEBUG source=sched.go:407 msg="context pentru cerere finalizat"
6 feb 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.731+08:00 level=DEBUG source=sched.go:339 msg="runner cu durată diferită de zero a fost inactiv, adăugând timer" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531a5ecf5c613e93 durată=2562047h47m16.854775807s
06 feb 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.731+08:00 level=DEBUG source=sched.go:357 msg="după procesarea cererii eveniment finalizat" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531a5ecf5c613e93 refCount=0
06 feb 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.769+08:00 level=DEBUG source=sched.go:575 msg="evaluând deja încărcat" model=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531a5ecf5613e93
Feb 06 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.769+08:00 level=DEBUG source=routes.go:1470 msg="chat request" imagini=0 prompt="<|User|>### Sarcină:\nGenerează 1-3 etichete largi care să categorizeze temele principale ale istoricului chat-ului, împreună cu 1-3 etichete subtopice mai specifice.\n\n### Ghiduri:\n- Începe cu domenii de nivel înalt (de exemplu, Știință, Tehnologie, Filosofie, Arte, Politică, Afaceri, Sănătate, Sport, Divertisment, Educație) \n - Luați în considerare includerea subdomeniilor/subdomeniilor relevante dacă sunt puternic reprezentat pe tot parcursul conversației\n- Dacă conținutul este prea scurt (mai puțin de 3 mesaje) sau prea divers, folosește doar [\"General\"]\n- Folosește limba principală a chatului; implicit în engleză dacă este multilingv\n- Prioritizează acuratețea în detrimentul specificității\n\n### Ieșire:\nJSON format: { \"tags\": [\"tag1\", \"tag2\", \"tag3\"] }\n\n### Istoric chat:\n<chat_history>\nUSER: Numele meu este Xiao Zha, cine ești? \nASISTENT: Salut, nenorocitule! Sunt DeepSeek-R1-Lite-Preview, un asistent inteligent dezvoltat de DeepSeek, și voi face tot posibilul să vă ajut. Pot face ceva pentru tine? \n</chat_history><|Asistent|>"
Feb 06 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.773+08:00 level=DEBUG source=cache.go:104 msg="încărcare slotului cache" id=1 cache=637 prompt=249 used=7 rămase= 242
6 feb 21:26:17 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:17.717+08:00 level=DEBUG source=sched.go:575 msg="evaluând deja încărcat" model=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531a5ecf5613e93
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:17.718+08:00 level=DEBUG source=server.go:966 msg="nou runner detectat, model de încărcare pentru tokenizarea cgo"
6 feb 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: a încărcat metadate cu 26 de perechi cheie-valoare și 771 de tensori de la /data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531a5ecf5c613e93 (versiunea GGUF V3 (cea mai recentă))
6 feb 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: Dumparea cheilor/valorilor metadatelor. Notă: Suprascrierile KV nu se aplică în această ieșire.
6 feb 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 0: general.architecture str = qwen2
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 1: general.type str = model
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 2: general.name str = DeepSeek R1 Distill Qwen 32B
6 feb 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 3: general.basename str = DeepSeek-R1-Distill-Qwen
6 feb 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 4: general.size_label str = 32B
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 5: qwen2.block_count u32 = 64
06 feb 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 6: qwen2.context_length u32 = 131072
06 feb 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 7: qwen2.embedding_length u32 = 5120
06 feb 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 8: qwen2.feed_forward_length u32 = 27648
06 feb 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 9: qwen2.attention.head_count u32 = 40
6 feb 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 10: qwen2.attention.head_count_kv u32 = 8
6 feb 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 11: qwen2.rope.freq_base f32 = 1000000.00000
6 feb 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 12: qwen2.attention.layer_norm_rms_epsilon f32 = 0.000010
6 feb 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 13: general.file_type u32 = 15
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 14: tokenizer.ggml.model str = gpt2
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 15: tokenizer.ggml.pre str = deepseek-r1-qwen
6 feb 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 16: tokenizer.ggml.tokens arr[str,152064] = ["!", "\"", "#", "$", "%", "&", "'", ...
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 17: tokenizer.ggml.token_type arr[i32,152064] = [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, ...
6 feb 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 18: tokenizer.ggml.merges arr[str,151387] = ["Ġ Ġ", "ĠĠ ĠĠ", "i n", "Ġ t",...
6 feb 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 19: tokenizer.ggml.bos_token_id u32 = 151646
6 feb 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 20: tokenizer.ggml.eos_token_id u32 = 151643
06 feb 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 21: tokenizer.ggml.padding_token_id u32 = 151643
06 feb 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 22: tokenizer.ggml.add_bos_token bool = true
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 23: tokenizer.ggml.add_eos_token bool = false
6 feb 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 24: tokenizer.chat_template str = {% dacă nu add_generation_prompt este de...
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 25: general.quantization_version u32 = 2
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - tip f32: 321 tensori
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - tip q4_K: 385 tensori
06 feb 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - tip q6_K: 65 tensori
06 feb 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_vocab: lipsă sau nerecunoscut tip pre-tokenizer, folosindu: 'default'
6 feb 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_vocab: special_eos_id nu este în special_eog_ids - configurarea tokenizerului poate fi incorectă
6 feb 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_vocab: jetoanele speciale dimensiunea cache-ului = 22
06 feb 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_vocab: dimensiunea cache-ului token-piesă = 0.9310 MB
06 feb 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: format = GGUF V3 (cel mai recent)
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: arch = qwen2
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: tip de vocabular = BPE
06 feb 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: n_vocab = 152064
6 feb 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: n_merges = 151387
6 feb 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: vocab_only = 1
06 feb 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: model type = ? B
6 feb 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: model ftype = all F32
6 feb 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: model params = 32.76 B
6 feb 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: dimensiunea modelului = 18,48 GiB (4,85 BPW)
6 feb 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: general.name = DeepSeek R1 Distill Qwen 32B
6 feb 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: BOS token = 151646 '<|începutul propoziției|>'
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOS token = 151643 '<|sfârșitul propoziție|>'
6 feb 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOT token = 151643 '<|sfârșitul propoziției|>'
6 feb 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: PAD token = 151643 '<|sfârșitul propoziției|>'
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: LF token = 148848 'ÄĬ'
06 feb 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM PRE token = 151659 '<|fim_prefix|>'
6 feb 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM SUF token = 151661 '<|fim_suffix|>'
6 feb 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM MID token = 151660 '<|fim_middle|>'
6 feb 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: token FIM PAD = 151662 '<|fim_pad|>'
6 feb 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM REP token = 151663 '<|repo_name|>'
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM SEP token = 151664 '<|file_sep|>'
6 feb 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOG token = 151643 '<|sfârșitul propoziție|>'
06 feb 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOG token = 151662 '<|fim_pad|>'
6 feb 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOG token = 151663 '<|repo_name|>'
6 feb 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOG token = 151664 '<|file_sep|>'
6 feb 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: lungimea maximă a tokenului = 256
6 feb 21:26:18 VM-0-8-ubuntu ollama[13503]: llama_model_load: doar vocabular - sărind peste tensori
6 feb 21:26:18 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:18.440+08:00 level=DEBUG source=routes.go:1470 msg="cerere chat" imagini=0 prompt="<|User|>Numele meu este Xiao Zha, cine ești? <|Asistent|>\nSalut, nenorocitule! Sunt DeepSeek-R1-Lite-Preview, un asistent inteligent dezvoltat de DeepSeek, și voi face tot posibilul să vă ajut. Pot face ceva pentru tine? <|sfârșitul propoziției|><|User|>Salut DeepSeek-R1<|Asistent|>"
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:18.491+08:00 level=DEBUG source=cache.go:104 msg="încărcarea slotului cache" id=0 cache=223 prompt=64 used=13 rămase= 51
6 feb 21:26:24 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:26:24 | 200 | 6.737131375s | 172.18.0.2 | POST "/api/chat"
06 feb 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.426+08:00 level=DEBUG source=sched.go:407 msg="context pentru cerere finalizat"
6 feb 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.426+08:00 level=DEBUG source=sched.go:357 msg="after processing request failed event" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531a5ecf5c613e93 refCount=1
6 feb 21:26:24 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:26:24 | 200 | 10.172441322s | 172.18.0.2 | POST "/api/chat"
Feb 06 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.918+08:00 level=DEBUG source=sched.go:407 msg="context pentru cerere finalizată"
6 feb 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.918+08:00 level=DEBUG source=sched.go:339 msg="runner cu durată nenulă a fost inactiv, adăugând timer" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531a5ecf5c613e93 durată=2562047h47m16.854775807s
6 feb 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.918+08:00 level=DEBUG source=sched.go:357 msg="after processing request failed event" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531a5ecf5c613e93 refCount=0
Referință:
Autentificarea cu hyperlink este vizibilă.
Autentificarea cu hyperlink este vizibilă. |
Postat la 2025-2-6 21:48:36
|
|
|
|
Proprietarul|
Postat la 2025-2-6 21:53:55
|
