Requisiti: Ho distribuito il modello DeepSeek-R1 usando Ollama e volevo visualizzare le informazioni richieste da alcuni plugin per capirne i dettagli. Ad esempio: Open WebUI, continue, cline, Roo Code, ecc.
Recensione:
Per stampare la richiesta di input lato server, devi abilitare la modalità Debug. redigere/etc/systemd/system/ollama.service.d/override.conffile, aggiungi la seguente configurazione:
Ricarica e avvia il servizio ollama con il seguente comando:
Usa journalctl per visualizzare i log di output del servizio con il seguente comando:
Usa Open WebUI per chiamare ollama per i test, come mostrato nell'immagine qui sotto:
I registri sono i seguenti:
Feb 06 21:25:48 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:25:48 | 200 | 6.186257471s | 172.18.0.2 | POST "/api/chat"
Feb 06 21:25:48 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:48.411+08:00 level=DEBUG source=sched.go:407 msg="contesto per la richiesta completato"
Feb 06 21:25:48 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:48.411+08:00 level=DEBUG source=sched.go:339 msg="il runner con durata non zero è andato inattivo, aggiungo timer" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531a5ecf5c613e93 durata=2562047h47m16.854775807s
06 feb 21:25:48 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:48.411+08:00 level=DEBUG source=sched.go:357 msg="dopo aver elaborato la richiesta evento terminato" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531a5ecf5c613e93 refCount=0
Feb 06 21:25:54 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:54.834+08:00 level=DEBUG source=sched.go:575 msg="valutazione già caricato" modello=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531a5ecf5c613e93
Feb 06 21:25:54 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:54.835+08:00 level=DEBUG source=routes.go:1470 msg="chat request" immagini=0 prompt=<|Utente|>Mi chiamo Xiao Zha, chi sei? <|Assistente|>
06 feb 21:25:54 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:54.836+08:00 level=DEBUG source=cache.go:104 msg="loading cache slot" id=0 cache=728 prompt=13 used=2 remaining=11
06 feb 21:26:02 VM-0-8-ubuntu ollama[13503]: [GIN] 02/02/2025 - 21:26:02 | 200 | 7.642182053s | 172.18.0.2 | POST "/api/chat"
Feb 06 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.454+08:00 level=DEBUG source=sched.go:407 msg="contesto per la richiesta completata"
06 feb 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.454+08:00 level=DEBUG source=sched.go:339 msg="il runner con durata non zero è andato inattivo, aggiunge timer" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531a5ecf5c613e93 durata=2562047h47m16.854775807s
Feb 06 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.454+08:00 level=DEBUG source=sched.go:357 msg="dopo l'elaborazione della richiesta evento terminato" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531a5ecf5c613e93 refCount=0
Feb 06 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.491+08:00 level=DEBUG source=sched.go:575 msg="valutazione già caricato" modello=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531a5ecf5c613e93
06 feb 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.491+08:00 level=DEBUG source=routes.go:1470 msg="chat request" immagini=0 prompt="<|User|>### Compito:\nGenera un titolo conciso di 3-5 parole con un'emoji che riassuma la cronologia della chat.\n### Linee guida:\n- Il titolo dovrebbe rappresentare chiaramente il tema principale o l'argomento della conversazione.\ n- Usa emoji che migliorano la comprensione dell'argomento, ma evita virgolette o formattazioni speciali.\n- Scrivi il titolo nella lingua principale della chat; predefinito all'inglese se sono multilingue.\n- Dare priorità alla precisione rispetto alla creatività eccessiva; Tieni tutto chiaro e semplice.\n### Output:\nJSON format: { \"titolo\": \"il tuo titolo conciso qui\" }\n### Esempi: \n- { \"titolo\": \"Tendenze del Borsa\" },\n- { \"titolo\": \" Cioccolato Perfetto Ricetta delle patatini\" },\n- { \"titolo": \"Evoluzione dello streaming musicale" },\n- { \"titolo": \"Consigli per la produttività nel lavoro da remoto" },\n- { \"titolo": \"Intelligenza Artificiale nella Salute" },\n- { \" titolo\": \" Video Game Development Insights\" }\n### Cronologia chat:\n<chat_history>\nUSER: Mi chiamo Xiao Zha, chi sei? \nASSISTENTE: Ciao, piccolo bastardo! Sono DeepSeek-R1-Lite-Preview, un assistente intelligente sviluppato da DeepSeek, e farò del mio meglio per aiutarti. C'è qualcosa che posso fare per te? \n</chat_history><|Assistente|>"
Feb 06 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.495+08:00 level=DEBUG source=cache.go:104 msg="caricamento slot cache" id=1 cache=567 prompt=312 used=6 rimanente= 306
06 feb 21:26:14 VM-0-8-ubuntu ollama[13503]: [GIN] 02/02/2025 06 - 21:26:14 | 200 | 12.263297485s | 172.18.0.2 | POST "/api/chat"
Feb 06 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.731+08:00 level=DEBUG source=sched.go:407 msg="contesto per la richiesta completata"
Feb 06 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.731+08:00 level=DEBUG source=sched.go:339 msg="il runner con durata non zero è andato inattivo, aggiungo timer" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531a5ecf5c613e93 durata=2562047h47m16.854775807s
06 feb 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.731+08:00 level=DEBUG source=sched.go:357 msg="after processing request completed event" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531a5ecf5c613e93 refCount=0
Feb 06 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.769+08:00 level=DEBUG source=sched.go:575 msg="evaluating already loaded" modello=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531a5ecf5c613e93
Feb 06 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.769+08:00 level=DEBUG source=routes.go:1470 msg="chat request" images=0 prompt="<|User|>### Compito:\nGenera 1-3 tag generici che categorizzino i temi principali della cronologia della chat, insieme a 1-3 tag sotto-topic più specifici.\n### Linee guida:\n- Inizia con domini di alto livello (ad esempio, Scienza, Tecnologia, Filosofia, Arti, Politica, Economia, Salute, Sport, Intrattenimento, Educazione)\n- Considera di includere sottocampi/sottodomini rilevanti se sono fortemente rappresentata durante la conversazione\n- Se il contenuto è troppo breve (meno di 3 messaggi) o troppo vario, usa solo [\"General\"]\n- Usa la lingua principale della chat; predefinito all'inglese se sono multilingue\n- Dare priorità all'accuratezza rispetto alla specificità\n\n### Output:\nJSON format: { \"tags\": [\"tag1\", \"tag2\", \"tag3\"] }\n\n### Cronologia chat:\n<chat_history>\nUSER: Mi chiamo Xiao Zha, chi sei? \nASSISTENTE: Ciao, piccolo bastardo! Sono DeepSeek-R1-Lite-Preview, un assistente intelligente sviluppato da DeepSeek, e farò del mio meglio per aiutarti. C'è qualcosa che posso fare per te? \n</chat_history><|Assistente|>"
Feb 06 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.773+08:00 level=DEBUG source=cache.go:104 msg="carica cache slot" id=1 cache=637 prompt=249 used=7 remaine= 242
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:17.717+08:00 level=DEBUG source=sched.go:575 msg="evaluating already loaded" modello=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531a5ecf5c613e93
06 feb 21:26:17 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:17.718+08:00 level=DEBUG source=server.go:966 msg="nuovo runner rilevato, modello di caricamento per la tokenizzazione cgo"
06 feb 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: caricato metadati con 26 coppie chiave-valore e 771 tensori da /data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531a5ecf5c613e93 (versione GGUF V3 (ultima))
06 feb 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: Dump delle chiavi/valori dei metadati. Nota: le sovrascritture KV non si applicano in questa uscita.
06 feb 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 0: general.architecture str = qwen2
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 1: general.type str = model
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 2: general.name str = DeepSeek R1 Distill Qwen 32B
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 3: general.basename str = DeepSeek-R1-Distill-Qwen
06 feb 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 4: general.size_label str = 32B
06 feb 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 5: qwen2.block_count u32 = 64
06 feb 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 6: qwen2.context_length u32 = 131072
06 feb 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 7: qwen2.embedding_length u32 = 5120
06 feb 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 8: qwen2.feed_forward_length u32 = 27648
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 9: qwen2.attention.head_count u32 = 40
06 feb 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 10: qwen2.attention.head_count_kv u32 = 8
06 feb 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 11: qwen2.rope.freq_base f32 = 1000000.00000
06 feb 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 12: qwen2.attention.layer_norm_rms_epsilon f32 = 0.000010
06 feb 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 13: general.file_type u32 = 15
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 14: tokenizer.ggml.model str = gpt2
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 15: tokenizer.ggml.pre str = deepseek-r1-qwen
06 feb 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 16: tokenizer.ggml.tokens arr[str,152064] = ["!", "\"", "#", "$", "%", "&", "'", ...
06 feb 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 17: tokenizer.ggml.token_type arr[i32,152064] = [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, ...
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 18: tokenizer.ggml.merges arr[str,151387] = ["Ġ Ġ", "ĠĠ ĠĠ", "i n", "Ġ t",...
06 feb 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 19: tokenizer.ggml.bos_token_id u32 = 151646
06 feb 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 20: tokenizer.ggml.eos_token_id u32 = 151643
06 feb 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 21: tokenizer.ggml.padding_token_id u32 = 151643
06 feb 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 22: tokenizer.ggml.add_bos_token bool = true
06 feb 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 23: tokenizer.ggml.add_eos_token bool = false
06 feb 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 24: tokenizer.chat_template str = {% se non add_generation_prompt è de...
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 25: general.quantization_version u32 = 2
06 feb 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - tipo f32: 321 tensori
06 feb 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - tipo q4_K: 385 tensori
Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - tipo q6_K: 65 tensori
06 feb 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_vocab: tipo pre-tokenizzatore mancante o non riconosciuto, utilizzando: 'default'
06 feb 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_vocab: special_eos_id non è in special_eog_ids - la configurazione del tokenizer potrebbe essere errata
06 feb 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_vocab: special tokens cache size = 22
06 feb 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_vocab: dimensione cache del token a pezzo = 0,9310 MB
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: format = GGUF V3 (ultimo)
6 feb 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: arch = qwen2
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: vocab type = BPE
06 feb 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: n_vocab = 152064
06 feb 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: n_merges = 151387
06 feb 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: vocab_only = 1
06 feb 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: modello tipo = ? B
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: model ftype = all F32
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: model params = 32.76 B
06 feb 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: dimensione modello = 18,48 GiB (4,85 BPW)
06 feb 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: general.name = DeepSeek R1 Distill Qwen 32B
06 feb 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: token BOS = 151646 '<|inizio frase|>'
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOS token = 151643 '<|fine della frase|>'
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOT token = 151643 '<|fine della frase|>'
06 feb 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: PAD token = 151643 '<|fine della frase|>'
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: LF token = 148848 'ÄĬ'
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM PRE token = 151659 '<|fim_prefix|>'
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: token FIM SUF = 151661 '<|fim_suffix|>'
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM MID token = 151660 '<|fim_middle|>'
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: token FIM PAD = 151662 '<|fim_pad|>'
06 feb 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: token REP FIM = 151663 '<|repo_name|>'
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM SEP token = 151664 '<|file_sep|>'
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOG token = 151643 '<|fine della frase|>'
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOG token = 151662 '<|fim_pad|>'
06 feb 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOG token = 151663 '<|repo_name|>'
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOG token = 151664 '<|file_sep|>'
06 feb 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: lunghezza massima del token = 256
06 feb 21:26:18 VM-0-8-ubuntu ollama[13503]: llama_model_load: solo vocabolario - saltando i tensori
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:18.440+08:00 level=DEBUG source=routes.go:1470 msg="chat request" immagini=0 prompt="<|Utente|>Mi chiamo Xiao Zha, chi sei? <|Assistente|>\nCiao, piccolo bastardo! Sono DeepSeek-R1-Lite-Preview, un assistente intelligente sviluppato da DeepSeek, e farò del mio meglio per aiutarti. C'è qualcosa che posso fare per te? <|fine della frase|><|Utente|>Ciao DeepSeek-R1<|Assistente|>"
Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:18.491+08:00 level=DEBUG source=cache.go:104 msg="carica slot cache" id=0 cache=223 prompt=64 used=13 rimanenti= 51
06 feb 21:26:24 VM-0-8-ubuntu ollama[13503]: [GIN] 02/02/2025 - 21:26:24 | 200 | 6.737131375s | 172.18.0.2 | POST "/api/chat"
Feb 06 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.426+08:00 level=DEBUG source=sched.go:407 msg="contesto per la richiesta completata"
06 feb 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.426+08:00 level=DEBUG source=sched.go:357 msg="after processing request completed event" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531a5ecf5c613e93 refCount=1
06 feb 21:26:24 VM-0-8-ubuntu ollama[13503]: [GIN] 02/02/2025 - 21:26:24 | 200 | 10.172441322s | 172.18.0.2 | POST "/api/chat"
06 feb 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.918+08:00 level=DEBUG source=sched.go:407 msg="contesto per la richiesta terminato"
06 feb 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.918+08:00 level=DEBUG source=sched.go:339 msg="il runner con durata non zero è andato inattivo, aggiungo timer" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531a5ecf5c613e93 durata=2562047h47m16.854775807s
Feb 06 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.918+08:00 level=DEBUG source=sched.go:357 msg="after processing request completed event" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531a5ecf5c613e93 refCount=0
Riferimento:
Il login del link ipertestuale è visibile.
Il login del link ipertestuale è visibile. |
Pubblicato il 6-2-2025 21:48:36
|
|
|
|
Padrone di casa|
Pubblicato il 6-2-2025 21:53:55
|
