|
|
Postitatud 2025-2-6 21:48:36
|
|
|
|

Nõuded: Paigaldasin DeepSeek-R1 mudeli Ollama abil ja tahtsin vaadata mõne plugina päringuinfot, et detaile mõista. Näiteks: Open WebUI, continue, cline, Roo Code jne.
Läbivaatamine:
Sisendpäringu printimiseks serveri poolel tuleb sisse lülitada silumisrežiim. toimetama/etc/systemd/system/ollama.service.d/override.conffaili, lisa järgmine konfiguratsioon:
Laadi uuesti ja alusta ollama teenust järgmise käsuga:
Kasuta journalctl-i, et vaadata teenuse väljundlogisid järgmise käsuga:
Kasuta Open WebUI-d, et kutsuda ollama testimiseks, nagu alloleval pildil näidatud:
Logid on järgmised:
06. veebr 21:25:48 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:25:48 | 200 | 6.186257471s | 172.18.0.2 | POSTITA "/api/chat" 06. veebruar 21:25:48 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:48.411+08:00 level=DEBUG source=sched.go:407 msg="kontekst taotluse lõpetatud" 06. veebruar 21:25:48 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:48.411+08:00 level=DEBUG source=sched.go:339 msg="jooksja mitte-nulli kestusega on jõudnud, lisatakse taimer" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 kestus=2562047h47m16.854775807s 06. veebr 21:25:48 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:48.411+08:00 level=DEBUG source=sched.go:357 msg="after processing request completed event" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 refCount=0 06. veebr 21:25:54 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:54.834+08:00 level=DEBUG source=sched.go:575 msg="evaluation already loaded" model=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 06. veebruar 21:25:54 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:54.835+08:00 level=DEBUG source=routes.go:1470 msg="chat request" images=0 prompt=<|User|>Minu nimi on Xiao Zha, kes sa oled? <|assistent|> 06. veebruar 21:25:54 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:54.836+08:00 level=DEBUG source=cache.go:104 msg="cache slot'i laadimine" id=0 cache=728 prompt=13 kasutatud=2 alles=11 06. veebr 21:26:02 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:26:02 | 200 | 7.642182053s | 172.18.0.2 | POSTITA "/api/chat" 06. veebruar 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.454+08:00 level=DEBUG source=sched.go:407 msg="kontekst taotluse lõpetatud" 06. veebruar 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.454+08:00 level=DEBUG source=sched.go:339 msg="jooksja mitte-nulli kestusega on tühikäigule läinud, lisatakse taimer" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 kestus=2562047h47m16.854775807s 06. veebruar 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.454+08:00 level=DEBUG source=sched.go:357 msg="after processing request completed event" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 refCount=0 06. veebr 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.491+08:00 level=DEBUG source=sched.go:575 msg="evaluation already loaded" model=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 06. veebruar 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.491+08:00 level=DEBUG source=routes.go:1470 msg="chat request" images=0 prompt="<|User|>### Ülesanne:\nLoo lühike 3-5-sõnaline pealkiri koos emotikoniga, mis võtab vestluse ajaloo kokku.\n### Juhised:\n- Pealkiri peaks selgelt kajastama vestluse peamist teemat.\ n- Kasuta emotikone, mis parandavad teema mõistmist, kuid väldivad jutumärke või erilist vormistust.\n- Kirjuta pealkiri vestluse põhikeeles; vaikimisi inglise keel, kui on mitmekeelne.\n- Eelista täpsust liigsele loovusele; hoia see selge ja lihtne.\n### Väljund:\nJSON formaat: { \"title\": \"sinu lühike pealkiri siin\" }\n### Näited:\n- { \"title\": \" Aktsiaturu trendid\" },\n- { \"title\": \" Täiuslik šokolaad Chip Recipe\" },\n- { \"title\": \"Muusikavoogedastuse areng\" },\n- { \"title\": \"Kaugtöö tootlikkuse näpunäited\" },\n- { \"title\": \"Tehisintellekt tervishoius\" },\n- { \" pealkiri\": \" Videomängude arenduse ülevaated\" }\n### Vestluse ajalugu:\n<chat_history>\nKASUTAJA: Minu nimi on Xiao Zha, kes sa oled? \nASSISTENT: Tere, väike pasknäär! Mina olen DeepSeek-R1-Lite-Preview, intelligentne assistent, kelle on välja töötanud DeepSeek, ja teen oma parima, et teid aidata. Kas ma saan midagi sinu heaks teha? \n</chat_history><|assistent|>" 06. veebruar 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.495+08:00 level=DEBUG source=cache.go:104 msg="cache slot'i laadimine" id=1 cache=567 prompt=312 kasutatud=6 alles= 306 06. veebr 21:26:14 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:26:14 | 200 | 12.263297485s | 172.18.0.2 | POSTITA "/api/chat" 06. veebruar 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.731+08:00 level=DEBUG source=sched.go:407 msg="kontekst taotluse lõpetatud" 06. veebruar 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.731+08:00 level=DEBUG source=sched.go:339 msg="jooksja mitte-nulli kestusega on jõudnud, lisab taimeri" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 kestus=2562047h47m16.854775807s 06. veebr 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.731+08:00 level=DEBUG source=sched.go:357 msg="after processing request completed event" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 refCount=0 06. veebruar 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.769+08:00 level=DEBUG source=sched.go:575 msg="evaluation already loaded" model=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 06. veebr 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.769+08:00 level=DEBUG source=routes.go:1470 msg="chat request" images=0 prompt="<|User|>### Ülesanne:\nGenereeri 1-3 laia silti, mis kategoriseerivad vestluse ajaloo peamisi teemasid, koos 1-3 konkreetsema alateema sildiga.\n\n### Juhised:\n- Alusta kõrgetasemeliste domeenidega (nt. Teadus, tehnoloogia, filosoofia, kunst, poliitika, äri, tervis, sport, meelelahutus, haridus)\n- Kaalu asjakohaste alavaldkondade/alavaldkondade kaasamist, kui need on tugevad esindatud kogu vestluse vältel\n- Kui sisu on liiga lühike (vähem kui 3 sõnumit) või liiga mitmekesine, kasutage ainult [\"Üld\"]\n- Kasutage vestluse põhikeelt; vaikimisi inglise keel, kui see on mitmekeelne\n- Sea täpsus spetsiifilisusele\n\n### Väljund:\nJSON formaat: { \"tags\": [\"tag1\", \"tag2\", \"tag3\"] }\n\n### Vestluse ajalugu:\n<chat_history>\nKASUTAJA: Minu nimi on Xiao Zha, kes sa oled? \nASSISTENT: Tere, väike pasknäär! Mina olen DeepSeek-R1-Lite-Preview, intelligentne assistent, kelle on välja töötanud DeepSeek, ja teen oma parima, et teid aidata. Kas ma saan midagi sinu heaks teha? \n</chat_history><|assistent|>" 06. veebruar 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.773+08:00 level=DEBUG source=cache.go:104 msg="cache slot'i laadimine" id=1 cache=637 prompt=249 kasutatud=7 alles= 242 06. veebr 21:26:17 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:17.717+08:00 level=DEBUG source=sched.go:575 msg="evaluation already loaded" model=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 06. veebruar 21:26:17 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:17.718+08:00 level=DEBUG source=server.go:966 msg="uus jooksja tuvastatud, laaditakse mudelit CGO tokeniseerimiseks" 06. veebruar 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: laaditud metaandmed 26 võtme-väärtuse paari ja 771 tensoriga /data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 (versioon GGUF V3 (uusim)) 06. veebr 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: Metaandmete võtmete/väärtuste dumpimine. Märkus: KV-ülekirjutused selles väljundis ei kehti. 06. veebr 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 0: general.architecture str = qwen2 06. veebr 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 1: general.type str = model 06. veebr 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 2: general.name str = DeepSeek R1 Distill Qwen 32B 06. veebr 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 3: general.basename str = DeepSeek-R1-Distill-Qwen 06. veebr 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 4: general.size_label str = 32B 06. veebr 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 5: qwen2.block_count u32 = 64 06. veebr 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 6: qwen2.context_length u32 = 131072 06. veebr 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 7: qwen2.embedding_length u32 = 5120 06. veebr 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 8: qwen2.feed_forward_length u32 = 27648 06. veebr 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 9: qwen2.attention.head_count u32 = 40 06. veebr 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 10: qwen2.attention.head_count_kv u32 = 8 06. veebr 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 11: qwen2.rope.freq_base f32 = 10000000.000000 06. veebr 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 12: qwen2.attention.layer_norm_rms_epsilon f32 = 0.000010 06. veebr 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 13: general.file_type u32 = 15 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 14: tokenizer.ggml.model str = gpt2 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 15: tokenizer.ggml.pre str = deepseek-r1-qwen Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 16: tokenizer.ggml.tokens arr[str,152064] = ["!", "\"", "#", "$", "%", "&", "'", ... 06. veebruar 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 17: tokenizer.ggml.token_type arr[i32,152064] = [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, ... 06. veebr 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 18: tokenizer.ggml.merges arr[str,151387] = ["Ġ Ġ", "ĠĠ ĠĠ", "i n", "Ġ t",... 06. veebr 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 19: tokenizer.ggml.bos_token_id u32 = 151646 06. veebr 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 20: tokenizer.ggml.eos_token_id u32 = 151643 06. veebr 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 21: tokenizer.ggml.padding_token_id u32 = 151643 06. veebr 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 22: tokenizer.ggml.add_bos_token bool = true 06. veebr 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 23: tokenizer.ggml.add_eos_token bool = false 06. veebruar 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 24: tokenizer.chat_template str = {% kui mitte add_generation_prompt on de... 06. veebruar 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 25: general.quantization_version u32 = 2 06. veebruar 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - tüüp f32: 321 tensorit 06. veebruar 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - tüüp q4_K: 385 tensorit 06. veebr 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - tüüp q6_K: 65 tensorit 06. veebr 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_vocab: puuduv või tundmatu pretokenizeri tüüp, kasutades: 'default' 06. veebruar 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_vocab: special_eos_id ei ole special_eog_ids - tokenizeri konfiguratsioon võib olla vale 06. veebr 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_vocab: erimärkide vahemälu suurus = 22 06. veebruar 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_vocab: token to piece cache suurus = 0.9310 MB 06. veebr 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: format = GGUF V3 (viimane) 06. veebr 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: arch = qwen2 06. veebr 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: sõnavara tüüp = BPE 06. veebr 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: n_vocab = 152064 06. veebr 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: n_merges = 151387 06. veebr 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: vocab_only = 1 06. veebr 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: mudelitüüp = ? B 06. veebr 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: mudel ftype = kõik F32 06. veebr 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: model params = 32.76 B 06. veebr 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: mudeli suurus = 18,48 GiB (4,85 BPW) 06. veebr 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: general.name = DeepSeek R1 Distill Qwen 32B 06. veebruar 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: BOS token = 151646 '<|lause algus|>' 06. veebr 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOS token = 151643 '<|lause lõpp|>' 06. veebr 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOT token = 151643 '<|lause lõpp|>' 06. veebr 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: PAD token = 151643 '<|lause lõpp|>' 06. veebr 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: LF token = 148848 'ÄĬ' 06. veebruar 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM PRE token = 151659 '<|fim_prefix|>' 06. veebr 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM SUF token = 151661 '<|fim_suffix|>' 06. veebr 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM MID token = 151660 '<|fim_middle|>' 06. veebr 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM PAD token = 151662 '<|fim_pad|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM REP token = 151663 '<|repo_name|>' 06. veebr 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM SEP token = 151664 '<|file_sep|>' 06. veebruar 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOG token = 151643 '<|lause lõpp|>' 06. veebr 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOG token = 151662 '<|fim_pad|>' 06. veebr 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOG token = 151663 '<|repo_name|>' 06. veebr 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOG token = 151664 '<|file_sep|>' 06. veebr 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: maksimaalne tokeni pikkus = 256 06. veebruar 21:26:18 VM-0-8-ubuntu ollama[13503]: llama_model_load: ainult sõnavara – tensorite vahelejätmine 06. veebruar 21:26:18 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:18.440+08:00 level=DEBUG source=routes.go:1470 msg="chat request" images=0 prompt="<|User|>Minu nimi on Xiao Zha, kes sa oled? <|Assistent|>\nTere, väike pasknäär! Mina olen DeepSeek-R1-Lite-Preview, intelligentne assistent, kelle on välja töötanud DeepSeek, ja teen oma parima, et teid aidata. Kas ma saan midagi sinu heaks teha? <|lause lõpp|><|Kasutaja|>Tere DeepSeek-R1<|assistent|>" 06. veebruar 21:26:18 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:18.491+08:00 level=DEBUG source=cache.go:104 msg="cache slot laadimine" id=0 cache=223 prompt=64 kasutatud=13 alles= 51 06. veebr 21:26:24 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:26:24 | 200 | 6.737131375s | 172.18.0.2 | POSTITA "/api/chat" 06. veebr 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.426+08:00 level=DEBUG source=sched.go:407 msg="kontekst taotluse lõpetatud" 06. veebruar 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.426+08:00 level=DEBUG source=sched.go:357 msg="after processing request completed event" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 refCount=1 06. veebr 21:26:24 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:26:24 | 200 | 10.172441322s | 172.18.0.2 | POSTITA "/api/chat" 06. veebr 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.918+08:00 level=DEBUG source=sched.go:407 msg="kontekst taotluse lõpetatud" 06. veebruar 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.918+08:00 level=DEBUG source=sched.go:339 msg="jooksja mitte-null kestusega on jõudnud, lisab taimeri" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 kestus=2562047h47m16.854775807s 06. veebr 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.918+08:00 level=DEBUG source=sched.go:357 msg="after processing request completed event" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 refCount=0 Viide:
Hüperlingi sisselogimine on nähtav.
Hüperlingi sisselogimine on nähtav. |
Eelmine:[AI] (4) Kasuta Open WebUI-d, et kutsuda DeepSeek-R1 mudelJärgmine:[AI] (6) Lühike sissejuhatus suurte mudelfailide vormingusse GGUF
|