|
|
Publikuota: 2025-2-6 21:48:36
|
|
|
|

Reikalavimai: Aš įdiegiau DeepSeek-R1 modelį naudodamas Ollama ir norėjau peržiūrėti užklausos informaciją iš kai kurių įskiepių, kad suprasčiau detales. Pavyzdžiui: atidarykite WebUI, tęskite, cline, Roo Code ir kt.
Peržiūra:
Norėdami atspausdinti įvesties užklausą serverio pusėje, turite įjungti derinimo režimą. Redaguoti/etc/systemd/system/ollama.service.d/override.conffailą, pridėkite šią konfigūraciją:
Iš naujo įkelkite ir paleiskite "ollama" paslaugą naudodami šią komandą:
Naudokite journalctl, kad peržiūrėtumėte aptarnavimo išvesties žurnalus naudodami šią komandą:
Naudokite "Open WebUI", kad iškviestumėte ollama testavimui, kaip parodyta paveikslėlyje žemiau:
Rąstai yra tokie:
Feb 06 21:25:48 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:25:48 | 200 | 6.186257471S | 172.18.0.2 | POST "/api/chat" Feb 06 21:25:48 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:48.411+08:00 level=DEBUG source=sched.go:407 msg="užklausos kontekstas baigtas" Feb 06 21:25:48 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:48.411+08:00 level=DEBUG source=sched.go:339 msg="bėgikas, kurio trukmė ne nulinė, neveikė, pridedant laikmatį" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 duration=2562047h47m16.854775807s Feb 06 21:25:48 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:48.411+08:00 level=DEBUG source=sched.go:357 msg="apdorojus užklausą baigtas įvykis" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 refCount=0 Feb 06 21:25:54 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:54.834+08:00 level=DEBUG source=sched.go:575 msg="vertinama jau įkelta" modelis=/duomenys/ollama/modeliai/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 Feb 06 21:25:54 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:54.835+08:00 level=DEBUG source=routes.go:1470 msg="chat request" images=0 prompt=<|User|>Mano vardas Xiao Zha, kas tu? <|Padėjėjas|> Feb 06 21:25:54 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:54.836+08:00 level=DEBUG source=cache.go:104 msg="loading cache slot" id=0 cache=728 prompt=13 used=2 remaining=11 Feb 06 21:26:02 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:26:02 | 200 | 7.642182053S | 172.18.0.2 | POST "/api/chat" Feb 06 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.454+08:00 level=DEBUG source=sched.go:407 msg="užklausos kontekstas baigtas" Feb 06 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.454+08:00 level=DEBUG source=sched.go:339 msg="bėgikas, kurio trukmė ne nulinė, neveikė, pridedant laikmatį" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 duration=2562047h47m16.854775807s Feb 06 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.454+08:00 level=DEBUG source=sched.go:357 msg="apdorojus užklausą baigtas įvykis" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 refCount=0 Feb 06 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.491+08:00 level=DEBUG source=sched.go:575 msg="vertinama jau įkelta" modelis=/duomenys/ollama/modeliai/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 Feb 06 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.491+08:00 level=DEBUG source=routes.go:1470 msg="chat request" images=0 prompt="<|User|>### Užduotis:\nSukurkite glaustą, 3-5 žodžių pavadinimą su jaustuku, apibendrinančiu pokalbių istoriją.\n### Gairės:\n- Pavadinimas turi aiškiai atspindėti pagrindinę pokalbio temą ar temą.\ n- Naudokite jaustukus, kurie padeda geriau suprasti temą, tačiau venkite kabučių ar specialaus formatavimo.\n- Parašykite pavadinimą pagrindine pokalbio kalba; numatytoji anglų kalba, jei daugiakalbė.\n- Pirmenybę teikite tikslumui, o ne pernelyg dideliam kūrybiškumui; būkite aiškūs ir paprasti.\n### Išvestis:\nJSON formatas: { \"title\": \"jūsų glaustas pavadinimas čia\" }\n### Pavyzdžiai:\n- { \"title\": \" Akcijų rinkos tendencijos\" },\n- { \"title\": \" Tobulas šokoladas Lusto receptas\" },\n- { \"title\": \"Muzikos transliacijos evoliucija\" },\n- { \"title\": \"Nuotolinio darbo produktyvumo patarimai\" },\n- { \"title\": \"Dirbtinis intelektas sveikatos priežiūroje\" },\n- { \" title\": \" Vaizdo žaidimų kūrimo įžvalgos\" }\n### Pokalbių istorija:\n<chat_history>\nVARTOTOJAS: Mano vardas Xiao Zha, kas tu? \nPADĖJĖJAS: Sveiki, mažasis šlamštas! Aš esu "DeepSeek-R1-Lite-Preview", "DeepSeek" sukurtas išmanusis asistentas, ir padarysiu viską, kad jums padėčiau. Ar galiu ką nors padaryti dėl tavęs? \n</chat_history><|Padėjėjas|>" Feb 06 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.495+08:00 level=DEBUG source=cache.go:104 msg="loading cache slot" id=1 cache=567 prompt=312 used=6 remaining= 306 Feb 06 21:26:14 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:26:14 | 200 | 12.263297485s | 172.18.0.2 | POST "/api/chat" Feb 06 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.731+08:00 level=DEBUG source=sched.go:407 msg="užklausos kontekstas baigtas" Feb 06 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.731+08:00 level=DEBUG source=sched.go:339 msg="bėgikas, kurio trukmė ne nulinė, neveikė, pridedant laikmatį" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 duration=2562047h47m16.854775807s Feb 06 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.731+08:00 level=DEBUG source=sched.go:357 msg="apdorojus užklausą baigtas įvykis" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 refCount=0 Feb 06 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.769+08:00 level=DEBUG source=sched.go:575 msg="vertinama jau įkelta" modelis=/duomenys/ollama/modeliai/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 Feb 06 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.769+08:00 level=DEBUG source=routes.go:1470 msg="chat request" images=0 prompt="<|User|>### Užduotis:\nSukurkite 1-3 plačias žymas, suskirstančias pagrindines pokalbių istorijos temas, kartu su 1-3 konkretesnėmis potemių žymomis.\n\n### Gairės:\n- Pradėkite nuo aukšto lygio domenų (pvz. Mokslas, technologijos, filosofija, menai, politika, verslas, sveikata, sportas, pramogos, švietimas)\n- Apsvarstykite galimybę įtraukti atitinkamas subsritis / subsritis, jei jos yra stipriai atstovaujama viso pokalbio metu\n- Jei turinys per trumpas (mažiau nei 3 pranešimai) arba per įvairus, naudokite tik [\"Bendras"]\n- Naudokite pagrindinę pokalbio kalbą; numatytoji anglų kalba, jei daugiakalbė\n- Pirmenybę teikite tikslumui, o ne specifiškumui\n\n### Išvestis:\nJSON formatas: { \"tags\": [\"tag1\", \"tag2\", \"tag3\"] }\n\n### Pokalbių istorija:\n<chat_history>\nVARTOTOJAS: Mano vardas Xiao Zha, kas tu esi? \nPADĖJĖJAS: Sveiki, mažasis šlamštas! Aš esu "DeepSeek-R1-Lite-Preview", "DeepSeek" sukurtas išmanusis asistentas, ir padarysiu viską, kad jums padėčiau. Ar galiu ką nors padaryti dėl tavęs? \n</chat_history><|Padėjėjas|>" Feb 06 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.773+08:00 level=DEBUG source=cache.go:104 msg="loading cache slot" id=1 cache=637 prompt=249 used=7 remaining= 242 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:17.717+08:00 level=DEBUG source=sched.go:575 msg="vertinama jau įkelta" modelis=/duomenys/ollama/modeliai/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:17.718+08:00 level=DEBUG source=server.go:966 msg="aptiktas naujas bėgikas, įkeliamas CGO tokenizacijos modelis" Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: įkelti metaduomenys su 26 raktų-reikšmių poromis ir 771 tenzoriumi iš /data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 (versija GGUF V3 (naujausia)) Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: Metaduomenų raktų / reikšmių išmetimas. Pastaba: KV nepaisymas šioje išvestyje netaikomas. Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 0: general.architecture str = qwen2 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 1: general.type str = model Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 2: general.name str = DeepSeek R1 Distiliuoti Qwen 32B Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 3: general.basename str = DeepSeek-R1-Distill-Qwen Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 4: general.size_label str = 32B Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 5: qwen2.block_count u32 = 64 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 6: qwen2.context_length u32 = 131072 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 7: qwen2.embedding_length u32 = 5120 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 8: qwen2.feed_forward_length u32 = 27648 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 9: qwen2.attention.head_count u32 = 40 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 10: qwen2.attention.head_count_kv u32 = 8 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 11: qwen2.rope.freq_base f32 = 1000000.000000 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 12: qwen2.attention.layer_norm_rms_epsilon f32 = 0.000010 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 13: general.file_type u32 = 15 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 14: tokenizer.ggml.model str = gpt2 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 15: tokenizer.ggml.pre str = deepseek-r1-qwen Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 16: tokenizer.ggml.tokens arr[str,152064] = ["!", "\"", "#", "$", "%", "&", "'", ... Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 17: tokenizer.ggml.token_type arr[i32,152064] = [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, ... Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 18: tokenizer.ggml.merges arr[str,151387] = ["Ġ Ġ", "ĠĠ ĠĠ", "i n", "Ġ t",... Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 19: tokenizer.ggml.bos_token_id u32 = 151646 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 20: tokenizer.ggml.eos_token_id u32 = 151643 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 21: tokenizer.ggml.padding_token_id u32 = 151643 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 22: tokenizer.ggml.add_bos_token bool = true Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 23: tokenizer.ggml.add_eos_token bool = false Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 24: tokenizer.chat_template str = {% if not add_generation_prompt is de... Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 25: general.quantization_version u32 = 2 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - tipas f32: 321 tenzoriai Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - q4_K tipas: 385 tensoriai Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - q6_K tipas: 65 tenzoriai Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_vocab: trūksta arba neatpažintas išankstinio tokenizatoriaus tipas, naudojant: 'default' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_vocab: special_eos_id nėra special_eog_ids - tokenizatoriaus konfigūracija gali būti neteisinga Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_vocab: specialių žetonų talpyklos dydis = 22 Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_vocab: žetonas į gabalą talpyklos dydis = 0.9310 MB Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: format = GGUF V3 (naujausias) Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: arch = qwen2 Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: žodyno tipas = BPE Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: n_vocab = 152064 Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: n_merges = 151387 Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: vocab_only = 1 Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: modelio tipas = ? B Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: modelis ftype = visi F32 Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: modelio parametrai = 32.76 B Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: modelio dydis = 18.48 GiB (4.85 BPW) Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: general.name = DeepSeek R1 Distiliuoti Qwen 32B Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: BOS token = 151646 '<|sakinio pradžia|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOS token = 151643 '<|sakinio pabaiga|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOT token = 151643 '<|sakinio pabaiga|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: PAD token = 151643 '<|sakinio pabaiga|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: LF token = 148848 'ÄĬ' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM PRE žetonas = 151659 '<|fim_prefix|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM SUF token = 151661 '<|fim_suffix|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM MID žetonas = 151660 '<|fim_middle|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM PAD token = 151662 '<|fim_pad|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM REP token = 151663 '<|repo_name|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM SEP token = 151664 '<|file_sep|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOG token = 151643 '<|sakinio pabaiga|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOG token = 151662 '<|fim_pad|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOG token = 151663 '<|repo_name|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOG token = 151664 '<|file_sep|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: maksimalus žetonų ilgis = 256 Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llama_model_load: tik žodynas - praleidžiami tensoriai Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:18.440+08:00 level=DEBUG source=routes.go:1470 msg="chat request" images=0 prompt="<|User|>Mano vardas Xiao Zha, kas tu? <|Padėjėjas|>\nSveiki, mažasis šlamštas! Aš esu "DeepSeek-R1-Lite-Preview", "DeepSeek" sukurtas išmanusis asistentas, ir padarysiu viską, kad jums padėčiau. Ar galiu ką nors padaryti dėl tavęs? <|sakinio pabaiga|><|vartotojas|>sveiki, DeepSeek-R1<|Padėjėjas|>" Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:18.491+08:00 level=DEBUG source=cache.go:104 msg="loading cache slot" id=0 cache=223 prompt=64 used=13 liko= 51 Feb 06 21:26:24 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:26:24 | 200 | 6.737131375s | 172.18.0.2 | POST "/api/chat" Feb 06 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.426+08:00 level=DEBUG source=sched.go:407 msg="užklausos kontekstas baigtas" Feb 06 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.426+08:00 level=DEBUG source=sched.go:357 msg="apdorojus užklausą baigtas įvykis" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 refCount=1 Feb 06 21:26:24 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:26:24 | 200 | 10.172441322s | 172.18.0.2 | POST "/api/chat" Feb 06 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.918+08:00 level=DEBUG source=sched.go:407 msg="užklausos kontekstas baigtas" Feb 06 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.918+08:00 level=DEBUG source=sched.go:339 msg="bėgikas, kurio trukmė ne nulinė, neveikė, pridedant laikmatį" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 duration=2562047h47m16.854775807s Feb 06 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.918+08:00 level=DEBUG source=sched.go:357 msg="apdorojus užklausą baigtas įvykis" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 refCount=0 Nuoroda:
Hipersaito prisijungimas matomas.
Hipersaito prisijungimas matomas. |
Ankstesnis:[AI] (4) Naudokite "Open WebUI", kad iškviestumėte "DeepSeek-R1" modelįKitą:[AI] (6) Trumpas įvadas į didelio modelio failo formatą GGUF
|