Gereksinimler: DeepSeek-R1 modelini Ollama kullanarak dağıttım ve detayları anlamak için bazı eklentilerden istek bilgilerini görmek istedim. Örneğin: Open WebUI, continue, cline, Roo Code vb.
Eleştiri:
Sunucu tarafında giriş isteğini yazdırmak için Debug modunu etkinleştirmeniz gerekir. düzenlemek/etc/systemd/system/ollama.service.d/override.confdosyasını ekleyerek aşağıdaki yapılandırmayı ekleyin:
Ollama hizmetini şu komutla yeniden yükleyin ve başlatın:
Hizmet çıkış loglarını aşağıdaki komutla görüntülemek için journalctl kullanın:
Aşağıdaki görselde gösterildiği gibi ollama çağırmak için Open WebUI kullanın:
Kayıtlar şunlardır:
06 Şub 21:25:48 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:25:48 | 200 | 6.186257471s | 172.18.0.2 | "/api/chat" adlı GÖNDERI Feb 06 21:25:48 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:48.411+08:00 level=DEBUG source=sched.go:407 msg="context for request finished" 06 Feb 21:25:48 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:48.411+08:00 level=DEBUG source=sched.go:339 msg="sıfır olmayan süreli runner boşta kaldı, zamanlayıcı ekleniyor" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 duration=2562047h47m16.854775807s Feb 06 21:25:48 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:48.411+08:00 level=DEBUG source=sched.go:357 msg="after processing request finish event" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 refCount=0 Feb 06 21:25:54 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:54.834+08:00 level=DEBUG source=sched.go:575 msg="already loaded değerlendirmek" model=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 06 Şubat 21:25:54 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:54.835+08:00 level=DEBUG source=routes.go:1470 msg="chat request" images=0 prompt=<|User|>Benim adım Xiao Zha, sen kimsin? <|Asistan|> 06 Şubat 21:25:54 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:54.836+08:00 level=DEBUG source=cache.go:104 msg="önbellek slotu yükleniyor" id=0 cache=728 prompt=13 kullanıldı=2 kalan=11 06 Şub 21:26:02 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:26:02 | 200 | 7.642182053s | 172.18.0.2 | "/api/chat" adlı GÖNDERI Feb 06 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.454+08:00 level=DEBUG source=sched.go:407 msg="context for request finished" 06 Şub 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.454+08:00 level=DEBUG source=sched.go:339 msg="sıfır olmayan süreli runner boşta kaldı, zamanlayıcı ekleniyor" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 duration=2562047h47m16.854775807s Feb 06 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.454+08:00 level=DEBUG source=sched.go:357 msg="after processing request finish event" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 refCount=0 Feb 06 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.491+08:00 level=DEBUG source=sched.go:575 msg="evaluation already loaded" model=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 Feb 06 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.491+08:00 level=DEBUG source=routes.go:1470 msg="chat request" images=0 prompt="<|User|>### Görev:\nSohbet geçmişini özetleyen emoji ile 3-5 kelimelik kısa bir başlık oluşturun.\n### Yönergeler:\n- Başlık, sohbetin ana temasını veya konusunu açıkça temsil etmeli.\ n- Konuyu anlamayı artıran emojiler kullanın, ancak tırnak işaretlerinden veya özel biçimlendirmeden kaçının.\n- Başlığı sohbetin ana dilinde yazın; Çok dilliyse varsayılan olarak İngilizceye geçin.\n- Doğruluğu aşırı yaratıcılıktan çok önceliklendirin; açık ve basit tutun.\n### Çıktı:\nJSON formatı: { \"title\": \"burada kısa başlığınız\" }\n### Örnekler:\n- { \"title\": \" Borsa Trendleri\" },\n- { \"title\": \" Mükemmel Çikolata Chip Recipe\" },\n- { \"title\": \"Müzik Yayınının Evrimi\" },\n- { \"title\": \"Uzaktan İş Verimliliği İpuçları\" },\n- { \"title\": \"Sağlıkta Yapay Zeka\" },\n- { \" başlık\": \" Video Oyun Geliştirme İçgörüleri\" }\n### Sohbet Geçmişi:\n<chat_history>\nKULLANICI: Benim adım Xiao Zha, sen kimsin? \nASISTAN: Merhaba, küçük! Ben DeepSeek-R1-Lite-Preview, DeepSeek tarafından geliştirilen akıllı bir asistanım ve size yardımcı olmak için elimden geleni yapacağım. Size yardımcı olabileceğim bir şey var mı? \n</chat_history><|Asistan|>" 06 Şubat 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.495+08:00 level=DEBUG source=cache.go:104 msg="önbellek yuvası yükleniyor" id=1 cache=567 prompt=312 kullanıldı=6 kaldı= 306 Feb 06 21:26:14 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:26:14 | 200 | 12.263297485s | 172.18.0.2 | "/api/chat" adlı GÖNDERI Feb 06 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.731+08:00 level=DEBUG source=sched.go:407 msg="context for request finished" 06 Şub 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.731+08:00 level=DEBUG source=sched.go:339 msg="sıfır olmayan süreli runner boşa kaldı, zamanlayıcı ekleniyor" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 duration=2562047h47m16.854775807s Feb 06 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.731+08:00 level=DEBUG source=sched.go:357 msg="işlem isteği tamamlandıktan sonra olay" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 refCount=0 Feb 06 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.769+08:00 level=DEBUG source=sched.go:575 msg="evaluation already loaded" model=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 Feb 06 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.769+08:00 level=DEBUG source=routes.go:1470 msg="chat request" images=0 prompt="<|User|>### Görev:\nSohbet geçmişinin ana temalarını kategorize eden 1-3 geniş etiket ve 1-3 daha spesifik alt konu etiketi oluştur.\n\n### Yönergeler:\n- Yüksek seviyeli alan adlarıyla başlayın (örneğin. Bilim, Teknoloji, Felsefe, Sanat, Siyaset, İşletme, Sağlık, Spor, Eğlence, Eğitim)\n- İlgili alt alanlar/alt alanlar güçlü iseyse dahil etmeyi düşünün konuşma boyunca temsil ediliyor\n- İçerik çok kısa (3 mesajdan az) veya çok çeşitliyse, sadece [\"Genel\"]\n- Sohbetin ana dilini kullanın; çok dilliyse varsayılan İngilizceye geçin\n- Doğruluğu özgüllükten üstün tut\n\n### Çıktı:\nJSON formatı: { \"tags\": [\"tag1\", \"tag2\", \"tag3\"] }\n\n### Sohbet Geçmişi:\n<chat_history>\nKULLANICI: Benim adım Xiao Zha, sen kimsin? \nASISTAN: Merhaba, küçük! Ben DeepSeek-R1-Lite-Preview, DeepSeek tarafından geliştirilen akıllı bir asistanım ve size yardımcı olmak için elimden geleni yapacağım. Size yardımcı olabileceğim bir şey var mı? \n</chat_history><|Asistan|>" 06 Şub 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.773+08:00 level=DEBUG source=cache.go:104 msg="önbellek slotu yükleniyor" id=1 cache=637 prompt=249 kullanıldı=7 kalan= 242 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:17.717+08:00 level=DEBUG source=sched.go:575 msg="evaluation already loaded" model=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:17.718+08:00 level=DEBUG source=server.go:966 msg="new runner detected, loading model for cgo tokenization" 06 Şubat 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: 26 anahtar-değer çifti ve 771 tensör içeren meta veri yüklendi /data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 (GGUF V3 (en son sürüm)) 06 Şub 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: Meta veri anahtarları/değerleri dökülüyor. Not: KV geçersiz geçirmeler bu çıktıda geçerli değildir. Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 0: general.architecture str = qwen2 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 1: general.type str = model Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 2: general.name str = DeepSeek R1 Distill Qwen 32B Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 3: general.basename str = DeepSeek-R1-Distill-Qwen Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 4: general.size_label str = 32B Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 5: qwen2.block_count u32 = 64 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 6: qwen2.context_length u32 = 131072 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 7: qwen2.embedding_length u32 = 5120 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 8: qwen2.feed_forward_length u32 = 27648 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 9: qwen2.attention.head_count u32 = 40 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 10: qwen2.attention.head_count_kv u32 = 8 06 Feb 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 11: qwen2.rope.freq_base f32 = 10000000.000000 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 12: qwen2.attention.layer_norm_rms_epsilon f32 = 0.000010 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 13: general.file_type u32 = 15 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 14: tokenizer.ggml.model str = gpt2 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 15: tokenizer.ggml.pre str = deepseek-r1-qwen Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 16: tokenizer.ggml.tokens arr[str,152064] = ["!", "\"", "#", "$", "%", "&", "'", ... 06 Şubat 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 17: tokenizer.ggml.token_type arr[i32,152064] = [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, ... Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 18: tokenizer.ggml.merges arr[str,151387] = ["Ġ Ġ", "ĠĠ ĠĠ", "i n", "Ġ t",... Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 19: tokenizer.ggml.bos_token_id u32 = 151646 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 20: tokenizer.ggml.eos_token_id u32 = 151643 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 21: tokenizer.ggml.padding_token_id u32 = 151643 Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 22: tokenizer.ggml.add_bos_token bool = true Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 23: tokenizer.ggml.add_eos_token bool = false 06 Şub 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 24: tokenizer.chat_template str = {% eğer değilse add_generation_prompt de... Feb 06 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 25: general.quantization_version u32 = 2 06 Şub 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - type f32: 321 tensors 06 Şub 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - tip q4_K: 385 tensör 06 Şub 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - tip q6_K: 65 tensör 06 Şub 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_vocab: eksik veya tanınmayan pre-tokenizer türü, kullanılan: 'default' 06 Şubat 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_vocab: special_eos_id special_eog_ids'de değil - tokenizer yapılandırması yanlış olabilir 06 Şub 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_vocab: özel tokens cache size = 22 Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_vocab: token to piece cache size = 0.9310 MB Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: format = GGUF V3 (latest Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: arch = qwen2 Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: vocab type = BPE Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: n_vocab = 152064 Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: n_merges = 151387 Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: vocab_only = 1 06 Şub 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: model type = ? B Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: model ftype = all F32 Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: model params = 32.76 B 06 Şub 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: model boyutu = 18.48 GiB (4.85 BPW) Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: general.name = DeepSeek R1 Distill Qwen 32B 06 Şubat 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: BOS token = 151646 '<|cümlenin başı|>' 06 Feb 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOS token = 151643 '<|cümle sonu|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOT token = 151643 '<|cümle sonu|>' 06 Şubat 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: PAD token = 151643 '<|cümle sonu|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: LF token = 148848 'ÄĬ' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM PRE token = 151659 '<|fim_prefix|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM SUF token = 151661 '<|fim_suffix|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM MID token = 151660 '<|fim_middle|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM PAD token = 151662 '<|fim_pad|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM REP token = 151663 '<|repo_name|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM SEP token = 151664 '<|file_sep|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOG token = 151643 '<|cümlenin sonu|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOG token = 151662 '<|fim_pad|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOG token = 151663 '<|repo_name|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOG token = 151664 '<|file_sep|>' Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: max token length = 256 Feb 06 21:26:18 VM-0-8-ubuntu ollama[13503]: llama_model_load: vocab only - tensörleri atlama 06 Şub 21:26:18 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:18.440+08:00 level=DEBUG source=routes.go:1470 msg="chat request" images=0 prompt="<|User|>Benim adım Xiao Zha, sen kimsin? <|Asistan|>\nMerhaba, küçük! Ben DeepSeek-R1-Lite-Preview, DeepSeek tarafından geliştirilen akıllı bir asistanım ve size yardımcı olmak için elimden geleni yapacağım. Size yardımcı olabileceğim bir şey var mı? <|cümlenin sonu|><|Kullanıcı|>Merhaba DeepSeek-R1<|Asistan|>" 06 Şubat 21:26:18 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:18.491+08:00 level=DEBUG source=cache.go:104 msg="önbellek yuvası yükleniyor" id=0 cache=223 prompt=64 kullanıldı=13 kaldı= 51 06 Şub 21:26:24 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:26:24 | 200 | 6.737131375s | 172.18.0.2 | "/api/chat" adlı GÖNDERI Feb 06 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.426+08:00 level=DEBUG source=sched.go:407 msg="context for request finished" Feb 06 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.426+08:00 level=DEBUG source=sched.go:357 msg="after processing request finished event" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 refCount=1 06 Şub 21:26:24 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:26:24 | 200 | 10.172441322s | 172.18.0.2 | "/api/chat" adlı GÖNDERI Feb 06 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.918+08:00 level=DEBUG source=sched.go:407 msg="context for request finished" 06 Şub 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.918+08:00 level=DEBUG source=sched.go:339 msg="sıfır olmayan süreli runner boşta kaldı, zamanlayıcı ekleniyor" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 duration=2562047h47m16.854775807s Feb 06 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.918+08:00 level=DEBUG source=sched.go:357 msg="after processing request finish event" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 refCount=0 Referans:
Bağlantı girişi görünür.
Bağlantı girişi görünür. |