要件:Ollamaを使ってDeepSeek-R1モデルを展開し、いくつかのプラグインからのリクエスト情報を詳細に把握したいと思いました。 例えば、WebUIを開く、コンティニュー、クライン、ルーコードなどです。
復習:
サーバー側で入力リクエストを出力するには、デバッグモードを有効にする必要があります。 編集/etc/systemd/system/ollama.service.d/override.confファイルに、以下の構成を追加します:
リロードしてオラマサービスを開始するには以下のコマンドがあります:
journalctlを使って、以下のコマンドでサービス出力ログを閲覧できます:
下の画像のように、Open WebUIを使ってollamaを呼び出してテストしてください:
ログは以下の通りです:
2月6日 21:25:48 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:25:48 | 200 | 6.186257471s | 172.18.0.2 | 投稿「/api/chat」 2月6日 21:25:48 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:48.411+08:00 level=DEBUG source=sched.go:407 msg="requestのcontext finished" 2月6日 21:25:48 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:48.411+08:00 level=DEBUG source=sched.go:339 msg="非ゼロ持続時間のランナーがアイドル状態になり、タイマーを追加中" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 duration=2562047h47m16.854775807s 2月6日 21:25:48 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:48.411+08:00 level=DEBUG source=sched.go:357 msg="after processing request finished event" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 refCount=0 2月6日 21:25:54 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:54.834+08:00 level=DEBUG source=sched.go:575 msg="evaluating already loaded" Model=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8eC531AA5ecf5C613E93 2月6日 21:25:54 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:54.835+08:00 level=DEBUG source=routes.go:1470 msg="chat request" images=0 prompt=<|User|>私の名前はXiao Zha、あなたは誰ですか? <|助手|> 2月6日 21:25:54 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:54.836+08:00 level=DEBUG source=cache.go:104 msg="loading cache slot" id=0 cache=728 prompt=13 used=2 残り=11 2月6日 21:26:02 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:26:02 | 200 | 7.642182053s | 172.18.0.2 | 投稿「/api/chat」 2月6日 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.454+08:00 level=DEBUG source=sched.go:407 msg="requestのcontext finished" 2月6日 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.454+08:00 level=DEBUG source=sched.go:339 msg="非ゼロ持続時間のランナーがアイドル状態になり、タイマーを追加" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 duration=2562047h47m16.854775807s 2月6日 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.454+08:00 level=DEBUG source=sched.go:357 msg="after processing request finished event" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 refCount=0 2月6日 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.491+08:00 level=DEBUG source=sched.go:575 msg="evaluating already loaded" Model=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8eC531AA5ecf5C613E93 2月6日 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.491+08:00 level=DEBUG source=routes.go:1470 msg="chat request" images=0 prompt="<|User|>### タスク:\nチャット履歴をまとめた絵文字付きの簡潔な3〜5語のタイトルを作成する。\n### ガイドライン:\n- タイトルは会話の主題やテーマを明確に表現すべきです。 n- トピックの理解を深める絵文字を使い、引用符や特別なフォーマットは避けましょう。\n- タイトルはチャットの母国語で書くこと。 多言語の場合はデフォルトで英語を選びます。\n- 過剰な創造性よりも正確さを優先; 分かりやすくシンプルにしてください。\n### 出力:\nJSON フォーマット: { \"title\": \"あなたの簡潔なタイトルはこちら\" }\n### 例:\n- { \"title\": \" 株式市場のトレンド\" },\n- { \"title\": \" Perfect Chocolate チップのレシピ\" },\n- { \"タイトル\": \"音楽ストリーミングの進化\" },\n- { \"タイトル\": \"リモートワークの生産性のヒント\" },\n- { \"title\": \"医療における人工知能\" },\n- { \" タイトル\": \" ビデオゲーム開発洞察\" }\n### チャット履歴:\n<chat_history>\nユーザー:私の名前はシャオ・ザ、あなたは誰? \nアシスタント:こんにちは、クズ野郎! 私はDeepSeek-R1-Lite-Preview、DeepSeekが開発したインテリジェントアシスタントです。できる限りお手伝いします。 何かできることはありますか? \n</chat_history><|アシスタント|>」 2月6日 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.495+08:00 level=DEBUG source=cache.go:104 msg="loading cache slot" id=1 cache=567 prompt=312 used=6306 2月6日 21:26:14 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:26:14 | 200 | 12.263297485s | 172.18.0.2 | 投稿「/api/chat」 2月6日 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.731+08:00 level=DEBUG source=sched.go:407 msg="requestのcontext completeded" 2月6日 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.731+08:00 level=DEBUG source=sched.go:339 msg="非ゼロ持続時間のランナーがアイドル状態になり、タイマーを追加中" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 duration=2562047h47m16.854775807s 2月6日 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.731+08:00 level=DEBUG source=sched.go:357 msg="after processing request finished event" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 refCount=0 2月6日 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.769+08:00 level=DEBUG source=sched.go:575 msg="evaluating already loaded" Model=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8eC531AA5ecf5C613E93 2月6日 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.769+08:00 level=DEBUG source=routes.go:1470 msg="chat request" images=0 prompt="<|User|>### タスク:\nチャット履歴の主なテーマを分類する1〜3の広範なタグと、より具体的なサブトピックタグを1〜3個作成する。\n\n### ガイドライン:\n- まずは高レベルのドメイン(例: 科学、技術、哲学、芸術、政治、ビジネス、健康、スポーツ、エンターテインメント、教育など)\n- 関連するサブフィールドやサブドメインが強く含まれる場合は検討してください 会話全体で表現される\n- 内容が短すぎる(3件未満)や多様すぎる場合は、[\"General\"]のみを使用。チャットの主要言語を使います。 多言語対応の場合はデフォルト英語→具体性より正確さを優先\n\n### 出力:\nJSON format: { \"tags\": [\"tag1\", \"tag2\", \"tag3\"] }\n\n### チャット履歴:\n<chat_history>\nユーザー:私の名前はシャオ・ザ、あなたは誰? \nアシスタント:こんにちは、クズ野郎! 私はDeepSeek-R1-Lite-Preview、DeepSeekが開発したインテリジェントアシスタントです。できる限りお手伝いします。 何かできることはありますか? \n</chat_history><|アシスタント|>」 2月6日 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.773+08:00 level=DEBUG source=cache.go:104 msg="loading cache slot" id=1 cache=637 prompt=249 used=7 残り=242 2月6日 21:26:17 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:17.717+08:00 level=DEBUG source=sched.go:575 msg="evaluating already loaded" Model=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8eC531AA5ecf5C613E93 2月6日 21:26:17 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:17.718+08:00 level=DEBUG source=server.go:966 msg="New runner detected, loading model for cgo tokenization" 2月6日 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: 26のキー値ペアと771テンソルを含むメタデータを読み込みました /data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 (バージョン GGUF V3 (最新)) 2月6日 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: メタデータキー/値をダンプしています。 注:この出力では KV オーバーライドは適用されません。 2月6日 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 0: general.architecture str = qwen2 2月6日 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 1: general.type str = model 2月6日 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 2: general.name str = DeepSeek R1 Distill Qwen 32B 2月6日 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 3: general.basename str = DeepSeek-R1-Distill-Qwen 2月6日 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 4: general.size_label str = 32B 2月6日 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 5: qwen2.block_count u32 = 64 2月6日 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 6: qwen2.context_length u32 = 131072 2月6日 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 7: qwen2.embedding_length u32 = 5120 2月6日 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 8: qwen2.feed_forward_length u32 = 27648 2月6日 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 9: qwen2.attention.head_count u32 = 40 2月6日 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 10: qwen2.attention.head_count_kv u32 = 8 2月6日 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 11: qwen2.rope.freq_base f32 = 1000000.000000 2月6日 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 12: qwen2.attention.layer_norm_rms_epsilon f32 = 0.000010 2月6日 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 13: general.file_type u32 = 15 2月6日 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 14: tokenizer.ggml.model str = gpt2 2月6日 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 15: tokenizer.ggml.pre str = deepseek-r1-qwen 2月6日 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 16: tokenizer.ggml.tokens arr[str,152064] = ["!", "\"", "#", "$", "%", "&", "'", ... 2月6日 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 17: tokenizer.ggml.token_type arr[i32,152064] = [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, ... 2月6日 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 18: tokenizer.ggml.merges arr[str,151387] = ["Ġ Ġ", "ĠĠ ĠĠ", "i n", "Ġ t",... 2月6日 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 19: tokenizer.ggml.bos_token_id u32 = 151646 2月6日 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 20: tokenizer.ggml.eos_token_id u32 = 151643 2月6日 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 21: tokenizer.ggml.padding_token_id u32 = 151643 2月6日 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 22: tokenizer.ggml.add_bos_token bool = true 2月6日 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 23: tokenizer.ggml.add_eos_token bool = false 2月6日 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 24: tokenizer.chat_template str = {% でなければ add_generation_prompt de... 2月6日 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 25: general.quantization_version u32 = 2 2月6日 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - タイプF32: 321テンソル 2月6日 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - タイプq4_K: 385テンソル 2月6日 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - タイプq6_K: 65テンソル 2月6日 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_vocab:欠落または認識されないプレトークンナイザータイプ、使用:'default' 2月6日 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_vocab: special_eos_id はspecial_eog_idsに含まれていません - トークナイザーの設定が間違っている可能性があります 2月6日 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_vocab: special tokens cache size = 22 2月6日 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_vocab: トークンからピースキャッシュサイズ = 0.9310 MB 2月6日 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: format = GGUF V3 (最新) 2月6日 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: arch = qwen2 2月6日 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: 語彙タイプ = BPE 2月6日 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: n_vocab = 152064 2月6日 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: n_merges = 151387 2月6日 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: vocab_only = 1 2月6日 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: model type = ? B 2月6日 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: model ftype = all F32 2月6日 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: model params = 32.76 B 2月6日 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: モデルサイズ = 18.48 GiB (4.85 BPW) 2月6日 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: general.name = DeepSeek R1 Distill Qwen 32B 2月6日 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: BOS token = 151646 '<|文の開始|>' 2月6日 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOS token = 151643 '<|文の終わり|>' 2月6日 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOT token = 151643 '<|文の終わり|>' 2月6日 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: PAD token = 151643 '<|文の終わり|>' 2月6日 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: LF token = 148848 'ÄĬ' 2月6日 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM PRE token = 151659 '<|fim_prefix|>' 2月6日 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM SUF token = 151661 '<|fim_suffix|>' 2月6日 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM MID token = 151660 '<|fim_middle|>' 2月6日 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM PAD token = 151662 '<|fim_pad|>' 2月6日 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM REP token = 151663 '<|repo_name|>' 2月6日 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM SEP token = 151664 '<|file_sep|>' 2月6日 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOG token = 151643 '<|文末|>' 2月6日 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOG token = 151662 '<|fim_pad|>' 2月6日 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOG token = 151663 '<|repo_name|>' 2月6日 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOG token = 151664 '<|file_sep|>' 2月6日 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: 最大トークン長 = 256 2月6日 21:26:18 VM-0-8-ubuntu ollama[13503]: llama_model_load: 語彙のみ - テンソルをスキッピングする 2月6日 21:26:18 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:18.440+08:00 level=DEBUG source=routes.go:1470 msg="chat request" images=0 prompt="<|User|>私の名前はXiao Zha、あなたは誰ですか? <|助手|>\nこんにちは、クズ野郎! 私はDeepSeek-R1-Lite-Preview、DeepSeekが開発したインテリジェントアシスタントです。できる限りお手伝いします。 何かできることはありますか? <|文末|><|ユーザー|>Hello DeepSeek-r1<|Assistant|>" 2月6日 21:26:18 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:18.491+08:00 level=DEBUG source=cache.go:104 msg="loading cache slot" id=0 cache=223 prompt=64 used=13 残り=51 2月6日 21:26:24 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:26:24 | 200 | 6.737131375s | 172.18.0.2 | 投稿「/api/chat」 2月6日 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.426+08:00 level=DEBUG source=sched.go:407 msg="requestのcontext finished" 2月6日 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.426+08:00 level=DEBUG source=sched.go:357 msg="after processing request finish event" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 refCount=1 2月6日 21:26:24 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:26:24 | 200 | 10.172441322s | 172.18.0.2 | 投稿「/api/chat」 2月6日 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.918+08:00 level=DEBUG source=sched.go:407 msg="requestのcontext completeded" 2月6日 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.918+08:00 level=DEBUG source=sched.go:339 msg="非ゼロ持続時間のランナーがアイドル状態になり、タイマーを追加中" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 duration=2562047h47m16.854775807s 2月6日 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.918+08:00 level=DEBUG source=sched.go:357 msg="処理中のリクエスト終了後" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 refCount=0 参考:
ハイパーリンクのログインが見えます。
ハイパーリンクのログインが見えます。 |