요구사항: Ollama를 사용해 DeepSeek-R1 모델을 배포했으며, 세부 사항을 이해하기 위해 몇몇 플러그인의 요청 정보를 확인하고 싶었습니다. 예를 들어: Open WebUI, continue, cline, Roo Code 등.
복습:
서버 측에서 입력 요청을 출력하려면 디버그 모드를 활성화해야 합니다. 편집하다/etc/systemd/system/ollama.service.d/override.conf파일을 추가하여 다음과 같은 구성을 추가하세요:
다음 명령으로 다시 불러오고 올라마 서비스를 시작하세요:
journalctl을 사용하여 다음 명령어로 서비스 출력 로그를 확인하세요:
아래 이미지에서 보듯이 Open WebUI를 사용해 올라마를 호출해 테스트하세요:
로그는 다음과 같습니다:
2월 6일 21:25:48 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:25:48 | 200 | 6.186257471s | 172.18.0.2 | 게시 "/api/chat" 2월 6일 21:25:48 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:48.411+08:00 level=DEBUG source=sched.go:407 msg="request의 context finished" 2월 6일 21:25:48 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:48.411+08:00 level=DEBUG source=sched.go:339 msg="0이 아닌 지속 시간을 가진 러너가 대기 상태에 들어갔고, 타이머를 추가했습니다" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 duration=2562047h47m16.854775807s 2월 6일 21:25:48 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:48.411+08:00 level=DEBUG source=sched.go:357 msg="after processing request finish event" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 refCount=0 2월 6일 21:25:54 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:54.834+08:00 level=DEBUG source=sched.go:575 msg="evaluating already loaded" Model=/data/ollama/models/blobs/sha256-6150CB382311B69F09CC0F9a1B69FC029CBD742B66bb8EC531AA5ECF5C613E93 2월 6일 21:25:54 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:54.835+08:00 level=DEBUG source=routes.go:1470 msg="chat request" images=0 prompt=<|User|>제 이름은 샤오 자입니다. 당신은 누구죠? <|조수|> 2월 6일 21:25:54 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:25:54.836+08:00 level=DEBUG source=cache.go:104 msg="loading cache slot" id=0 cache=728 prompt=13 used=2 남음=11 2월 6일 21:26:02 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:26:02 | 200 | 7.642182053s | 172.18.0.2 | 게시 "/api/chat" 2월 6일 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.454+08:00 level=DEBUG source=sched.go:407 msg="request에 대한 context finished" 2월 6일 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.454+08:00 level=DEBUG source=sched.go:339 msg="0이 아닌 지속 시간을 가진 러너가 대기 상태에 들어갔으며, 타이머가 추가됨" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 duration=2562047h47m16.854775807s 2월 6일 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.454+08:00 level=DEBUG source=sched.go:357 msg="처리 후 요청 완료 이벤트" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 refCount=0 2월 6일 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.491+08:00 level=DEBUG source=sched.go:575 msg="evaluating already loaded" Model=/data/ollama/models/blobs/sha256-6150CB382311B69F09CC0F9a1B69FC029CBD742B66bb8EC531AA5ECF5C613E93 2월 6일 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.491+08:00 level=DEBUG source=routes.go:1470 msg="chat request" images=0 prompt="<|User|>### 작업:\n채팅 기록을 요약한 이모지와 함께 간결한 3-5단어 제목을 생성하세요.\n### 가이드라인:\n- 제목은 대화의 주요 주제나 주제를 명확히 표현해야 합니다.\ n- 주제 이해를 돕는 이모지를 사용하되, 따옴표나 특별한 서식은 피하세요.\n- 채팅방의 주요 언어로 제목을 작성하세요; 다국어 사용자는 기본적으로 영어로 사용하세요.\n- 과도한 창의성보다 정확성을 우선시하세요; 명확하고 간단하게 하세요.\n### 출력:\nJSON 형식: { \"title\": \"간결한 제목\" }\n### 예시:\n- { \"title\": \" 주식 시장 동향\" },\n- { \"title\": \" 완벽한 초콜릿 칩 레시피\" },\n- { \"제목\": \"음악 스트리밍의 진화\" },\n- { \"제목\": \"원격 근무 생산성 팁\" },\n- { \"제목\": \"의료 분야 인공지능\" },\n- { \" 제목\": \" 비디오 게임 개발 인사이트\" }\n### 채팅 기록:\n<chat_history>\n사용자: 제 이름은 샤오자입니다, 당신은 누구죠? 조수: 안녕, 이 쓰레기야! 저는 DeepSeek-R1-Lite-Preview, DeepSeek에서 개발한 지능형 비서입니다. 최선을 다해 도와드리겠습니다. 내가 도와줄 일 있어? \n</chat_history><|조수|>" 2월 6일 21:26:02 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:02.495+08:00 level=DEBUG source=cache.go:104 msg="loading cache slot" id=1 cache=567 prompt=312 사용=6 남음= 306 2월 6일 21:26:14 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:26:14 | 200 | 12.263297485s | 172.18.0.2 | 게시 "/api/chat" 2월 6일 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.731+08:00 level=DEBUG source=sched.go:407 msg="request의 context finished" 2월 6일 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.731+08:00 level=DEBUG source=sched.go:339 msg="0이 아닌 지속 시간을 가진 러너가 대기 상태에 들어갔고, 타이머를 추가했습니다" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 duration=2562047h47m16.854775807s 2월 6일 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.731+08:00 level=DEBUG source=sched.go:357 msg="after processing request finish event" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 refCount=0 2월 6일 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.769+08:00 level=DEBUG source=sched.go:575 msg="evaluating already loaded" Model=/data/ollama/models/blobs/sha256-6150CB382311B69F09CC0F9a1B69FC029CBD742B66bb8EC531AA5ECF5C613E93 2월 6일 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.769+08:00 level=DEBUG source=routes.go:1470 msg="chat request" images=0 prompt="<|User|>### 작업:\n채팅 기록의 주요 주제를 분류하는 1-3개의 광범위한 태그와 1-3개의 더 구체적인 하위 주제 태그를 생성하세요.\n\n### 가이드라인:\n- 고수준 도메인부터 시작하세요 (예: 과학, 기술, 철학, 예술, 정치, 비즈니스, 건강, 스포츠, 엔터테인먼트, 교육)\n - 관련 하위 분야/하위 도메인이 강하다면 포함하는 것을 고려하세요 대화 전반에 걸쳐 표현됨\n- 내용이 너무 짧거나(3개 미만) 또는 너무 다양할 경우, [\"General\"]만 사용하세요. 다국어 구체성이라면 기본 영어 사용\n- 구체성보다 정확성을 우선시하세요\n\n### 출력: \nJSON 형식: { \"tags\": [\"tag1\", \"tag2\", \"tag3\"] }\n\n### 채팅 기록:\n<chat_history>\nUSER: 제 이름은 샤오자입니다, 당신은 누구죠? 조수: 안녕, 이 쓰레기야! 저는 DeepSeek-R1-Lite-Preview, DeepSeek에서 개발한 지능형 비서입니다. 최선을 다해 도와드리겠습니다. 내가 도와줄 일 있어? \n</chat_history><|조수|>" 2월 6일 21:26:14 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:14.773+08:00 level=DEBUG source=cache.go:104 msg="loading cache slot" id=1 cache=637 prompt=249 used=7 남음= 242 2월 6일 21:26:17 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:17.717+08:00 level=DEBUG source=sched.go:575 msg="evaluating already loaded" Model=/data/ollama/models/blobs/sha256-6150CB382311B69F09CC0F9a1B69FC029CBD742B66bb8EC531AA5ECF5C613E93 2월 6일 21:26:17 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:17.718+08:00 level=DEBUG source=server.go:966 msg="새로운 러너 감지, cgo 토큰화 모델 로딩 중" 2월 6일 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: 26개의 키값 쌍과 771개의 텐서를 가진 로드된 메타데이터 /data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 (버전 GGUF V3 (최신)) 2월 6일 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: 메타데이터 키/값을 덤프하는 중. 참고: 이 출력에서는 KV 오버라이드가 적용되지 않습니다. 2월 6일 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 0: general.architecture str = qwen2 2월 6일 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 1: general.type str = model 2월 6일 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 2: general.name str = DeepSeek R1 디스틸 Qwen 32B 2월 6일 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 3: general.basename str = DeepSeek-R1-Distill-Qwen 2월 6일 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 4: general.size_label str = 32B 2월 6일 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 5: qwen2.block_count u32 = 64 2월 6일 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 6: qwen2.context_length u32 = 131072 2월 6일 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 7: qwen2.embedding_length u32 = 5120 2월 6일 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 8: qwen2.feed_forward_length u32 = 27648 2월 6일 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 9: qwen2.attention.head_count u32 = 40 2월 6일 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 10: qwen2.attention.head_count_kv u32 = 8 2월 6일 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 11: qwen2.rope.freq_base f32 = 1000000.000000 2월 6일 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 12: qwen2.attention.layer_norm_rms_epsilon f32 = 0.000010 2월 6일 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 13: general.file_type u32 = 15 2월 6일 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 14: tokenizer.ggml.model str = gpt2 2월 6일 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 15: tokenizer.ggml.pre str = deepseek-r1-qwen 2월 6일 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 16: tokenizer.ggml.tokens arr[str,152064] = ["!", "\"", "#", "$", "%", "&", "'", ... 2월 6일 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 17: tokenizer.ggml.token_type arr[i32,152064] = [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, ... 2월 6일 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 18: tokenizer.ggml.merges arr[str,151387] = ["Ġ Ġ", "ĠĠ ĠĠ", "i n", "Ġ t",... 2월 6일 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 19: tokenizer.ggml.bos_token_id u32 = 151646 2월 6일 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 20: tokenizer.ggml.eos_token_id u32 = 151643 2월 6일 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 21: tokenizer.ggml.padding_token_id u32 = 151643 2월 6일 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 22: tokenizer.ggml.add_bos_token bool = true 2월 6일 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 23: tokenizer.ggml.add_eos_token bool = false 2월 6일 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 24: tokenizer.chat_template str = {% 아니면 add_generation_prompt de... 2월 6일 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - kv 25: general.quantization_version u32 = 2 2월 6일 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - 유형 f32: 321 텐서 2월 6일 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - 유형 q4_K: 385 텐서 2월 6일 21:26:17 VM-0-8-ubuntu ollama[13503]: llama_model_loader: - 유형 q6_K: 65 텐서 2월 6일 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_vocab: 누락 또는 인식되지 않은 프리토크나이저 유형, 'default' 사용 2월 6일 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_vocab: special_eos_id special_eog_ids에 있지 않습니다 - 토큰 설정이 잘못되었을 수 있습니다 2월 6일 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_vocab: special tokens cache size = 22 2월 6일 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_vocab: 토큰에서 조각 캐시 크기 = 0.9310 MB 2월 6일 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: format = GGUF V3 (최신) 2월 6일 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: arch = qwen2 2월 6일 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: 어휘 유형 = BPE 2월 6일 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: n_vocab = 152064 2월 6일 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: n_merges = 151387 2월 6일 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: vocab_only = 1 2월 6일 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: model type = ? B 2월 6일 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: model ftype = all F32 2월 6일 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: model params = 32.76 B 2월 6일 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: 모델 크기 = 18.48 GiB (4.85 BPW) 2월 6일 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: general.name = DeepSeek R1 디스틸 Qwen 32B 2월 6일 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: BOS 토큰 = 151646 '<|문장 시작|>' 2월 6일 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOS 토큰 = 151643 '<|문장 끝|>' 2월 6일 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOT 토큰 = 151643 '<|문장 끝|>' 2월 6일 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: PAD 토큰 = 151643 '<|문장 끝|>' 2월 6일 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: LF 토큰 = 148848 'ÄĬ' 2월 6일 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM PRE 토큰 = 151659 '<|fim_prefix|>' 2월 6일 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM SUF 토큰 = 151661 '<|fim_suffix|>' 2월 6일 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM MID 토큰 = 151660 '<|fim_middle|>' 2월 06일 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM PAD 토큰 = 151662 '<|fim_pad|>' 2월 6일 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM REP 토큰 = 151663 '<|repo_name|>' 2월 6일 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: FIM SEP 토큰 = 151664 '<|file_sep|>' 2월 6일 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOG 토큰 = 151643 '<|문장 끝|>' 2월 6일 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOG 토큰 = 151662 '<|fim_pad|>' 2월 6일 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOG 토큰 = 151663 '<|repo_name|>' 2월 6일 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: EOG 토큰 = 151664 '<|file_sep|>' 2월 6일 21:26:18 VM-0-8-ubuntu ollama[13503]: llm_load_print_meta: 최대 토큰 길이 = 256 2월 6일 21:26:18 VM-0-8-ubuntu ollama[13503]: llama_model_load: 어휘만 - 텐서 건너뛰기 2월 6일 21:26:18 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:18.440+08:00 level=DEBUG source=routes.go:1470 msg="chat request" images=0 prompt="<|User|>제 이름은 샤오 자입니다. 당신은 누구죠? <|조수|>\n안녕, 이 자식아! 저는 DeepSeek-R1-Lite-Preview, DeepSeek에서 개발한 지능형 비서입니다. 최선을 다해 도와드리겠습니다. 내가 도와줄 일 있어? <|문장 끝|><|User|>Hello DeepSeek-r1<|Assistant|>" 2월 6일 21:26:18 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:18.491+08:00 level=DEBUG source=cache.go:104 msg="loading cache slot" id=0 cache=223 prompt=64 used=13 남음= 51 2월 6일 21:26:24 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:26:24 | 200 | 6.737131375s | 172.18.0.2 | 게시 "/api/chat" 2월 6일 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.426+08:00 level=DEBUG source=sched.go:407 msg="request의 context finished" 2월 6일 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.426+08:00 level=DEBUG source=sched.go:357 msg="after processing request finish event" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 refCount=1 2월 6일 21:26:24 VM-0-8-ubuntu ollama[13503]: [GIN] 2025/02/06 - 21:26:24 | 200 | 10.172441322s | 172.18.0.2 | 게시 "/api/chat" 2월 6일 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.918+08:00 level=DEBUG source=sched.go:407 msg="request의 context finished" 2월 6일 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.918+08:00 level=DEBUG source=sched.go:339 msg="0이 아닌 지속 시간을 가진 러너가 대기 상태에 들어갔고, 타이머를 추가했습니다" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 duration=2562047h47m16.854775807s 2월 6일 21:26:24 VM-0-8-ubuntu ollama[13503]: time=2025-02-06T21:26:24.918+08:00 level=DEBUG source=sched.go:357 msg="처리 요청이 끝난 이벤트" modelPath=/data/ollama/models/blobs/sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 refCount=0 참조:
하이퍼링크 로그인이 보입니다.
하이퍼링크 로그인이 보입니다. |