【AI】(3) 텐센트 클라우드, HAI 튜토리얼이 포함된 DeepSeek-R1 배포

비디오 메모리: 32GB+
해시레이트: 15+TFlops SP
CPU: 8~10코어
RAM: 40GB

>>> /usr/local에 ollama 설치
>>> 리눅스 amd64 번들 다운로드
######################################################################## 100.0%
>>> 올라마 사용자 생성...
>>> ollama 사용자를 렌더링 그룹에 추가하기...
>>> 올라마 사용자 비디오 그룹에 추가하기...
>>> 현재 사용자를 올라마 그룹에 추가하는 중...
>>> 올라마 시스템 서비스 만들기...
>>> 올라마 서비스 활성화 및 시작...
/etc/systemd/system/ollama.service → 심볼링크 /etc/systemd/system/ollama.service 생성.

{
  "모델": [
    {
      "이름": "deepseek-r1:8b",
      "모델": "딥시크-R1:8B",
      "크기": 6930032640,
      "다이제스트": "28F8FD6cdc677661426adab9338ce3C013D7E69A5bea9E704B364171A5D61A10",
      "세부사항": {
        "parent_model": "",
        "format": "gguf",
        "가족": "라마",
        "가족": [
          "라마"
        ],
        "parameter_size": "8.0B",
        "quantization_level": "Q4_K_M"
      },
      "expires_at": "2025-02-05T21:14:50.715753614+08:00",
      "size_vram": 6930032640
    }
  ]
}

$ 올라마 도와서 서브
올라마 시작해

Usage:
  올라마 서브 [깃발]

Aliases:
  서브, 시작

Flags:
  -h, --서브 도움

환경 변수:
      OLLAMA_DEBUG 추가 디버그 정보 표시 (예: OLLAMA_DEBUG=1)
      OLLAMA_HOST 올라마 서버의 IP 주소 (기본 127.0.0.1:11434)
      OLLAMA_KEEP_ALIVE 모델이 메모리에 로드되는 시간 (기본 "5m")
      OLLAMA_MAX_LOADED_MODELS GPU당 최대 로드된 모델 수
      OLLAMA_MAX_QUEUE 대기열 요청 최대 수
      OLLAMA_MODELS 모델 디렉터리로 가는 경로
      OLLAMA_NUM_PARALLEL 최대 병렬 요청 수
      OLLAMA_NOPRUNE 시작 시 모델 블롭을 가지치기하지 마세요
      OLLAMA_ORIGINS 허용된 기원 목록은 쉼표로 구분되어 있습니다
      OLLAMA_SCHED_SPREAD 항상 모든 GPU에 걸쳐 모델을 스케줄링하세요
      OLLAMA_TMPDIR 임시 파일 위치
      OLLAMA_FLASH_ATTENTION 플래시 주의 활성화
      OLLAMA_LLM_LIBRARY 자동 감지를 우회하도록 LLM 라이브러리를 설정하세요
      OLLAMA_GPU_OVERHEAD GPU당 VRAM 일부(바이트)를 예약하세요
      OLLAMA_LOAD_TIMEOUT 모델 부하가 멈추기 전까지 얼마나 오래 허용해야 하나요 (기본값 "5m")

>>> 안녕하세요, 누구세요?
<think>

</think>

안녕하세요! 저는 중국 DeepSeek에서 독립적으로 개발한 AI 어시스턴트이며, 여러분께 기쁘게 봉사합니다!

총 시간: 489.831897ms
로딩 시간: 24.116423ms
프롬프트 평가 횟수: 10 토큰
프로프 평가 시간: 4ms
프롬프트 평가 속도: 2500.00 토큰/초
평가 횟수: 36 토큰
평가 시간: 460ms
평가율: 78.26 토큰/초
>>> 나는 작은 쓰레기야, 내 이름이 뭐지?
<think>
내 이름이 쓰레기야? 좀 더 생각해볼게. 어렸을 때 부모님이 제 귀가 크다고 생각해서 저를 '작은 쓰레기'라고 지어주셨던 게 기억나요. 하지만 사실 그게 전부였어요
진짜 이유는 아니에요. 아마도 어렸을 때 손가락을 쓰레기처럼 입에 넣어서 '작은 쓰레기'라고 불렸기 때문일 거예요.

하지만 지금은 이름이 다소 이상하게 들리고, 오늘날 사회의 이름 스타일과는 조금 맞지 않습니다. 나한테 더 잘 맞는 이름으로 이름을 바꾸는 것도 고려해야겠어. 먼저, 나는 자기 자신을 이해해야 한다
당신의 성격 특성과 관심사를 고려하여 의미 있고 독특한 이름을 선택할 수 있습니다.

저는 다른 사람을 돕는 걸 좋아하고 경청과 소통에 능숙하니, '지혜', '따뜻함', '친근함'이 들어간 이름을 고르는 것도 좋을 것 같아요. 동시에 제 성격도 반영하고 싶습니다. 예를 들어
책, 음악, 스포츠를 좋아한다면 이 요소들을 이름에 포함시킬 수 있습니다.

더 나아가, 새 이름이 잘못 기억되거나 오해받지 않도록 해야 합니다. 즉, 이름은 너무 복잡하거나 평범하지 않고, 독특하고 인지하기 쉬워야 합니다. 할 수 있습니다
잘 알려진 인물들의 이름을 참고하여 문화적 유산과 현대성을 모두 가진 인물을 찾아보세요.

또한 발음이 부드럽은지, 긍정적인 의미가 있는지, 그리고 다양한 맥락에서 어떻게 표현되는지도 고려해야 합니다. 즉, 이름을 고를 때는 단지 좋게 들릴 뿐만 아니라
그 뒤에는 의미와 가치가 있어야 합니다.

마지막으로, 가족과 친구들과 소통해서 새 이름에 만족하고 그 이름이 제 삶의 일부가 될 수 있는지 확인해야 합니다. 결국 이름은 단지
정체성은 자기 표현의 일부입니다.

요컨대, 샤오자오는 내 진짜 이름이 아니고, 나에게 더 잘 맞는 이름을 선택할 권리가 있어. 시간과 생각이 필요하지만, 자신의 성격과 관심사를 신중히 분석함으로써
이름의 의미뿐만 아니라, 저에게 가장 적합한 이름을 찾을 수 있을 거라 믿습니다.
</think>

위의 생각 과정을 바탕으로 저는 스스로를 "지혜의 별"이라고 부르기로 결정했습니다. 이 이름은 제 창의성과 따뜻함, 희망을 모두 반영해 제 개인적인 성적 정체성에 완벽히 어울립니다
특성. 동시에 '별'은 빛과 무한한 가능성을 상징하며, 저에게 끊임없이 발전과 성장을 추구하도록 영감을 줍니다.

**최종 명칭: 지혜의 별**

이 이름은 제 성격과 잘 어울릴 뿐만 아니라, 긍정적인 에너지로 가득 차 있어 저를 매우 자랑스럽고 만족스럽게 만듭니다.

총 시간: 7.600299527초
로드 시간: 24.37534ms
프롬프트 평가 횟수: 59 토큰
즉각 평가 지속 시간: 10ms
즉각 평가 속도: 5900.00 토큰/초
평가 수: 557 토큰
평가 기간: 6.618초
평가율: 84.16 토큰/초

root@VM-0-8-ubuntu:~# nvidia-smi
2025년 2월 6일 목요일 13:25:04
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 525.105.17 드라이버 버전: 525.105.17 CUDA 버전: 12.0 |
|-------------------------------+----------------------+----------------------+
| GPU 이름 Persistence-M| 버스 식별 배분번호 | 불안정한 언코어. ECC |
| 팬 온도 퍼프 PWR: 사용량/캡|         메모리 사용 | GPU 유틸리티 컴퓨트 M. |
|                               |                      |               미그 M. |
|===============================+======================+======================|
|   0 테슬라 V100-SXM2...  On | 00000000:00:08.0 꺼짐 |                  꺼져 |
| 해당 없음 65C P0 205W / 300W |  21822MiB / 32768MiB |     89% 디폴트 |
|                               |                      |                  해당 없음 |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| 프로세스: |
|  GPU GI CI PID 타입 프로세스 이름 GPU 메모리 |
|        ID ID 사용 |
|=============================================================================|
|    0 해당 없음 91457 C ... 1_avx/ollama_llama_server 21820MiB |
+-----------------------------------------------------------------------------+
root@VM-0-8-Ubuntu:~# 올라마 쇼 딥시크-R1:32B
  모델
    아키텍처 QWEN2
    매개변수 32.8B
    맥락 길이 131072
    임베딩 길이 5120
    양자화 Q4_K_M

  매개 변수
    멈춰 "<|문장 시작|>"
    멈춰 "문장 끝<|>"
    "<|User|>"
    멈춰 "<|조수|>"

  면허
    MIT 라이선스
    저작권 (c) 2023 딥시크

root@VM-0-8-ubuntu:~# ollama PS
이름 ID 크기 프로세서는
deepseek-r1:32b    38056bbcbb2d    23 GB    100% GPU     Forever

올라마 모델 풀 문제 해결 방법
https://www.itsvse.com/thread-10939-1-1.html