[AI] (9) DeepSeek-R1モデルのvLLMエンタープライズレベルの展開を活用

クズども · 2025年3月6日 11:23:03に投稿

要件:以前、Ollamaでdeepseek-r1:32bモデルを導入したことがありますが、非常に便利で高速、個人の迅速な展開に適しています。もしエンタープライズ本番環境であれば、どのように展開すべきでしょうか? 一般的に、vllmとsglangがデプロイメントに使用され、本記事ではDeepSeek-R1モデルを展開するためにvLLMを使用しています。

オラマ vs. vLLM

違いは以下の通りです:

コントラスト寸法	オヤマ	vLLM
コアの位置	個々の開発者や小規模実験のための軽量ローカライゼーションツール	高並行性と低遅延を持つエンタープライズレベルのシナリオに焦点を当てた本番レベルの推論フレームワーク
ハードウェア要件	CPUとGPUをサポートし、低メモリ使用量(デフォルトで量子化モデルを使用)	メモリ使用量が多いNVIDIA GPUに頼らざるを得ません
モデルサポート	内蔵の事前学習済みモデルライブラリ(1700+モデル対応)、定量版(主にint4)の自動ダウンロード	オリジナルモデルファイルの手動ダウンロード(例:HuggingFace形式)は、より幅広いモデルに対応しています
配備の難しさ	ワンボタンでインストールでき、プログラミングベースなしで箱から出して使えます	Python環境とCUDAドライバーが必要で、技術的な経験も求められます
性能特性	単一推論速度は高速ですが、並行処理能力は弱いです	高スループット、動的バッチ処理のサポート、数千の同時リクエスト
資源管理	リソース使用を柔軟に調整し、アイドル時に自動的にビデオメモリを解放します	ビデオメモリの占有率は固定されており、ピーク負荷に対応するためにリソースを予約する必要があります

vLLMの簡単な紹介

vLLMは、LLM推論とサービスの高速かつ使いやすいライブラリです。

新しいアルゴリズムを用いたvLLMは、LLMサービスの最新技術レベルを再定義します。 HuggingFace Transformersと比べて、モデルアーキテクチャの変更なしで最大24倍のスループットを提供します。ハッシュレートを半減しスループットを10倍に増加させた研究では、vLLMのスループットを最も人気のあるLLMライブラリであるHuggingFace Transformers(HF)およびSOTAスループットのHuggingFaceテキスト生成推論(TGI)と比較していました。さらに、研究では実験セットアップを2つのタイプに分けました:NVIDIA A10G GPUを搭載したLLaMA-7B、もう1つはLLaMA-13Bで、ハードウェアにはNVIDIA A100 GPU(40GB)を搭載しています。彼らはShareGPTデータセットから入出力の長さをサンプリングしました。結果は、vLLMのスループットがHFの24倍、TGIの3.5倍であることを示しました。

vLLMドキュメント:ハイパーリンクのログインが見えます。
ソースコードアドレス:ハイパーリンクのログインが見えます。
パフォーマンステスト:ハイパーリンクのログインが見えます。

写真を理解しなくても大丈夫、牛はもう完成しています!

環境準備

私はTencent Cloudの高性能アプリケーションサービスを購入し、以下のように設定しました:

Ubuntu 20.04
環境構成:Ubuntu 20.04、ドライバ 525.105.17、Python 3.8、CUDA 12.0、cuDNN 8
計算能力タイプ:2枚カードGPU基本タイプ - 2*16GB+ | 16+TFlops SP | CPU - 16コア | RAM - 64GB

Condaをインストール

CondaでPython環境を作成し、スクリプトを直接貼り付けます:

ログインが見えます。

vLLMを使ってDeepSeek-R1を展開する

以下のコマンドでcondaを使ってPython環境を作成します:

ログインが見えます。

以下のコマンドでvllmとmodelscopeをインストールします:

ログインが見えます。

以下のコマンドでmodelscopeを使ってDeepSeek-R1モデルをダウンロードしてください:

ログインが見えます。

参考：ハイパーリンクのログインが見えます。

以下のコマンドでVLMを使ってディープシークモデルを起動します:

ログインが見えます。

「Bfloat16は少なくとも8.0の計算能力を持つGPUでのみサポートされています」という質問に遭遇した場合、あなたのTesla T4 GPUは計算能力7.5です。例えば、CLIで明示的に'dtype'フラグを設定することでfloat16を使うことができます。--dtype=half.」警告、警告に従ってパラメータを追加してください。

所見：