Gereksinimler: DeepSeek-R1 modeli ollama kullanılarak dağıtıldı, onu çağırmak için bir diyalog aracı kullanıldı ve terminal sadece test için kullanıldı. Konuşma için modelleri çağırmak için Open WebUI paneli kurabilirsiniz.
Eleştiri:
Open WebUI, tamamen çevrimdışı çalışmak üzere tasarlanmış, ölçeklenebilir, özelliklere sahip ve kullanıcı dostu, kendi kendine barındırılan bir yapay zeka platformudur. Ollama gibi çeşitli LLM çalıştırıcılarını ve OpenAI uyumlu API'leri desteklemekte, yerleşik bir RAG çıkarım motoru ile birlikte yapay zeka dağıtımı için güçlü bir çözüm haline gelir.
GitHub adresi:Bağlantı girişi görünür. Belge:Bağlantı girişi görünür. Ortam Değişkeni Konfigürasyonu:Bağlantı girişi görünür.
Ubuntu 20.04 installs Docker containers
Bu makalede, Docker kullanarak open-webui dağıtmak için önce Docker konteynerini kurmanız gerekir, kurulum komutu şu şekildedir:
Ollama, deepseek-r1:32b modelini kullanıyor
Aşağıdaki komutu çalıştırın:
Docker Open WebUI dağıtıyor
Zaten Ollama'yı hem yerel olarak hem de aynı anda bir sunucuda kurduğumuz için,/data/open-webuiKlasörün altında yeni bir compose.yaml dosyası oluşturun, bu dosya şöyle der:
Konteyneri başlatmak için aşağıdaki komutu çalıştırın:
Aşağıda gösterildiği gibi:
Güvenlik duvarı güvenlik grubu kuralı, TCP 3000 portunu birkaç saniyeliğine bırakır ve ardından aşağıdaki şekilde gösterildiği gibi bir tarayıcı ile erişir:
İlk ziyaret için, aşağıdaki şekilde gösterildiği gibi yönetici hesabı ve şifre oluşturun:
DeepSeek-R1 model diyalog fonksiyonunu aşağıdaki şekilde gösterildiği gibi test edin:
(Son) |