Wymagania: Model DeepSeek-R1 został wdrożony za pomocą ollamy, a do jego wywołania użyto narzędzia dialogowego, a terminal służył jedynie do testowania. Możesz zainstalować panel Open WebUI, aby wywoływać modele do rozmowy.
Recenzja:
Open WebUI to skalowalna, bogata w funkcje i przyjazna użytkownikowi samodzielnie hostowana platforma AI, zaprojektowana do pracy całkowicie offline. Obsługuje różne uruchamiacze LLM, takie jak Ollama i API kompatybilne z OpenAI, z wbudowanym silnikiem inferencyjnym RAG, co czyni go potężnym rozwiązaniem do wdrażania AI.
Adres GitHub:Logowanie do linku jest widoczne.
Dokumentacja:Logowanie do linku jest widoczne.
Konfiguracja zmiennych środowiskowych:Logowanie do linku jest widoczne.
Ubuntu 20.04 instaluje kontenery Docker
W tym artykule, aby wdrożyć open-webui za pomocą Dockera, najpierw musisz zainstalować kontener Docker, a polecenie instalacji jest następujące:
Ollama stosuje model deepseek-r1:32b
Wykonaj następujące polecenie:
Docker wdraża Open WebUI
Ponieważ mamy już zainstalowaną Ollamę natywnie i jednocześnie na serwerze, w/data/open-webuiStwórz nowy plik compose.yaml poniżej folderu, który brzmi:
Wykonaj następujące polecenie, aby uruchomić kontener:
Jak pokazano poniżej:
Reguła grupy bezpieczeństwa zapory pozwala na uruchomienie portu TCP 3000 na kilka chwil, a następnie korzysta z przeglądarki do dostępu, jak pokazano na poniższym rysunku:
Przy pierwszej wizycie ustaw konto administratora i hasło, jak pokazano na poniższym rysunku:
Przetestuj funkcję dialogową modelu DeepSeek-R1, jak pokazano na poniższym rysunku:
(Koniec) |
Opublikowano 2025-2-6 21:21:14
|
|
|
|
Ziemianin|
Opublikowano 2025-2-19 09:09:00
|
