Požadavky: Model DeepSeek-R1 byl nasazen pomocí ollamy, k jeho volání byl použit dialogový nástroj a terminál byl pouze používán k testování. Můžete nainstalovat panel Open WebUI, který vyvolá modely pro konverzaci.
Přezkoumání:
Open WebUI je škálovatelná, funkcemi bohatá a uživatelsky přívětivá platforma pro samostatné AI navržené tak, aby fungovala zcela offline. Podporuje různé LLM runnery jako Ollama a API kompatibilní s OpenAI, s vestavěným inferenčním enginem RAG, což z něj činí výkonné řešení pro nasazení AI.
Adresa GitHubu:Přihlášení k hypertextovému odkazu je viditelné.
Dokumentace:Přihlášení k hypertextovému odkazu je viditelné.
Konfigurace proměnných prostředí:Přihlášení k hypertextovému odkazu je viditelné.
Ubuntu 20.04 instaluje Docker kontejnery
V tomto článku, abyste mohli nasadit open-webui pomocí Dockeru, musíte nejprve nainstalovat Docker kontejner, instalační příkaz je následující:
Ollama nasazuje model deepseek-r1:32b
Spusť následující příkaz:
Docker nasazuje Open WebUI
Protože už máme Ollamu nainstalovanou nativně a zároveň na serveru, v/data/open-webuiVytvořte pod složkou nový soubor compose.yaml, který zní:
Spusť následující příkaz pro spuštění kontejneru:
Jak je uvedeno níže:
Pravidlo bezpečnostní skupiny firewallu nechá port TCP 3000 na chvíli odejít, a poté k němu přistupuje přes prohlížeč, jak je znázorněno na následujícím obrázku:
Při první návštěvě si nastavte administrátorský účet a heslo, jak je znázorněno na následujícím obrázku:
Otestujte dialogovou funkci modelu DeepSeek-R1, jak je znázorněno na obrázku níže:
(Konec) |
Zveřejněno 6. 2. 2025 21:21:14
|
|
|
|
Pronajímatel|
Zveřejněno 19. 2. 2025 09:09:00
|
