Zahteve: Model DeepSeek-R1 je bil nameščen z uporabo ollama, za klic pa je bilo uporabljeno orodje za dialog, terminal pa je bil uporabljen zgolj za testiranje. Lahko namestiš panel Open WebUI za klic modelov za pogovor.
Pregled:
Open WebUI je razširljiva, funkcionalno bogata in uporabniku prijazna samostojno gostovana AI platforma, zasnovana za popolno delovanje brez povezave. Podpira različne LLM runnerje, kot so Ollama in OpenAI-kompatibilne API-je, z vgrajenim RAG inferenčnim pogonom, zaradi česar je zmogljiva rešitev za uvajanje umetne inteligence.
GitHub naslov:Prijava do hiperpovezave je vidna. Dokumentacija:Prijava do hiperpovezave je vidna. Konfiguracija okoljske spremenljivke:Prijava do hiperpovezave je vidna.
Ubuntu 20.04 namešča Docker kontejnerje
V tem članku, za namestitev odprtega webui z uporabo Dockerja, morate najprej namestiti Docker kontejner, namestitveni ukaz je naslednji:
Ollama uporablja model deepseek-r1:32b
Zaženite naslednji ukaz:
Docker uvaja Open WebUI
Ker imamo Ollamo že nameščeno nativno in hkrati na strežniku, v/data/open-webuiUstvarite novo datoteko compose.yaml pod mapo, ki se glasi:
Zaženite naslednji ukaz za zagon kontejnerja:
Kot je prikazano spodaj:
Pravilo varnostne skupine požarnega zidu dovoli TCP 3000 portu nekaj trenutkov, nato pa uporabi brskalnik za dostop, kot je prikazano na naslednji sliki:
Za prvi obisk nastavite skrbniški račun in geslo, kot je prikazano na naslednji sliki:
Preizkusite dialogno funkcijo modela DeepSeek-R1, kot je prikazano na spodnji sliki:
(Konec) |