Uvod v format velikih modelov GGUF
Ogrodja, kot je PyTorch, se običajno uporabljajo za razvoj velikih jezikovnih modelov, njihovi rezultati predtreninga pa so običajno shranjeni v ustreznem binarnem formatu, na primer datoteka pt s pripono je običajno binarni rezultat predtreninga, ki ga shrani okvir PyTorch.
Vendar pa je zelo pomembna težava pri shranjevanju velikih modelov ta, da so njihove datoteke modela ogromne, struktura, parametri itd. pa prav tako vplivajo na učinek sklepanja in zmogljivost modela. Da bi bili veliki modeli učinkovitejši pri shranjevanju in izmenjavi, obstajajo velike modelne datoteke v različnih formatih. Med njimi je GGUF zelo pomemben format velikih modelov datotek.
GGUF pomeni GPT-Generated Unified Format, ki je velik modelni datotečni format, ki ga je definiral in izdal Georgi Gerganov. Georgi Gerganov je ustanovitelj znanega odprtokodnega projekta llama.cpp.
GGUF je specifikacija za datoteke v binarnem formatu, izvirni rezultati predtreninga velikih modelov pa se pretvorijo v GGUF format in jih je mogoče naložiti ter uporabljati hitreje ter porabiti manj virov. Razlog je, da GGUF uporablja različne tehnologije za ohranjanje rezultatov predtreninga velikih modelov, vključno z uporabo kompaktnih binarnih formatov kodiranja, optimiziranih podatkovnih struktur, preslikave pomnilnika itd.
Razlike med GGUF, GGML, GGMF in GGJT
GGUF je binarni format, zasnovan za hitro nalaganje in shranjevanje modelov. Je naslednik datotečnega formata GGML, GGMF in GGJT, ki zagotavlja jasnost z vključitvijo vseh informacij, potrebnih za nalaganje modela. Zasnovan je tudi tako, da je razširljiv, tako da je mogoče v model dodajati nove informacije, ne da bi pri tem prekinil združljivost.
- GGML (brez različice): Osnovni format brez verzioniranja ali poravnave.
- GGMF (verzionirano): Enako kot GGML, vendar z verzijami.
- GGJT: Poravnajte tenzorje, da omogočite uporabo z mmapami, ki jih je treba poravnati. v1, v2 in v3 so enake, vendar kasnejše različice uporabljajo drugačne sheme kvantizacije, ki niso združljive s prejšnjimi različicami.
Zakaj velike modelne datoteke v GGUF formatu delujejo dobro
Format datoteke GGUF omogoča hitrejše nalaganje modelov zaradi več ključnih lastnosti:
Binarni format: GGUF kot binarni format je mogoče brati in analizirati hitreje kot besedilne datoteke. Binarne datoteke so na splošno bolj kompaktne, kar zmanjšuje vhodno-izhodne operacije in čas obdelave, potreben za branje in razčlenjevanje.
Optimizirane podatkovne strukture: GGUF lahko uporablja posebej optimizirane podatkovne strukture, ki podpirajo hiter dostop in nalaganje modelnih podatkov. Na primer, podatki so lahko organizirani po potrebi za nalaganje pomnilnika, da se zmanjša obdelava ob obremenitvi.
Združljivost s preslikavo pomnilnika (mmap): Če GGUF podpira preslikavo pomnilnika (mmap), to omogoča neposredno preslikavo podatkov iz diska v naslovni prostor pomnilnika, kar vodi do hitrejšega nalaganja podatkov. Na ta način je mogoče podatke dostopati brez dejanskega nalaganja celotne datoteke, kar je še posebej učinkovito pri velikih modelih.
Učinkovita serializacija in deserializacija: GGUF lahko uporablja učinkovite metode serializacije in deserializacije, kar pomeni, da se podatki modelov lahko hitro pretvorijo v uporabne formate.
Malo odvisnosti in zunanjih referenc: Če je format GGUF zasnovan tako, da je samostojen, torej so vse potrebne informacije shranjene v eni datoteki, se zmanjša število operacij iskanja in branja zunanjih datotek, potrebnih pri razčlenjevanju in nalaganju modela.
Stiskanje podatkov: Format GGUF lahko uporablja učinkovite tehnike stiskanja podatkov, ki zmanjšuje velikost datotek in s tem pospešuje proces branja.
Optimizirani mehanizmi indeksiranja in dostopa: Mehanizmi indeksiranja in dostopa do podatkov v datotekah so lahko optimizirani za hitrejše iskanje in nalaganje določenih podatkovnih fragmentov.
Povzemimo, GGUF omogoča hitro nalaganje modela z različnimi optimizacijskimi metodami, kar je še posebej pomembno za scenarije, ki zahtevajo pogosto nalaganje različnih modelov.
Vzorčna datoteka GGUF:Prijava do hiperpovezave je vidna.
llama.cpp Naslov projekta:Prijava do hiperpovezave je vidna. |
Objavljeno 7. 2. 2025 ob 10:51:47
|
|
|
|
