Ievads GGUF liela modeļa faila formātā
Tādi ietvari kā PyTorch parasti tiek izmantoti lielu valodu modeļu izstrādei, un to pirmsapmācības rezultāti parasti tiek saglabāti atbilstošajā binārajā formātā, piemēram, pt sufiksa fails parasti ir binārais pirmsapmācības rezultāts, ko saglabā PyTorch sistēma.
Tomēr ļoti svarīga problēma ar lielu modeļu glabāšanu ir tā, ka to modeļa faili ir milzīgi, un modeļa struktūra, parametri utt. Lai padarītu lielus modeļus efektīvākus glabāšanā un apmaiņā, ir lieli modeļu faili dažādos formātos. Starp tiem GGUF ir ļoti svarīgs liela modeļa faila formāts.
GGUF fails apzīmē GPT ģenerēto vienoto formātu, kas ir liela modeļa faila formāts, ko definējis un izlaidis Georgijs Gerganovs. Georgijs Gerganovs ir slavenā atvērtā koda projekta llama.cpp dibinātājs.
GGUF ir binārā formāta failu specifikācija, un oriģinālie lielā modeļa pirmsapmācības rezultāti tiek konvertēti GGUF formātā, un tos var ielādēt un izmantot ātrāk un patērēt mazāk resursu. Iemesls ir tāds, ka GGUF izmanto dažādas tehnoloģijas, lai saglabātu lielu modeļu pirmsapmācības rezultātus, tostarp kompaktu bināro kodēšanas formātu izmantošanu, optimizētas datu struktūras, atmiņas kartēšanu utt.
GGUF, GGML, GGMF un GGJT atšķirības
GGUF ir binārs formāts, kas paredzēts, lai ātri ielādētu un saglabātu modeļus. Tas ir GGML, GGMF un GGJT pēctecis faila formāts, nodrošinot skaidrību, iekļaujot visu modeļa ielādei nepieciešamo informāciju. Tas ir arī izstrādāts tā, lai būtu mērogojams, lai modelim varētu pievienot jaunu informāciju, nepārtraucot saderību.
- GGML (bez versijas): bāzlīnijas formāts bez versiju izveides vai līdzinājuma.
- GGMF (versija): tāds pats kā GGML, bet ar versiju izveidi.
- GGJT: Izlīdziniet tensorus, lai varētu izmantot ar mmaps, kas jāizlīdzina. v1, v2 un v3 ir vienādi, bet jaunākās versijās tiek izmantotas atšķirīgas kvantēšanas shēmas, kas nav saderīgas ar iepriekšējām versijām.
Kāpēc GGUF formāta lielo modeļu faili darbojas labi
GGUF faila formāts spēj ielādēt modeļus ātrāk, pateicoties vairākām galvenajām funkcijām:
Binārais formāts: GGUF kā bināro formātu var lasīt un parsēt ātrāk nekā teksta failus. Binārie faili parasti ir kompaktāki, samazinot I/O operācijas un apstrādes laiku, kas nepieciešams lasīšanai un parsēšanai.
Optimizētas datu struktūras: GGUF var izmantot īpaši optimizētas datu struktūras, kas atbalsta ātru piekļuvi modeļa datiem un to ielādi. Piemēram, datus var organizēt pēc nepieciešamības atmiņas ielādei, lai samazinātu apstrādi slodzes laikā.
Atmiņas kartēšanas (mmap) saderība: Ja GGUF atbalsta atmiņas kartēšanu (mmap), tas ļauj datus kartēt tieši no diska uz atmiņas adrešu telpu, kā rezultātā datu ielāde ir ātrāka. Tādā veidā datiem var piekļūt, faktiski neielādējot visu failu, kas ir īpaši efektīvs lieliem modeļiem.
Efektīva serializācija un deserializācija: GGUF var izmantot efektīvas serializācijas un deserializācijas metodes, kas nozīmē, ka modeļa datus var ātri pārvērst izmantojamos formātos.
Dažas atkarības un ārējās atsauces: Ja GGUF formāts ir izstrādāts tā, lai tas būtu autonoms, t.i., visa nepieciešamā informācija tiek glabāta vienā failā, tas samazinās ārējo failu meklēšanas un lasīšanas operācijas, kas nepieciešamas, analizējot un ielādējot modeli.
Datu saspiešana: GGUF formātā var izmantot efektīvas datu saspiešanas metodes, samazinot failu lielumu un tādējādi paātrinot lasīšanas procesu.
Optimizēti indeksēšanas un piekļuves mehānismi: failu datu indeksēšanas un piekļuves mehānismus var optimizēt, lai ātrāk atrastu un ielādētu konkrētus datu fragmentus.
Kopumā GGUF panāk ātru modeļa ielādi, izmantojot dažādas optimizācijas metodes, kas ir īpaši svarīgi scenārijiem, kuros nepieciešama bieža dažādu modeļu ielāde.
GGUF parauga fails:Hipersaites pieteikšanās ir redzama.
llama.cpp projekta adrese:Hipersaites pieteikšanās ir redzama. |
Publicēts 2025-2-7 10:51:47
|
|
|
|
