Johdanto GGUF:n suurten mallien tiedostomuotoon
PyTorchin kaltaisia kehyksiä käytetään yleensä suurten kielimallien kehittämiseen, ja niiden esikoulutustulokset tallennetaan yleensä vastaavaan binäärimuotoon, kuten pt-suffiksitiedosto on yleensä binäärinen esikoulutustulokse, jonka PyTorch-kehys tallentaa.
Kuitenkin erittäin tärkeä ongelma suurten mallien tallennuksessa on, että niiden mallitiedostot ovat valtavia, ja mallin rakenne, parametrit jne. vaikuttavat myös mallin päättelyvaikutuksiin ja suorituskykyyn. Jotta suuret mallit olisivat tehokkaampia tallennuksessa ja vaihdossa, on olemassa suuria mallitiedostoja eri formaateissa. Näistä GGUF on erittäin tärkeä suurten mallien tiedostomuoto.
GGUF-tiedosto tarkoittaa GPT-Generated Unified Formatia, joka on Georgi Gerganovin määrittelemä ja julkaisema suuri mallitiedostomuoto. Georgi Gerganov on kuuluisan avoimen lähdekoodin projektin llama.cpp perustaja.
GGUF on binäärimuotoisten tiedostojen spesifikaatio, ja alkuperäiset suurten mallien esikoulutustulokset muunnetaan GGUF-muotoon, ne voidaan ladata ja käyttää nopeammin sekä kuluttaa vähemmän resursseja. Syynä on se, että GGUF käyttää monenlaisia teknologioita säilyttääkseen suurten mallien esikoulutustulokset, mukaan lukien kompaktien binäärikoodausformaattien käyttö, optimoitu tietorakenne, muistikartoitus jne.
GGUF-, GGML-, GGMF- ja GGJT-erot
GGUF on binääriformaatti, joka on suunniteltu lataamaan ja tallentamaan mallit nopeasti. Se on GGML:n, GGMF:n ja GGJT:n seuraajatiedostomuoto, varmistaen selkeyden sisällyttämällä kaiken tarvittavan tiedon mallin lataamiseen. Se on myös suunniteltu skaalautuviksi, jotta uutta tietoa voidaan lisätä malliin rikkomatta yhteensopivuutta.
- GGML (No Version): Perusmuoto ilman versiointia tai kohdistusta.
- GGMF (versioittu): Sama kuin GGML, mutta versioilla.
- GGJT: Kohdista tensorit niin, että ne sopivat mmap-tiedostojen kanssa, jotka täytyy kohdistaa. v1, v2 ja v3 ovat samoja, mutta myöhemmissä versioissa käytetään erilaisia kvantisointimenetelmiä, jotka eivät ole yhteensopivia aiempien versioiden kanssa.
Miksi GGUF-muotoiset suuret mallitiedostot toimivat hyvin
GGUF-tiedostomuoto pystyy lataamaan mallit nopeammin useiden keskeisten ominaisuuksien ansiosta:
Binäärimuoto: GGUF, binäärimuotona, voidaan lukea ja jäsentää nopeammin kuin tekstitiedostot. Binäärit ovat yleensä kompaktimpia, mikä vähentää lukemiseen ja jäsentämiseen vaadittavia I/O-toimintoja ja käsittelyaikaa.
Optimoidut tietorakenteet: GGUF voi käyttää erityisesti optimoituja tietorakenteita, jotka tukevat mallidatan nopeaa pääsyä ja lataamista. Esimerkiksi dataa voidaan järjestää tarpeen mukaan muistin lataamista varten, jotta prosessointi kuormituksen aikana vähenee.
Muistikartoitus (mmap) -yhteensopivuus: Jos GGUF tukee muistin kartoitusta (mmap), tämä mahdollistaa datan suoran kartoittamisen levyltä muistin osoiteavaruuteen, mikä nopeuttaa datan latausta. Näin dataan pääsee käsiksi ilman, että koko tiedosto ladataan, mikä on erityisen tehokasta suurille malleille.
Tehokas serialisointi ja deserialisointi: GGUF voi käyttää tehokkaita serialisointi- ja deserialisointimenetelmiä, mikä tarkoittaa, että mallidata voidaan nopeasti muuntaa käyttökelpoisiksi muodoiksi.
Vähän riippuvuuksia ja ulkoisia viitteitä: Jos GGUF-muoto on suunniteltu itsenäiseksi, eli kaikki tarvittava tieto tallennetaan yhteen tiedostoon, tämä vähentää ulkoisen tiedoston haku- ja lukutoimintoja, joita mallin jäsennys ja lataus vaatii.
Datan pakkaus: GGUF-formaatti voi käyttää tehokkaita datan pakkaustekniikoita, jotka pienentävät tiedostokokoja ja nopeuttavat näin lukuprosessia.
Optimoidut indeksointi- ja pääsymekanismit: Tiedostojen datan indeksointi- ja pääsymekanismeja voidaan optimoida, jotta tarvittavien tiettyjen tietofragmenttien löytäminen ja lataaminen olisi nopeampaa.
Yhteenvetona voidaan todeta, että GGUF saavuttaa nopean mallin latauksen erilaisilla optimointimenetelmillä, mikä on erityisen tärkeää tilanteissa, joissa vaaditaan eri mallien toistuvaa latausta.
GGUF-esimerkkitiedosto:Hyperlinkin kirjautuminen on näkyvissä.
llama.cpp Projektin osoite:Hyperlinkin kirjautuminen on näkyvissä. |
Julkaistu 2025-2-7 10:51:47
|
|
|
|
