.NET/C# Korkea suorituskyky yhdistää useita tiedostoja yhdeksi tiedostoksi

Pikku roisto · Julkaistu 2024-2-14 klo 12:04:26

Vaatimukset: Kun suuria tiedostoja käytetään lataukseen paloina, taustajärjestelmän täytyy yhdistää eri lohkot yhdeksi tiedostoksi järjestyksessä, tai arkistotiedostoa leikatessa yhdistää leikatut tiedostot lähdetiedostoon.

Linux käyttää split file cut -jakoja
https://www.itsvse.com/thread-10716-1-1.html

Valmistele ensin kaksi 100M-tiedostoa testattavaksi seuraavalla komennolla:

Kirjautuminen näkyy.

Windows luo määritellyn kokoisen tiedoston
https://www.itsvse.com/thread-10732-1-1.html

Koodi on seuraava:

Kirjautuminen näkyy.

Testattiin kahta erilaista yhdistymisskenaariota. Kuten alla on esitetty:

Aloita testaus VS 2022 debug -> Profiler -> rastita ".NET Object Allocation Trace":

Merge1:n kokonaiskoko on: 16 778 034, Merge2:n kokonaiskoko on: 164 270,Kokonaisallokaatio osoittaa, että merge1 on 102 kertaa suurempi kuin merge2, ja mitä suurempi se on, sitä huonompi suorituskyky on。

Käytä PerfView'ta tarkastellaksesi CPU-pinoja ja GC Heap Net Mem -pinojen analyysiä erikseen, kuten seuraavassa kuvassa on esitetty:

Huomautus:Inc% – Kokonaiskustannus ilmaistaan prosenttiosuutena kaikkien näytteiden kokonaiskustannuksesta(100 % ROOT-solmuille). Se voidaan lajitella sen mukaan.

Pikku roisto · Julkaistu 2024-2-14 klo 12:09:30

Testaa VS 2022 Debug -> Performance Profiler -> rastita "Memory Usage":

merge1 vie suoritettuna 808MB
merge2 vie 12MB suoritettuna

Jos merge2-menetelmä suoritetaan yksinään, ohjelma käynnistyy 6MB ja vie aina 6MB funktion suorituksen ja suorituksen jälkeen.

Pikku roisto · Julkaistu 2025-1-1 klo 10:20:06

Optimoi kirjoitustyyli

Kirjautuminen näkyy.

[Lähde] .NET/C# Korkea suorituskyky yhdistää useita tiedostoja yhdeksi tiedostoksi

Aiheeseen liittyvät julkaisut

Katsotut osuudet