.NET/C# Visokozmogljiva združi več datotek v eno datoteko

Mala drhal · Objavljeno 2024-2-14 ob 12:04:26

Zahteve: Pri nalaganju velikih datotek v kosih mora backend združiti različne bloke v eno datoteko po vrsti, ali pa pri rezanju arhivske datoteke združiti izrezane datoteke v izvorno datoteko.

Linux uporablja razdeljeno rezanje datotek
https://www.itsvse.com/thread-10716-1-1.html

Najprej pripravite dve 100M datoteki za testiranje z naslednjim ukazom:

Prijava je vidna.

Windows ustvari datoteko določene velikosti
https://www.itsvse.com/thread-10732-1-1.html

Koda je naslednja:

Prijava je vidna.

Preizkušena sta bila dva različna scenarija združitve. Kot je prikazano spodaj:

Začnite testirati z VS 2022 debug -> Profiler -> kljukite ".NET Object Allocation Trace":

Skupna velikost merge1 je: 16.778.034, merge2 skupna velikost je: 164.270,Skupna dodelitev kaže, da je merge1 102-krat večji od merge2, in večja kot je, slabša je zmogljivost。

Uporabite PerfView za ločen ogled CPU skladov in analize GC Heap Net Mem skladov, kot je prikazano na naslednji sliki:

Pripombo:In% - Vključen strošek je izražen kot odstotek skupnih stroškov za vse vzorce(100 % za ROOT vozlišča). Lahko se razvrsti po njej.

Mala drhal · Objavljeno 2024-2-14 ob 12:09:30

Preizkusite z VS 2022 Debug -> Performance Profiler -> kljukico "Uporaba pomnilnika":

merge1 zavzame 808 MB ob izvedbi
merge2 zavzame 12MB ob izvedbi

Če se metoda merge2 izvaja samostojno, program zažene 6 MB in vedno zavzame 6 MB med izvajanjem funkcije in po zaključku.

Mala drhal · Objavljeno 1. 1. 2025 ob 10:20:06

Optimizirajte slog pisanja

Prijava je vidna.

[Vir] .NET/C# Visokozmogljiva združi več datotek v eno datoteko

Sorodne objave

Ogledi odsekov