.NET/C# Alto desempenho funde múltiplos arquivos em um único arquivo

Pequeno · Postado em 14-02-2024 12:04:26

Requisitos: Ao usar arquivos grandes para enviar em blocos, o backend precisa mesclar diferentes blocos em um único arquivo em ordem, ou, ao cortar o arquivo de arquivo, mesclar os arquivos de corte no arquivo de origem.

O Linux usa divisões de corte de arquivos divididos
https://www.itsvse.com/thread-10716-1-1.html

Primeiro, prepare dois arquivos de 100M para teste, com o seguinte comando:

O login está visível.

O Windows cria um arquivo do tamanho especificado
https://www.itsvse.com/thread-10732-1-1.html

O código é o seguinte:

O login está visível.

Dois cenários diferentes de fusão foram testados. Como mostrado abaixo:

Comece os testes com a depuração VS 2022 -> Profiler -> marque ".NET Object Allocation Trace":

Tamanho total da merge1 é: 16.778.034, Merge2 tamanho total é: 164.270,A alocação total mostra que merge1 é 102 vezes maior que merge2, e quanto maior ela é, pior o desempenho。

Use o PerfView para visualizar separadamente as análises de CPU Stacks e GC Heap Net Mem Stacks, como mostrado na figura a seguir:

Comentário:Inc% - Custo inclusivo é expresso como uma porcentagem do custo total para todas as amostras(100% para nós ROOT). Pode ser resolvido por ele.

Pequeno · Publicado em 14-02-2024 12:09:30

Teste com o VS 2022 Debug -> Performance Profiler -> marque "Uso de Memória":

merge1 consome 808MB quando executado
merge2 consome 12MB quando executado

Se o método merge2 for executado sozinho, o programa inicia 6MB e sempre ocupa 6MB durante a execução da função e após a conclusão.

Pequeno · Postado em 2025-1-1 10:20:06

Otimize o estilo de escrita

O login está visível.

[Fonte] .NET/C# Alto desempenho funde múltiplos arquivos em um único arquivo

Posts Relacionados

Seções visualizadas