[Бакшиши] [превод]. NumSharp функция за рязане на масиви в NET/C#

Благодарение на страхотните нови възможности на NumSharp за рязане на масиви, .NET общността е една стъпка по-близо до създаването на мощна платформа с отворен код за машинно обучение.

Python е език за машинно обучение, отчасти защото има отлични библиотеки като NumPy и TensorFlow. Въпреки това, разработчиците на C# също имат голяма нужда от мощни отворени библиотеки за машинно обучение и наука за данни. NumSharp, NumPy C# портът на организацията SciSharp STACK, наскоро направи голяма крачка напред, като напълно реализира възможности за слайсване, позволявайки създаването на произволни подмножества N-измерни масиви като ефективни изгледи на сурови данни. Това го прави полезен инструмент за използване на C# за машинно обучение в съчетание с TensorFlow.NET.

Ако не сте използвали NumPy, вероятно не знаете колко страхотно е рязането. Python масивите позволяват връщане на слайс от масив чрез индексиране на серия от елементи, както следва: a[start:stop:step]. Но само с комплексната реализация на масива на NumPy слайсването се превръща в наистина мощна техника за манипулация на данни, без която машинното обучение или науката за данни биха били немислими.

За щастие, за тези, които не могат или не искат да преминат към Python за машинно обучение (което и аз направих), NumSharp пренася тази възможност в .NET света. Като един от разработчиците в NumSharp, запознах ви с някои важни случаи на използване при рязане с примерни кодови откъси на C#. Имайте предвид, че индексирането не може да се извършва в C# по същия начин, както в Python, поради разлики в езиковия синтаксис. Въпреки това, решихме да запазим синтаксиса на Python за дефинициите на срезове, затова използвахме низове за индексиране на срезове в C#. Вижте този пример, за да видите колко близо е NumSharp до NumPy.

Когато се пише на C# с NumSharp, кодът е почти идентичен. Обърнете внимание, че срезовете се индексират леко по-различно, като се използват низове като параметри за индексера.

Както виждате, екипът на NumSharp е вложил много усилия, за да направи кода възможно най-близък до Python. Това е много важно, защото по този начин съществуващият Python код, който разчита на NumPy, вече може лесно да бъде прехвърлен на C#.

Възможността да се предават само локални части от основните данни (т.е. малки парчета големи изображения) в и извън функциите без копиране е критична за производителността по време на изпълнение, особено при големи набори от данни. Срезовете се индексират чрез локални координати, така че алгоритъмът ви не е необходимо да знае глобалната структура на вашите данни, което ефективно опростява живота ви и осигурява максимална производителност, тъй като се избягва ненужно дублиране.

Случаи на употреба: Разредени изгледи и рекурсивно рязане

Разреден изглед на масив може да се създаде чрез задаване на стъпки отвъд началото и края на слайс диапазона. Доколкото знам, дори C# 8.0 с новия синтаксис на array slice не може да направи това. Тази функция става много важна при работа с преплетени данни. Можете да проектирате алгоритъма си да обработва непрекъснати данни и да му предоставите оскъдни срезове, които имитират непрекъснати източници на данни, минимизирайки сложността на алгоритъма.

Рязането може да се разреже по-нататък, което е много важна функция, ако работите с данни с големи размери. Това също помага да се намали сложността на алгоритъма, тъй като може да се намали размерността на данните чрез рекурсивно рязане.

Ако трябва да мислиш за масив от данни като за обем и да работиш с неговите части без да правиш невероятни изчисления за трансформация на координати, тогава .reshape() е твой приятел.
Всички масиви, създадени чрез операции по рязане или рязане, са .reshape(), просто изглед на оригиналните данни. Когато итерацията, четете или записвате елементи в изглед, достъпвате суровия масив от данни. NumSharp прозрачно извършва съответните индексни трансформации за вас, така че можете да индексирате срезове с относителни координати.

Срезовете с отрицателни стъпки всъщност обръщат реда на срезовете. Предимството е, че не е необходимо да копира или изброява данни, точно както при IEnumerable.Reverse(). Разликата е, че изгледът (резултатът от операцията a["::-1"]) показва данните в обратен ред и можеш да индексираш тази обърната последователност без да я изброяваш.

При работа с високоизмерни данни, алгоритмите за тези данни също могат да станат много сложни. При употреба може да се извежда всеки обем с големи размери. Когато методът NumSharp на ToString() използва NDArray, забелязах колко прост и красив е станал алгоритъмът, като систематично и рекурсивно разделя ND обемите на (N-1)D обеми и т.н.

Този подход "разделяй и владей" връща нискоразмерни подтомове чрез нарязване на символите на диапазона с индексните символи на NumSharp.

Символът на обхвата ["start:stop:step"] ви позволява достъп до поддиапазон на даден обем със същата размерност. Така че дори ако изрежете само една колона от 2D матрицата, пак ще получите 2D матрица с само една колона. Ето един кратък C# код, който демонстрира това:

Индексният символ ви дава (N-1) размерен срез на зададеното място на N-измерния родителски обем. Така че изрязването на колона от двумерна матрица с индексни символи ви дава едноизмерен вектор:

Ако не сте забелязали разликата на пръв поглед, ето двете дефиниции на slice по-горе – ange[":,2:3"] срещу index[":,2"], които имат голямо влияние върху резултатите. Пълна препратка към новия символ на разрез може да се намери в уикито на NumSharp.

При внедряването на нарязване на N-измерни изгледи заключих, че може да е интересно за много други области в .NET, затова го разделих в собствена самостоятелна библиотека, наречена SliceAndDice. Тя се отличава като лек обвивка за индексиране на всяка C# структура от данни (като или) <T>ArraySlice и позволява да използвате същите механизми за премоделиране, рязане и преглед без всички други тежки числови изчисления. Само няколкостотин реда код са достатъчни, за да се постигнат отлични възможности за рязане! T[]IList<T>

NumSharp наскоро получи същия механизъм за нарязване и визуализация, което несъмнено прави NumPy една от най-важните библиотеки в екосистемата на машинното обучение на Python. SciSharp STACK е организация с отворен код от малък брой квалифицирани разработчици, които са работили много усърдно, за да внесат същата функционалност в .NET света. Последните подобрения на NumSharp са важен стълб за постигане на това.