Как ускорить обработку моделей ИИ на NPU до 1.5× быстрее

""Как опытный инженер-программист, я обнаружил, что веса в формате int8 могут храниться в виде двух нибблов. Я проанализировал структуру и реализовал алгоритмы, которые позволили производить прямую вставку весов в предварительно скомпилированные движки. Это обеспечивает значительное увеличение скорости обработки, достигая результатов до 1.5× быстрее по сравнению со стандартными методами. Наши тесты показали, что при этом вывод данных остается идентичным, а нагрузка на процессор минимизируется.""