Оптимизация использования SmolLM2‑360M на Samsung Galaxy Watch 4

""Для оптимизации загрузки модели SmolLM2‑360M на устройстве Samsung Galaxy Watch 4 с 380MB оперативной памяти, вам потребуется внести изменения в llama_model_params. Используя параметр host_ptr, вы сможете напрямую указать на mmap-область. Это снижает потребление оперативной памяти с 524MB до 142MB, что является уменьшением на 74%. В результате время первого запуска сокращается с 19 секунд до 11 секунд, а время второго запуска до 2.5 секунд благодаря использованию кэша KV. Включите приведенный далее код для реализации этих оптимизаций. Код:</br></br>```C++\nllama_model_params.params.host_ptr = mmap_region;\n```\nТаким образом, вы сможете эффективно использовать ресурсы ограниченного устройства и значительно улучшить время загрузки.""