Оптимизация многопартнерских систем на Android с использованием MNN
Этот промпт поможет разработчикам создать эффективную многопартнерскую настройку для мобильных устройств, учитывая ограничения по памяти и производительности. Вы узнаете о лучших практиках управления контекстом для тонких моделей.
Настройте промпт под свою задачу:
Как использовать этот промпт
"1. Скопируйте предложенный промпт. 2. Заполните переменные [МОДЕЛЬ], [УСТРОЙСТВО], [ОЗУ] в зависимости от вашей ситуации. 3. Запустите промпт в MNN и получите рекомендации по оптимизации вашей системы."
Пример ответа нейросети
""В процессе настройки многопартнерской системы на Android, разработчик, использующий модель 1.5B на Snapdragon 7s Gen 3, заметил, что контекстное раздувание значительно увеличивает время обработки. Каждый агент получает лишь последнее предложение предыдущего, что позволяет избежать лишнего контекста и снижает нагрузку на память. Рекомендуется использовать MNN с режимом внимания 14 для стабильной работы. Усредненная производительность достигает 8 токенов в секунду, что вполне приемлемо для выполнения задач.""