Огромная база промптов для нейросетей

Как добиться максимальной производительности от MoE моделей на устаревшем оборудовании

ChatGPT Программирование 8
mdda

Автор промпта

@mdda

Этот промпт поможет вам оптимизировать использование моделей MoE на старом оборудовании, предоставляя конкретные инструкции и советы. Вы научитесь передавать данные и настраивать параметры для достижения наилучших результатов.

Как использовать этот промпт

"1. Скопируйте предоставленный промпт. 2. Заполните переменные [МОДЕЛЬ_1], [МОДЕЛЬ_2] и [КОНТЕКСТ_МОДЕЛИ]. 3. Запустите инструкцию в вашей командной строке, следуя предоставленным шагам. 4. Получите результаты оптимизации и проанализируйте их."

Пример ответа нейросети

""При запуске модели Qwen 3.6 35B-A3B на старом GTX 1080, с учетом использования MoE offloading, я смог достичь производительности около 24 токенов в секунду. Вводя параметры, такие как --n-cpu-moe 30 и K=turbo4 V=turbo3, управление использованием ресурсов стало более эффективным. При добавлении поддержки MTP с использованием команды --override-tensor-draft, скорость обработки увеличилась до 22%, что достигло приемлемости в 79% для произвольных токенов. Эти шаги существенно улучшили общее время реакции и производительность системы.""

Вы недавно смотрели

Сохранено в браузере
🍪

Мы используем Cookies и LocalStorage

Это необходимо, чтобы сохранять вашу Историю просмотров, подставлять ваши данные в Конструкторе и добавлять промпты в Избранное. Мы не передаем эти данные третьим лицам.