Огромная база промптов для нейросетей

Как оптимизировать производительность LLM с помощью настройки предзаполнения

ChatGPT Программирование 13
✓
bakawolf123

Автор промпта

@bakawolf123

Этот промпт поможет вам оптимизировать использование ресурсов LLM, настроив размер предзаполнения для повышения скорости генерации. С его помощью вы сможете экспериментировать с различными шагами предзаполнения и получать необходимую информацию для ваших приложений.

Как использовать этот промпт

"1. Скопируйте данный промпт. 2. Заполните переменную [РАЗМЕР_ШАГА_ПРЕДЗАПОЛНЕНИЯ] в соответствии с вашими тестами. 3. Запустите модель и получите результаты в виде таблицы для анализа."

Пример ответа нейросети

""При тестировании GLM-flash-4bit с размером шага предзаполнения 8192 на 32768 токенах мы получили следующие результаты: скорость генерации токенов составила 1056.033, общее время выполнения теста — 38.082 секунд. На тестах с 65536 токенов скорость составила 919.958 токенов в секунду, а время — 78.203 секунд. Таким образом, увеличение размера предзаполнения прямо пропорционально увеличивает скорость генерации до определенного предела.""

Вы недавно смотрели

Сохранено в браузере
🍪

Мы используем Cookies и LocalStorage

Это необходимо, чтобы сохранять вашу Историю просмотров, подставлять ваши данные в Конструкторе и добавлять промпты в Избранное. Мы не передаем эти данные третьим лицам.