Огромная база промптов для нейросетей
Конструктор Промптов Пошаговые Гайды Топ Авторов Избранное

Как запускать тяжелые модели ИИ на Mac с 16 ГБ ОЗУ

ChatGPT Программирование 64
✓
FenderMoon

Автор промпта

@FenderMoon
#модели машинного обучения #macos #оптимизация производительности

Этот промпт поможет вам оптимизировать запуск 26B-моделей на Mac с ограниченными ресурсами. Узнайте, как добиться высокой производительности при использовании CPU и квантования.

Как использовать этот промпт

"1. Скопируйте промпт в инструмент генерации. 2. Заполните переменные [ВЕРСИЯ_МОДЕЛИ], [ТИП_КВАНТУЕТА] и [РАЗМЕР_БАТЧА] соответствующими значениями. 3. Запустите запрос и получите вывод с инструкциями по настройке."

Пример ответа нейросети

""Для запуска модели на вашем Mac с 16 ГБ ОЗУ, установите версию IQ4_NL с 4 битным квантованием. Убедитесь, что количество слоев GPU установлено на 0 и опция 'сохранить модель в памяти' отключена. Установите размер батча на 64. Также не забудьте активировать функцию 'think' в LMStudio, добавив {% set enable_thinking=true %} в шаблон. Ваши результаты будут оптимизированными для работы на данной конфигурации.""

Похожие промпты в категории «Программирование»

Как правильно разобрать вызовы инструментов в llama.cpp?

Этот промпт поможет разобраться с проблемой парсинга вызовов инструментов в библиотеке llama.cpp. Вы сможете получить инструкции и советы по правильному созданию и разбору вызовов.

Смотреть

Как отключить податливый режим чат-бота: идеальный промпт

Устали от ненужной сентиментальности чат-ботов? Этот промпт поможет вам заставить ИИ работать как нейтральная информационная система, исключив эмоциональные выражения и личные местоимения.

Смотреть

Как обучить ИИ нестандартной библиотеке с помощью 'Few-Shot' логики

Данный промпт помогает обучить модель ИИ синтаксису нестандартных библиотек, используя метод 'Few-Shot' логики. Это решение позволяет эффективно обучать ИИ новым функциям в процессе работы, что делает его незаменимым инструментом для программистов.

Смотреть

Вы недавно смотрели

Сохранено в браузере
🍪

Мы используем Cookies и LocalStorage

Это необходимо, чтобы сохранять вашу Историю просмотров, подставлять ваши данные в Конструкторе и добавлять промпты в Избранное. Мы не передаем эти данные третьим лицам.