Как достичь 40tg/s на Qwen3.6 с GPU и настройками Turboquant

""Чтобы достичь максимальной производительности на Qwen3.6 с использованием Turboquant и GPU, следуйте следующим шагам. При использовании видеокарты RTX 3080 и 12 ГБ видеопамяти, вы можете установить следующие параметры для оптимизации: \n\n1. Используйте флаги компиляции: -DGGML_CUDA=ON, -DGGML_CUDA_FA_ALL_QUANTS=ON и -DGGML_CUDA_F16=ON для активирования CUDA и улучшения обработки. \n2. Установите размер контекста в 260k и включите параметры управления, такие как --presence-penalty и --repeat-penalty в 0.0 и 1.0 соответственно, чтобы предотвратить избыточные повторения в ответах. Таким образом, ваш процесс будет более эффективным на всех этапах запроса.""