Ускорьте обучение с помощью кеширования промптов - 7.5x прирост производительности

""Кеширование промптов позволяет значительно сократить вычислительные ресурсы за счёт обработки общего ввода с многоразовой генерацией ответов. При использовании промпта длиной 1000 токенов и короткого ответа в 100 токенов, кеширование позволяет нивелировать избыточные вычисления, так как при 8800 токенах в выборке фактически только 1800 из них уникальны. Это приводит к впечатляющему приросту производительности до 7.5 раз, что делает систему более эффективной и быстрой.""