Панель кэша промптов, показывающая процент попаданий и количество пропущенных повторяющихся токенов при активном кэше. Инженер за консолью изучает светящуюся голографическую панель кэша промптов, отображающую процент попаданий кэша, количество пропущенных повторяющихся токенов и прирост эффективности при активном статусе кэша. Концепция кэширования промптов, повторного использования контекста и снижения стоимости инференса. Сгенерировано ИИ.