Réduire de 90 % les coûts de l'API Claude grâce à la mise en cache des prompts

Cessez de retraiter les mêmes prompts système et contextes à chaque appel d'API. La mise en cache des prompts stocke les préfixes de prompt répétés et les réutilise d'une requête à l'autre avec 90 % de réduction sur le prix standard des entrées, ce qui diminue considérablement les coûts pour les systèmes RAG, les conversations multi-tours et les flux de travail par lots.

La fonction de mise en cache des prompts de Claude vous permet de marquer certaines parties de votre prompt comme pouvant être mises en cache - généralement les instructions système, les définitions d'outils et le contexte statique - afin que l'API réutilise la représentation traitée d'une requête à l'autre au lieu de retraiter les mêmes tokens à chaque fois. C'est particulièrement puissant pour les flux de travail en production où le même grand ensemble d'instructions ou la même base de connaissances est envoyé de façon répétée.

Pour l'implémenter, vous marquez un point de rupture de cache avec cache_control: {"type": "ephemeral"} sur des blocs de contenu d'au moins 1024 tokens (pour les modèles Sonnet/Opus). Lors de la première requête, Claude traite tout normalement. Lors des requêtes suivantes avec un préfixe identique, le système récupère la version mise en cache depuis la couche de cache et ne traite que les nouveaux tokens de suffixe que vous ajoutez - en payant environ 10 % du prix standard des entrées pour les hits de cache.

Un exemple concret : si vous exploitez un chatbot de support client utilisant une base de connaissances d'entreprise de 20 000 tokens, l'envoi de cette base à chaque message client coûte 4 $ pour 100 requêtes sur Claude Sonnet 5.5. Avec le cache, les mêmes 100 requêtes coûtent environ 0,25 $, car seul le message réel du client (le suffixe non mis en cache) est facturé au plein tarif. Combinez cela avec l'API Batch (50 % de réduction supplémentaire pour le travail asynchrone) et vous obtenez plus de 95 % d'économies totales sur les coûts de tokens.

Notez que les préfixes mis en cache expirent après 5 minutes par défaut - rafraîchis à chaque hit de cache - donc le TTL compte pour votre profil de trafic. Pour les charges de travail à haute fréquence, la valeur par défaut de 5 minutes suffit généralement. Pour les requêtes éparses, envisagez l'option TTL d'une heure (disponible via ttl: "1h" dans votre requête API).