प्रॉम्प्ट कैशिंग से Claude API लागत में 90% की कटौती करें

Claude की प्रॉम्प्ट कैशिंग सुविधा आपको अपने प्रॉम्प्ट के कुछ हिस्सों को कैश-योग्य के रूप में चिह्नित करने देती है-आमतौर पर सिस्टम निर्देश, टूल परिभाषाएँ और स्थिर कॉन्टेक्स्ट-ताकि API हर बार समान टोकन को दोबारा प्रोसेस करने के बजाय अनुरोधों में प्रोसेस किए गए प्रतिनिधित्व का पुनः उपयोग करे। यह उन उत्पादन वर्कफ़्लो के लिए विशेष रूप से शक्तिशाली है जहाँ समान बड़ा निर्देश सेट या ज्ञान आधार बार-बार भेजा जाता है।

इसे लागू करने के लिए, आप उन कंटेंट ब्लॉक्स पर cache_control: {"type": "ephemeral"} का उपयोग करके एक कैश ब्रेकपॉइंट चिह्नित करते हैं जो कम से कम 1024 टोकन के हों (Sonnet/Opus मॉडल के लिए)। पहले अनुरोध पर, Claude सब कुछ सामान्य रूप से प्रोसेस करता है। समान प्रीफ़िक्स वाले बाद के अनुरोधों पर, सिस्टम कैश लेयर से कैश किए गए संस्करण को पुनः प्राप्त करता है और केवल आपके द्वारा जोड़े गए नए सफ़िक्स टोकन को प्रोसेस करता है-कैश हिट के लिए मानक इनपुट मूल्य का लगभग 10% भुगतान करते हुए।

एक वास्तविक उदाहरण: यदि आप 20,000-टोकन वाले कंपनी ज्ञान आधार का उपयोग करके ग्राहक सहायता चैटबॉट चलाते हैं, तो हर ग्राहक संदेश पर उस आधार को भेजने पर Claude Sonnet 5.5 पर प्रति 100 अनुरोधों पर $4 का ख़र्च आता है। कैश होने पर, वही 100 अनुरोधों की लागत लगभग $0.25 होती है, क्योंकि केवल ग्राहक का वास्तविक संदेश (गैर-कैश किया गया सफ़िक्स) पूर्ण मूल्य वहन करता है। इसे Batch API के साथ जोड़ें (अतुल्यकालिक कार्य के लिए 50% अतिरिक्त छूट) और आप टोकन लागत पर 95%+ की कुल बचत देख रहे हैं।

ध्यान दें कि कैश किए गए प्रीफ़िक्स डिफ़ॉल्ट रूप से 5 मिनट के बाद समाप्त हो जाते हैं-हर कैश हिट पर नवीनीकृत-इसलिए TTL आपके ट्रैफ़िक पैटर्न के लिए मायने रखता है। उच्च-आवृत्ति वाले वर्कलोड के लिए, 5 मिनट का डिफ़ॉल्ट आमतौर पर ठीक रहता है। विरल क्वेरीज़ के लिए, 1 घंटे के TTL विकल्प पर विचार करें (आपके API अनुरोध में ttl: "1h" के माध्यम से उपलब्ध)।