Skill · Claude Blog - Message Batches API
Claude Batch API से 50% लागत में 10 हज़ार कार्य पूरे करें
फोटो: Antonio Vivace Unsplash पर
गैर-आवश्यक AI कार्यभारों के लिए पूरा दाम देना बंद करें। Claude का Batch API मानक लागत के आधे पर 100,000 अनुरोधों को असिंक्रोनस रूप से संसाधित करता है और 24 घंटे के भीतर पूरा करता है। दस्तावेज़ वर्गीकरण, थोक डेटा संवर्धन और एक अनुमानित बजट पर बड़े पैमाने के विश्लेषण के लिए यह बिल्कुल उपयुक्त है।
Claude Message Batches API को उन पेशेवर कार्यभारों के लिए डिज़ाइन किया गया है जिनमें वास्तविक समय में प्रतिक्रियाओं की आवश्यकता नहीं होती-जैसे दस्तावेज़ वर्गीकरण, सामग्री विश्लेषण, डेटा निष्कर्षण या थोक शोध संश्लेषण। मानक API मूल्य पर अलग-अलग अनुरोध भेजने के बजाय, आप 100,000 प्रश्नों तक को एक ही बैच सबमिशन में पैक करते हैं, और Claude उन्हें प्रति-टोकन लागत के ठीक 50% पर असिंक्रोनस रूप से संसाधित करता है।
इसे लागू करने का तरीका इस प्रकार है: Anthropic Python SDK का उपयोग करके संदेश अनुरोधों की सूची वाला एक बैच बनाएँ, जिनमें से प्रत्येक पर एक कस्टम की (custom_id) टैग हो। प्रत्येक अनुरोध मानक Messages API प्रारूप का पालन करता है-मॉडल, max_tokens, सिस्टम प्रॉम्प्ट और संदेश। client.beta.messages.batches.create() के माध्यम से सबमिट करने के बाद, API एक बैच ID निर्धारित करता है और प्रसंस्करण शुरू कर देता है। परिणाम आम तौर पर एक घंटे के भीतर उपलब्ध हो जाते हैं (हालाँकि प्लेटफ़ॉर्म 24 घंटे के भीतर पूरा होने की गारंटी देता है), और आप client.beta.messages.batches.retrieve(batch_id) के साथ स्थिति की जाँच कर सकते हैं। परिणाम 29 दिनों तक बने रहते हैं।
व्यावहारिक उदाहरण: एक अनुपालन टीम को 5,000 विक्रेता अनुबंधों को जोखिम श्रेणी के अनुसार वर्गीकृत करना है। मानक API कॉल का उपयोग करने पर 500 डॉलर खर्च होंगे; वही बैच 250 डॉलर में पड़ेगा। अनुरोधों में इस तरह के निर्देश सेट करें जैसे "इस अनुबंध को भुगतान शर्तों, दायित्व खंडों और समाप्ति शर्तों के आधार पर उच्च, मध्यम या निम्न जोखिम के रूप में वर्गीकृत करें", प्रत्येक अनुबंध को एक कस्टम की (custom_id) के रूप में संलग्न करें, बैच सबमिट करें और रात भर में परिणाम प्राप्त करें। कोई वास्तविक समय की प्रतीक्षा नहीं, कोई टोकन का अपव्यय नहीं।
मुख्य बाधा: बैचों में स्ट्रीमिंग और फास्ट मोड असमर्थित हैं, इसलिए यह उन कार्यों के लिए सबसे उपयुक्त है जहाँ आपके पास पहले से इनपुट का संग्रह हो और आप असिंक्रोनस प्रसंस्करण बर्दाश्त कर सकें। बार-बार दोहराए जाने वाले संदर्भ पर और भी अधिक बचत के लिए बैच प्रसंस्करण को Claude के प्रॉम्प्ट कैशिंग के साथ मिलाएँ-उद्यम बड़े पैमाने के संचालन पर 75% लागत में कमी हासिल करने के लिए दोनों तकनीकों को एक साथ लागू करने की रिपोर्ट करते हैं।
स्रोत और क्रेडिट
मूल स्रोत: Claude Blog - Message Batches API