Skill · Anthropic Platform Docs - Batch Processing
将工作转移到离线处理,AI成本降低50%
图片: Markus Stickling 来自 Unsplash
使用Claude的Batch API,以半价在夜间处理大量非紧急请求。这种异步工作流程可将API成本从数百美元降至数十美元--非常适合不需要实时响应的文档分析、批量数据处理或研究汇总。
Claude的Message Batches API会在24小时窗口内异步处理请求,并对所有模型的输入和输出token统一提供50%的折扣。工作流程简单直接:与其进行按全价收费的单独同步API调用,不如将它们打包成一个批量请求,让其在后台处理。大多数批次会在一小时内完成,不过你有最多24小时的时间。
以下是一个专业示例:一个分析500份PDF摘要的研究团队目前每月在单独的API调用上花费150美元。改用批量处理后,同样的工作每月只需75美元。另一个用例:一个内容团队每晚要为1,000份客户合同生成合规报告,可以将它们作为包含10万条消息的一个批次提交,享受50%的折扣,将每月处理成本从2,000美元降至1,000美元。
要实施这一方案,请以数组格式准备请求,通过Message Batches API端点提交,然后轮询完成状态。该API每批次支持最多10万个请求或256 MB数据。处理结束后,结果会保留29天。关键限制在于:批量处理不支持流式响应或speed参数,因此不适合交互式工作流程--但对于夜间数据管道来说则非常理想。
起点:如果你的团队处理重复性的非紧急工作负载--每日报告生成、每周文献综述、每月数据审计或批量员工培训评估--找出这些任务并将它们转移到批处理。你将立即看到成本节省,同时保持相同的输出质量。对于每天处理超过1万个API token的团队,批量处理通常会在第一个月内就收回成本。
来源与版权