Skill · Google AI Developers blog
用Gemini同时搜索混合型PDF和图像
图片: jonakoh _ 来自 Unsplash
无需繁琐的OCR,即可从同时包含文本和图表的复杂文档中提取数据。Gemini的多模态文件搜索如今在单一向量数据库中索引PDF和图像,让你能够结合产品照片或带图表的法律文档来查询财务报告--回答诸如"哪些图表显示了第三季度营收增长?"之类的问题,并提供完整引用。
企业数据往往杂乱无章:财务报告内嵌图表,合同带有手写批注,技术规格则将示意图与文字混排。直到不久前,从这些混合媒体文档中检索信息仍需通过OCR将图像转换为文本--这是一个缓慢且易出错的瓶颈。Gemini的File Search工具在2026年5月改变了这一局面,它通过Gemini Embedding 2模型实现了原生多模态支持。
这一方法比传统的RAG流程更为简单。你创建一个File Search存储库,指定嵌入模型(用于多模态时使用gemini-embedding-2),上传文件(PDF、PNG、JPEG、WebP),系统便会自动将文本和视觉内容索引到同一个共享向量空间中。一位检索财报文稿库的专业人士不再需要分别维护文本数据库和图像数据库--只需一次查询,如"展示比较营收同比增长的图表",即可从PDF中检索出相关可视化内容,无需任何预处理。
在实际工作中:律师在审阅合同修订条款时同时查看法规示意图、分析师从带有内嵌图表的季度报告中提取模式、产品团队分析竞争对手产品照片与规格表混排的资料,都能从这种统一搜索中获益。元数据过滤可让你缩小结果范围(例如仅限2025年的财务部门文档),而页码引用则能准确显示每个答案的来源之处。
其成本结构对开发者颇为友好:存储和查询时的嵌入均免费;你只需为索引和token付费。安装配置需要Gemini API(支持Python、JavaScript或Java SDK),但学习曲线较为平缓--File Search文档包含可直接运行的代码示例,便于立即上手实验。
来源与版权