谷歌新API助开发者省75%,「隐式缓存」让开发成本大降,革新行业!
谷歌近日推出的Gemini 2.5 API新功能“隐式缓存”引起了业界的广泛关注。这一功能旨在自动识别并重用API请求中的常见前缀,从而大幅降低开发者的使用成本,最高可达75%。这一革新性的举措无疑将对整个行业产生深远影响。
首先,让我们来了解一下“隐式缓存”的工作原理。与谷歌之前推出的“显式缓存”不同,隐式缓存无需开发者手动配置,而是系统默认开启。它能够自动检测API请求中的重复前缀并加以重用,从而避免了重复的API调用,极大地节省了开发者的时间和精力。这种自动识别和重用前缀的功能,将极大地提高开发效率,降低开发成本。
为了帮助开发者充分利用隐式缓存,谷歌提出了一些实用的建议。在构建提示词时,他们建议将稳定、常见的内容放在开头,后面再添加用户特定的变量内容。这样的布局可以提高缓存命中率,进一步优化开发效果。此外,短时间内发送具有相似前缀的请求也能提高缓存命中率,这也是谷歌优化API使用体验的重要一环。
同时,谷歌还设定了最低的Token数量要求。对于Gemini 2.5 Flash,需要1024个Token,而对于Gemini 2.5 Pro,则需要2048个Token。这些Token在API响应中新增的“cached_content_token_count”字段中会显示,开发者可以清晰地了解缓存Token的使用情况和优惠计费详情。
尽管谷歌宣称隐式缓存能够节省75%的成本,但实际效果如何,还有待第三方验证。而且,不同的使用模式可能会对效果产生影响。因此,开发者在使用这一新功能时,需要结合自己的实际需求进行测试和调整,以获得最佳的使用效果。
值得一提的是,尽管显式缓存仍作为可选方案,支持Gemini 2.5及2.0模型,允许开发者自定义缓存内容和生存时间(TTL,默认1小时),但谷歌此举无疑为开发者提供了更多的灵活性和选择。对于那些需要更高自由度的开发者来说,显式缓存仍然是一个值得考虑的方案。
总的来说,谷歌的新API功能“隐式缓存”无疑是一个具有创新性的举措。它通过自动识别和重用API请求中的常见前缀,降低了开发者的使用成本,提高了开发效率。同时,谷歌也提供了实用的建议和策略,帮助开发者充分利用这一新功能。虽然实际效果还有待验证,但它的出现无疑为开发者提供了新的可能性,有望引领行业的发展。
最后,无论选择哪种方式,开发者都应保持开放和灵活的心态,不断尝试和探索新的技术和方法,以适应不断变化的市场需求和技术趋势。谷歌的新API功能“隐式缓存”正是这样一个值得期待的革新性举措,值得我们期待其在未来的表现和影响。
(免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。 )