10月2日消息，美东时间10月1日OpenAI举行了年度开发者大会DevDay，推出系列新工具，包括四大创新：实时API（Realtime API）、视觉微调（Vision Fine-Tuning）、提示词缓存（Prompt Caching）、模型蒸馏（Model Distillation），为开发者带来在降低模型成本、提高模型视觉理解水平、提升语音AI功能和小模型性能的新选择。在OpenAI官网，上述功能介绍已经做了全面更新，一起看看。
实时 API（Realtime API）
OpenAI DevDay发布了Realtime API，目前处于公开测试beta阶段。
Realtime API 能够构建低延迟、多模式对话体验。它目前支持文本和音频作为输入和输出，以及函数调用。Realtime API 中的音频功能由新的 GPT-4o 模型“gpt-4o-realtime-preview”提供支持。
通过此更新，开发人员可以将任何文本或音频输入传递到 GPT-4o，并让模型以他们选择的文本、音频或两者做出响应。
本质上，Realtime API 简化了构建语音助手和其他对话式 AI 工具的过程，无需将多个模型拼接在一起进行转录、推理和文本到语音的转换。
Realtime API 定价方面，Realtime API 同时使用文本tokens和音频tokens。文本输入tokens的价格为5 美元/百万tokens，输出tokens的价格为20 美元/百万tokens。音频输入的价格为100 美元/百万tokens，输出的价格为200美元/百万tokens。这相当于每分钟音频输入约 0.06 美元，每分钟音频输出约 0.24 美元。
视觉微调（Vision Fine-Tuning）
OpenAI DevDay公布，OpenAI最新的大语言模型（LLM） GPT-4o 引入了视觉微调。此功能让开发人员可以自定义模型以获得更强大的图像理解能力，从而实现增强的视觉搜索功能、改进的自动驾驶汽车或智能城市的物体检测以及更准确的医学图像分析等应用。
视觉微调遵循与文本微调类似的过程——开发人员可以准备他们的图像数据集，然后将该数据集上传到Open AI的平台。他们可以用少至 100 张图像来提高 GPT-4o 在视觉任务中的性能，并使用更大量的文本和图像数据来提高性能。
OpenAI举例称，东南亚食品配送和拼车公司Grab已经利用这项技术改进其地图服务。仅使用 100 个示例进行视觉微调，教会 GPT-4o 正确定位交通标志并计算车道分隔线以优化其地图数据，结果，与基础 GPT-4o 模型相比，Grab 能够将车道计数准确度提高 20%，限速标志定位率提高13%。
价格方面，截至 2024年10月31日，OpenAI每天免费提供100万tokens，以使用图像微调 GPT-4o。2024 年 10 月 31 日之后，GPT-4o 微调训练将花费每 100 万tokens 25 美元，推理将花费每 100 万个输入tokens 3.75 美元和每 100 万个输出tokens 15 美元。图像输入首先根据图像大小进行标记，然后按与文本输入相同的每令牌费率定价。
提示词缓存（Prompt Caching）
提示词缓存被视为本次DevDay发布的最重要更新。该功能旨在降低开发者的成本、减少延迟。
许多开发人员在构建 AI 应用程序时，会在多个 API 调用中重复使用相同的上下文，例如在编辑代码库或与聊天机器人进行长时间的多轮对话时。今天，我们推出了提示词缓存（Prompt Caching），让开发人员可以降低成本和延迟。通过重复使用最近处理的输入token，开发人员可以获得 50% 的折扣和更快的提示词处理时间。
目前，提示词缓存（Prompt Caching）已自动应用于最新版本的 GPT-4o、GPT-4o mini、o1-preview 和 o1-mini，以及这些模型的微调版本。与未缓存的提示相比，缓存的提示可享受折扣。
模型蒸馏（Model Distillation）
OpenAI 推出了一款新的模型蒸馏产品，为开发人员提供集成的工作流程，以直接在 OpenAI 平台内管理整个蒸馏流程。
这让开发人员可以轻松使用前沿模型（如 o1-preview 和 GPT-4o）的输出来微调和提高更具成本效益的模型（如 GPT-4o mini）的性能，让小模型也可拥有尖端模型功能。
这种方法让小公司也可能利用与尖端模型类似的功能，并且无需承担使用这类模型的计算成本。例如一家从事医疗技术的小型初创公司要为农村的诊所开发一种AI 驱动的诊断工具。使用模型蒸馏，该公司可以训练一个紧凑的模型，该模型可以捕捉大模型的大部分诊断能力，同时只需要在标准的笔记本电脑或平板电脑上运行。
- 蜜度索骥：以跨模态检索技术助力“企宣”向上生长
- TechWeb微晚报：苹果开发全新Siri，尊界尺寸可能超越99.99%的轿车
- 毫末智行回应裁员：正常组织调整，比例很小
- 谷歌恐难逃分拆命运：即将迎来特朗普大苦主
- 余承东：尊界车长约5.5米 尺寸可能超越马路上99.99%的轿车
- 逾10年潜心自研芯片创新，亚马逊云科技Graviton在新实例中已打下三分天下
- 长城汽车CTO否认“与华为合作”传闻：对自己的智驾技术相当有底气
- 接入混元大模型 腾讯搜狗输入法讲起AI新故事
- 张朝阳谈互联网创新：创新不仅是创造力的体现，更是实践落地后的成功
- 阅文集团：《庆余年》《全职高手》入选“数字文化十大IP”
- 李斌立flag：明年销量翻倍，后年盈利
免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。
