谷歌发布开源 LMEval：打破AI模型评测壁垒，一键评估，降低成本省时！
谷歌近日发布的开源框架LMEval，无疑为人工智能（AI）模型评测领域开启了一扇新的大门。这款由科技巨头倾力打造的开源工具，旨在为大语言模型和多模态模型提供标准化的评测工具，直击当前评测难题，一键评估，降低成本省时。
首先，我们要理解LMEval的背景和意义。在人工智能领域，评测新型AI模型一直是个难题。不同供应商使用各自的API、数据格式和基准设置，导致跨模型比较耗时且复杂。而LMEval的推出，正是为了解决这一问题，提供一个统一的基准设置，让研究人员和开发者能够展开标准化的评测流程，大幅简化了评测工作，节省了时间和资源。
其次，LMEval的另一个亮点在于其抹平了不同平台之间的接口差异。通过LiteLLM框架，谷歌成功地将Google、OpenAI、Anthropic、Ollama和Hugging Face等平台之间的接口差异降至最小，确保测试能够跨平台无缝运行。这一创新性的解决方案，无疑将加速AI领域的创新步伐。
再者，LMEval的评估类型支持也相当丰富。不仅支持文本评测，还涵盖图像和代码等领域的基准测试。新输入格式可轻松扩展，这意味着该框架能够适应未来可能出现的新领域。此外，LMEval还能识别模型采用的“规避策略”，即故意给出模糊回答以避免生成有风险内容。这一功能对于评估AI模型的潜在风险和安全性具有重要意义。
另外，谷歌还引入了Giskard安全评分，用以展示模型规避有害内容的表现。百分比越高，代表安全性越强。这一创新性指标将有助于提高AI模型在处理有害内容时的表现，从而更好地服务于社会。测试结果存储在自加密的SQLite数据库中，确保数据本地化且不会被搜索引擎索引，兼顾了隐私与便捷。
此外，LMEval还具备增量评估功能。无需在新增模型或问题时重新运行整个测试，仅执行必要的新增测试即可。这一特性将大大提高评测效率，降低计算成本和时间消耗。同时，LMEval还采用多线程引擎并行处理多项计算，进一步提升了评测速度。
为了便于用户使用LMEval，谷歌还开发了LMEvalboard可视化工具。通过雷达图展示模型在不同类别中的表现，用户可深入查看具体任务，精准定位模型错误，并直接比较多个模型在特定问题上的差异。这一工具的使用门槛低，图形化展示一目了然，大大提高了评测的便捷性。
综上所述，谷歌发布的开源框架LMEval无疑是一款具有开创性的评测工具。其标准化评测流程、抹平平台差异、丰富评估类型、识别规避策略、安全评分功能以及可视化工具等特性，将为AI模型评测领域带来革命性的变革。一键评估，降低成本省时，LMEval的推出将为研究人员和开发者节省大量时间和资源，推动人工智能领域的发展迈上新的台阶。
（免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。 ）
