12月8日消息，谷歌7日凌晨终于发布双子座 Gemini 大模型，声称 MMLU 多任务语言理解数据集测试，Gemini Ultra 不光超越 GPT-4，甚至超越了人类专家。
然而有眼尖的网友发现，在谷歌所给的图片中，MMLU 测试中，Gemini 结果下面灰色小字标称 CoT@32，展开来代表使用了思维链提示技巧、尝试了 32 次选最好结果。
而作为对比的 GPT-4，却是无提示词技巧给 5 个示例，这个标准下 Gemini Ultra 其实并不如 GPT-4。以及原图比例尺也有点不厚道了，90.0% 与人类基准 89.8% 明明只差一点，y 轴上却拉开很远。
HuggingFace 技术主管 Philipp Schmid 用技术报告中披露的数据修复了这张图，这样展示更公平恰当：
不仅如此，Gemini 在发布时，谷歌给出的一系列 Demo 中最令人眼花缭乱的部分是伪造的。
名为《Hands-on with Gemini: Interacting with multimodal AI》的视频现在的播放量已经有 140 万次，其中展示了谷歌认为自己「最喜欢的与 Gemini 的交互案例」，展示了多模态模型（即它理解并混合语言和视觉理解）如何灵活地响应各种输入。
但点击 YouTube 上的视频描述，可以发现 Google 有一个重要的免责声明：「为了演示的目的，已经减少延迟，为了简洁，Gemini 的输出也缩短了。」
也就是说，该视频并非原始输出，而是进行了剪辑和优化。随后，谷歌官博也放出了解释——是的，视频的确有后期制作和剪辑的成分。
据新智元报道，根据官方发布的一个技术文档，Gemini所有的这些交互都不是实时感知到的，而是通过提示词问出来的。但其实，真实的过程是，向Gemini上传一张手比剪刀的照片，问它看到了什么。然后用人声把它的回复读了出来。
而石头剪子布的视频，则是把三张照片依次传给Gemini，让它把这三张照片连在一起推理，它直接给出回答，这是在玩石头剪子布。
所以，实际上并不是Gemini看懂了一段视频，它只是看懂了三张图片，并且做出了推理而已。
同样，在识别行星的演示，视频给人营造的感觉仿佛是直接问Gemini「这个顺序正确吗」，它就能回答不正确，应该是太阳、地球、土星。
但实际上，是谷歌给了Gemini一句prompt：「这个顺序正确吗？请考虑它们与太阳的距离，并且解释你的理由」，随后，Gemini才回答了那样一句话。
很多网友也认为，谷歌这种有意地误导性呈现，反而让用户会怀疑，到底模型的真实能力有多强。毕竟，产品不能永远停留在宣传视频里，最终都要交到用户手上去体验。
这个视频最大的误导性在于，似乎让用户误以为Gemini能实时的读取视频信息，并且能够通过自己的理解直接推测用户的问题并直接回复。
而实际情况是，谷歌员工是通过读取图片+良好的提示词工程才能让Gemini生成这些回复的。
- 蜜度索骥：以跨模态检索技术助力“企宣”向上生长
- 特斯拉CEO马斯克身家暴涨，稳居全球首富宝座
- 阿里巴巴拟发行 26.5 亿美元和 170 亿人民币债券
- 腾讯音乐Q3持续稳健增长：总收入70.2亿元，付费用户数1.19亿
- 苹果Q4营收949亿美元同比增6%，在华营收微降
- 三星电子Q3营收79万亿韩元，营业利润受一次性成本影响下滑
- 赛力斯已向华为支付23亿，购买引望10%股权
- 格力电器三季度营收同比降超15%，净利润逆势增长
- 合合信息2024年前三季度业绩稳健：营收增长超21%，净利润增长超11%
- 台积电四季度营收有望再攀高峰，预计超260亿美元刷新纪录
- 韩国三星电子决定退出LED业务，市值蒸发超4600亿元
免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。
