剑指GPT-4，百度文心4.0究竟有多强？

撰文 | 程书书

编辑 | 李信马

题图 | 百   度

前几天，百度世界大会上，文心大模型4.0发布。而李彦宏宣称，新版本的文心大模型“综合水平与 GPT-4 相比已经毫不逊色”，更是一石激起千层浪。

自此之后，在各家的评测中，文心大模型4.0已经与GPT-4的巅峰对决了N个回合，可以说难解难分。不过，GPT-4虽然是目前世界公认的一流水平，但收费价格不低，对国内用户来说使用也不方便，文心一言却已经面向全社会免费开放。

走路要一步一个脚印，今天就不整它俩的比拼了，而是测一测文心大模型4.0与目前仍免费的GPT-3.5的差别，看一看现在的文心大模型，是否明显优于后者，如果是的话，那对绝大多数用户来说，选哪个就清楚了。

先说测评维度，这一次的大模型评测，按照业界普遍使用的语言理解、推理、生成、记忆这四个维度。俗话说因地制宜，安排的题目中，还包括今年国家公务员考试《行测》的真题，真实展现大模型在中文领域的实际水平。

一、理解能力

第一题，据说在中文考试中绕晕外国人的语言理解题目——说曹操到曹操就到了。

小明跟小亮说小刚昨天参加了百米赛跑，这个时候小刚正好经过，小亮就说：“说曹操到，曹操就到。” 分析一下，究竟是谁到了？

文心大模型4.0的回答如下：

GPT-3.5的回答如下：

可以看到，文心大模型4.0对于中文谚语理解非常到位，而再看GPT-3.5的回答，只能说一塌糊涂。这一题，文心大模型4.0明显胜出。

刚刚的问题可能有点太欺负外国大模型了，紧接着，又从今年的国家公务员考试《行测》中扒来一道语言理解与表达试题。

每个企业都有自己的核心价值观，它是企业一切理念、制度和技术的价值基础。企业在重视财务、营销、技术的同时，更应重视员工。员工是企业的主人，是企业的根本，只有建立起以“重视员工”为核心价值观的企业文化，企业才能凝聚员工、创造个性，为自身的发展提供目标、方向和定力。 这段文字意在说明什么？（国家公务员考试《行测》语言理解与表达试题）

文心大模型4.0的回答如下：

GPT-3.5的回答如下：

这一题的结果，应该说是双方势均力敌，文心大模型4.0言简意赅说出重点，GPT-3.5则条理清楚分析出结论。

二、逻辑推理能力

在这一维度，同样在《行测》找来两道真题，第一道是数学推断计算题。

甲、乙等16人参加乒乓球淘汰赛。每轮对所有未被淘汰选手进行抽签分组两两比赛，胜者进入下一轮。已知除了甲以外，其余任意两人比赛时双方胜率均为50%。甲对乙的胜率为0%，对其他14人的胜率均为100%。则甲夺冠的概率是多少？（国家公务员考试《行测》数量关系试题）

文心大模型4.0的回答如下：

GPT-3.5的回答如下：

不愧是国考题，文心大模型4.0和GPT-3.5都被整懵了，两个答案全部错误。正确的答案是11/15，文心大模型明显是没理解题目的意思，想的过于复杂。GPT-3.5给出来的答案则让人哭笑不得，思路直接就是错的，又想的太过于简单了，很难说哪个更强一点。

第2题就更加高端了，是看图分析规律推理出答案，不过由于GPT-3.5不能查看图片，这一题就只有文心大模型来作答了。

让没有想到的是，文心大模型4.0不仅可以识别图片问题，还能准确的根据规律得出正确结果，可以说是碾压性胜利。

三、生成能力

在这个维度，设置了根据描述生成文案、图画以及视频三个测试题。第一题，请根据“吵架”生成一段文案，文心大模型4.0的回答如下：

GPT-3.5的回答如下：

两者算是打了个平手，都是对于“吵架”这一负情绪词进行正向引导。接下来的两题，由于GPT-3.5无法生成图片和视频，可以说文心大模型不战而胜了，来看下结果吧。

请根据“为有暗香来”生成一幅画，文心大模型4.0的回答如下：

文心大模型4.0直接根据题意给出了四幅不同风格的画作，可以说，在图像生成上确实进步不少。

根据“双十一”生成一段视频，文心大模型4.0的回答如下：

不知道为何，文心大模型4.0也没能直接呈现出一段视频，只是根据指示词给出了一个视频脚本来，可能还有待进步吧。

四、记忆能力

最后一个维度就是十分重要的记忆能力。要求以“我喝了一口核污水”为开头写一篇小说。

文心大模型4.0的回答如下：

GPT-3.5的回答如下：

可以看到，在故事创造上，文心大模型4.0更偏重于结构框架，而GPT-3.5则偏重于故事内容。这让有一个大胆的设想，用文心大模型4.0写框架，用GPT-3.5填写内容，是不是就能得到一部完整的小说？

言归正传，继续提出增加人物背景、增加故事人物角色、增加冒险情节、丰富故事内容、增加具体情节等指令来。

文心大模型4.0的回答如下：

GPT-3.5的回答如下：

多轮问答后，文心大模型4.0和GPT-3.5都能根据给出指令适当增加内容，同时呼应之前给出的内容，但也会有一些细节遗忘，整体来看表现都不错。

结语：

根据测评结果来看，文心大模型4.0整体水平优于GPT-3.5，尤其在理解和生成两方面，表现令人惊喜。

大模型目前处于高速发展阶段，性能和应用效果都在不断提升，也曾一度引发了国内对于是否会在大模型领域落伍的担忧，不过从刚刚的对比结果来看，像百度文心这样的国产大模型同样表现优秀，即使会有差距，也是可以追赶，甚至是在短时间内追赶上的，大家不必杞人忧天。

相信未来，我们也将看到能力更强的国产大模型，在各行各业落地生根，便利我们的生活。

生成海报

免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。