AI工具狂扫论文错误，黑塑料毒性风波后，两大项目崛起。虽助减肥假与错，专家却忧误判伤人，未来是救星还是累赘？
去年末，全球媒体吵得沸沸扬扬，说黑塑料厨具含致癌阻燃剂，风险超标。可没多久就发现，这不过是研究里一个数学失误闹的乌龙——关键化学物质含量其实比安全线低十倍。眼尖的研究者立马指出，人工智能(AI)几秒钟就能揪出这错。这事儿一出，立马点燃了两个用AI查科学文献错误的项目的热情。
先说“黑铲子项目”，这是个开源AI工具，已经翻看了500多篇论文找茬。项目协调者、哥伦比亚卡塔赫纳的独立AI研究者 Joaquin Gulloso 说，他们有八个活跃开发者和几百个志愿者顾问，眼下还没公开错误清单，而是私下联系作者。“已经逮住不少问题了，清单长得吓人，简直疯了！” Gulloso 兴奋地说。另一边，“YesNoError”项目则野心更大。创始人 Matt Schlicht 是AI创业者，受“黑铲子”启发，靠自创加密货币撑腰，想把所有论文扫一遍。他透露，两个月内，他们的AI工具已经检查了37000多篇论文，网站上标出有问题的文章，虽然很多还没人工核实，但他信心满满地说有大规模验证的计划。
两项目都希望研究者在投稿前用上这些工具，期刊出版前也来一轮检查，目标是把错误和造假挡在科学文献门外。可这事儿听着美好，做起来却没那么简单。
学术圈里那些专查研究诚信的“侦探”们对这俩项目有点看好，但也捏了把汗。荷兰蒂尔堡大学的元科学学者 Michèle Nuijten 提醒，工具查错的本事和结果靠不靠谱，得说清楚。“万一指错了人，最后发现没问题，那名誉可就毁了。”她这话不无道理。瑞典林奈大学的法医元科学家 James Heathers 也帮“黑铲子”出过主意，他觉得现在胡乱发论文容易，想撤回来可难，AI先筛一遍再细查倒是个好开头。“还早，但我挺支持的。”他说。
其实，盯着论文毛病的工具不算新鲜，可这回靠大型语言模型(LLM)，查的范围广多了，从事实到计算、方法、引文，全都能扫。这些系统先把论文里的表格、图片扒出来，再用一套复杂指令(叫“提示”)告诉“推理模型”——一种特别的LLM——要找啥错。有时一篇论文得扫好几遍，要么查不同类型的错，要么互相验证。分析一篇论文的成本从15美分到几美元不等，看篇幅和指令复杂程度。
问题来了：AI也会看走眼。Gulloso 说，“黑铲子”的系统目前错判率在10%左右，每条疑似错误还得找专家复核，可找人成了最大瓶颈。项目创始人、软件工程师 Steve Newman 直言，这是个大难题。YesNoError那边，Schlicht 说他们从首批10000篇论文里挑了100个数学错误验证，90%的作者回了信，几乎都承认AI找的错没错。他们还打算跟 ResearchHub 合作，用加密货币雇博士科学家复核，可这计划还没启动。
然而，YesNoError网站上现在假阳性不少。林奈大学的诚信研究者 Nick Brown 随便点了40篇标红的论文，发现14个是AI瞎报的，比如说文中提到的图表不在论文里，其实就在那儿。“他们找的大多是写作问题，还老出错。”Brown 有点担心，这么下去会给科学圈添乱，净忙着澄清小错，像拼写错误这种，本该审稿时就抓住(两项目主要看预印本论文)。“除非技术大跳跃，不然这是在瞎忙活，太天真了。”他说。
Schlicht 不服气，反驳说他们正努力降假阳性。“小错误看着不重要，但就像黑厨具那篇，多一个零就能搅乱世界。”他还说已经跟学术圈的人聊上了，欢迎更多反馈。YesNoError还打算让持币者决定先查哪些论文，瞄准公众关注的热点，可 Brown 担心这会瞄上气候科学这种敏感领域。
如果真搞好了，Brown 觉得这些工具能揭开不少真相。“假设有人真弄出个厉害的，某些领域就像开了灯的蟑螂窝，乱套了。”他打趣道。想想那黑塑料风波，一个小错就能掀起轩然大波，AI查错这路还长着呢，到底是帮手还是添乱，谁心里也没准。
本文译自 nature，由 BALI 编辑发布。
（免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。 ）
