用ChatGPT诊断儿科疾病?新研究泼冷水:准确率仅17%

1月5日消息,纽约科恩儿童医学中心的三位儿科医生最近对大型语言模型 ChatGPT 的儿科疾病诊断能力进行了评估,结果令人失望。

IT之家报道,他们让 ChatGPT 诊断了 100 个随机的儿科病例,结果发现其准确率仅有 17%。这项研究发表在权威期刊《JAMA 儿科病学》上。

研究人员指出,儿科诊断尤其具有挑战性,因为除了要考虑患者的全部症状外,还必须将年龄纳入考量。

近年来越来越多的人将大型语言模型视为一种潜在的医疗诊断工具,为了评估其实际效用,研究人员收集了 100 个随机的儿科病例,并让 ChatGPT 诊断。

为了简化操作,研究人员统一采用相同的方式向 ChatGPT 询问每个病例。他们首先粘贴病例文本,然后让其给出“鉴别诊断”和“最终诊断”。

鉴别诊断是一种基于患者病史和身体检查,初步列出可能的诊断,而最终诊断则是最有可能导致患者症状的原因。

ChatGPT 的回答由两位未参与研究的儿科医生进行评分,评分分为“正确”、“错误”和“诊断不完整”三种。

研究团队发现,ChatGPT 只有 17 次回答被评为“正确”,其中 11 次虽然与正确诊断存在临床关联,但仍存在错误。

研究人员表示,ChatGPT 目前显然还无法作为诊断工具,但通过更具针对性的训练可能会提高其准确性。

他们进一步建议,在未来改进之前,ChatGPT 或许可以作为一种辅助工具,用于整理文件、协助撰写研究文章或为患者提供术后护理指南等。

极客网企业会员

免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。

2024-01-05
用ChatGPT诊断儿科疾病?新研究泼冷水:准确率仅17%
还差很远。

长按扫码 阅读全文