近日,PLOS数字健康发表的一项研究显示,人工智能ChatGPT能够达到或接近美国医学执照考试(USMLE)约60%的通过门槛,而且其回答具有连贯性、内在意义,并包含频繁的见解。
研究人员将2022年6月之前公开的USMLE的376个历史考题中,选了350个题目给人工智能进行测试。在去除不确定的回答后,ChatGPT在三次USMLE考试中的得分在52.4%和75.0%之间。每年的通过门槛约为60%。ChatGPT还在所有的回答中表现出94.6%的一致性,并在88.9%的回答中产生了至少一个重要的见解(新的、非常见的、在临床上有效的内容)。值得注意的是,ChatGPT超过了PubMedGPT的表现,PubMedGPT是一个专门针对生物医学领域文献进行训练的对应模型,它在USMLE式历史考题数据集上的得分是50.8%。