没有一套基准、排行榜或评估工具能够成为模型评估的一站式服务。
研究人员将相关病例的文本粘贴到ChatGPT的提示中，然后由两名合格的医学研究员对AI生成的答案进行评分。ChatGPT在100个病例中仅有17个正确的诊断，72个错误的诊断，以及11个未完全捕捉到诊断的情况。其中，57%的错误诊断集中在同一器官系统。
要点:起初，它似乎很有希望。它提供了清晰的架构，选择了正确的框架，甚至将代码整齐地结构化。但兴奋是短暂的，因为它生成的代码不够好，我无法使应用程序启动。
情绪一旦被调动起来，社群中的反馈就像决堤一样涌现了出来——许多玩家都开始回忆起平时游戏中的感人瞬间，比如有人在游戏中遇到过善良的陌生人，向快要淘汰的他伸出双手、拉了一把;而受到帮助的玩家也报以回应，在下一局中将陌生人向前抛出，让他能够快人一步。