科学家发现 ChatGPT 在回答计算机编程问题时不准确

普渡大学的一个计算机科学家团队发现，流行的法学硕士程序 ChatGPT 在回答计算机编程问题时非常不准确。 在 纸 作为一部分发布 CHI 计算系统中的人为因素会议论文集该小组描述了他们如何从 StackOverflow 中提取问题，在 ChatGPT 上提出问题，然后在回答时衡量其准确性。

该团队还在计算系统中的人为因素会议上展示了他们的发现（志2024）于5月11日至16日举行。

ChatGPT 和其他 LLM 软件最近经常出现在新闻中 – 随着此类应用程序向公众开放，它们变得非常受欢迎。 不幸的是，除了这些应用程序提供的许多响应中包含的有用信息宝库之外，还存在大量不准确的信息。 更不幸的是，应用程序何时给出错误答案并不总是很清楚。

在这项新研究中，普渡大学团队观察到，许多编程学生开始使用 MBA 不仅是为了帮助编写编程作业的代码，而且是为了回答与编程相关的问题。 例如，学生可以问 ChatGPT，冒泡排序和合并排序之间有什么区别，或者更常见的是，什么是递归？

为了了解 MBA 能够如何准确地回答此类问题，研究团队将注意力集中在其中一个问题上：ChatGPT。 为了找到测试应用程序时使用的问题，研究人员使用了 StackOverflow 上免费提供的问题，该网站旨在帮助程序员通过与自己感兴趣领域的其他人合作来了解更多编程知识。 在网站的某一部分，用户可以发布问题，其他知道答案的人将回答这些问题。

研究团队使用了网站上的 517 个问题，然后测量了 ChatGPT 给出正确答案的次数。 不幸的是，这仅占案例的 52%。 他们还发现，与向人类专家询问同样的问题相比，答案往往更详细。

令人震惊的是，该团队发现用户研究的参与者在 35% 的情况下更喜欢 ChatGPT 提供的答案。 研究人员还发现，经常阅读 ChatGPT 提供的答案的用户并没有注意到所犯的错误，而是在 39% 的情况下忽略了错误的答案。

© 2024 科学网