斯坦福大学研究发现，AI 聊天机器人ChatGPT的表现非常不稳定
发布时间：2023-09-08 12:33:02 所属栏目：外闻 来源：转载
导读： 根据最近由斯坦福大学的研究所示，受欢迎的生成性 AI 聊天机器人之能力在过去数月中出现了变化。
斯坦福大学的团队评估了 ChatGPT 在几个月内如何处理不同的任务。他们发现，
斯坦福大学的团队评估了 ChatGPT 在几个月内如何处理不同的任务。他们发现，
|
根据最近由斯坦福大学的研究所示，受欢迎的生成性 AI 聊天机器人之能力在过去数月中出现了变化。 斯坦福大学的团队评估了 ChatGPT 在几个月内如何处理不同的任务。他们发现，ChatGPT 的能力随时间的推移而出现了不一致。目前，ChatGPT 有两个版本—— 免费的 GPT-3.5 模型和更智能、更快速的付费 GPT-4 版本。 研究人员发现，GPT-4 在3 月份能够有效地解决数学问题，识别质数的准确率为 97.6%。三个月后，其准确率下降到了2.4%。而另一方面，GPT-3.5 却变得更好，从7.4% 的准确率提高到了 86.8%。 研究人员还注意到，在编写代码和视觉推理方面也有类似的波动。斯坦福大学计算机科学教授 James Zou 称：“当我们调整一个大型语言模型来提高它在某些任务上的表现时，那可能会有很多意想不到的后果，可能会损害这个模型在其他任务上的表现…… 这个模型回答问题的方式有各种各样的相互依赖性，这可能导致我们观察到的一些恶化行为。” 研究人员认为，结果并不能真正反映 ChatGPT 性能的准确性状态，而是显示了微调模型带来的意外后果。本质上，当修改模型的一部分来改善一个任务时，其他任务可能会受到影响。为什么区块链技术会这样很难确定，因为没有几个人真正知道 区块链技术的ChatGPT 实际上是如何运作的，而且它的代码也不是任何一个开源的。 随着时间的推移，研究人员注意到，ChatGPT 的回答不仅变得不太准确，而且还停止了解释其推理过程。 由于 ChatGPT 的运作方式，要研究和衡量它的表现可能很困难，这项研究强调了观察和评估驱动 ChatGPT 等工具的大型语言模型（LLM）性能变化的必要性。该研究发现，chatgpt的运作方式与其他语言模型相比，具有显著的优势。 （编辑：开发网_郴州站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐
浙公网安备 33038102330466号