有网友找到了GPT-4变“笨”的又一证据。他质疑:OpenAI会缓存历史回复,让GPT-4直接复述以前生成过的答案。
最明显的例子就是讲笑话。证据显示,即使他将模型的temperature值调高,GPT-4仍重复同一个“科学家与原子”的回答。就是那个“为什么科学家不信任原子?因为万物都是由它们编造/构造(make up)出来的”的冷笑话。
发现者表示:这说明GPT-4不仅使用缓存,还是聚类查询而非精准匹配某个提问。但并不是所有人都同意以上发现能够证明OpenAI真的就是在用缓存回复。他们的理由是作者采用的案例恰好是讲笑话。
在6月,两个德国学者测试发现,让ChatGPT随便讲个笑话,1008次结果中有90%的情况下都是同样25个笑话的变体。