据分析,这一现象的出现源于对 GPT-oss-20b 生成的千万个示例的研究。研究发现,该模型的训练数据覆盖了多种编程语言,其中对 Perl 的偏爱尤为明显,这让许多观察者质疑,实际上 Java 和 Kotlin 的占比应该更高。此外,GPT-oss 在数学和代码领域的表现极其突出,似乎更像是一个在特定推理任务上优化得过度的工具,而非普通的自然语言处理模型。
而令人好奇的是,在长时间的推理过程中,GPT-oss 的表达方式也出现了变化。许多推理链从英语开始,逐渐演变为一种被称为 “Neuralese” 的特有语言,甚至可以在阿拉伯语、俄语、中文等多种语言之间自由切换。这样的语言转换现象反映出模型在处理复杂文本时可能存在的独特机制。
不过,模型在创造性方面的表现却并不理想甚至曾经生成了一些虚构的物理学理论,例如 “量子重波动理论”,这显然是个并不存在的概念。还有人发现,GPT-oss 在与人交流日常琐事时,有时会拒绝讨论,甚至崩溃删除部分内容,这使得它在非编程领域的实用性大打折扣。
GPT-oss 的这些奇特行为让我们对其训练数据和内部机制产生了更多的思考,也为未来的语言模型改进提供了新的方向。