限定1930年前数据的大模型展现编程推理能力

一个只读过1931年之前旧文献的130亿参数大模型，在被要求解决现代编程问题时，能写出正确的Python单行程序，甚至理解“逆函数”的抽象概念。

Alec Radford团队发布的“talkie”模型，其全部训练数据被严格限定在1930年12月31日之前，总量达2600亿token。这些文本来自书籍、报纸、科学论文、美国专利和判例法，均需从实体文档扫描并OCR转录。根据团队公开的实验数据，在编程能力测试HumanEval中，该模型能在给定几个Python函数作为上下文示例后，通过少样本学习解决新的编程问题。一个具体案例是，给定一个将字母后移5位的旋转密码编码函数，模型能自行写出对应的解码函数，仅将“+5”修改为“-5”。

选择1930年作为数据截止点，源于美国公共版权法的实际分界线。这一设定旨在探究大语言模型的能力本质是推理还是记忆检索。模型在完全未接触现代代码和数字计算机概念的情况下展现出编程能力，被研究团队视为模型具备从旧知识中进行抽象推理的证据。数据转录质量成为关键瓶颈，团队对照实验显示，用传统OCR转录文本训练的模型，其学习效率仅为人工转录版本的30%，经简单清洗后可提升至70%。

在模型的后训练阶段，由于缺乏现成的指令微调数据，团队从1930年前的礼仪手册、书信指南、菜谱等结构化书籍中提取指令-回答对进行监督微调。随后使用Claude Sonnet 4.6作为裁判进行强化学习从人类反馈中优化，其指令遵循评分从2.0提升至3.4。团队承认，使用2026年的先进模型来训练一个本应冻结在1930年的模型，构成了一种“时间污染”。

研究团队计划在今年夏季发布参数规模达到GPT-3级别的复古模型。

市场有风险，投资需谨慎。本文为AI基于第三方数据生成，仅供参考，不构成个人投资建议。