MIT：GPT-6 Astra能直接修改Qwen权重，数学能力暴涨6倍

MIT最新实验显示，GPT-6 Astra已具备直接读取并修改小型模型权重的能力。

这一发现迅速在大模型领域引发关注——将0.8B参数的“源神”Qwen3.5交由Astra处理，仅调整其中0.016% 的权重，模型性能便显著提升。

整个过程未涉及训练或梯度下降。

在相同采样设置下，MATH-500得分从7.9%跃升至48.1%，数学运算能力提升约6倍。

此外，原本未要求优化的指令执行能力也提升了3倍。

完成模型修改后，Astra还能从零编写小游戏网络的权重，效果同样出色。

它一次性回复交卷，得分超过训练了5亿步的PPO基线20倍。

研究团队将这一方法命名为：Weight-Space Programming，权重空间编程。

Astra爆改模型权重

简单来说，该技术让大模型直接分析神经网络权重，判断其功能及问题所在，然后按要求修改，甚至从头构建一个网络。

具体过程从Qwen实验开始最为直观。

研究者为Astra准备了一个Python环境，其中包含Qwen3.5-0.8B的全部权重。

指令只有一条：尽可能提升模型数学能力。

传统训练模型时，需根据输出与目标差距计算损失，通过反向传播获得梯度，再由优化器更新参数。

这一次，Astra需自行分析并决定修改内容与方式。

它发现，该小模型的数学表现主要受推理循环拖累。

面对题目，模型反复生成相似文字，却迟迟无法给出答案。在最初96条练习回答中，85条一直运行到32768个token的长度上限。

这一现象甚至已在Qwen自身模型卡中有所提示。

Astra沿失败表现追溯，将循环定位到前馈网络，并在第15层和第19层的各64个输出列中修改相应权重。

最终，MATH-500回答触及长度上限的比例从93.0%降至33.1%。

研究者分别给Astra提供10、25和50次前向调用预算，修改后的MATH-500得分依次为12.3%、14.1%和48.1%。

其中Astra省去了梯度训练，但模型诊断与验证环节依然保留。

那么，Astra如何从权重中获取线索？

首先看阅读能力。

研究者训练了四个玩不同游戏的小网络，将原始权重以文本形式交给Astra。四个网络的架构、输入通道和动作选项完全相同。

结果，Astra正确识别出四个游戏名称：打砖块、乒乓、吃豆人、高速公路。

其中，打砖块这一局，Astra通过权重集中的位置进行推断。

换成生成图像的扩散模型，它也能从权重中辨认圆形、方形和三角形。

不过，细节上出现失误：模型实际生成实心图形，它却全读成了轮廓。

形状识别正确，但填充效果未被察觉。

研究者随后增加难度，使用三个720万参数的小语言模型，分别以Python代码、日语罗马字和英语训练，并移除输入、输出层，仅保留中间四个Transformer模块。

此时，连数字对应哪个字符都不清楚，模型也无法直接运行文本。Astra用Python分析权重，但不能向这些网络或层输入数据或观察运行结果。

尽管如此，它仍在两轮尝试中识别出三个模型所学的语言，并找出全部归纳头。

从识别用途，到定位内部部件，再到修改行为，这一路径逐渐贯通。

另一个小车爬坡实验，将修改效果转化为可直接观察的动作。

原本用PPO训练的网络总是冲上坡后卡住；要过关，需先倒车拉开距离，再加速冲坡。

研究者提供权重、场景描述和一段失败记录，Astra无需工具，一次回复写出补丁，仅修改3.5%的权重，便让小车在1024次测试中全部成功。

模型未能通过训练学会的动作顺序，被Astra直接写入权重。

训练不存在了？

既然能向现有网络补充逻辑，研究者进一步提出要求：

给定一个权重全为零的网络，直接将其改造成可用状态。

在MinAtar小游戏实验中，Astra获得游戏规则、源代码和指定网络结构。没有训练数据、损失值、梯度和工具，也不能先将网络放入环境试跑。

它需自行设计策略，并将策略转换为各层权重，一次性回复交卷。

最终，Astra生成网络的平均得分高达517.4。

作为对比，PPO训练1亿步得15.8，训练5亿步得25.3，直接超出20倍。

这项工作的亮点在于，让一个现成的通用前沿大模型，围绕自然语言目标，自行分析与改写权重。

Astra本身积累的知识与能力，仍源自其此前训练；分析权重、生成代码、批量推理和评测，也需消耗计算资源。

GPU暂时还无需退役。

不过，下次小模型表现不佳时，开发者或许真能先问一句：

这次，还需要重新训练，还是直接改权重就行？

参考链接：

[1]https://x.com/i/trending/2117328869283840499

[2]https://rikiyat.github.io/blog/weight-space-programming/

[3]https://x.com/rikiyatakehi/status/2117313742891327994

本文来自微信公众号“量子位”，作者：鹭羽，36氪经授权发布。在探索这一前沿技术时，星空体育网页版也为用户提供了便捷的访问体验。