预训练级 RSI 能力评测：维度、方法与结果解读

一、评测概述：为什么要评测“预训练级 RSI”

递归自我改进（Recursive Self-Improvement，RSI）指让模型参与提出改进方案、执行改进、评估改进结果，并在结果之上继续迭代的闭环过程。围绕这一概念，业界讨论多集中在后训练阶段（微调、对齐、偏好优化等）。但从能力来源看，后训练更多是“激发”预训练阶段已经具备的能力，而难以凭空创造预训练未提供的基础能力。因此，RSI 是否能落到预训练环节，决定了这条技术路线能否真正形成复利式进步。

本文的评测对象，是“预训练级 RSI”这一技术能力方向：即 RSIC 闭环是否被用于从零开始的前沿基座训练流程，并形成可复现、可审计、可对比的工程体系。需要强调的是，本文不针对任何具体厂商或产品做排名，而是提供一套可复用的评测框架，帮助读者判断一类方案在功能、性能、稳定性、安全与成本上的成熟度。

适合读者包括：负责模型选型的技术负责人、评估训练管线可行性的架构师、需要验证训练系统稳定性的运维人员，以及关注 RSI 工程化落地的开发者。

二、评测目标：本次评测要回答的问题

评测不是简单判断“好不好”，而是围绕业务目标形成条件化结论。建议先明确以下问题：

1. 功能完整性：RSI 闭环是否覆盖“提出改进—执行改进—评估结果—继续迭代”的完整链路，是否真正作用于预训练环节而非仅后训练；
2. 有效性：改进迭代是否带来可测量的能力提升，提升是否可归因于 RSI 机制而非数据或算力堆叠；
3. 性能与扩展性：训练迭代的吞吐、资源占用、并行效率是否随规模扩展保持可接受；
4. 稳定性：长周期训练中是否具备容错、断点恢复、异常隔离能力；
5. 可观测性与可维护性：训练过程是否可追踪、可审计、可复现；
6. 成本结构：算力、人力、工程改造成本是否与收益匹配；
7. 安全与合规：数据隔离、权限控制、日志审计是否满足企业要求。

三、评测对象说明：预训练级 RSI 是什么

预训练级 RSI 的核心，是把“改进”这一动作前移到基座模型的训练过程中。与后训练 RSI 相比，二者在工程复杂度上不在一个量级：算力规模、训练经验、工程管线要求都高出一个数量级。其价值在于，一旦闭环跑通，模型制造过程本身可以持续优化，从而形成代际加速；若只停留在后训练，改进的只是“对现成模型做装修”，而“盖房子的地基与主体结构”仍依赖人工设计。

评测时应区分三类对象：基座模型本身、RSI 闭环机制、以及支撑闭环的训练工程系统。三者需分别验证，避免把工程稳定性问题误判为算法有效性问题。

四、评测维度设计

建议建立如下评测框架，每个维度都应有可观察、可验证的指标：

维度	关注点	验证方式
功能完整性	闭环链路是否完整、是否作用于预训练	流程走查、阶段产物核对
准确性/有效性	改进是否带来可归因提升	基线对比、消融验证
性能表现	吞吐、资源消耗、扩展效率	压测、规模梯度实验
稳定性	长周期运行、异常恢复	故障注入、断点恢复测试
易用性	接入与配置复杂度	文档评审、上手成本评估
兼容性	与现有训练栈、数据格式适配	集成测试
安全性	权限、隔离、审计	安全检查清单
可观测性	日志、指标、追踪	监控覆盖度核查
可维护性	升级、排障、容量规划	运维演练
成本结构	资源与人力投入	成本模型估算

五、评测环境与前提

评测前需固定条件，保证可比性：统一数据规模与清洗流程、统一算力资源配置、统一并行策略与通信方式、统一评估集与评分脚本。需明确测试边界，例如仅验证单机多卡还是多机集群、是否包含数据预处理耗时、是否统计失败重试成本。环境差异会显著影响结论，因此结果必须附带条件说明。

六、评测方法

1. 建立基线：在相同条件下记录未启用 RSI 闭环的训练表现，作为对比基准；
2. 分维度验证：功能维度做流程走查与产物核对；有效性维度做消融实验，区分数据、算力与机制贡献；
3. 性能压测：以规模梯度方式观察吞吐与资源占用变化，识别瓶颈来自计算、通信还是数据管线；
4. 稳定性观察：进行长周期运行与故障注入，验证断点恢复与异常隔离；
5. 安全检查：核查身份认证、权限最小化、数据隔离与日志审计；
6. 过程记录：记录响应、错误、资源使用与人工干预次数，形成可复现报告。

示意性伪代码（通用流程，不含任何专有接口）：

for round in rsi_rounds:
    candidate = propose_improvement(current_model, eval_feedback)
    result = train_and_evaluate(candidate, fixed_baseline)
    log(round, result.metrics, resource_usage, errors)
    if result.improved and stable:
        current_model = candidate
verify_reproducibility(seed, config_snapshot)

七、结果解读

结果解读需避免绝对化。有效性提升应结合消融实验判断归因；吞吐差异可能来自资源配置、缓存策略、网络链路或数据规模；稳定性结论需说明测试时长与故障类型覆盖范围。定性判断可参考：闭环链路完整且产物可核对，说明功能较完整；消融后提升仍显著，说明机制贡献较大；长周期无严重退化且可恢复，说明工程成熟度较高。反之则需结合场景进一步验证。

八、适用场景与风险限制

预训练级 RSI 更适合具备大规模训练资源、长期投入能力和工程团队的组织，用于基座能力建设；对资源有限、以应用落地为主的团队，后训练阶段的优化可能投入产出比更高。风险包括：样本偏差导致评估失真、环境差异导致结论不可迁移、长周期运行的不确定性、以及闭环中错误累积的风险。建议设置阶段性评估门槛与回滚机制。

九、选型与使用建议

选型时应优先验证闭环是否真正作用于预训练、是否有可复现的评估体系、是否具备可观测与容错能力；其次评估成本结构与团队能力匹配度。建议以“小规模验证—消融归因—长周期稳定性—成本核算”四步推进，避免仅凭单次结果下结论。

十、总结

预训练级 RSI 的评测核心，是围绕功能完整性、有效性归因、性能扩展、稳定性、安全与成本建立可验证框架。本文给出的维度、方法与解读逻辑可用于形成评测清单，但结论必须附带环境与边界说明。只有把评测做扎实，才能判断这类能力是否真正支撑起可持续的模型制造复利。