数钥网络基于阿里 PAI 打造金融级大模型决策新范式

• 第一阶段：继续预训练（CPT）—构建决策流的“知识底座”

  通过将客户复杂的 BPMN 流程转化为结构化语料，我们构建了包含 7387 条高质量训练样本的数据集，涵盖节点拓扑关系、规则包判决逻辑以及端到端的完整决策路径。CPT 训练 22 小时后，模型学习了节点间的关联性、分支条件的语义内涵以及整体流程的运行机制，从而建立了对风控决策流程的系统性理解，为后续训练奠定了坚实的知识基础。

• 第二阶段：冷启动 + 监督微调（SFT）—规范输出格式并构建应答能力

  为进一步规范模型行为，我们首先使用 500 条样本进行冷启动训练，强化其输出格式的一致性与可读性。随后引入 7523 条基于真实业务场景的指令数据，进行 SFT 训练 18 小时，构建符合金融风控规范的响应模板，提升模型在特定金融风控场景下的结构化问答能力。经 SFT 后，模型在目标任务上的准确率达到 48.67%。

• 第三阶段：强化学习精调（RL）—提升决策准确性

  在模型拥有基本决策能力的基础上，我们进入最关键的 RL 阶段。我们构建了 8023 条高质量偏好数据，基于 Bad Case 优化 GRPO 的 reward 机制：既关注推理步骤的完整匹配度，也重视最终决策标签的准确性，同时针对极端异常案例设置额外奖惩逻辑。经过两轮精细迭代优化（RL 训练总耗时 113 小时），模型的关键规则匹配准确率从初始的不足 30% 跃升至 86.83%，风控推理步骤相似度（LCS）达 98.51%，真正实现了“像专家一样思考”。

风控决策是典型的“超长上下文”硬核场景——其训练样本中 80% 长度超过 20K tokens，最长样本达 57K tokens，远超常规 NLP 任务的处理范围。在项目初期，即便已采用 DeepSpeed ZeRO-3 并行策略，仍有近 300 条关键样本因超出 40K 长度限制被强制截断，严重制约模型对核心规则的学习效果。

为突破此技术瓶颈，我们实施了系统性训练优化方案：

• 样本重构：让长文本“可学”

  将原始 BPMN 流程中的节点与规则包转化为自然语言描述，增强语义可读性；通过结构化拆分，将长达 501k token 的原始链路压缩为适配模型输入长度的 57K 有效片段；结合人工标注与自动化脚本，清理冗余规则 ID 与重复语句，使推理步骤从平均 93 步精简至 21 步，信息密度提升 78%。

• 显存与训练效率优化：让长文本“能训”

  引入 DeepSpeed ZeRO-3 + Liger Kernel + AutoTP 显存优化技术，实现显存占用降低 65%，支持 64K 上下文训练，彻底消除此前对 40K+ 样本的截断问题，保障数据完整性达 100%。同时引入 YARN 动态 RoPE 扩展机制，在强化学习阶段实现 40K+ 长文本的稳定推理。

• 训练参数寻优：让长文本“训得好”

  在正式训练前，我们进行了多轮参数配置探索，包括 batch_size、梯度累积步数、packing 策略（如 neatpacking）等关键超参的组合调优。通过监测前几个训练 step 的 loss 震荡趋势，动态调整配置，在保证显存安全的前提下最大化训练速度，最终实现整体训练效率提升 4%。

这套经过实战验证的超长文本训练优化方案，不仅支撑了本次项目的成功交付，也为后续类似复杂流程建模场景提供了可复用的技术范式。