Skip to content

SFT 测试记录 ​

本文保留 SFT 自动化测试及 Mac / CUDA 合成数据联调的实际记录。测试记录说明对应环境和覆盖范围,不作为版本发布条件。

代码入口:#/sft;安装与运行见 Worker 连接指南,目标设计见 完整设计。

已验证 ​

检查证据与范围
后端全量回归go test -race -timeout 90s ./...,包括现有功能、账号隔离(含现有全局 LLM profile)、重复领取、幂等与 fencing、终态竞争、重启租约、上传断点与校验、慢上传不阻塞心跳、冻结文件逐项校验、清理引用
数据标签合约Python 测试验证最终回复标签、历史 EOS 遮罩、完整目标长度、NaN、停止、outbox 重发、设备锁和进程对账;无硬件库的部分使用隔离替身明确测试协议,不伪造训练结果
页面交互16 项控件 / 工作台测试(包含录屏隐私开关):空状态、头像、版本审核、预检向导、盲测、真实指标表格、UTF-8 分片 SSE 与缺少完成回执的错误
前端生产构建TypeScript + Vite 通过;工作台懒加载,使用现有中性色、品牌绿、Dialog / Select / DatePicker / Avatar
私聊构建联调完全隔离的演示库 最终联调 11,012 条消息 → 985 条可审核样本,训练 / 验证 / 测试为 788 / 98 / 99;导出包校验和、schema、集合无重复和分叉不改旧版本均已核对(首轮构建为 983 条)
模型配置接入接入保留原默认配置;显式设默认和回滚;PIN 由后端校验且改 PIN 使旧会话失效;实际监听端口改变后 profile 自动解析新地址
流式网关真实 HTTP / SSE 控制通道的自动化测试通过,凭据与 worker 作用域校验;这不等于真实模型已完成流式推理
依赖解析与打包两份带哈希锁文件已生成,目标 Python 3.12 / macOS arm64 和 Linux x86_64;worker wheel 已成功构建;尚未在硬件环境执行全量安装验收
CUDA L20 冒烟测试2026-11-04,代码 053119b,Linux x86_64、Python 3.12.13、L20、驱动 580.173.02、CUDA 13.0;按 CUDA lock 安装 LLaMA-Factory 0.9.5 / PyTorch 2.14.1。使用固定版本 Qwen2.5-0.5B-Instruct 与 240 条合成样本,完成两步预检、100 步训练、24 条测试集对比、Adapter 与完整检查点导出校验、部署及流式试聊。未验证完整状态恢复或真实私聊效果。
CUDA L20 恢复冒烟2026-11-10,基于 6f70dc2 的开发工作区,SFT worker 未修改;L20 46 GB、驱动 580.173.02、Python 3.12.13,按 CUDA lock 安装 LLaMA-Factory 0.9.5 / PyTorch 2.14.1。用 Qwen2.5-0.5B-Instruct 的固定 revision 7ae557604adf67be50417f59c2c2f167def9a775 和 120 / 20 条合成样本执行两步预检、两步训练及 Adapter / 完整检查点打包;引擎级从第 2 步检查点继续到第 4 步并验证新检查点文件齐全。由于环境无法直连 Hugging Face,公开模型由本机下载后复制到临时容器,权重 SHA-256 传输前后一致,测试替换了模型下载步骤;训练与验证样本有重叠,恢复时调整了最大步数和保存频率,未验证优化器、调度器、随机状态及数据进度的数值连续性,不能作为模型质量或完整恢复验收依据。
Mac MLX 冒烟测试2026-11-10,基于 6f70dc2 的开发工作区,SFT worker 未修改;macOS 15.6.1、Apple M3、16 GB、Python 3.12.14,按 MLX lock 安装 mlx-lm 0.32.2 / mlx 0.32.4。使用 Qwen2.5-0.5B-Instruct 的固定 revision 7ae557604adf67be50417f59c2c2f167def9a775,120 条训练和 20 条验证合成样本完成两步真实预检、两步训练并导出 Adapter,预检峰值约 1.14 GB。引擎级注入停止后保存权重并完成 weights-only 续训,基础模型和 Adapter 均完成单条合成样本 loss 与流式生成;尚未验证工作台停止恢复和 HTTP 流式的完整链路。合成训练与验证样本有重叠,仅验证执行链路,不用于评价模型效果;正式评测和打包应用尚待验收。
Mac MLX 评测与服务冒烟2026-11-10,基于 4428f63 的开发工作区,包含 MLX 跨线程推理修复;同一 Mac / 模型 / Adapter 上,以 2 条额外合成样本调用评测函数,基础模型和 Adapter 均返回 loss 与生成结果;本机推理服务通过健康检查及 HTTP SSE 完成回执。服务独立调用,未经过工作台、控制通道或现有模型配置;样本量不足以评价效果,仍需在最终提交上完成完整验收。
Mac 合成控制通道联调2026-11-10,提交 af9588bd339b04c417810d8301553e7c030e1587,Apple M3 / macOS 15.6.1,MLX 0.32.4、mlx-lm 0.32.2。独立控制端和实际 Worker 使用固定 revision 的 Qwen2.5-0.5B-Instruct、互不重叠的 120 / 15 / 15 条合成样本,完成数据导入与冻结、配对、预检、4 步训练、15 条评测、部署和经控制通道的 HTTP SSE。通过控制端请求停止训练后,成功从 weights_only 产物重新训练;曾实际触发磁盘不足保护,释放空间后成功重试。默认切换与回滚使用隔离控制端的替身配置回调,未验证真实应用配置持久化或 GUI;样本不足以评价模型质量。
L20 合成控制通道与连续性联调2026-11-10,提交 af9588bd339b04c417810d8301553e7c030e1587,L20 46 GB、驱动 580.173.02、Python 3.12.13、CUDA lock(LLaMA-Factory 0.9.5 / PyTorch 2.14.1)。隔离控制端与实际 Worker 完成互不重叠的 120 / 15 / 15 条合成样本的预检、4 步训练、15 条评测、部署及控制通道 SSE。另一组使用相同 50 步配置,控制端请求中止后从 full-state 检查点恢复;对比不中断训练,两者最终步数、epoch、完整优化器、调度器、CPU / GPU 随机状态和 Adapter 权重完全一致。模型通过经 SHA-256 校验的离线缓存提供;默认配置使用替身回调,未验证真实应用配置持久化或 GUI。临时容器已删除,未使用真实聊天数据。

CI:.github/workflows/sft-checks.yml 运行后端竞态、前端构建 / 交互、Python 合约检查。

以上结果对应各自记录的环境、代码与数据;其他模型和设备的表现可能不同。常规自动化测试与构建仍由 CI 执行。

当前边界与设计收敛 ​

  • 首版只训练本人私聊风格,保留 legacy LoRA ZIP 导出;不包含群人格、第三方人物、DPO、全参数或多卡训练。
  • 环境由独立 worker 的隔离 Python 环境启用,工作台提供固定依赖安装 / 配对命令;不从网页执行任意 shell,也不自动安装全局 Python 或驱动。
  • 模型需要用户指定精确 Hugging Face revision,通过真实预检后才进入训练;当前不提供预置模型白名单。
  • JSONL 导入通过数据草稿接口完成,单文件最大 32 MB / 20,000 条。worker 的权重传输支持分块续传;浏览器的 JSONL 导入为有界整文件提交。
  • 指标与事件支持持久化分页 / SSE;页面使用可恢复的 HTTP 增量轮询,关闭页面不影响任务。
  • GGUF / Ollama 转换未纳入首版;基础 MLX / Transformers 推理路径保留,UI 不承诺任意格式可互换。
  • 失败文件清理只覆盖控制端;worker 的 Hugging Face 缓存由机器本地管理。成功模型、冻结版本和被后续任务引用的文件不自动清理。

WeLink · AGPL-3.0 · 本地优先,数据去向取决于所选服务 · v0.4.3