图片 Caption 机标工作流
大模型上线前 SFT 数据生产阶段,需要高质量图片 Caption 数据支撑模型在图文对齐、视觉描述生成和艺术风格理解等能力上的训练优化。图片清洗让标注同学拿到稳定可标的数据后,下一步是让这些合格图片被更稳定、更高效地描述出来。
项目沉淀 / 01 份
提效文档
图片描述工作流的设计思路、提效数据与迭代过程已整理为可下载文档。
背景
大模型上线前 SFT 数据生产阶段,需要高质量图片 Caption 数据支撑模型在图文对齐、视觉描述生成和艺术风格理解等能力上的训练优化。清洗工作流让标注同学拿到稳定可标的数据；下一步问题变成如何让这些合格图片被更稳定、更高效地描述出来。
问题
搭建 Agent 后,图片上传需要等待加载,上传完成后还要等待模型生成结果,最后再手动复制粘贴。每个标注同学都会重复这套操作,数据量一大,时间就消耗在等待和搬运结果上。
我的角色
针对人工直接描述图片时人效低、词汇覆盖不足的问题,基于 Dify 搭建图片描述 Workflow,持续迭代工作流并参与标注执行,把重复操作从人工逐张处理转为模型预标注与人工校验改写。
工作流 / 系统
图片 Caption 机标工作流：基于 Dify 搭建图片描述流程 Workflow,通过持续迭代辅助标注人员从「人工逐张描述」转为「模型预标注 + 人工校验改写」,再由工作流进行数据分流。简单数据使用机标,标注人员只改写分流出的模糊 case、边缘 case 和异常 case,实现机标率 47%。
关键决策
- 将上传、模型调用与结果流转接入 Workflow,减少标注人员等待和复制粘贴操作
- 按数据难度分流,简单数据走机标,模糊、边缘和异常 case 由人工改写
- 以预标注质量和人工修改反馈持续迭代工作流
成果
- 图片预标注流程机标率达到 47%
- 预标注质量逐步提升,整体人效从 17/h 提升至 46/h
让合格图片被更稳定、更高效地描述出来
反思
提效不只是把模型接入流程,还要识别每位标注同学都在重复的等待和操作,再把简单数据交给机标、把需要判断的复杂数据留给人工校验。