从零搭建工业级 AI 质检系统:OpenClaw + YOLO v12 + Qwen-VL 双引擎实战

ai-quality-inspection/├── openclaw.json               # OpenClaw 主配置文件├── app.py                      # Gradio 工作台主入口├── detection_engine.py         # 检测引擎封装（YOLO + VLM）├── db_manager.py               # SQLite 检测记录管理├── data_export.py              # Bad Case 导出├── eda_analysis.py             # 数据集 EDA 分析├── train_and_predict.py        # 训练 + 预测一体化├── requirements.txt            # 环境依赖│├── skills/                     # OpenClaw Skills 目录│   ├── yolo-detect/           # YOLO 检测技能│   │   ├── SKILL.md           # 技能定义文件│   │   ├── .env               # 环境变量│   │   └── scripts/│   │       └── detect.py      # 检测脚本│   └── vlm-detect/            # VLM 检测技能│       ├── SKILL.md           # 技能定义文件│       ├── .env               # 环境变量│       └── scripts/│           └── detect.py      # 检测脚本│├── yolo-cases/│   ├── steel_data/│   │   ├── dataset.yaml        # 数据集配置│   │   ├── train/│   │   │   ├── images/         # 训练集图片 (~1261 张)│   │   │   ├── labels/         # YOLO 格式标注│   │   │   ├── train.txt       # 训练集路径列表│   │   │   ├── val.txt         # 验证集路径列表│   │   │   └── test.txt        # 测试集路径列表│   │   └── test/│   │       └── images/         # 竞赛测试集 (400 张，无标注)│   └── yolov12.yaml            # YOLOv12 模型结构配置|├── models/                     # 模型权重│   └── best.pt                # 训练好的 YOLO 模型├── yolo-cases/steel_data/      # 数据集目录└── exports/                    # 导出文件

EDA 分析 → 发现问题 → 针对性调优 → 模型性能提升         ↓           ↓              ↓    类别不均衡    过采样/Focal    少数类召回率↑    小目标多      增加小 Anchor    小目标检出率↑    长宽比分散    调整 Anchor 形状   定位精度↑

# eda_analysis.pydefanalyze_class_distribution(labels_dir):"""分析类别分布"""    class_counts = Counter()for label_file in glob(labels_dir + "/*.txt"):withopen(label_file) as f:for line in f:                parts = line.split()iflen(parts) == 5:                    cls_id = int(parts[0])                    class_counts[cls_id] += 1# 计算不均衡比值    ratio = max(class_counts.values()) / min(class_counts.values())if ratio > 5:print("⚠️ 严重不均衡 → 建议：过采样 / Focal Loss")elif ratio > 2:print("⚠️ 轻度不均衡 → 建议：关注少数类召回率")else:print("✅ 类别均衡")

def analyze_box_sizes(annotations):"""分析标注框尺寸分布"""    widths = [w for _,_,_,w,_ in annotations]    heights = [h for _,_,_,_,h in annotations]    areas = [w*h for _,_,_,w,h in annotations]# 生成直方图    plot_histogram(widths, "宽度分布")    plot_histogram(heights, "高度分布")    plot_histogram(areas, "面积分布")# Anchor 设置建议    small_ratio = sum(1for a in areas if a < 0.01) / len(areas)if small_ratio > 0.3:print(f"⚠️ 小目标占比 {small_ratio:.1%} → 建议：增加小尺寸 Anchor")

生产环境推荐配置：├── 主检测引擎：YOLOv12（99% 的样本）│   └── 优势：速度快、成本低、精度高└── 辅助引擎：Qwen-VL（1% 的疑难样本）    └── 使用场景：        ├── YOLO 置信度低 (<0.3) 的样本        ├── 人工审核标记的争议样本        └── 新出现的缺陷类型

# detection_engine.pyclass YOLODetector:    def __init__(self, model_path='models/best.pt'):        from ultralytics import YOLO        self.model = YOLO(model_path)        self.class_names = ['龟裂', '夹杂', '点蚀', '划痕', '斑块', '氧化铁皮压入']    def detect(self, image_path, conf=0.25):        results = self.model.predict(image_path, conf=conf, verbose=False)        detections = []        for box in results[0].boxes:            detections.append({                'class_name': self.class_names[int(box.cls[0])],                'confidence': float(box.conf[0]),                'bbox': box.xyxy[0].tolist()            })        return {            'image': image_path,            'num_detections': len(detections),            'detections': detections        }

# dataset_local.yaml - 数据集配置path: /path/to/yolo-cases/steel_datatrain: images/trainval: images/valtest: images/test# 类别定义names:  0: crazing  1: inclusion  2: pitted_surface  3: scratches  4: patches  5: rolled-in_scale# 数据增强配置augment:  hsv_h: 0.015    # 色调增强  hsv_s: 0.7      # 饱和度增强  hsv_v: 0.4      # 亮度增强  scale: 0.5      # 缩放  fliplr: 0.5     # 左右翻转  mosaic: 1.0     # 马赛克增强  mixup: 0.1      # 混合增强

# 基础训练python train_and_predict.py --data dataset_local.yaml --epochs 100 --batch 16# 增强训练（针对小目标和不均衡）python train_yolo_enhanced.py --data dataset_local.yaml --epochs 150# 训练完成后自动验证python -c "from ultralytics import YOLO; m=YOLO('runs/detect/steel_defect_yolov12/weights/best.pt'); m.val()"

# detection_engine.pyfrom openai import OpenAIimport base64class VLMDetector:    def __init__(self, model_name='qwen3-vl-plus'):        self.model_name = model_name        self.client = OpenAI(            api_key=os.getenv('DASHSCOPE_API_KEY'),            base_url='https://dashscope.aliyuncs.com/compatible-mode/v1'        )    def detect(self, image_path):        # 图片 Base64 编码        with open(image_path, 'rb') as f:            image_b64 = base64.b64encode(f.read()).decode()        # 调用 API        response = self.client.chat.completions.create(            model=self.model_name,            messages=[{                'role': 'user',                'content': [                    {'type': 'image_url', 'image_url': {'url': f'data:image/jpeg;base64,{image_b64}'}},                    {'type': 'text', 'text': '请检测这张钢铁表面图片中的缺陷，输出缺陷类型和位置'}                ]            }]        )        # 解析响应，提取缺陷信息和边界框        # ...        return {            'image': image_path,            'model': self.model_name,            'detections': detections,            'vlm_summary': response_text        }

┌─────────────────────────────────────────────────────────┐│              AI 质检工作台 (Gradio)                       │├─────────────────────────────────────────────────────────┤│  Tab 1: 单图检测    │  上传图片 → 选择引擎 → 检测结果    ││  Tab 2: 批量检测    │  选择文件夹 → 批量处理 → 导出结果  ││  Tab 3: 人工审核    │  查看待审核 → 确认/修正 → 入库    ││  Tab 4: 统计分析    │  检测统计 → 缺陷分布 → 趋势图表    ││  Tab 5: 数据导出    │  Bad Case 导出 → 重训练数据准备   │└─────────────────────────────────────────────────────────┘

CREATE TABLE inspection_records (    id INTEGER PRIMARY KEY AUTOINCREMENT,    image_path TEXT NOT NULL,    detections TEXT,    engine TEXT NOT NULL,    is_reviewed INTEGER DEFAULT 0,    review_result TEXT,    review_comment TEXT,    created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP);

skills/├── yolo-detect/│   ├── SKILL.md           # 技能定义文件（YAML + Markdown）│   ├── .env               # 环境变量（AI_INSPECT_DIR）│   └── scripts/│       └── detect.py      # YOLO 检测脚本│└── vlm-detect/    ├── SKILL.md           # 技能定义文件    ├── .env               # 环境变量    └── scripts/        └── detect.py      # VLM 检测脚本

{  "gateway": {    "mode": "local",    "port": 18789,    "auth": { "token": "${OPENCLAW_GATEWAY_TOKEN}" }  },  "models": {    "mode": "merge",    "providers": {      "dashscope": {        "baseUrl": "https://dashscope.aliyuncs.com/compatible-mode/v1",        "apiKey": "${OPENAI_API_KEY}",        "api": "openai-completions",        "models": [          { "id": "qwen-turbo", "name": "Qwen Turbo" },          { "id": "qwen-turbo-latest", "name": "Qwen Turbo Latest" },          { "id": "qwen-max-latest", "name": "Qwen Max Latest" }        ]      }    }  },  "agents": {    "defaults": {      "model": { "primary": "dashscope/qwen-turbo" },      "workspace": "~/.openclaw/workspace"    },    "list": [      {        "id": "detect-analyst",        "model": "dashscope/qwen-turbo-latest",        "workspace": "~/.openclaw/workspace",        "skills": ["yolo-detect", "vlm-detect"]      }    ]  }}

name: yolo-detectdescription: "YOLO 钢铁表面缺陷检测。直接执行 exec ..."metadata:  openclaw:    emoji: "🔍"    os: ["win32"]  requires:    bins: ["python"]    packages: ["ultralytics", "pillow", "numpy"]  permissions:    - "exec"    - "file.read"    - "file.write"  timeout: 60

name: vlm-detectdescription: "Qwen3-VL 多模态钢铁缺陷检测。调用 API 分析图片..."metadata:  openclaw:    emoji: "👁️"    os: ["win32", "linux", "darwin"]  requires:    bins: ["python"]    packages: ["openai", "pillow"]  permissions:    - "exec"    - "file.read"  timeout: 120

# skills/yolo-detect/scripts/detect.pyimport argparseimport jsonimport osimport sysfrom pathlib import Pathdef main():    # 1. 解析命令行参数    parser = argparse.ArgumentParser()    parser.add_argument("image", help="待检测图片路径")    parser.add_argument("--conf", type=float, default=0.25, help="置信度阈值")    parser.add_argument("--save", default=None, help="保存结果路径")    args = parser.parse_args()    # 2. 加载.env，获取项目路径    load_env()    project_dir = os.environ.get("AI_INSPECT_DIR", r"D:\...\26-项目实战：AI 质检")    # 3. 将项目目录加入 sys.path，导入检测引擎    sys.path.insert(0, project_dir)    from detection_engine import YOLODetector, CLASS_NAMES_CN    # 4. 查找模型文件（按优先级）    model_candidates = [        os.path.join(project_dir, "models", "best.pt"),        os.path.join(project_dir, "runs", "steel_train", "weights", "best.pt")    ]    model_path = next((p for p in model_candidates if os.path.exists(p)), None)    # 5. 创建检测器，执行检测    detector = YOLODetector(model_path)    result = detector.detect(args.image, conf=args.conf)    # 6. 构建 JSON 输出    output = {        "image": args.image,        "inference_time": result.inference_time,        "num_detections": len(result.boxes),        "detections": [            {                "class_name": box.class_name,                "confidence": box.confidence,                "bbox": [box.x1, box.y1, box.x2, box.y2]            }            for box in result.boxes        ]    }    print(json.dumps(output, ensure_ascii=False, indent=2))if __name__ == "__main__":    main()

# skills/vlm-detect/scripts/detect.pyimport argparseimport jsonimport osimport sysdef main():    # 1. 解析命令行参数    parser = argparse.ArgumentParser()    parser.add_argument("image", help="待检测图片路径")    parser.add_argument("--model", default=None, help="VLM 模型名称")    parser.add_argument("--save", default=None, help="保存结果路径")    args = parser.parse_args()    # 2. 加载.env，获取项目路径    load_env()    project_dir = os.environ.get("AI_INSPECT_DIR")    # 3. 导入检测引擎    sys.path.insert(0, project_dir)    from detection_engine import VLMDetector, CLASS_NAMES_CN    # 4. 创建 VLM 检测器（自动读取 DASHSCOPE_API_KEY）    detector = VLMDetector(model_name=args.model or "qwen3-vl-plus")    # 5. 执行检测    # 内部流程：图片 Base64 编码 → 构造 Prompt → 调用 API → 解析 bbox → 坐标转换    result = detector.detect(args.image)    # 6. 构建 JSON 输出（VLM 额外输出自然语言摘要）    output = {        "image": args.image,        "model": detector.model_name,        "inference_time": result.inference_time,        "num_detections": len(result.boxes),        "detections": [            {                "class_name": box.class_name,                "bbox": [box.x1, box.y1, box.x2, box.y2]            }            for box in result.boxes        ],        "vlm_summary": result.vlm_text  # VLM 额外输出    }    print(json.dumps(output, ensure_ascii=False, indent=2))if __name__ == "__main__":    main()

检测钢铁缺陷  ↓Gateway (port:18789)  ↓Agent (qwen-turbo-latest)  ↓匹配 Skill: yolo-detect / vlm-detect  ↓exec 工具执行：python skills/yolo-detect/scripts/detect.py test.jpg  ↓detect.py 输出 JSON  ↓返回给用户

mkdir ai-quality-inspectioncd ai-quality-inspectionpip install ultralytics gradio openai pillow numpy matplotlib

mkdir -p skills/yolo-detect/scriptsmkdir -p skills/vlm-detect/scripts

# 创建配置文件cat > openclaw.json << 'EOF'{  "gateway": { "mode": "local", "port": 18789 },  "agents": {    "list": [{      "id": "detect-analyst",      "model": "dashscope/qwen-turbo-latest",      "skills": ["yolo-detect", "vlm-detect"]    }]  }}EOF

# EDA 分析python eda_analysis.py# 模型训练python train_and_predict.py --data dataset.yaml --epochs 100

# 启动 Gradio 工作台python app.py# 启动 OpenClaw Gatewayopenclaw gateway start