本文基于历史项目方案说明书做公开化整理。原始客户名称、品牌信息、报价、付款条款、人员姓名和未公开现场信息均已移除；部分参数按通用工程场景做了合理泛化或升级。内容用于说明类似产品样机和自动化测试设备开发的技术路径，不代表某个客户原始需求全文。如有侵权或不适宜公开的信息，请联系删除或调整。

1. 项目背景与需求回顾

视觉 HMI 测试架通常用于带屏幕、触摸面板、按键、指示灯或背光区域的产品出厂测试。客户最初提出的需求往往很朴素：希望把人工看屏、按键、拍照、记录结果这类动作自动化，减少漏检和人工判断差异。但真正进入开发时，它不是一台简单的相机架子，而是一套夹具、光源、运动执行、视觉算法、测试软件和数据追溯系统。

这类设备常见的测试对象包括工业 HMI 面板、车载控制面板、小型仪表屏、家电控制面板、带图标背光的塑胶面板、薄膜按键组件等。测试内容可能包含：屏幕是否点亮、字符或图标是否正确、背光是否均匀、按键是否响应、触摸区域是否可用、外观是否有划痕脏污、产品 SN 是否能与测试结果绑定。

工程开发的难点集中在四件事：第一，产品每次放入夹具后位置要稳定，否则视觉 ROI 会漂；第二，光源和相机参数要能跟随不同产品配方保存；第三，触控或按键动作要可控，不能压坏屏幕，也不能因为压力不足导致误判；第四，测试结果要能追溯，至少能按 SN 找到原图、标注图、测试项、软件版本和操作记录。

2. 需求工程化整理

需求整理时不能只记录自动检测 HMI 是否合格，而要把它拆成可设计的子任务。下面是面向一台 EVT/DVT 级视觉 HMI 测试架的工程化整理。

工程化整理完成后，应至少输出 5 个基础文件：需求冻结表、测试项列表、产品装夹基准图、IO 点表、数据接口草案。没有这些文件，后续机械、硬件和软件很容易各做各的，最后在联调阶段才发现接口对不上。

3. 技术指标与边界

技术指标采用目标值加验证方法来定义，而不是只写一个漂亮参数。下面参数是公开化后的参考范围，实际项目要以产品尺寸、节拍和样本集为准。

4. 系统总体架构

系统总体架构按设备层级展开。HMI 测试架分为机械执行层、感知采集层、运动与安全控制层、工控机软件层、数据与产线接口层。总览图只保留一级关系，避免把所有节点压在一张图里。

flowchart TD

  A["视觉HMI测试架"] --> B["机械执行层"]

  A --> C["感知采集层"]

  A --> D["控制与安全层"]

  A --> E["工控机软件层"]

  A --> F["数据与产线接口层"]

4.1 机械与感知层

机械层负责装夹、定位、防护和触控动作，感知层负责把产品状态、图像状态和操作状态变成可读取信号。夹具、相机、光源和触控机构在同一套坐标基准下工作，后续配方里的 ROI、触控点位和光源参数都围绕这套基准保存。

flowchart TD

  M["机械与感知层"] --> M1["4040/4080机架与台面"]

  M --> M2["POM/电木仿形托盘"]

  M --> M3["定位销与压紧机构"]

  M --> M4["Z向触控轴与硅胶触头"]

  M --> S1["工业相机与C口镜头"]

  M --> S2["条形光/同轴光/背光"]

  M --> S3["产品到位/夹紧/气压/限位"]

4.2 控制、软件与数据层

控制层负责实时动作和硬件互锁；工控机软件负责视觉算法、流程调度和数据记录；数据接口层负责 MES 上传、图片索引和报告导出。MES 或后台只接收结果和索引，不参与底层安全动作。

flowchart TD

  C["控制、软件与数据层"] --> C1["PLC/运动控制卡"]

  C1 --> C2["24V DI/DO 与安全回路"]

  C1 --> C3["电缸/气缸/电磁阀/状态灯"]

  C --> PC["Windows工控机"]

  PC --> P1["C#测试软件"]

  PC --> P2["相机SDK/光源控制/扫码"]

  PC --> P3["OpenCV/Halcon视觉算法"]

  PC --> D1["SQLite测试记录"]

  PC --> D2["原图与标注图目录"]

  PC --> D3["MES HTTP接口/CSV报告"]

这套结构把实时控制和视觉计算分开：PLC 或运动控制器处理互锁和动作，工控机处理图像、算法、配方和数据。夹具保证重复定位，软件保证流程和追溯，产线系统只拿最终结果。

5. 机械结构 / 产品结构方案

5.1 结构模块表

5.2 产品结构

整机设计为台式半自动测试架。下层是机架和电控安装区，中层是产品定位夹具和触控执行机构，上层是相机、镜头、光源和遮光罩。机架采用 4040 或 4080 工业铝型材，台面使用 8–12 mm 铝板或 6–10 mm 钢板加工，台面上开定位销孔、线缆穿孔和夹具快换孔。若设备需要长期放在产线，底部本方案加可调脚杯，必要时加脚轮，但测试状态需要由脚杯承载。

产品定位夹具不本方案只用平板加挡边。本方案的稳妥做法是用 POM、黑色电木或阳极氧化铝板加工仿形托盘，托盘上保留 2 个主定位点和 1 个防转定位点。对于塑胶壳 HMI，要避开易变形边框和屏幕显示区域；对于玻璃盖板产品，压紧点要落在结构强度允许区域。夹紧机构采用手动快速夹、薄型气缸或电动夹爪，EVT 阶段若节拍压力不大，手动快速夹反而更容易排查视觉问题；进入 DVT 再升级气动或电动夹紧。

遮光罩本方案作为独立模块，不要和相机支架完全焊死。HMI 屏幕和亮面塑胶很容易受环境光影响，尤其是高亮屏、黑色面板和覆膜产品。遮光罩内壁可用哑黑喷涂或黑色植绒材料，外壳用 1.5–2.0 mm 钣金折弯即可。若测试项目包含背光均匀性，遮光罩内部要避免局部反射，光源安装角度要可调。

5.3 运动机构

运动机构取决于测试动作复杂度。只做单点按键测试时，可采用 Z 向单轴电缸或带缓冲的薄型气缸；需要多点点击、滑动轨迹或电容屏测试时，使用 XY+Z 三轴模组。常见配置是：X/Y 轴使用同步带或丝杆滑台，行程按 HMI 尺寸预留 20–50 mm 边界；Z 轴使用丝杆电缸或音圈电机，末端安装 6–10 mm 直径硅胶触头。

Z 轴需要有上限位、下限位、软限位和回零动作。若用气缸，需要加机械限位和缓冲，不适合精细压力控制；若用电缸，通过位置、速度和电流间接判断接触过程；若触控压力要求严格，在触头端增加薄型压力传感器或微型称重传感器。触控动作不要让 C# 软件直接按时间下压，而应由运动控制层执行点位、速度、行程和压力阈值，软件只下发动作编号和参数。

相机支架也属于运动/调节机构的一部分。使用 Z 向微调滑台、角度调节块和刻度标尺，调试完成后把工作距离、镜头焦距、光圈、曝光、光源通道和亮度写入配方。维护人员拆装相机或换产品夹具后，通过校准板和配方参数恢复，而不是靠肉眼重新找位置。

5.4 材料与加工

机架材料可按三档选择：EVT 快速样机用铝型材 + CNC 铝板；产线长期使用用钣金焊接机架 + 精加工台面；需要外观展示时再做喷粉钣金外壳和亚克力观察窗。夹具材料优先采用 POM、黑色电木、6061-T6 铝合金。POM 适合接触产品外壳，摩擦小、不容易划伤；电木绝缘、尺寸稳定，适合测试治具；铝合金适合做基准板和可调机构。

硅胶触头使用邵氏 A 40–60 左右的材料做第一轮验证，太软会导致触点形变大、位置不准，太硬容易留下压痕。触头与金属杆之间本方案做可更换结构，例如 M3/M4 螺纹、压套或小夹头。光源支架、相机支架、夹具底板上的长圆孔要控制数量：调试需要可调，但长期使用需要锁定，最终 DVT 版本应把已经验证的调节点固化成定位销或刻度孔。

表面处理上，铝件可做黑色阳极氧化，钣金可做哑黑喷粉，遮光罩内部避免亮面喷漆。涉及静电敏感产品时，夹具接触面要评估防静电 POM 或防静电电木，台面和机架做好接地。线缆拖链、扎线座、航空插头和端子排也要按维护频率选型，不要在测试架内部大量使用临时杜邦线或裸露转接板。

5.5 装配与维护

装配时本方案先建立三套基准：夹具基准、相机基准和触控基准。夹具基准由定位销和托盘确定；相机基准由校准板、视场边界和 ROI 标定确定；触控基准由触点坐标和 Z 轴零点确定。每套基准都要有恢复方法，不能只存在调试人员经验里。

维护件包括硅胶触头、相机镜头、光源、产品托盘、压紧机构、限位开关和气管接头。在机械设计中预留前维护空间，常用件用螺钉或快拆结构固定，不要为了外观把所有螺钉藏到需要拆外壳才能接触的位置。设备交付时应附带校准板、备用触头、夹具定位说明、光源参数备份和软件配方导出文件。

6. 硬件与电气系统

6.1 主控与计算平台

这类测试架推荐采用工控机 + PLC/运动控制器的架构。工控机负责图像采集、视觉算法、C# 测试软件、配方管理、图片保存和 MES 接口；PLC 或运动控制器负责气缸、电缸、限位、急停、安全门、状态灯和实时 IO。这样现场维护人员能用 PLC 工具排查 IO，软件工程师也能专注算法和数据。

工控机配置为 Intel i5/i7 或同级 x86 平台，16 GB RAM，256 GB 以上 SSD，至少 2 个千兆网口，4 个 USB3.0，预留 RS232/RS485 扩展。可选研华、研祥、凌华、艾讯等工业 PC，也在 EVT 阶段使用稳定的迷你工控机。若只做一台实验室样机，i5 + 16GB 已能覆盖大多数 OpenCV/Halcon 检测；若要保存大量原图或运行深度学习模型，应增加独立 GPU 或选择带 NVIDIA GPU 的边缘计算主机。

PLC 可选西门子 S7-1200 CPU 1212C/1214C、欧姆龙 CP1E/CP2E、三菱 FX5U、汇川 H3U、台达 DVP-ES3 等。若用户产线已有西门子体系，优先跟随现场体系；若是低成本独立治具，台达或汇川维护成本更低。小型定制 IO 板可使用 STM32F103C8T6、STM32F407VET6、STM32G0B1 或 GD32F303，但要明确现场维护门槛更高，适合批量复制或空间受限场景。

6.2 电源系统

电源以 24VDC 为主干。常见配置是 AC220V 输入，经明纬 LRS-350-24 或 NDR-240-24 提供 24V 主电源；相机、工控机、控制器按实际接口单独供电。若设备功耗较小，可用明纬 LRS-150-24 或 MDR-100-24；若需要多路光源、多个电缸和电磁阀，按最大同时动作电流加 30% 余量选型。

24V 主电源可分三路：一路给 PLC/IO/传感器，一路给电磁阀、状态灯、继电器，一路给光源控制器和运动驱动。工控机若为 12V 或 19V 输入，可用独立适配器或 DC/DC 模块，不本方案直接和电磁阀共用一条细线。5V 只给扫码枪、定制小板或 USB 外设，避免把 5V 作为执行器供电。

电控柜内配置空气开关、急停回路、安全继电器或急停继电器、端子排、线槽、接地排和保险丝。急停按钮应硬切运动驱动使能、电磁阀允许或危险输出，同时通知 PLC 和上位机记录故障。对于相机和光源，使用独立保险或电子断路器，避免某个光源短路拖垮整机 24V。

6.3 传感器系统

传感器不是越多越好，但参与流程判断的信号需要清楚。产品到位可用欧姆龙 E3Z 系列光电、松下 PM-L25 槽型光电、基恩士 PZ-G 系列，具体按空间和检测面选择。夹紧到位可用 SMC D-M9B/D-M9N 磁性开关、微动开关或接近开关。安全门可用安全门开关或磁编码安全开关，不能只用普通磁簧开关承担人身安全。

气动系统若存在气缸，需要增加气压开关，例如 SMC ISE20 或同等级 0–1MPa 数显压力开关。触控压力若需要闭环，可选 0–10N 或 0–20N 微型压力传感器，输出 0–5V、0–10V 或 RS485。相机触发可软件触发，也可由 PLC 输出硬触发，若节拍要求高或曝光需要和运动同步，优先使用硬触发。

6.4 执行器系统

夹紧机构可按节拍和风险分级。实验室样机可用手动快速夹，结构简单、便于观察；产线半自动可用 SMC CDQ2B 薄型气缸或亚德客 SDA/TN 系列气缸；如果产品边框脆弱，采用电动夹爪或带弹性浮动的压头。气缸动作需要节流阀调速，压紧端加软垫，防止冲击产品。

触控机构优先采用电缸或音圈电机。电缸适合位置控制和多点点击，常见行程 30–100 mm，重复定位可做到 ±0.02–0.05 mm 级别，控制方式可选脉冲/方向、RS485 或 EtherCAT。气缸使用于简单按键，但对触摸屏压力和速度控制不够细，容易出现有时触发、有时不触发的问题。

光源系统通常由条形光、同轴光、环形光、背光和控制器组成。屏幕字符识别常用低角度条形光或遮光后直接拍屏；玻璃表面划痕可能需要同轴光或暗场光；背光均匀性需要关闭外部光源，在固定曝光下采集灰度分布。光源控制器本方案支持 RS232/RS485 调光，通道和亮度写入配方。

6.5 通讯与电气接口

设备内部通信本方案保持清晰分工。工控机与相机使用 USB3 Vision 或 GigE Vision；工控机与 PLC 使用 Modbus TCP、S7 协议、EtherNet/IP 或厂商 SDK；工控机与光源控制器使用 RS232/RS485，常用 115200, 8N1；扫码枪可用 USB-HID 模拟键盘，也可用 RS232 便于协议控制。若使用定制 STM32 IO 板，本方案 RS485 半双工，端口加 TVS、终端电阻和隔离电源。

6.6 IO 点表示例

7. 嵌入式 / 软件系统

7.1 软件架构

测试软件使用 C# WPF 或 WinForms 开发，上位机运行在 Windows 10/11 IoT 或普通 Windows 工控机环境。视觉算法可根据项目选择 Halcon、OpenCVSharp、VisionPro 或相机厂商 SDK 内置工具。若检测项比较明确，例如 OCR、图标有无、亮点暗点、颜色区域判断，OpenCVSharp 已经足够；若需要复杂定位、模板匹配、亚像素测量和快速调参，Halcon 或 VisionPro 的工程效率更高。

flowchart TD

  UI["UI层：操作界面/权限/报警/维护"] --> FLOW["流程层：扫码/夹紧/拍照/触控/判定/上传"]

  FLOW --> DEV["设备层：相机SDK/PLC通信/光源控制/扫码枪"]

  FLOW --> ALG["算法层：定位/OCR/缺陷/背光/触控响应"]

  FLOW --> DATA["数据层：SQLite/图片目录/日志/配方"]

  DATA --> API["接口层：MES HTTP/数据库中间表/CSV报告"]

7.2 软件模块

7.3 状态机

状态机用图比表格更容易看清楚流程和异常出口。下面是一个常见的自动测试主流程。

stateDiagram-v2

  [*] --> Idle: 上电自检完成

  Idle --> Scan: 扫码或读取工单

  Scan --> Load: SN有效并匹配配方

  Load --> Clamp: 产品到位

  Clamp --> Precheck: 夹紧到位

  Precheck --> Capture: 安全门/气压/相机/光源正常

  Capture --> Vision: 获取图像成功

  Vision --> Touch: 需要触控或按键测试

  Vision --> Judge: 无需触控测试

  Touch --> Verify: 触控动作完成

  Verify --> Judge: 复拍或读取响应完成

  Judge --> Upload: 生成PASS/NG结果

  Upload --> Release: 本地保存完成

  Release --> Idle: 松夹并取走产品

  Scan --> Fault: SN无效或无配方

  Load --> Fault: 产品未到位超时

  Clamp --> Fault: 夹紧超时

  Precheck --> Fault: 安全门/气压/设备异常

  Capture --> Fault: 相机超时或光源异常

  Touch --> Fault: 压力超限或Z轴限位

  Upload --> Cache: MES超时

  Cache --> Release: 本地缓存等待补传

  Fault --> Idle: 人工复位

每个状态要有明确进入条件、执行动作、退出条件和故障出口。例如 Capture 状态进入前需要确认安全门关闭、产品夹紧、光源在线、相机在线；执行动作包括设置曝光、切换光源通道、触发拍照、保存原图；退出条件是图像返回且图像尺寸正确；异常包括相机掉线、曝光超时、图像全黑、光源控制器无响应。

7.4 数据结构

将配方、测试记录、图像索引和设备日志分开。配方文件负责怎么测，测试记录负责测了什么结果，图像索引负责证据在哪里，设备日志负责设备当时是什么状态。不要把所有内容塞进一个 Excel 或一个大 JSON，否则后期追溯会很痛苦。

{

  "station_id": "HMI_TEST_01",

  "device_id": "CNPROTO_EVT_001",

  "serial_no": "SN202609040001",

  "recipe_id": "HMI_PANEL_A_EVT03",

  "software_version": "1.2.3",

  "hardware_version": "EVT-02",

  "operator_role": "engineer",

  "start_time": "2026-09-04T10:15:21+08:00",

  "end_time": "2026-09-04T10:16:08+08:00",

  "result": "NG",

  "ng_code": "OCR_MISMATCH",

  "items": [

    {"name": "screen_on", "result": "PASS", "value": "ok"},

    {"name": "backlight_uniformity", "result": "PASS", "gray_delta": 11.8},

    {"name": "ocr_label", "result": "NG", "expect": "READY", "actual": "REAOY"},

    {"name": "touch_key_1", "result": "PASS", "response_ms": 180}

  ],

  "images": {

    "raw": "2026/09/04/SN202609040001/raw_001.png",

    "marked": "2026/09/04/SN202609040001/marked_001.png"

  }

}

7.5 异常处理

异常分三类处理。第一类是提示级，例如扫码格式错误、配方不存在、产品未放入，这类问题不需要切断设备，只需要提示重新操作。第二类是暂停级，例如 MES 超时、相机第一次采图失败、光源通信超时，可停止当前步骤，保留产品和现场状态，允许重试或本地缓存。第三类是安全级，例如急停、安全门打开、Z 轴超限、触控压力超限、气压丢失，这类问题需要立即禁止危险输出，进入人工复位。

故障码按模块分段：E1xx 为安全与门禁，E2xx 为夹具与气动，E3xx 为相机和光源，E4xx 为运动与触控，E5xx 为算法判定，E6xx 为 MES 和数据。这样现场人员看到 E402 就能知道是触控轴相关，而不是只能找软件工程师看日志。

8. 通信协议 / 数据接口

8.1 内部通信接口

内部通信不本方案追求复杂，而要追求稳定和可诊断。工控机和 PLC 之间如果采用以太网，推荐 Modbus TCP 或厂商协议；如果是定制 STM32 IO 板，推荐 RS485 半双工。光源控制器多数支持 RS232/RS485 ASCII 指令，扫码枪可用 USB-HID 直接输入到软件，也可用 RS232 做更稳定的握手。

8.2 自定义控制帧示例

若使用 STM32 或 GD32 定制 IO 板，采用简单二进制帧。帧头 AA 55 用于同步；版本号用于后续兼容；命令字表示读状态、写输出、触发动作或清故障；序号用于匹配请求与响应；长度表示数据区字节数；CRC16 用于校验传输错误；帧尾 0D 便于串口调试工具观察。

例如，上位机读取控制板状态时可发送：

AA 55 01 02 00 2A 00 00 C1 7B 0D

这帧按下面方式理解：AA 55 是帧头，01 是协议版本，02 表示读取设备状态，00 2A 是本次请求序号，00 00 表示没有数据区，C1 7B 是 CRC16 校验示例，0D 是帧尾。控制板收到后返回 DI 位图、DO 位图、当前状态和故障码。

控制板返回状态可设计为：

AA 55 01 82 00 2A 00 08 03 00 01 00 00 00 04 00 5E 91 0D

其中 82 表示对读取状态命令的响应，00 08 表示数据区 8 字节，03 00 是 DI 位图，示例中可代表产品到位和安全门关闭；01 00 是 DO 位图，示例中可代表夹紧输出已打开；00 00 表示故障码为 0；04 00 表示当前处于拍照或检测状态。

8.3 功能码本方案

功能码不需要设计得太花，够用、可扩展、便于调试就好。将 0x01 定义为握手，返回控制板版本、设备 ID 和 IO 数量；0x02 读取设备状态；0x10 写 DO 输出；0x11 控制夹紧/松开；0x20 执行触控动作，数据区包含点位 ID、目标行程、速度和压力阈值；0x30 进入维护点动；0x40 由控制板主动上报报警；0x50 清除故障。

对于 MES 或后台接口，不本方案上传本地磁盘完整路径和大量原图二进制。更稳妥的方式是上传结构化结果和图片索引，图片在本地 NAS、文件服务器或对象存储中按日期和 SN 保存。MES 只需要知道结果、NG 项、版本和索引，后续复盘时再打开对应图片。

9. 系统工作流程

flowchart TD

  A["操作员扫码"] --> B{"SN有效并找到配方?"}

  B -- "否" --> B1["提示重扫或选择配方"]

  B -- "是" --> C["放入产品并检测到位"]

  C --> D["夹紧机构动作"]

  D --> E{"夹紧/安全门/气压正常?"}

  E -- "否" --> E1["进入故障或暂停"]

  E -- "是" --> F["设置相机曝光和光源通道"]

  F --> G["采集屏幕/图标/背光图像"]

  G --> H["视觉定位和检测"]

  H --> I{"需要触控测试?"}

  I -- "是" --> J["执行点击/长按/滑动"]

  J --> K["复拍或读取响应"]

  I -- "否" --> L["生成判定"]

  K --> L

  L --> M{"PASS?"}

  M -- "是" --> N["保存PASS记录并亮绿灯"]

  M -- "否" --> O["保存NG图像和NG码并亮红灯"]

  N --> P["上传MES或本地缓存"]

  O --> P

  P --> Q["松夹取走产品"]

流程里最容易被低估的是复拍和本地缓存。触控测试完成后，如果只根据运动轴动作完成来判定，很容易漏掉屏幕没有响应的问题；MES 上传如果失败后直接丢弃结果，后期就无法追溯。因此本方案所有关键动作都要有复核信号，所有结果都先本地落盘再上传。

10. 测试验证与验收

验收不本方案只在最后一天做。POC 阶段验证相机视场、光源和夹具可行性；EVT 阶段验证设备主流程跑通；DVT 阶段用真实 PASS/NG 样本集调参并统计误判；PVT 前再整理装配、维护和测试工装。每一阶段都要保留测试记录，否则后面改版时很难判断问题来源。

11. 项目周期计划

如果项目只做实验室验证，可压缩 PVT 准备；如果要直接导入产线，DVT 阶段不能省，尤其是样本集、节拍、误判率和 MES 断网补传要充分测试。

12. 人员配置

人员配置要跟风险走。若项目只做视觉检测，不做触控，可减少运动和嵌入式投入；若项目要接入产线 MES，需要提前让接口工程师参与，不要等设备调完才发现字段、网络和工单流程不匹配。

13. 技术风险与验证方法

风险验证要尽早做，尤其是光源、夹具和样本集。视觉项目很多时候不是算法写不出来，而是图像采集条件没有被稳定下来；图像质量不稳定时，后面再复杂的算法也只是被动补救。

14. 后续产品化方向

后续产品化可从四个方向推进。第一是夹具系列化，把不同 HMI 型号做成快换托盘，托盘带 ID 或二维码，软件自动加载对应配方。第二是算法工程化，把 ROI、模板、阈值、OCR 字典、触控点位和光源参数都纳入版本管理。第三是数据追溯，把本地 SQLite、图片目录、MES 上传和离线补传做成统一机制。第四是维护标准化，把校准板、触头寿命、光源更换、相机复位和异常码说明写成现场可执行文档。

如果后续进入小批复制，增加出厂自检程序：检查相机在线、光源通道、PLC 通信、DI/DO、触控轴回零、扫码枪、数据库写入和 MES 模拟上传。这样每台设备在交付前都有一致的测试记录，也方便后期判断现场问题是设备故障、产品差异、网络问题还是配方变化。

初拓在这类项目中更适合承担需求拆解、结构样机、电控硬件、嵌入式控制、C# 上位机、视觉算法、MES/后台接口、装配联调和测试验证之间的工程衔接。方案阶段把边界写清楚，样机阶段把风险测出来，后续产品化才有可靠依据。