行业新闻

大家好！很高兴和大家分享机器视觉的应用，AI无处不在，但是据我所知，在工厂制造业应用来说，还是相对比较少。但是汽车行业的应用目前已经开始，我是2016年开始接触AI，但是一直没有找到落地实践的机会，在未来正好有落地实践的机会，所以今天把这个经历和大家分享一下。我写代码20多年，现在一直在写这方面的东西。

为什么做这个项目？

我们和江淮的工厂涂胶都是手工操作，遇到最大的问题，新人来的时候检测完之后要拍照上传到飞书群。检测的过程当中产生一系列的问题，新人毕竟不熟悉，所以现在的班组长想有没有一种办法检测质量问题，而且方便追溯，就好办了，找到了数字化滴滴团队。

业务诉求&分析

根据业务的叙述，我们开始整理几个需求痛点。一是工艺的冗余，每个零件拍照之后上传，造成了数据冗余，而且质检很困难。反馈很延迟，下班之后才知道，对于工作是有影响的。最后是数据流失，拍照忘记上传，第二天不小心删掉。目前的这几个问题，为了迫切解决这些痛点，能不能开发一套系统，工作做完，立马可以拍照，拍照之后开始检测有没有问题，就节省我们的时间。现在要省钱，不能花太多的钱，花最少的钱做最多的事。首先要自动拍照，二是自动判定，不要人工判定，这样一来选择技术路线就是机器视觉的路线方案。

技术方案

收集到需求之后开始初步的规范技术方案，设备端这边装机采集数据摄像头，涂胶完毕之后立马拍照，拍照之后进行处理反馈结果，告诉他们通过还是不通过。如果不通过需要重新涂胶，给他们反馈的机制方案是这样。机制方案确定之后，下面面临技术选型。

技术选型

现在的技术选型在人工智能有开源解决方案，也有商业解决方案。开源的解决方案有很多，首选就是基于视觉，像OpenCV、TensorFlow等等。程序员也很喜欢，也是舍不得花钱，技术要求很高，并且实现难度很大，技术还不够过硬。如果技术过硬，直接横推过去。商业的解决方案，目前业界类的Halcon、VisionPro等，上手很容易，懂基本的标定就OK，最关键的一点就是工具和功能很完善，还有多语言联合开发，最主要的就是厂家提供技术的兜底，遇到困难的时候，可以找厂家求助。缺点也非常明显，比较费钱。

软件（平台）&采集设备

最终经过讨论，还是采用了商业解决方案。最终领导觉得你们这些还是费点钱比较好，不用费人，因为费人的话时间也来不及，最后选择机器视觉的商业产品Halcon系统，我们采用巴斯勒工业相机，设备上面就是工控机，装的windows10的操作系统。服务器端用的是腾讯云的服务器，机器算法用的是实体机，开始的时候准备用云服务器，但是后来是因为Halcon不能装在云服务器，他们不支持这种服务，所以也是没有谈下来。这是采集的软硬件。

交互示例

对于这个系统，简单交互是这样，工人拍完照，工位上的相机直接传给涂胶服务，也就是后台算法服务，进行自动判定，自动记录，自动处理，反馈出来当场就会有结果。下班之后，班组长或者领导可以通过边端，也可以通过外部端，也可以通过小程序直接看工作的结果，比如直接的涂胶量是多少，哪些是不合格的，需要重新返修的。

系统（业务）架构

对于一个系统来说，系统和业务架构进行初步的设计，大概是这样的情况。首先，包括几个前端的方面，小程序，外部应用端，也有工控机端，对于网关要健全，因为要身份认证。

时序示意

这是时序图，也是很简单的东西，写程序的大家一看就明白。我们收到工位端，收到图片之后，就会传到服务器端，进行处理，然后反馈结果。既然开发出来要进行部署，针对我们的实际情况采用了三套备选方案。

第一套备选方案就是工控算法和环境是闭环的，都是在内网云上存储的数据，工位端PC和服务器之间可以内网传输，工厂的内网就可以。外部的网络断了，没关系，自己还可以继续干活，这是最大的优点。但是缺点非常明显，工控机开发的量很大，而且和算法之间的对接，一旦出问题了，排查也不是很方便。现在F1这样做，将来有F2，F3，F4这么多工厂迁移的话，成本也是非常高的，这是当时设计的第一种方案。

第二种方案，工控机负责采集和显示，算法也是内部云环境，图片是内网之间流通，这种方案相对而言优点在于工控机端的系统比较轻量级也是很简单。逻辑主要集中在中台和服务，后续的功能迭代也是比较方便可维护，分离比较明显。不像第一个方案，工控机端呈现出来很多算法方面的东西。后续部署也很方便，但是缺点也很明显，最大的明显是说，因为我们的图片最终存到云上面去，需要假设内网云和公网云的专线，这种成本很高。

第三种方案，工控机依然负责采集和显示，算法是连通内网的云环境，图片在公网之间相互流通。优点非常好。公网和内网带宽占据比较小，摄像机采集的图片每张比较大  ，没有压缩的情况下达到上百兆都有可能，占用大量的带宽。传输带宽的压力小了很多，但是面临很大的问题，包括数据泄露的问题，公网之间来回传输没有加密，也是比较麻烦的。后续节点的迁移维护成本也是比较高。

最终选择的方案，还是受限于算法服务，没有办法虚拟化到云服务器上，只能搬到自己的网络里边来，有实体机来用，只能选择三种方案当中的第一种。这个系统比较简单，我只是在这里截取了工控机端的方案。工控技的界面通过密码直接登陆就OK，后续会通过帐号自动登录，不需要输入工控机和密码。程序界面也是非常简单，这种程序界面报告出来的涂胶检测，历史查询和基本的配置，这是我截取的工作当中的图片。

案例分析

一个案例是涂胶检测，二是拍照检测。工人涂胶后之后，只要脚踩一下踏板，不需要操作我们的程序，自动采集照片，然后传到后台，经过算法判定，状态是绿颜色还是黄颜色还是其他颜色，代表通过或者不通过。

上面有一个按纽，红色的是单张拍照。万一遇到自动拍照不行的时候，需要手动拍照。手动拍照需要软件写代码来拍照。因为相机可以通过自动触发，这个相机可以通过IO开关，只要脚踏板踩一下就可以直接来拍照采集图片。

当硬触发失败的时候，还有一招，就是软触发，可以通过鼠标点击操作界面实现这样的功能。现在在标定这块，客户端可以进行标定，算法也要标定，现在的标定比第一期的时候比较原始，通过手动在后台标定，后期的时候会在这一端通过自动拍照，拍照之后自动发送，自动模板，自动标定，大大减轻工作量。

这是涂胶历史查询。项目的收益目前没有实现，我们希望最终能够实现，目前就是减少工时，统一平台追溯还在后续建设当中。预想当中形成统一的视觉标准，实现起来需要长期的过程。

总体来讲，我这边的分享就是这么多，谢谢大家！