张金：智能大数据环境下的工控安全新风险

张金  南开大学网络空间安全学院物联网工程系副主任、副教授

摘要：在大数据和人工智能技术的驱动下，传统工业和制造业在面临巨大的冲击的同时也迎来了前所未有的机遇。本文聚焦探讨工业4.0与智能制造时代下，工控和物联网安全领域出现的新问题。

在智能环境人工只能出现之后，给工控按来会带来哪些挑战？可能是我们今天会后大家去思考的问题。

工控领域安全是网络安全的延伸和发展，这句话想说的是什么？我们对基本工控安全有一个基本的界定，学科归属产业归属要有一个界定。第二它涵盖了如此的行业单于国际民生我不说了，工控安全这两点越来越重要，无论是从国家整个产业运行还是追溯到社会学人类学整个组织上都发现工控产业特别重要。我们这两年接触到最典型的数据是这样的，一个中等规模城市断电三天城市崩溃，不是说这个城市如何它是崩溃掉了，这是为什么我们这两年对于整个能源行业都特别重视，实际上不只是这样，所有的交通运输采矿冶炼生产制造都关系到这个问题，这个是工控安全这几年很重要的原因。

第三说我不是作用一个操作系统完全更服务于各个环节，这个我想说的是什么？其实你回头想，最早谈工控安全谈的是什么问题？只是谈设备，过了几年大家发现单设备在工控领域当中不只是单设备开始有一条线各个环节，它上升到一个产线的系统，又过了几年发现我的整个工业控制系统或者在一个产线里面不只是有自己的问题，我跟供应链甚至和CRM都要对接，于是我又上升了一次，我工控安全应该包括整个系统再往后延伸到人工智能，一会我们再来谈。我们今天先下一个定义谁是公共安全问题只要它的后果能够影响到我正常的作业不只是终端的作业还是造成偏差，这些问题应该就属于工控安全问题，人工智能会不会影响到整个作业？人工智能在工控产业里面会有什么样的情况。我们不细说了很多的表，大家知道这两年人工智能大数据应用的非常多，人工智能会是第四次工业革命的最大推动力，在这我只谈一条人工智能新一代政府工作报告里面国务院发布了新一代人工智能发展规划，如果你真翻过那个东西仔细看看里面推出谈到了人工智能在于基础工业智能制造在实业上的落地，这是国家最关心的。

这几年看人工智能的发展非常的兴旺，我们看几个例子人工智能到底怎么样来服务。这个是工业大数据，第一类是我见最多的产品故障诊断预测，现在几乎大一点的企业都在拿人工智能机器学习大数据在做这个而且效果非常好，我们举一个例子GE-insite它有一套维修体系，GE当年卖类似于CT或者超声波机卖的挺多的，但是这些大型设备其实在维护的过程当中经常出问题，我上学的时候就有人说你将来找工作最好找维护大型设备，为什么？是因为小问题操作人员解决了，大问题你解决不了，到你这只是打一个电话找人维修就OK了，现在的数据基本上体现这样及GE当时维修的时候，平均维修时间是4个小时左右。而且工作量非常满，后来用了人工智能做了一套insite，它其实是基于机器学习一套软件数据诊断系统，改完了之后大概可以做到41%的故障远程排除不用去了，如果有大型设备的维修经验会看到大型设备的大量问题是什么？不是核心的问题，有可能是哪的线松了或者是校准一次就可以运行，它其实并不需要非常高的技术，所以远程基本上15分钟内就可以解决。

这样我们发现数据整个的运行对于工控产能的提高很有帮助，第二个生产线优化，生产线最怕的就是停机，这是一个全球500强他做了智能产线，这个产线打出来那天开始就没有24小时停机过，因为当时在良品的控制上出问题了，它的产线跑起来经常要停机，因为跑着发现有一个残次品停机，所以做不到不停机，那有什么办法？我等下来之后装箱再弄？那也不行。于是怎么办？他们也用机器学习的方式做了故障停顿，它来预测不用再看产品是不是残次品，每一个产品上有一个标号，一个标号上对应一个概率，低于百分之多少的概率我认为你就是残次品，装箱的时候自动踢出，光这一项不停机一年直接的收益在5亿美元左右，我看到大数据的第二个好。

第三个供应链的优化会促进采购仓储这都是很常见的问题，在这我只说跟安全有关的，其实对于供应链整个的数据信息保护非常重要，我们国内当初一个企业做橡胶制品，它的产品质量非常好，外国企业非常好奇你的橡胶配比原料到底是怎么调的，其实你回头坐这想，真正有价值的商业秘密你是不会拿它做专利的，一旦做了专利就意味着公开了，藏着外国企业包括国内友商想了很多的包括，就是不知道。直到外国人想了一个新的方法，看看他的原料采购，看他的供应链，到底把它的配比算出来了。我们国内还是造成了一定的损失，但是这个问题可能不算是工控问题更是商业机密问题，因为没有造成了产线的终止和运行，最后一个生产排成也比较常见。

这个是我从一个网站上截的图，应该是做工业互联网大数据的，在这要讲的是什么？当工业互联网、工业云、工业大数据出现之后，越来越多的企业会把它的一些业务搬到云上去，刚刚我们其他嘉宾也讲过等保2.0新的东西都要考虑工业云，其实在我的眼中去看工业云的时候我最害怕的是一个什么问题？当我们做了云，云核心是集约化的工具，你们都用用完成本就下来了，但是大家用的函数和代码其实可能都是一段，我们过去100个厂家做100套系统，可能系统实现的方式包括漏洞还是多种多样的，一种病毒想通车其实蛮难的，但是当你上了云，当我们都大规模的采购了一家的产品你会发现，你们出现的风险就是一样的，云可能带来的风险不是自己的风险。

而是云对于各种数据各种服务进行辅用它带来的东西，我们再从技术的角度看看人工智能这个角度真正铺到工业领域有哪些技术，第一种机器视觉，就是用机器代替人眼来看就是小镜头。我们将目标转成各种数字图象信号，运用模式识别数字图形学各种方式，根据象素的分布亮度抽出形态纹理特征，进而根据辨别的结果来控制现场的工作，就是交互。以它们基本上广泛的应用在各种工业自动化处理问题上，因为人工智能就三个套路感知、计算、控制，就这三件事其中最有效的感知手段就是视觉，无论是希望跟人眼一样看一个形状看一个动物，看什么核心动是用的视觉方法，这个东西现在用的最多。

第二个机器听觉，听觉指什么？用机器代替人耳来做测量和判断，由于生理上本身是振动的也叫机器处理，通过听觉装置，一般我们用麦克风阵列或者是定向的传感器，获取声音信号传给专业的听觉系统来处理。听觉现在来看主要用在两到三个领域，第一个领域是什么？故障排除，其实当你有一台机床，这个机床有一个机轴它长期运行磨损之后产生的噪音就会不一样，这个技术相对来讲应该比较成熟，过去不叫听觉，现在越来越多的企业都喜欢用这种方式来进行故障的诊断。第二类用在控制上，比如说去年在上海帮一个厂子做了一个小方案，它的核心就是在炉子里面烧玻璃的绝缘子，它不知道在哪，于是我们放了一个自动传感器来听碎的一声，基本上知道在哪虽来做检测。第三个做的人机交互，我们很多的作业尤其在港口或者是在比较敏感的地方作业，因为你的双手都占据了，剩下的沟通下指令只能通过嘴，经常带一个无线耳麦说，他们也是用的机器听觉。

第三种机器人开始动起来，机器人跟过去想的不一样，过去看到的工业机器人认为就是产线，有人拿着锤子砸或者是拿一个小探针在那焊接不是，现在的机器人完成了运动规划自主定位一会我们看一眼。还有一个是这两年新型的问题叫自主决策，我们举了一个案例它做了一套AI专门追踪员工的工作效率，你干过企业管理知道，最头疼的一件事就是我这个员工到底是摸鱼还是认真工作，有很多的方式想办法监控，但是这样做效果都不好，他们做的还不错。做一套系统来监控每一个员工的TOT，自动生成解雇指令，一旦系统判断你上班有60%的时间在工作，直接一个电子合同出来你就走了，它系统里承接的是后来自动去给下一个排队库里的人发邀请，让你到我这来上班自己签订合同第二天来报到，已经做到这个水平了。基本上决定用AI来决定是否去解雇一个员工，据说跑一年之后大概近千名员工被辞掉，这是一个物流输送系统比例接近了10%。这个我要讲的是什么？

其实自主决策人工智能不仅仅在产线控制上，它开始延伸到CM上去了，如果对这样一个AI进行干扰把你仓库的人都开掉是不是也干扰到你的作业运行？也是。下面找了两个图，右边是创意公司他做的设备专门用于监控员工的工作，据统计大概有15%的企业都在默默的关注员工在干什么，这些公司出了这些产品每天和工卡一样往身上一戴，所有的统计数据立刻上平台，它就可以知道你到底是歇着还是在忙碌。左下角这个图是国内一个环卫工人，当时管理部门给他们一人送了一个电子手环，说是可以报天气，告诉你一个气温还可以跟你沟通一下，还有另外一个功能每当你在一个地方待了20分钟之后就会提醒你一下，在后台给你做一个违规的记录，因为环卫工人扫地不可能在这个地方扫20分钟的地，后来被新闻报了之后有关部门又改了。但是我们会发现越来越多的人工智能的东西被我们放进来做决策来符合业务运行，上面两个图是全球工业机器人的最高水平，左上角的物流机器人已经可以去抓箱子，这个箱子是100镑，一个机器人跑起来不难，你让它抓沉一点的东西也不难，但是抓一个沉的东西跑就很难。右边也是一个物流机器人，你会发现它可以吸住纸箱子，这两个机器人应该都是在今年年底面世，所以你看这个机器人和在产线上固定区别很大，未来的机器应该是这种模式。左下角做的也非常好，你会发现它的机械手可以仿照人的手工作，其实机械手抓东西是非常难的问题，不是在于动不动，而在于到底抓的是纸杯还是矿泉水瓶应力不一样，右下角是另外一个机器人医疗机器人最高水平，它可以做远程手术它在缝合一个葡萄，你想医疗领域应用也是非常广的。

最后我找到柴院士的一段话，目前工业人工智能是两者结合，工业人工只能增强劳动力素质提高效率服务客户，各个生产环节发生变革，为新的制造业提供了新的，后面还说了很多，我不念了。根据我个人的经验，企业为什么要拥抱人工智能？很简单节流增效效果极其明显，我在江苏南通是全球的家访集散基地，当时我和一个老板聊了聊，他一年的流水不到40个亿，我们俩就说到工业机器人和工业智能有没有可能在你那用？他说我刚买了一套大概1.2亿，这条产线实际上每年给我省工资直接省5000万，现在的金融工具非常好对于他来讲这个项目基本上意味着三年回本，在年化超过33%的回报率项目你觉得好不好？你觉得你要不要，你觉得他要不要？后来我们俩又深聊了一下，他看中的不是这33%，他看中的是当机器人工智能这些东西取代传统人工进来之后，一个企业真正获得释放获得降低的是什么成本？管理成本，不是真正的员工支出，他是一个生产型企业，生产型企业特别容易出工伤，我们公司每年三五条人命是少的，但是有了机器人我不怕，第二机器人不用我上社保。第三个机器人不会要我加班费，它就24小时连轴转，机器人没有工伤，机器人不会去因为这个产生各种的争执，你们公司100多人还管得住，150—200人立刻管不住，尤其是厂房厂区，当它拥抱机器人愿意以很高的代价开始做的时候为什么？是因为减员增效效果超出我们的想象，直接成本就是33%的收益，还有管理成本的降低。所以我们再谈第二个问题是什么？工业也好能源也好交通行业也好各种的基础行业拥抱人工智能是不可避免的趋势，早还是晚的问题。那么我们前面讲过，工控的发展最早做设备后来做系统，是因为整个工业的产线在发展，工业在发展革命，工业革命看到的一定是人工智能，那么人工智能的风险会不会被工控安全所继承肯定会。那么人工智能有什么风险？简单的看看。这个是比利时大学发的文章，他用了一套基本的人工智能算法识别人的，如果当它识别出来之后会编一个号认为你是一个人，但是当你身上贴了一张画之后你发现它没有办法把你识别成人，我们把它叫做现代的隐身服，右边的两个动图其实当我们也许用一些数据攻击的方法人工智能就会失明，这个东西用在工业上用在能源控制上或者用在厂区的安保上会不会有风险。第二类让它错误识别，大家听到深度学习，深度学习效果非常好，业界说的非常多，我们看看深度学习遭受攻击有没有结果。

左边一个是正常的深度模型模型，我可以识别出来红色区域是挂在架子上的毛巾，有一个垃圾桶还有绿色的浴缸还有橱柜都是正常的，但是当你进行一定的扰动或者是对数据有一定的修正的时候，你发现机器人看到同样的照片机器人看到的是不一样，它看到的就是右边的，我们会把浴缸和垃圾桶合在一起识别为一个杯子，远看是有这个轮廓。包括窗户毛巾镜子完全都被识别错了，这种误导攻击放在将来产线能源控制或者交流物流无人车上会产生怎么样的风险，越重要的行业我们要求它越精确，再一个逃逸攻击，这个东西现在特别火，它指的是什么？我让你识别成别的，原始图片是这样的本来那个机器模型人工智能它一看是一个熊猫，但是当我加了一定的噪声一堆点，两张照片叠加之后得出来的是这张照片，但是放到人工智能的视觉下人认为它是一个长臂猿，而且准确率高达99.3%，机器人十分肯定它就是长臂猿这叫逃逸攻击。

针对声音的也有，针对声音的主要是两种。一种是我们上面说的针对人类的，还有一种针对模型的，我发出一系列的噪音，人听了不当回事，甚至这些声音会脱离20—2万赫兹的人耳听率，但是当机器听到的时候，机器就认为听到了人声立刻触发相应的行动，我们在三星S7和苹果6上听到这个声音顺利的唤醒开始拨打911或者把手机切到离线模式都可以做到这些东西。让人听了好像是噪音，但是机器别听成了指令，以此类推还有很多，黑盒攻击语音系统，从文本到逼真的人声，这也是特别火的，我见到国际上两三家公司都做出来了，国内百度说做出来我没见到东西，它的逻辑是什么？你过来说60秒的话说什么都行，我把你的声纹提出来用你的声音去念任何一段我定义好的文字，你想想这个控制起来风险非常高。再之后就是影响分类结果把熊猫看成了长臂猿，我们各种越界的各种的越界内存访问逃逸攻击数字样本的对抗，比如说你写成1就识别成2，人看的就是1，但是机器看就是2。我们前面讲了视觉讲了听觉，大概的决策也说了，我们说说行为的问题，这是一个著名的机器人2016年逃跑了两次，从实验室跑出来了，为什么跑出来？是因为机器人本身具备了一定的智能可以自主寻线，未来工厂里的机器人不会是在那静止不动的机械手，他们会有运动能力的，这个机器人跑出来因为当时的电子围栏忘了收留了一个口，机器人一直跑到街上造成了拥堵，跑了50米就没电了，电池不太多，后来把它带回来过了两天这个机器人又跑出来，据说这一次是GPS坏了，机器人定位错了也跑出来了，无论怎么样这也许是一个小事没有造成恶劣的后果，但是未来如果一个焊接机器人拿一个喷枪厂区走都是很危险的。右下角的照片，这是2016年深圳高交会上这个机器人在展台上站的挺好，突然机器人疯了把展台的玻璃撞碎就出去了，展台碎掉了玻璃扎伤了一个观众的脚。我要谈的是什么？我个人觉得电影里讲的人工智能水平超越人类毁灭人类应该还很遥远，但是对于他们的失控，对于他们控制过程的缺失以及草屋的引导，给你惹一点麻烦应该说还是很现实的。

再举一个例子，福岛核电站很多年了，日本人刚做了一个机器人能钻到福岛核电站里面看各种的情况，原来首席科学家是南开的客坐，就是因为现在高磁高爆的环境，不知道有强大行动的机器人你仍进去这个机器人会在里面干什么，万一它真的抱着核废料跑出来呢？所以我们上来很慎重做非常小的机器人能先看明白环境测好指标再上机器人，因为这个东西一旦产生失控它的破坏力远比你想的大很多。对于人工智能有没有人去管理他们呢？南开大学在做核心智能，我们现在看到另外一个标准欧盟大概是在去年年底出的人工智能草案，它跟工业有关系但是更多的是对于人工智能的框架进行了定义，最后我们简单的说一下结论，因为人工智能会改造整个工控系统对于工业革命有巨大的推动作用，所以人工智能的风险必然会比工控安全所继承，你想拥抱人工智能就需要拥抱它的风险。我现在说点阴暗面还有阳光面，有很多人也在用人工智能，对于工控里的漏洞什么在做挖掘效果也不错，但是更多的我们考虑是不是真的也许在等保3.0里面我们需要考虑一些兼顾人工智能风险的新型工控安全问题，并基于这个框架来进行研究，也就是大数据下的工控检测。