黑客v的演讲(黑客表演)

作者：防务菌 来源：电科防务研究

　　“根据SNS研究部门的一项新报告《大数据市场：2017 - 2030年 - 机遇、挑战、战略、行业纵向和预测》，大数据解决方案的投资预计将在未来四年内以约10％的年均复合增长率增长，大数据投资将在2017年将达到570亿美元，到2020年底达到760亿美元。

　　”

　　随着来自移动设备、网络、社交媒体、传感器、日志文件和交易应用等实时数据的激增，大数据应用已经找到了一种向现代战争提供丰富多样的关键任务数据的方法。

　　企业采用数据挖掘技术的大数据解决方案正在被军方采用，从无人机、自动化网络安全系统、恐怖分子数据库和其他来源收集的许多不同类型的数据中获取更多的信息。该技术不仅可以帮助战场上的战士，还可以用于改进从软件开发到装备维护的各种领域。

大数据市场规模

　　根据SNS研究部门的一项新报告《大数据市场：2017 - 2030年 - 机遇、挑战、战略、垂直行业和预测》显示，大数据解决方案的投资预计将在未来四年内以约10％的年均复合增长率增长，大数据投资在2017年将超过570亿美元，到2020年底达到760亿美元。

　　该报告还指出，将近三分之一（30％）的大数据工作将通过云服务进行处理。

大数据投资

　　大数据技术包括分布式计算系统、分布式文件系统、大规模并行处理（MPP）系统和基于网格计算的数据挖掘等。美国国防部在2017财年预算中要求投资“大机制”，致力于生物学、赛博、经济学、社会科学和军事情报的计算智能自动化。根据预算，DARPA预计其与大数据相关的计划投资将从2015年的约2.16亿美元上升至2017财年的近2.69亿美元，计划增长24.5％。

　　2014年，美国国防预先研究计划局（DARPA）宣布了一个名为“信息挖掘与理解型软件开发”（MUSE）项目。该项目寻求将软件开发的常规方法与机器学习的基本理念用于一个不断发展壮大的开源软件库，以期通过这种方式对当前编写与维护软件的方式进行彻底地反思，最终提高军用软件的质量。DARPA希望通过MUSE项目开发能够管理信息的“大代码”软件包，它不会在大数据集的重压下变形或崩溃，该项目针对的大数据，是2012年奥巴马政府宣布的技术计划核心。

　　Mining and Understanding Software Enclaves (MUSE)

　　各种五角大楼的大数据倡议包括国防威胁降低局（DTRA）对危险病原体的跟踪研究、DARPA直接领导的针对癌细胞进行的卫生数据挖掘，DTRA基于数据挖掘和专利分析的组合（用以跟踪可能改变未来军事装备及规划的“颠覆性技术”，以及追踪大规模杀伤性武器的扩散）。

大数据工具与技术

　　1.Apache 面向对象数据技术，Apache OODT (Object Oriented Data Technology)：该项目始于1998年美国国家航空和宇航局的喷气机推力研究室，它使用结构化的基于XML的捕获处理流水线，非程序员可以理解和修改，以创建、编辑、管理和配置工作流和任务执行。

Apache OODT (Object Oriented Data Technology)

　　OODT还允许在可扩展的计算基础设施上远程执行作业，以便使用云计算和高性能计算环境，将计算和数据密集型处理集成到OODT的数据处理流水线中。

　　Apache OODT正在NASA的地球科学、行星科学和天文学的许多科学数据系统项目中使用，例如月球测绘和建模项目（LMMP）、NPOESS预备项目（NPP）Sounder PEATE Testbed、轨道碳观测站- 2（OCO-2）项目，以及土壤水分主动被动任务试验台。此外，OODT还用于DARPA MEMEX和XDATA两个项目的大规模数据管理和数据准备任务。

　　OODT的主要特色有：

　　对分布式资源的透明访问

　　数据探知与查询优化

　　分布式处理与虚拟档案

　　2.Apache Bahir：提供对分布式分析平台（如 Apache Spark 和 Apache Flink ）的扩展。Apache Bahir 最初是从 Apache Spark 项目中提取的，现已经作为一个独立的项目提供，以提供不限于 Spark 相关的扩展/插件、连接器和其他可插入组件的实现。通过提供多样化的流连接器（streaming connectors）和 SQL 数据源扩展分析平台的覆盖面。它为大数据处理提供支持，并为其他相关的分布式系统、存储和查询执行系统提供附加扩展/插件。

　　3.基于条件的维护（CBM）：美国空军官员、数据科学家和其他人员正在利用先进的数据处理和分析工具，包括软件和硬件解决方案，简化工作流程，提高效率和生产力，跟踪和管理资产，并使用基于条件的维护（CBM）取代计划/时间维护 ，如此一年可节省150万美元。

　　具体来说，空军官员选择使用Teradata Aster平台更好地管理航线维护和飞机库数据、库存。

　　4.Hadoop软件：一款支持数据密集型分布式应用程序并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop是根据谷歌公司发表的MapReduce和Google文件系统的论文自行实现而成。

　　Hadoop框架透明地为应用提供可靠性和数据移动。它实现了名为MapReduce的编程范式：应用程序被分区成许多小部分，而每个部分都能在集群中的任意节点上运行或重新运行。此外，Hadoop还提供了分布式文件系统，用以存储所有计算节点的数据，这为整个集群带来了非常高的带宽。MapReduce和分布式文件系统的设计，使得整个框架能够自动处理节点故障。它使应用程序与成千上万的独立计算的电脑和PB级的数据。现在普遍认为整个Apache Hadoop“平台”包括Hadoop内核、MapReduce、Hadoop分布式文件系统（HDFS）以及一些相关项目，有Apache Hive和Apache HBase等等。

　　5.组织关系和联络分析仪（ORCA）：该软件由美国军事学院开发，最初是用于军事行动来确定叛乱分子网络，目前正在美国国内使用。美国军方将利用国内测试作为未来战时应用软件供应的一种方法，同时也可为警察系统提供一种宝贵的免费工具，最终可以实现在美国国内更广泛的部署。

　　6.Tableau：Tableau为大数据时代找到事半功倍的解决方法，它结合了数据挖掘和数据可视化的长处，使用者可以在电脑、平板等多种行动工具上透过最简单的拖曳、释放完成原先复杂的分析程序，强大的视觉化互动界面，让用户可以随心所欲的定制想要的图表呈现方式，或透过仪表板（Dashboard）的功能多方监控，在安全的管理构架下在企业内部分享。

　　7.D3.js：D3 的全称是（Data-Driven Documents），顾名思义可以知道是一个被数据驱动的文档。听名字有点抽象，说简单一点，其实就是一个 Java 的函数库，使用它主要是用来做数据可视化的。Java 文件的后缀名通常为 .js，故 D3 也常使用 D3.js 称呼。D3 提供了各种简单易用的函数，大大简化了 Java 操作数据的难度。由于它本质上是 Java ，所以用 Java 也是可以实现所有功能的，但它能大大减小你的工作量，尤其是在数据可视化方面，D3 已经将生成可视化的复杂步骤精简到了几个简单的函数，你只需要输入几个简单的数据，就能够转换为各种绚丽的图形。

　　8.Power BI：Power BI 是一套业务分析工具，用于在组织中提供见解。可连接数百个数据源、简化数据准备并提供专门分析。生成美观的报表并进行发布，供组织在 Web 和移动设备上使用。每个人都可创建个性化仪表板，获取针对其业务的全方位独特见解。在企业内实现扩展，内置管理和安全性。它允许开发人员以非常精确的方式创建可视化和显示数据，这样就不会在其他BI工具中找到此类工具。它可以用最少的努力和使用现有的技能来完成。Power BI桌面有各种各样的标准可视化，其中包括人们通常需要的一系列报告。这些插图基本上可以通过Power BI桌面或Power BI产品创建。然而，总是有各种各样的图形、图表或表格需要得到特定的期望结果的条件。这些类型的定制可以是内部开发或开发人员可以检索其他定制的可视化视觉画廊。

　　9.R语言：R语言是一种自由软件编程语言与操作环境，主要用于统计分析、绘图、数据挖掘。R本来是由来自新西兰奥克兰大学的罗斯·伊哈卡和罗伯特·杰特曼开发（也因此称为R），现在由“R开发核心团队”负责开发。R基于S语言的一个GNU计划项目，所以也可以当作S语言的一种实现，通常用S语言编写的代码都可以不作修改的在R环境下运行。R的语法是来自Scheme。

　　R的源代码可自由下载使用，亦有已编译的可执行文件版本可以下载，可在多种平台下运行，包括UNIX（也包括FreeBSD和Linux）、Windows和MacOS。R主要是以命令行操作，同时有人开发了几种图形用户界面。

国防大数据的未来趋势

　　据美国国防部导弹防御局大数据解决方案架构师John Murphy（将于6月26日在2017年全球国防大数据峰会上发表演讲）介绍，未来国防大数据将体现以下几个趋势：

　　1、大数据VS关系数据：每个使用案例或业务案例都需要了解它从何、为何发起。但这种趋势与传统的关系数据结构及其支持的基础设施和面向通用大数据结构的趋势不同。

　　2、防止数据丢失的数据管理问题：“大数据”需要应用更多传统的数据成熟度和验证过程，以确保最好的数据价值能够实现。

　　3、数据沼泽V数据湖：出现大数据的两种方法。

　　更快速的部署和迭代周期几乎只专注于使用数据和信息“原样”，用于更为原始和尽可能接近原始数据源的分析。由此产生的数据集趋向于更多的“数据沼泽”环境，对采集、质量和维护的规则很少。

　　第二种方法具有更传统的数据管理实践，注重标准化、清洗、可审计性要素，一致性和全过程管理。

人工智能：预示大数据将成为军事武器

作者：马文婷 来源：防务快讯

　　一场人机大战，将世人的视线拉至世界技术前沿——人工智能，自19世纪70年代以来，它一直占据世界三大尖端技术之一。人工智能具有客观、冷静、系统的特征，在海量信息搜索、存储、计算推演等方面，远胜于人。“阿法狗”的出现，预示着未来由软件定义的军队与战争将成为现实，数字化的战例、训练、演习将成为核心战斗力，物联网、云计算、作战计算实验将成为军事行动的“新常态”，我们必须建立自己相应的智慧国防军事理论与体系。

　　在举世瞩目的人机围棋大战中，谷歌的人工智能程序（软件机器人）“阿法狗”以4:1战胜韩国世界冠军李世乭，令人类瞠目结舌。我们在惊叹之余，更应该警示和思索：200年前，中国在“老IT”的工业技术落后于西方列强，导致我们不得不以大刀长矛对抗坚船利炮；今天，世界正进入“新IT”的智能技术时代，我们该如何应对才能避免重蹈历史的覆辙？在国防军事领域，我们应该如何发展自己的智能技术？

　　历史上，就有围棋源于战争兵法之说。东汉马融在《围棋赋》说道“略观围棋兮，法于用兵，三尺之局兮，为战斗场”，围棋的许多术语，如冲、打、征、劫、刺等，更是直接来源于古代的军事术语。

　　战争源于理性的有限。人类的智力水平，就是人类的理性程度的技术表现。网络信息技术和类似于“阿法狗”为代表的“新IT”技术，已经改变了人类理性与智力的边界。人类必须重新认识并定义理性有限之“有限”的含义，对于源自有限理性的战争而言，这一点更是关键。

　　具体而言，“阿法狗”为利用以深度学习为代表的智能技术解决复杂性问题指明了一条可行的道路。毛泽东同志曾指出“所谓复杂，就是对立统一”，围棋正是对立统一的结晶！对立统一，也是军事指挥的核心。然而，解决围棋复杂博弈的智能技术，如何有效地转化为处理集信息化、自动化、智能化为一体的现代复杂战争的工具和体系？

　　应该说，围棋与战争在本质上都是对巨大策略空间的搜索。“阿法狗”的胜出，显示出人工智能在已知历史数据的支持下，能做出远胜于人的高速搜索。但同时必须看到，这种技术仍然存在缺陷。第四局中，李世乭第78手构造出劫争之势，巧妙构造了一种欺骗性模式，终于扳回一局。这说明了目前的智能技术仍无法很好处理未知情景，而且难以对抗人类及其社会的本质复杂性。

　　无论如何，“阿法狗”预示着软件定义的军队与战争将成为现实，大数据真正成为了军事武器，数字化的战例、训练、演习将成为核心战斗力，物联网、云计算、作战计算实验将成为军事行动的“新常态”，我们必须建立自己相应的智慧国防军事理论与体系。

大数据分析将成为应对勒索病毒的第一道防线

来源：大数据D1net

　　ElkCloner是第一个已知被广泛传播的计算机病毒。它由Richard Skrenta在35年前创建。这种病毒或多或少是一个恶作剧，虽然这对于在软盘上意外感染了这个病毒的人来说肯定是一种痛苦。

　　如今的恶意软件可不是一个恶作剧。它可以削弱整个计算机系统，并销毁大量有价值的数据。勒索软件(Ransomware)让人厌恶。如果它安装在计算机上，可能导致整个系统关闭，直到支付赎金。

　　Wannacry是世界各地袭击电脑的最新最危险的勒索病毒。据新闻报道，这个恶意软件感染了150多个国家的大量电脑。受害者向黑客支付了不到七万美元的费用，但是很多人的文件在感染病毒后遭到破坏。

　　其他形式的勒索病毒更有效。他们经常以害怕信息被暴露的企业或个人为目标，这些目标可能以不惜一切代价保护自己的商业秘密或隐私。

　　美国联邦调查局表示，一些勒索软件是如此有效，他们往往建议受害者支付赎金。否则，他们的数据可能会永久受损。

　　那么，网络安全专家可以做什么来防止勒索软件造成这样的肆意破坏?没有一种简单的答案，但大数据在未来几个月将是非常有用的。

　　大数据将如何防止未来的勒索软件爆发?

　　在过去五年中，网络安全专家表示，大数据将在打击恶意软件方面发挥关键作用。行业专家RahulDasgupta说，传统的防恶意软件解决方案的一个问题是，他们无法阻止病毒实时复制或快速发展，以应对新的威胁。他表示，大数据分析将被纳入市场上更多的防病毒应用程序中，因为它解决了许多这样的问题。

　　“为了提高以前的杀毒方法的低效率，新一代的技术必须自动分析恶意软件，而不仅仅依赖于从其他客户端计算机捕获的以前的样本...多个检测引擎能够同时工作，尽管连接到不同的客户端计算机提高收到数据的速度，并进行分析。持续研究行为模式和可视化事件数据使得安全分析人员可以在攻击实际发生之前发现模式。为了进行数据可视化处理，需要大量数据，由于云计算网络实时连接，因此可以使用这些数据。因此，大数据分析有助于企业有可能在感染或危害系统之前识别和阻止网络威胁。”Dasgupta说。

　　未来几年，大数据将如何在遏制篡改和其他恶意软件方面发挥重要作用?以下分享一些见解。

监控DNS来源

　　黑客经常设置新的域名来传播恶意软件。由于许多黑客每7到14天回收一次域名，所以如果企业不仔细地监控这些域名，则很难识别它们。

　　大数据分析可以更方便地监控DNS来源，并查找为传播恶意软件而设计的域名。

使用C2级系统应对黑名单

　　列入黑名单的危险的网络流量是每个网络安全专家应该采取的一个非常重要的预防措施。大数据使网络安全专业人士能够开发C2级系统(注：C2级具有访问控制环境的权力，比C1的访问控制划分的更为详细，能够实现受控安全保护、个人帐户管理、审计和资源隔离。这个级别的系统包括UNIX、LINUX和WindowsNT系统)，可以从所有已知的黑名单聚合域和IP地址。这是比人工识别需要阻止的不受信任流量源更有效的解决方案。在2017年，每天都有数百万个危险的已知的IP地址和新的IP地址。根本无法识别以及阻止它们。

检查网络流量日志的威胁

　　企业对于已知的威胁不能总是依赖第三方软件。企业可能是第一批被勒索软件攻击者瞄准的目标之一。如果企业不保护自己的安全，那么其业务将不会安全，即使企业已经阻止了所有已知的危险流量。

　　幸运的是，新的工具使企业更容易监控自己的网络流量。大数据允许恶意软件防护厂商仔细筛选企业的网络威胁。

　　大数据是针对勒索和其他恶意软件的武器，但它并不代表人们可以高枕无忧。