国安局抓住黑客(国安局盯上)

摘要

说起Palantir Technologies，在网络安全领域可谓是无人不知无人不晓。2016年7月份得到最新一轮融资4.5亿美元，公司估值200亿美元，是仅次于uber、 airbnb和小米的创业公司。然而就是在这些光环的背后，有很多不为人知的故事。今天界小编就为大家解读全球大数据行业第一独角兽公司palantir的创业史，深度解密帮助美国政府抓住本拉登的幕后高手。

摘要

说起Palantir Technologies，在网络安全领域可谓是无人不知无人不晓。2016年7月份得到最新一轮融资4.5亿美元，公司估值200亿美元，是仅次于uber、 airbnb和小米的创业公司。然而就是在这些光环的背后，有很多不为人知的故事。今天界小编就为大家解读全球大数据行业第一独角兽公司palantir的创业史，深度解密帮助美国政府抓住本拉登的幕后高手。

Palantir本意是《指环王》里那个能看到一切穿越时空的水晶球，在《指环王》里，这个球为进入中土世界的其他地方提供一扇窗户，是精灵们创造的魔法工具。Palantir的创立可以说是硅谷的一群牛人在创立天团的过程，创始人是Peter Thiel, Alex Karp, Joe Lonsdale, Stephen Cohen和Nathan Gettings。其中第三位和第四位都是毕业于斯坦福计算机系的超级码农，毕业后直接加入Palantir。第五位是来自于PayPal的超级码农。

Palantir早期的产品理念完全来自于Peter Thiel，这位奇葩的牛人自由穿梭于法律、金融、投资及创业之间，是斯坦福本科及法学院JD的高材生，他毕业后给法官打过杂，给瑞士信贷银行做过衍生品交易，然后还创立过一个二级市场的基金Clarium Capital。然后开始了九头牛都拉不动的牛人生涯。在1998年创立Paypal。在2002年Paypal被eBay收购后，他华丽转身，成为目前硅谷最火的投资人，投资的公司包括：Facebook、Asana、Quora、LinkedIn、Yelp、Yammer等。

Palantir最为人称道两个案例：一是在美国追捕本拉登行动中，Palantir扮演了重要的大数据情报分析角色；二是Palantir协助多家银行追回了纳斯达克前主席麦道夫Bernie Madoff所隐藏起来的数十亿美元巨款。

展开全文

实际上Palantir是一家大数据服务公司，专注于大数据挖掘、处理和可视化分析显示，通过海量数据的整合处理，将特定的人、位置、实体和活动进行关联分析，最终使关系可视化，方便决策判断。公司早期投资来自CIA旗下的In-Q-Tel风投基金。它第一个客户和最大的客户是美国中央情报局CIA、国家安全局和联邦调查局。据说正是依靠Palantir的协助，CIA找到了本拉登的踪迹，Palantir也从此声名大噪。

去年美国大选期间，在整个硅谷都支持希拉里的情况下，Peter Thiel另辟蹊径，不但出资支持特朗普，还在后期加入了特朗普的政府过渡团队。Palantir虽然符合特朗普喜好，但充满争议。近期，据Theintercept网秘密获取的一批文档显示，Palantir一直致力于推动美国国家安全局（NSA）和其国际合作伙伴的全球信息收集网络建设。在与美国政府的合作方面，Palantir从未掩饰过它的商业野心，据报道，Palantir 2009年与联邦政府签署了高达12亿美元的合同，而Palantir却一直拒绝公开其政府客户信息。

Palantir公司现有两大主打产品——Palantir Gotham和Palantir Metropolis，Gotham主要用于情报、执法和国防安全领域，Metropolis用于金融领域相关的银行诈骗和对冲基金定量数据分析。Gotham通过对结构化数据（如电子数据）和非结构化数据（如图像）的高度集中化分析，得到可视化的关联线索信息，如2010年的一个视频显示，利用Palantir Gotham平台，导入武器装备批号、制造商信息、真主党训练营地等分散数据，就能快速地绘制出中东地区武器流向图。

尽管手握利润丰富而又阴暗的政府合同，但对于存在争议的政府监控项目，Palantir的公司宗旨是“减少恐怖主义以保护公民自由”。Snowden泄密事件爆发后，由于Palantir旗下有一款名为Prism软件与美国国家安全局（NSA）的“棱镜计划”英文（PRISM）同名，而被好多人混为一谈，之后Palantir 在一份官方文件中作出了否认回应。

Palantir是一家以保护公民基本权利和隐私为主要使命的公司，致力于提供情报分析和金融资本领域最佳解决方案的同时，实现对公民基本权利的保护。在数据管理和治理方面，只有注重隐私和公民权利保护才能赢得公众信任，这也是Palantir在产品使用中所提倡的。

然而，从斯诺登处获取的文件显示，Palantir公司一直在帮助NSA和其合作伙伴构建基于全球的间谍网络，而这很难与其声称的注重隐私保护所相称。众所周知，NSA的项目XKEYSCORE（关键得分）可以收集获取用户在互联网上的所有痕迹，不仅包括邮件、聊天视频、网页浏览记录、图片、文档、音频、摄像头照片、搜索记录，还包括社交媒体流量、僵尸网络流量、键盘记录、漏洞可利用情况、用户名密码、上传文件、Skype会话等等。XKEYSCORE把收集数据最终形成一个检索库，方便NSA和其全球合作伙伴进行查询。

但是如何处理和归类这些复杂数据呢？Palantir公司的软件派上了用场。在Palantir海量数据分析和可视化分类服务的帮助下，XKEYSCORE变得愈发强大。Palantir极具吸引力的特点在于，它不是单一的数据解决方案，其强大的灵活性和兼容性，足以适应任何组织机构对海量数据的处理需求。

Palantir引起政府情报机构的注意可以追溯到2008年。彼时，一年一度由IEEE举办的数据可视化分析年会（VisWeek）在美国召开，英国信号情报局和政府通信总部（GCHQ）的代表慕名而来，会上，来自全球政府和学术部门以及相关私营企业部门组队参加可社化分析（VAST）竞赛设计，而据GCHQ文件描述，当时Palantir团队用其数据分析软件在现场展示了一个完美的设计方案，吸引了很多潜在买家。

会上，Palantir声称利用其软件可以“让多方数据分析专家真正展现集体智慧的发挥”，在Demo展示环节，Palantir工程师利用软件针对维基百科用户进行了宗教派别和社交关系的直观分析描绘，并把这些结果应用在虚拟恐怖组织“帕莱索运动”的追踪定位中，由于实验中所有虚构人物和场景都未有明显语境说明和倾向标记，Palantir软件仅通过虚构用户对维基百科的编辑和社交关系对话，最终确定了该恐怖组织人员。

从VisWeek返会的英国政府通信总部（GCHQ）代表大受震撼，在一份机密的参会总结报告中可以看出他们对于与Palantir的合作充满期待，就连字里行间似乎都透露出一种难以抑制的兴奋感。

然而有关数据显示，在美国、英国、澳大利亚、新西兰和加拿大组成的”五眼情报联盟”中，至少有3国情报机构采用了Palantir的服务进行全球数据的采集与分析，其中就包括GCHQ。Palantir擅长从通话记录、IP地址、金融交易、名字、对话内容、旅行记录等海量零散的实体数据中找到关联信息，并通过集中分类和可社化技术描绘出这些关联信息，从而解决了现代情报收集工作中的一个重要问题：数据过载。在共同协定下，“五眼情报联盟”成员国通过XKEYSCORE计划收集了海量数据流和元数据，同时结合这些数据，尝试以黑客手段侵入其它国家网络。

2011年，一份关于GCHQ网络防御情报与安全小组的文件，把Palantir系统形容为具备恶意入侵功能进行数据收集的工具：通过破坏防病毒和其它安全防护软件以追踪用户和渗透网络，同时Palantir软件被形容为“汇聚零散信息并提供独特可视化显示的数据分析平台”，文件同时透露，Palantir与XKEYSCORE系统和其它情报软件被高度整合使用。Palantir系统在网络间谍工作中的应用程度相当广泛，甚至极具前瞻性和想像力。2010年GCHQ和NSA关于“掌控互联网”的监控项目文件提到，在Andriod设备监控中运用Palantir软件，可以实现基于“增强现实（AR）”的信号情报收集，然而，这种说法即使到现在也是不得人知。

在目前曝光的文件中，Palantir软件似乎被描绘成了一种增强型的胶结剂，可以满足所有“五眼情报联盟”情报机构对海量模糊数据的高效获取和关联分析。2007年，GCHQ网络防御情报与安全小组NDIST在“五眼情报联盟”内部的评估文件指出：对海量个人数据的收集是未来信号情报工作一个重要发展方向，但是当前“五眼同盟”内部分析技术实力还不足以应付，必须寻找有力的分析工具作为技术支撑。最终，技术人员在对洛克希德马丁、 Detica等14家公司的分析工具作了评测对比之后，认为后起之秀的Palantir当属最佳产品。

在曝光文档中提及GCHQ使用的，包含一个内置名为“Kite”插件的Palantir程序，在所有相关出处文档中都作了隐匿编辑处理，而另外一份对Kite的源码分析文档中显示出Palantir对“五眼同盟”的灵活技术支持程度，前端开发人员和后台数据分析师可以就地通过Palantir平台应用或Kite程序获取相关数据。

在以Palantir产品为中心的数据分析环境中，还产生了另外一个工具“XKEYSCORE Helper”，该工具可以向Palantir系统内导入来自NSA管道的数据，经过进一步的调查和可视化分析之后，再分发给“五眼情报同盟”的各位分析师。由于XKEYSCORE强大的全网海量个人元数据高效获取能力，这也导致了其唯一的缺点：产生的提取信息出现超负荷现象。可以简单想像一下，搜索一个Gmail邮箱账户，或许需要遍历全球所有Gmail收件箱中得出关联信息，因此，Palantir应运而生。

Palantir软件的主要作用之一就是辅助XKEYSCORE系统进行高效的数据分析处理，就像GCHQ文档中描述的那样，依赖于工具“XKEYSCORE Helper”，可以把XKEYSCORE多种方式获取的各类数据直接导入强大的Palantir，就可以得到一些针对特定目标人物和地点的非常直观的情报信息。例如，针对东部标准时间区的14:15时刻，分析师可以使用XKEYSCORE获取到隶属莫斯科和德黑兰访问某特定网站或进行某特定Skype通话的所有IP地址，之后，把这些相关数据集导入Palantir系统，可进一步识别出这些IP地址之间的关联连接和基于谷歌地球的详细位置信息。

除XKEYSCORE之外，Palantir产品还被应用于GCHQ代号为“LOVELY HORSE”的开源情报信息项目中，该项目旨在提高GCHQ自身对Twitter、博客和媒体报道等全网公开信息的获取能力。因为此类信息多为非结构化数据，所以Palantir也大有可为，与“LOVELY HORSE”的配合相得益彰，深受好评。

和数据分析功能一样，Palantir的数据挖掘能力也相当出彩，可圈可点，但由此也带来一些担忧和风险。由于Palantir软件的主要功能就是辅助分析师对一些复杂不易理解的数据信息进行精选和筛分，因此，最终分析结果和决策判断的好坏，多少还和分析师自身有关。

就比如，GCHQ信号情报发展与领导小组（SDSG）的一份2011年文档就提及了一些使用Palantir的顾虑，在名为“风险与挑战“的表格中，SDSG表示“Palantir可能会使分析师过度关注数据分析方法，而忽视本质的情报需求，造成对情报分析能力的弱化和分心。”，然而，基于Palantir强大的数据分析能力，SDSG想知道如果他的技术分析师在被限制所有可访问操作权限，或根据不同分析师的技术水平，对一些必要时才能使用的功能对软件进行相应配置，会产生怎样的后果。

如果Palantir继续注重于数据的情报利用问题，那么越往后，随着挖掘技术和提炼程度的加深，将会产生大量的信息图表集，可能会引发数据“过度分析”问题，而最终让分析师“迷失”的不是工作任务，而是Palantir生成的各种图表。另一方面，如果说Palantir的情报机构客户在使用Palantir产品时会存在滥用风险，那么这种情况也可能发生在以“隐私和公民自由权”为幌子的Palantir自己身上，尤其是2012年Palantir还成立了“隐私与公民自由顾问委员会”（PCAP），更是给自己披上了一件“高级”的大衣。

由此可见，在大数据时代，披上“保护公民隐私”外衣的Palantir对普通民众的信息安全存在一定的威胁，就像Palantir在Kite插件的使用协议中声称那样，用户将不会违反任何适用法律、公民隐私和第三方权利。但在如今无孔不入的监控环境下，没理由不怀疑NSA和他的伙伴们会利用Palantir产品侵犯广大民众的隐私和自由权。对于普通民众来说，这种所谓的使用协议不过是种隔靴搔痒的安慰和冠冕堂皇的麻痹罢了。