安全厂商的调查可信吗？

读者通常难以区分夸张和真正令人震惊的调查统计数据。

调查在信息安全行业很流行。它们会告诉我们，在类似的情况下，我们的同行会做什么，并且可以突出我们可能遗漏的常见陷阱。调查与从已知来源分析已知数据的报告不同，例如供应商根据自己的遥测表明特定恶意软件的流行情况。在本文中，我们将调查定义为对人们提供的信息的分析，而不是数据展现的事实。

但我们需要谨慎。调查基本上是营销工具；市场营销的目的是销售产品或品牌。推销产品的营销是硬销售。推销品牌则是一种软销售。然而，它始终是营销，我们需要意识到这一点。

调查面临的困难

调查分为两类：厂商调查和市场调查（由专业的第三方市场调查公司进行）。虽然后者应该更加客观，但两者之间并没有明显的区别。一些厂商或供应商调查可能是客观的——Verizon的数据泄露调查报告 (Data Breach Investigations Report,DBIR) 就是一个例子——而一些委托第三方的报告可能是主观的。

无论调查的设计和制订出自谁手，基本的困难和问题都是一样的。这里我们主要关注由供应商进行的调查。

营销动机

营销就像其他业务功能一样，必须能够带来投资回报。因此营销的第一个要求是营销内容必须被尽可能多的人看到。实现这一目标的最佳途径是利用媒体，这意味着必须首先将营销工具推销给媒体。在决定报道内容之前，记者只有几秒钟的时间来浏览他们收到的每一份通告的第一段。营销人员明白这一点，其结果是他们通过对供应商进行推广，或者将其写入报道中，或两者兼而有之，从而带来抓人眼球的效果。

哗众取宠和理性很少并存，但读者面临的问题是难以区分夸张和真正令人震惊的统计数据。记者们试图筛选掉那些严重夸张的调查，但最终判断调查是否利大于弊，还是取决于主观观点——大多数记者会承认，他们对调查进行了报道，而现在回想起来，他们宁愿忽略这些报道。

这是否意味着所有的调查都是糟糕的？绝对不是。但这确实意味着所有读者都应该意识到调查背后的动机，并将其考虑在内。

并不是所有的调查都依赖于轰动效应。这种方法通常会被新成立的，规模较小的，侵略性强的公司所采用。他们需要迅速获得市场份额，而且他们通常与现有的、更成熟的供应商处于竞争关系。

大型的、成熟的供应商不需要哗众取宠。他们更关心如何保持他们的品牌知名度，而不是抓人眼球。

Verizon 的 DBIR 又是一个很好的例子。它只包含事实，并避免去尝试解释这些事实。所以该报告对去年发生的事情进行了非常详尽的描述和分析；这是对 Verizon 品牌的一次出色宣传。然而，虽然 DBIR 对结果的解释几乎没有主观内容，但是其提供的数据仍然受制于受访者的主观性。

DBIR 之类的调查更可信，但制作成本很高。小公司没有资金去效仿。

误差幅度

所有的调查都或者应该以百分比的形式表示误差幅度。这是受访者人数和总人口数之间的一个算数关系。在这里，“人口” 指的是与调查相关的所有人——因此，对 1000 名 PC 用户的调查会比对 500 名 CISO 的调查存在更大的误差幅度。如果对整个群体进行调查，并且整个群体都做出了回应，那么就不会有任何误差。

重要的是要考虑受访人数与其总人口数之间的关系，以了解调查潜在的准确性或者不准确程度。这一误差也应该与调查中的人口统计资料有关（任何没有对受访者进行人口统计分析的调查都应该被认为是可疑的）。例如，一个受访者中某一行业所占比例很高的行业调查，并不一定能够为其他行业提供准确的统计数据。

问题

调查中提出的问题对于调查得出的结论至关重要。最明显的风险是，这些问题可能是一些引导性的题目，旨在引出期望回答，公然实现营销目标。这可能是有意识的意图，也可能是调查设计者的潜意识偏见。

有关问题的第二个困难是设计清楚以及得到明确的回答。如果问题不明确，受访者无法准确回答；如果答案模棱两可，就不知道所有受访者是否都在回答同一个问题。

市场研究公司 Osterman Research 总裁 Michael Osterman 表示，围绕调查问题有两个主要的困难：提出正确的问题，以及选择合适的人来提问。

调查设计是一门艺术。当客户第一次发来他想让我们问的问题时，我们总会对它们进行修改，因为这些问题写得很糟糕、令人困惑或模棱两可。

这个问题可能有两方面：首先，如果客户和受访者太过接近，可能会认为受访者的理解水平也差不多；其次，提问者在提出具体问题时，可能存在有意识或潜意识的偏见，引导受访者说出期望答案。后者是一个合理的担忧，Osterman 表示，有些调查公司实际上就是这么做的。

对回答进行解释

对受访者的回答进行解释存在的问题与问题本身存在的问题相同：回答可能是模棱两可的，可以通过解释来得出期望回答。同样，解释的人可能会有意识地利用这一点去推销特定的产品，也可能潜意识引导他这么做。

其中一个问题是，人们在回答问题时往往过于乐观。当他们被问到对明年的预算有何打算时，他们往往倾向于回答自己想要的，而没有考虑可能发生的意外（比如经济低迷、重大意外或新的更节俭的管理团队）。

在今年的 DBIR 中可以找有关解释数据存在问题和潜在陷阱的例子。Verizon DBIR 团队负责人 Alex Pinto 表示，自己不会进行猜测，这不是DBIR的目的。但他指出，勒索软件——根据受访者提供的数据——占恶意软件感染的 24%，但占医疗保健行业感染的 70%。他拒绝进行推测的一方面是，是否是因为 HIPAA 要求医疗行业报告勒索软件，而其他地方没有类似的要求，导致了这一巨大差异。

在这个领域和例子中，统计数据以及对统计数据的错误解释可能会导致错误的结论。

最大的问题是：你能相信供应商的调查吗?

鉴于设计、实施和分析调查的难度，无论是个人还是团体，有必要对这些调查的价值提出质疑。我们询问了 Michael Osterman，供应商是否能够有效地执行他们自己的调查。

我认为，如果做法得当，是可以做到的。如果能够接触到目标调查对象并以正确的方式提问，调查就会是有效的。我想有人会迅速表示怀疑——很多人会想知道这些问题是如何被制定出来的，等等；但这是有可能的。我认为供应商必须面对很多质疑，这并不容易。但是肯定可做到的。

供应商也意识到了这种怀疑，但仍在推广自己的价值。“供应商调查就像香肠”，位于犹他州的 SaltStack 营销副总裁 Rhett Glauser 表示，很有可能你根本不想知道这两种东西的制作过程。然而，就像香肠里的好配料一样，在供应商调查中总能找到好的数据。你自己只要愿意花时间来验证和解释它。如果你不花时间和精力去理解，那么你必须问问自己，你是否相信 Oscar Meyer……或供应商提供的调查分析。(现在公司的正式名称是 Oscar Mayer，是 Kraft Heinz 旗下的维也纳香肠生产商。)

总部位于加利福尼亚的 Untangle 产品管理副总裁 Heather Paunet 则并不认为调查的主要动机始终是为了营销。

我们从这些报告中获得的信息和见解超出了我们特定的‘营销目标’。这些调查可以确定每年的趋势和进展，例如，向云的业务过渡，或者采用云解决方案来解决中小型企业面临有限资源的问题。我们还从这些调查中了解到。客户当前面临的担忧或问题，以及他们希望行业为他们当前的痛点提供什么解决方案。

提供调查的供应商普遍认为调查面临的这些困境不会否定他们的价值。供应商进行的调查可以收集有关特定主题的行业知识，虽然这些公司可能有他们希望分享的观点，但这种动机并不会否定供应商调查中所有数据的有效性。

如果供应商是正确的，并且调查包含有效和有用的数据，那么真正的问题是如何取其精华，去其糟粕。总部位于加州的 Vectra 安全分析主管 Chris Morales 建议：当你阅读结果时，一定要先阅读问题，以识别潜在的问题，或者判断他们是否在引导受访者。想想你会如何回答同样的问题。如果答案是不同的或相似的，考虑驱动你的回答的因素，以及样本可能会因此发生什么变化还是保持类似。

了衡量报告结果的价值，要看供应商对过程的透明度。供应商是否共享了调查方法？你是否能够查看完整的问题列表和回答的原始数据？这些问题是否包含了那些不能直接提升供应商在行业的地位的主题?

Morales 建议调查问题应该主要是定量或定性的。定量问题倾向于产生较低的变异性，因为数字就是数字，不管当时受访者身上发生了什么。而定性问题，根据当时的外部因素，可能有更高的变异性。

但他更进一步，想知道质疑调查的准确性是否有意义。读者会从他们自己的实际情况来看待调查，在潜在的供应商主观性的基础上增加了潜在的读者主观性。

他们倾向于根据这些数据进行确认或获得潜在的见解。调查结果不太可能导致他们的战略发生重大变化。

总结

厂商的调查也许价值不大，但如果你看的足够仔细，也会找到一些好东西。这样说这可能太极端了。毕竟一些厂商调查会包含一些好的数据，因此要在查看调查报告的时候，了解其准备过程和解释方面存在的困难，并忽略明显哗众取宠和夸张的例子，那么就应该能够找到一些可以证实或质疑解决问题的数据。