流量反作弊（9）Imperva-War of the Bots-机器人和网络威胁演变

【draft】War of the Bots: Learnings from Thwarting New Automated Attack Vectors

• https://www.imperva.com/resources/resource-library/reports/2023-imperva-bad-bot-report-report-ty?lang=EN&asset_id=6248
• https://salt.security/blog/latest-state-of-api-security-report-400-increase-in-attackers-and-more?
• 2023年第一季度API安全观察：威胁态势仍在持续加剧：https://www.aqniu.com/hometop/94894.html

前言

第十届Imperva Bad Bot报告是一份威胁研究报告，分析和调查每天发生的自动化攻击，这些攻击绕过传统检测方法，在互联网上造成破坏。该报告基于公司在2022年收集的数据，这些数据来自全球网络，包括数万个域中的6万亿个被阻止的恶意机器人请求，这些请求被匿名化处理。

这份第十版报告不仅深入探讨了有关恶意机器人的最新趋势和统计数据，还回顾了过去十年中的机器人发展历程。此外，该报告提供了有关机器人性质和影响的有意义信息和指导，以帮助组织更好地了解机器人流量的潜在风险，如果不加以妥善管理，这些风险可能会带来什么影响。

恶意机器人与合法用户一样与应用程序进行交互，使它们更难被检测和阻止。它们通过利用企业运营方式而非技术漏洞来滥用业务逻辑。它们可以在网站、移动应用和API上进行高速滥用、误用和攻击。它们允许机器人操作者、攻击者、不道德的竞争对手和欺诈者执行各种恶意活动，包括网络爬虫、竞争数据挖掘、个人和财务数据收集、暴力登录、抢购、数字广告欺诈、拒绝服务、垃圾邮件、交易欺诈等。它们可以消耗带宽，减缓服务器速度，并窃取敏感数据，导致财务损失和公司声誉受损。

一、定义

在深入探讨数据之前，让我们先定义一些本报告中将使用的关键术语。

1.1 什么是机器人？

在互联网的背景下，机器人是运行自动化任务的软件应用程序。这些任务可以从简单的操作，如填写表单，到更复杂的任务，如爬取网站上的数据。

1.2 什么是恶意机器人？

恶意机器人是运行具有恶意意图的自动化任务的软件应用程序。它们在未经允许的情况下从网站上抓取数据以重用它，并获得竞争优势（例如，定价、库存水平、专有内容）。它们用于抢购（scalping），即获取限量商品以高价转售。它们可以用于创建针对网络或应用程序的分布式拒绝服务（DDoS）攻击。最为恶劣的是，它们执行犯罪活动，如欺诈和直接盗窃。其中一个最突出的机器人攻击是执行凭据填充（credential stuffing）的机器人，以接管用户帐户。OWASP（Open Web Application Security Project）在其《自动化威胁手册》中提供了21种不同的机器人攻击的全面列表。

OWASP（Open Web Application Security Project）在其《自动化威胁手册》

1.3 好机器人和恶意机器人之间的区别

并非所有机器人都是平等的。互联网上也有好机器人。它们提供有用的功能，如为搜索引擎索引网站或监测网站性能。例如，搜索引擎爬虫（例如Googlebot和Bingbot）有助于创建和维护可搜索的网页索引。通过它们的索引，这些机器人帮助人们将他们的请求与最相关的网站集匹配。它们对于在线业务至关重要，因为它们确保他们的网站和产品或服务可以被潜在客户轻松找到和接触。

1.4 即使是好机器人也可能引起担忧

好机器人可能会扭曲网络分析报告，使一些页面看起来比实际更受欢迎。例如，如果您在您的网站上投放广告，好机器人可以生成一个广告点击量，但该广告点击量并没有转化为销售漏斗。这会导致广告商的表现下降。它还可能导致扭曲的营销分析和基于它们做出不正确的决策。因此，能够智能地区分由合法人类用户、好机器人和恶意机器人生成的流量对于做出明智的业务决策至关重要。

1.5 恶意机器人分类

Imperva已经创建了以下分类系统，将恶意机器人按其复杂程度进行分类：

• 简单 - 从单个ISP分配的IP地址连接，该机器人使用自动化脚本连接到站点。该机器人不会自报浏览器。
• 中等 - 这种更复杂的机器人使用“无头浏览器”软件模拟浏览器技术，包括执行JavaScript的能力。
• 高级 - 模拟人类用户的行为，如鼠标移动和点击，以欺骗机器人检测。它们使用浏览器自动化软件或安装在真实浏览器内部的恶意软件连接到站点。
• 逃避性恶意机器人

近年来，恶意机器人逃避技术的技术进展进一步模糊了中等和高级恶意机器人之间的界限。因此，我们通过将中等和高级机器人组合在一起，来提供有关恶意机器人流量分析的另一种视角。正如它们的名称所示，逃避性机器人使用最新的逃避技术，包括随机IP地址轮换、通过匿名代理进入、更改身份、模仿人类行为、延迟请求、打破CAPTCHA挑战等。它们使用各种复杂的技术和策略来逃避检测，同时在目标站点上保持持久性。它们通常选择“低速”方法，这使它们可以使用较少的请求进行重大攻击，甚至延迟请求，使它们不会从正常流量模式中脱颖而出，避免触发基于速率的安全检测阈值。这种方法减少了许多恶意机器人攻击所产生的大流量峰值，从而减少了“噪音”。

二、The bad bot landscape

按行业划分的不良机器人流量

下图显示了2022年哪些行业经历了最大数量的账户接管攻击。金融服务受到了严重攻击，占所有ATO攻击的37.8%，其次是电信和互联网服务提供商（17.2%）、计算机和IT（15.6%）以及食品和杂货（8.5%）。

image-20230523113234135

游戏网站有相当大一部分（58.7%）的流量来自于恶意机器人。机器人可能会通过接管用户账户、生成虚假账户以获取利益并作弊等方式给在线游戏和视频游戏带来麻烦。它们可以执行人类玩家难以或不可能执行的操作，例如高速与游戏交互以击败人类玩家或持续刷取虚拟货币、物品或经验值（XP）。这破坏了在线游戏的平衡，使它们对于合法的人类玩家变得不可享受，导致玩家数量下降和收入损失。

电信和互联网服务提供商（ISPs）的流量来自恶意机器人的占比略有增加，从2021年的46.9％增加到2022年的47.7％。该领域包括移动互联网服务提供商、住宅互联网服务提供商、托管服务提供商等。恶意机器人以各种恶意活动攻击该行业，例如抓取敏感客户数据和暴力登录攻击以接管用户账户。由于该行业高度依赖可用性并对停机时间敏感，恶意机器人以压倒性的请求数量攻击该行业，伪装成合法用户，试图压垮其基础设施并干扰服务。机器人流量还可能扭曲网站分析数据，导致误导性决策。

社交和公益网站的流量中，恶意机器人占41.4％。该行业最常见的恶意机器人问题之一是垃圾邮件机器人，也称为虚假新闻垃圾邮件和评论垃圾邮件。这些恶意机器人会散播虚假新闻、放大宣传，以及在诱骗链接中隐藏恶意内容，例如恶意软件。该行业还包括许多非营利组织，它们在其网站上接受捐赠。恶意机器人利用他们的捐赠页面测试窃取的信用卡号码，给许多非营利组织带来巨大的麻烦和财务负担。

计算机和信息技术行业的40％流量来自恶意机器人。恶意机器人对该行业的负面影响范围从引起技术问题到实施欺诈和构成安全威胁。恶意机器人攻击该行业的常见方式是使用分布式拒绝服务（DDoS）攻击，大量机器人用请求淹没网站的服务器。机器人还被用于抓取敏感数据，例如登录凭据和个人信息，从而导致潜在的数据泄露和身份盗窃。其他潜在的使用案例包括漏洞扫描和点击欺诈，这会导致数据失真和收入损失。

旅游网站在恶意机器人操作者中重新恢复到疫情前的受欢迎程度。经过两年减少恶意机器人活动的时期，今年该行业有37.4％的旅游网站流量来自于恶意机器人。旅游业遭受了一些最复杂的机器人问题：价格被直接竞争对手和第三方服务在广泛的旅游生态系统中抓取。未经授权的在线旅行社（OTA）、竞争对手、价格聚合器和元搜索网站使用抓取机器人滥用预订引擎的业务逻辑。查询任何可以销售的票，他们扭曲了查询预订比率，增加了GDS交易成本，并导致网站减速和停机，从而在中断期间导致客户不满。

食品和杂货网站有32.3％的流量来自于恶意机器人。这一类别包括与食品配送服务和在线杂货店有关的网站。影响该行业最常见的恶意机器人用例是价格抓取。竞争业务部署恶意机器人以抓取产品清单和定价网站，并使用该信息来压低价格甚至复制产品清单，导致业务和收入损失。然而，并非所有的价格抓取都是恶意的——搜索引擎和价格比较网站也会抓取价格和产品可用性。这可能解释了为什么25.1％的食品和杂货网站流量来自于好的机器人。这些机器人可以潜在地让企业受益，通过带动流量和曝光，从而增加销售量和品牌知名度。但是，这使得该行业的企业不仅需要能够区分人类和机器人流量，而且还需要确定机器人流量的性质。这些网站经常成为执行账户接管的机器人攻击目标，罪犯寻求客户账户中可用的各种支付方式——存储的信用卡号码、忠诚度积分和礼品卡余额。恶意机器人滥用业务逻辑的另一种常见形式是账户创建。恶意机器人自动创建大量账户，经常利用新用户福利或使用信用卡进行欺诈性购买。竞争对手的价格抓取仍然是一个常见的威胁。

零售网站有22.7％的流量来自恶意机器人。与食品和杂货网站一样，由于竞争对手和搜索引擎或价格比较网站的价格抓取，在线零售商经历了大量的好机器人流量（20.9％）。相比以前几年，有几个因素导致恶意机器人流量略有下降。首先，实体店购物的回归。其次，极度高需求产品的库存较少（例如游戏机和GPU）。最后，全球经济在通货膨胀和潜在衰退之间摇摆，直接影响销售。抢购和库存拒绝是困扰在线零售商的最常见的自动化威胁之一。竞争对手和第三方的价格抓取、内容抓取、账户接管、信用卡欺诈和礼品卡滥用等是该行业持续面临的恶意机器人相关问题。

恶意机器人喜欢某些移动浏览器提供的隐私保护。

如今，恶意机器人逃避检测的技术有许多层，其中之一就是伪装成合法用户，将自己报告为流行的Web或移动浏览器。这通常是通过使用浏览器自动化软件实现的。十年前开始的高级逃避技术现在已成为大多数恶意机器人的商品。但更有趣的是，过去十年中不同浏览器在恶意机器人中的流行趋势如何变化。这些变化反映了这些浏览器在人类用户中的流行程度以及有助于机器人逃避检测的其他趋势。最有趣的观察结果是我们去年开始跟踪的一个趋势仍然存在——恶意机器人越来越喜欢选择Mobile Safari作为其浏览器。这种浏览器自报的机器人流量高达五分之一（20.2％）。这是一个显著的增加，相比2020年的11.8％和2021年的16.1％有所提高。现在清楚地看到，这种浏览器提供的改进用户隐私设置被机器人利用来掩盖其行为，使它们更难以检测。伪装成Chrome浏览器的机器人规模略微下降，从2021年的42.7％下降到2022年的40.4％。与Mobile Safari类似，使用Mobile Chrome也增加了，占流量的13.2％，相比2021年的11.9％有所提高。

移动用户代理的崛起仍在持续。

截至2022年11月，60.28%的所有Web流量来自移动电话。机器人操作员也意识到这一点，因此选择伪装成移动设备的用户代理的形式之一作为其逃避技术的一部分。他们了解到他们必须跟随合法人类用户浏览Web的趋势。此外，使用某些移动用户代理（例如Mobile Safari和最近的Mobile Chrome）还有其他好处。这些浏览器提供的附加隐私功能，尤其是Mobile Safari，使恶意机器人能够更好地伪装自己。不过，大多数恶意机器人（55.6％）自报为Chrome、Firefox、Safari或Internet Explorer。然而，它们在恶意机器人操作员中的流行度在过去几年中有所下降，从2020年的68％下降到2021年的60.9％和2022年的55.6％。另一方面，伪装成移动用户代理的恶意机器人呈稳定上升趋势：从2020年的28.1％增长到2021年的35.6％和2022年的39.1％。我们预测，在未来几年中，恶意机器人选择移动用户代理而非基于桌面的用户代理的增长趋势将持续。其余的恶意机器人流量（5.3％）自报为其他用户代理（例如Google搜索应用程序或QQ和微信浏览器）。

三、恶意自动化的10年演变

自从2000年发现EarthLink Spammer以来，恶意机器人已经发展了很长一段路。这个由单个个人创建的僵尸网络，发送了一百多万封电子邮件，以欺诈骗局的形式诱使人们提供敏感的个人信息。这些机器人已经演变成为复杂而复杂的程序，通常由跨国犯罪企业运营，这些企业在对所有行业的业务的底线、安全和可用性造成严重风险的同时赚取了数百万美元。

在本节中，我们将介绍过去十年中恶意机器人的演变，这些演变是由Imperva和Distil（在2019年被Imperva收购）记录的——从它们越来越复杂到它们进军新市场和使用案例。

EarthLink Spammer

image-20230521213416858

3.1 2013：Early Bad Bot Obfuscation Techniques and The Pushdo Botnet

第一份“恶意机器人报告”涵盖了恶意机器人流量水平的增加，并重点关注了机器人模糊化的早期演变，主要是通过将它们的用户代理伪装成合法的Web浏览器来实现。毫不奇怪的是，由于移动浏览器还没有像今天这样广泛采用，排名前三的浏览器都是基于桌面的：Firefox、Internet Explorer（安息）和Chrome。虽然移动浏览尚未发展，但从移动ISP启动的机器人为未来的事情提供了提示：在这一年中，移动恶意机器人威胁开始引起关注，因为恶意机器人在全球前十大移动运营商中运行。

2013年，Pushdo机器人（僵尸网络）是最为普及的恶意机器人，影响了最多的互联网用户。Pushdo僵尸网络感染了420万个IP地址，相当于大约有400万台计算机被攻击。我们捕获了来自全球15000个不同ISP、托管提供商和其他组织的Pushdo流量。许多公司、组织和政府机构都受到感染，包括美国政府机构和军事网络。Pushdo的目的是作为发送垃圾邮件或恶意特洛伊木马的手段。后者包括SpyEye和Zeus，它们以从最终用户计算机中窃取金融凭证而臭名昭著。作为恶意机器人的基础设施，开发和运行Pushdo的组织可以通过定期向最高出价者提供基础设施来获得显著的收入。

3.2 2014：The Targeting of Mobile Sites by Scrapers

我们看到了机器人利用人类用户为提高和保护浏览体验而创建的设置和配置的最早例子之一。在这一年中，我们发现优化的移动站点易于快速浏览，这也使它们成为恶意机器人的主要目标。移动站点往往更容易被爬取，因为它们提供了更多结构化的网站数据访问。这是一个移动浏览器——Android Webkit浏览器（占4.87%）首次进入由恶意机器人利用的前五个用户代理列表。

在这一年中，我们开始通过恶意机器人的复杂程度来跟踪和分析它们的流量，将它们分类为简单、一般或复杂。"简单"的恶意机器人通过利用不良用户代理或未能通过基本浏览器完整性检查等多种方式暴露出自己的底牌。"一般"的恶意机器人可以通过强制它们证明它们正在使用真实的Web浏览器来停止它们，而"复杂"的恶意机器人则紧密模仿人类行为。

3.3 2015：Quality over Quantity – A Significant Jump in Bot Sophistication

2015年，机器人的复杂程度取得了重大进展。它们比过去更加复杂。这一年标志着机器人技术的明显转变，大约11%的恶意机器人跨越了从简单到下一个更高级别的境界。我们认为机器人运营商注重机器人质量，而不是数量。例如，一个单独的复杂机器人可能会在1,000个IP地址之间循环，每个地址只发起一个请求，而不是使用单个IP地址发起1,000个请求。

我们还得出结论，机器人的这种不断增加的复杂性将会扭曲营销分析。原因是恶意机器人可以加载外部资源，如JavaScript。许多分析工具，如Google Analytics，通过JavaScript代码段运行。如果机器人能够加载这些资源，我们预测它们将会扭曲分析工具并扰乱关键的业务和运营指标。基于这项2015年的数据，53%的恶意机器人被错误地归因为人类用户，出现在Google Analytics和类似工具中。随着时间的推移，这一预测成为现实，并成为未受管理的机器人流量最为普遍的负面影响之一。

3.4 2016：Bad Bots Go Mobile Amidst Explosive Growth in Internet Users

尽管2016年恶意机器人流量的百分比增加了，但相对于其他流量的比例仍然保持相对稳定。原因是来自发展中国家的人们越来越多地上网。2016年，约有1.85亿新的互联网用户上线。所有人都使用多个设备（包括智能手机、平板电脑、工作和个人笔记本电脑）来访问互联网。

2016年移动Web浏览首次超过桌面浏览，恶意机器人很快也跟随了这一趋势。我们看到自称为移动浏览器的恶意机器人的年增长率为42.78%，其中16.1%的恶意机器人自报为移动用户，这是一个我们预测会持续的趋势。移动ISP占恶意机器人流量的9.4%。移动Safari首次进入自报用户代理的前五名列表，比Web Safari高出17%，在恶意机器人使用最广泛的浏览器中排名第三。

3.5 2017：Bad Bots Make the Headlines Following the 2016 US Presidential Elections

2016年美国总统选举后，机器人成为了头条新闻。任何人都很难声称对“机器人”这个术语一无所知，因为它们不再仅仅是网络安全专家的关注点。在那一年，甚至连FBI都在调查使用机器人来影响2016年美国总统选举的情况。一些最流行的社交媒体品牌甚至被传唤到美国国会，因为利用它们平台的机器人被用来放大和传播虚假新闻。但是，虽然政治界试图理解恶意机器人对民主的影响，但它们对经济的广泛影响仍然被误解和低估。

3.6 2018：The Bad Bot Arms Race, Bot Problem is Recognized by Industry Analysts

恶意机器人变得更加自我意识。它们不仅仅是要表现得像合法用户，现在机器人还要模仿真实的用户工作流程，以“表现”得像真实用户。它们还能通过反向工程检测系统来混淆它们的活动。高级机器人表现出它们了解它们试图打败的技术，并不断学习如何调整策略。例如，全球分布式僵尸网络攻击的发生次数增加了，使用的策略包括单个请求攻击、用户代理轮换、随机鼠标移动和页面滚动等。

这一年标志着只需要考虑DDoS和Web应用程序防火墙（WAF）解决方案的日子已经结束。在这一年，主要的行业分析公司承认机器人管理是网络安全景观中的一个盲点。他们开始建议解决恶意机器人是综合Web应用程序安全的关键组成部分。然后在2018年第三季度，Forrester发布了对机器人管理供应商的首次评估。

3.7 2019：“Bots-as-a-Service” (BaaS) and the Rise of Massive Account Takeover Attacks

3.8 2020：Bad Bots Thrive Amidst a Global Pandemic

一些恶意机器人运营商，尤其是在网络爬虫领域，试图重新包装恶意机器人，以使它们的活动合法化为一种有效的商业实践。这种“机器人即服务”的重新包装表现在几个方面。首先，采用专业外观的网站，提供业务情报服务，如定价情报、金融替代数据或竞争洞察力。通常，这些企业提供专注于特定行业的数据产品。其次，在你所在的行业内购买抓取数据的压力增大了。没有任何企业愿意因为竞争对手可以购买到的数据而失去市场份额。最后，招聘职位名为Web数据提取专家或数据抓取专家的人员需求增长。

除了内容和价格抓取，那一年最大的恶意机器人问题是账户劫持攻击。每个拥有登录页面的网站都会受到这些攻击的影响，因为新的现象出现了——大规模凭证填充攻击的兴起。其中一次攻击在那一年被Imperva解决，持续了60个小时，包括4400万次登录尝试。通常情况下，数十亿被泄露的凭证的可用性已经助长了凭证填充的兴起，但这样的大规模攻击可能会导致重要基础设施的负载过大，导致减速或宕机。

这些大规模应用层的凭证填充攻击对于任何没有准备好处理如此大量的恶意机器人请求的组织来说，都会像容量型DDoS攻击一样具有破坏性。

3.9：Bots Exploit the Circumstances Created by the Pandemic

疫情为恶意机器人运营商提供了一个充满新机会的肥沃土壤。因此，我们看到机器人扩展到了新的市场和用例。其中一个市场是政府服务。这些服务在疫情期间受到了影响，导致积压问题至今未解决，使得需要这些服务的人们预约变得异常困难。特别是护照问题成为了全球性的难题。由于疫情期间世界各地的护照到期，一旦旅行限制解除，就出现了大量需要新护照的人群。除此之外，在欧洲的签证预约和英国的驾照考试等领域也出现了积压问题。每当某个产品或服务需求量很大时，通常都会有人愿意付出高价“插队”预约。这为恶意机器人运营商攻击创造了财务激励。

Imperva记录并缓解了第三方提供商试图抓取驾驶考试预约域名以为付费客户寻找可用预约的尝试。其中一些峰值达到了网站平均流量的15-20倍。在另一起事件中，恶意行为者使用恶意机器人自动预约所有可用的居留许可和签证预约。网络犯罪分子随后试图以400欧元以上的价格出售这些预约空位。无法预约这些预约会产生严重后果，阻止合法个人获得签证，并冒着非法居留的风险。

在另一个案例中，机器人被用于大规模的欺诈行为，试图利用美国国会提供给高等教育学生的COVID救济资金。这些联邦紧急援助资金的大部分是为学生提供的，以帮助他们解决食品、住房、课程材料、技术、医疗和儿童保育等问题。这些资金旨在为学生服务，并确保在COVID-19疫情期间继续学习。几所大学一直在调查这种可能普遍存在的欺诈行为，涉及虚假的“机器人学生”，官方怀疑这是一种欺诈手段，以获取经济援助或COVID-19救济资金。OWASP将这种在线欺诈称为OAT-019账户创建。这是恶意机器人操作在疫情及其后期如何发展的又一个例子。

3.10 Bots Are Weaponized in War, Evasion Techniques Continue to Evolve

机器人在战争中被武器化，躲避技术不断发展

2022年初，随着乌克兰战争的爆发，Imperva威胁研究团队观察到自动化攻击乌克兰Web应用程序的数量激增了145％。这些攻击很可能旨在破坏服务。记录下来的攻击利用了可分布式拒绝服务（DDoS）攻击、欺诈和恶意代码注入等高级机器人。这些攻击通常旨在削弱金融、电信和能源等关键服务。此外，Imperva记录并阻止了两次旨在破坏乌克兰用户账户的大规模账户劫持攻击。

在今年，我们还注意到恶意机器人选择Mobile Safari作为其首选伪装的数量显著增加。原因是该浏览器提供了额外的隐私设置，向来源发送的属性较少。在攻击的早期侦察阶段，机器人运营商模拟人类用户请求的每个步骤。这种模拟使他们能够观察各个浏览器之间的主要差异。这使他们推测出相对于其他Web客户端，iOS请求发送的属性更少，从而在他们的脚本中实现了该轮换。一些浏览器自动化工具（例如Puppeteer）通过添加脚本浏览器覆盖，进一步帮助攻击者尽可能地模仿iOS，从而在支持这些攻击方面发挥了重要作用。

然而，这还不足够。现在，我们看到恶意机器人采用各种逃避方法，包括频繁循环使用IP地址，隐藏在匿名代理和点对点网络后面，并操纵其登录参数和Cookie，使请求似乎来自不同的浏览器，更改其用户代理等。今天最复杂的恶意机器人甚至可以通过与各种工具和平台的集成来逃避或解决CAPTCHA挑战。

3.11：Bad Bots Are Coming For APIs

我们预测，API将成为2023年恶意机器人的主要攻击目标。为了获取敏感数据，网络犯罪分子将更加关注连接到组织底层数据库的易受攻击的API端点。由于API安全防御通常忽略自动化威胁，因此恶意机器人将成为明年的持久挑战，并对导致数据泄露的单个API产生更多的抓取攻击。挑战在于向API请求返回CAPTCHA挑战会破坏调用应用程序。因此，需要机器学习来区分正常的API行为和恶意流量，并了解应通过API传输哪些数据。因此，组织将面临挑战，需要在恶意机器人管理和API安全方面协同使用，以减轻针对其API库的自动化攻击。

总之，很明显，恶意机器人的复杂程度已经有了长足的进步，在过去的10年中显著地演变。但它们不断增长的复杂性并不是它们演变的唯一方式。最初用于大规模电子邮件钓鱼活动的僵尸网络已经演变为包含20多种用例的机器人，针对各行各业，影响多个利益相关者，而不仅仅是安全领域。

四、建议

企业应该如何保护自己免受机器人和在线欺诈的侵害？因为每个网站受到攻击的原因不同，通常使用不同的攻击方法，所以没有一种通用的答案。然而，有一些积极的步骤可以采取，从今天开始着手解决这个问题。

4.1 针对检测恶意机器人活动和自动化欺诈的安全建议：

（1）风险识别

停止机器人流量的第一步是识别您网站的潜在风险：

• A - 市场营销和电子商务活动会带来更多的机器人。例如 - 推出限量、高需求的产品。无论是备受追捧的球鞋、新一代游戏机还是限量版收藏品，在宣布一个备受追捧的产品发布日期和时间之后，将会吸引试图第一时间获取该产品的机器人。确保您已准备好处理高流量，包括大量试图抢购产品并拒绝客户访问的机器人。
• B - 理解您的网站可能成为攻击目标的方式对于成功的机器人管理策略至关重要。一些网站功能易受恶意机器人利用。添加登录功能会创建凭证填充和凭证破解攻击的机会。添加结账表单会增加信用卡欺诈（卡盗刷/卡破解）的可能性。添加礼品卡功能会吸引机器人进行欺诈。确保这些页面有额外的安全措施和更严格的规则集。

（2）减少漏洞

保护暴露的API和移动应用程序，而不仅仅是您的网站，并在系统之间共享阻止信息。保护您的网站只是解决方案的一部分；不要忘记其他导致您的Web应用程序和数据的路径。

（3）消减威胁：用户代理

许多机器人工具和脚本包含具有过时浏览器版本的用户代理字符串。相反，人类被迫自动更新他们的浏览器到更新版本。采取措施阻止过时的浏览器版本：

（4）消减威胁：代理

恶意机器人越来越多地使用代理服务来隐藏其攻击。攻击者通过轮换批量IP服务来伪装成人类用户。不允许从批量IP数据中心访问将减少机器人流量的可能性。机器人提供商的例子包括Host Europe GmBH、Dedibox SAS、Digital Ocean、OVH SAS和Choopa，LLC。

（5）消减威胁：自动化

自动化工具，如Selenium、Web Driver和其他工具，是机器人流量的明显标志。

（6）评估流量

• A - 在没有明显迹象或指示的情况下评估机器人流量可能会很困难。机器人流量可能与高跳出率（high bounce rates）或低转化率（low conversion rates ）相关。机器人的另一个强烈迹象是特定URL的未经解释的流量激增或高请求次数。
• B - 专注于特定事件的机器人可能会解释特定端点流量的剧增。确定是否有明确的增加流量水平的来源。这样的例子可以在IP、ISP或URL接收到高于平均流量水平的情况下看到。

（7）监控流量

• A - 在登录页面上，定义失败的登录尝试基线，然后监视异常或激增。设置警报，以便自动通知您是否出现任何异常。高级的“低速”攻击不会触发用户或会话级别的警报，因此请确保设置全局阈值。
• B - 在结账和礼品卡验证页面上，失败或流量增加可能是卡盗刷攻击或GiftGhostBot等机器人试图窃取礼品卡余额的信号。

（8）意识

保持对全球发生的数据泄露和泄漏事件的关注。从泄漏中购买凭证转储和租用机器人基础设施来自动化攻击的便利性使得这种风险变得非常现实。机器人通常会使用新近泄露的凭证进行填充攻击和账户恶意接管（ATO），因为它们更有可能仍然处于活动状态，增加了在您的网站上破坏用户账户的可能性。

（9）评估机器人缓解解决方案

在机器人攻击的早期阶段，您可以通过一些微调和配置来阻止恶意机器人攻击您的网站。本报告中探讨的数据表明，这些日子已经一去不复返。今天的恶意行为者使用机器人是因为它们易于使用和有效。使用的工具不断发展，机器人流量模式难以检测，它们的来源也可能经常变化。在高级机器人中，我们看到攻击模仿人类行为前所未有。出于这些原因，黑客广泛选择机器人作为攻击目标，因为他们的激励很高，风险较低。今天，几乎不可能独自跟上所有威胁。您的防御需要和威胁一样快速发展，为此，您需要来自专家团队的专门支持。

在机器人预防解决方案中，识别好的机器人和坏的机器人之间的差异是至关重要的，但随着恶意机器人行为越来越复杂，这变得越来越困难。一个包括各种用户行为、包括用户配置文件和指纹识别的分层防御模型可以保留好的机器人的好处，同时过滤掉恶意机器人的活动。

五、附录

5.1 Bad bot use cases

Bad bot problems	What is it	How it hurts the business	Symptoms	Targeted industries
Price Scraping	使用机器人非法监视和跟踪定价信息，通常是为了打压竞争对手并增加销售	1、销售损失、被竞争者压价并在市场上击败你的声誉受损，因为泄露的数据被用于误导消费者；2、损害品牌形象客户终身价值（LTV）变差3、网站性能受影响	转化率下降搜索引擎排名下降网站速度变慢和宕机（通常由于过于激进的机器人）	所有涉及价格的企业：零售、游戏、航空公司、旅游
Content Scraping	使用机器人从网站中提取内容和数据	由于你的业务内容或数据被发布在其他地方而导致收入损失，这导致原始网站的访问量减少，产品或服务销售减少、重复的内容会损害你的搜索引擎排名、损害品牌声誉、影响网站性能	你的内容出现在其他网站上搜索引擎排名下降网站速度变慢和宕机（通常由于过于激进的机器人）	类似于价格抓取，但还包括：招聘网站、分类广告、市场、金融、票务等行业
Account Takeover (也称为Credential Stuffing、Credential Cracking)	使用机器人非法访问属于他人的用户账户。通常使用暴力登录技术，如凭证填充或凭证破解	直接影响品牌忠诚度和声誉，负面公关由于账户被锁定、数据被窃取或处理欺诈而导致的客户沮丧，导致流失影响网站性能、可用性和可靠性违反数据隐私法规的风险（例如，GDPR和PCI-DSS等）支持和欺诈成本增加	登录失败率增加客户账户锁定率和客户服务工单增加欺诈增加（失去忠诚度积分、被盗刷信用卡、未经授权的购买）追溯增加	所有需要登录的企业
Account Creation (也称为Account Aggregation、New Account Fraud)	使用机器人自动化批量创建账户。这些账户可以被滥用来执行各种形式的欺诈、垃圾内容或传播宣传	某些平台和网站的可信度降低，因为机器人账户用于垃圾信息或宣传的放大减少因机器人利用新账户促销信用（金钱、积分、免费玩法）而导致的收入指标，所有用户账户或社交媒体互动的数量都来自机器人，可能导致糟糕的决策	新账户创建异常增加评论垃圾邮件增加新账户到付费客户的转化率下降	消息平台、社交媒体、约会网站、社区注册促销滥用、游戏、金融等行业
Credit card fraud (也称为Carding、Card Cracking)	使用机器人大规模验证窃取的信用卡号码的有效性或猜测缺失的细节（CVV、到期日期等）	商业承担任何欺诈活动的责任，从昂贵的追溯到由于消费者信任降低而导致的收入损失，损害品牌声誉、损害企业的欺诈评分、增加处理欺诈追溯的客户服务成本，违反数据隐私法规（PCI-DSS、GDPR等）	信用卡欺诈增加客户支持电话增加处理的追溯增加	所有有支付处理器的网站：零售、非营利组织/慈善机构、航空公司、旅游、票务、金融、游戏
Denial of Service	使用机器人向网站发送大量请求，导致资源（如文件系统、内存、进程、线程、CPU和人力或财力资源）耗尽	减缓网站性能，导致网站灰屏或宕机无法使用网站而导致的收入损失、损害品牌声誉、潜在客户流失	特定资源（登录、注册、产品页面等）的异常和无法解释的流量增加客户服务投诉增加	所有行业
Gift Card Balance Checking and Abuse	使用机器人自动枚举潜在的礼品卡号码，针对余额查询页面窃取礼品卡余额	类似于信用卡欺诈，礼品卡欺诈导致机器人窃取礼品卡余额，导致财务损失，处理欺诈追溯的客户服务成本增加，客户声誉受损并且失去未来的销售，损害品牌声誉	礼品卡余额页面请求量激增客户服务电话关于余额丢失的投诉增加	所有提供礼品卡作为支付选项的企业 - 零售业占主导地位
Denial of Inventory	使用机器人将商品放入购物车中，但实际上从未完成购买，从而使合法消费者无法购买	机器人持有购物车中未售出的商品导致销售损失，转化率降低购物车放弃率增加不良中间商持有所有库存直到在其他地方再次销售，损害客户声誉	购物车中被占用的未售出商品数量增加转化率下降客户抱怨库存不足的投诉增加	提供稀缺或时限性商品的企业：航空公司、门票、零售、医疗保健等行业
Scalping	使用机器人获取不公平的优势，获得有限可用性和/或优先的货物/服务	损害客户声誉，减缓网站性能导致灰屏或宕机，导致收入损失生命周期价值（LTV）降低，因为机器人不会定期回来购买其他商品平均购物篮价值（ABV）降低，因为机器人针对单个产品而不是合法消费者的附加购买	无法解释的网站减速和宕机（通常由于过于激进的抢购机器人）转化率下降客户投诉库存不足	类似于库存不足：航空公司、门票、零售，例如鞋子、游戏机

5.2 Bad bot by industry

Bad bot problems	What is it	How it hurts the business
Automotive	制造商、经销商、车辆市场	价格抓取、数据抓取、库存检查
Business Services	房地产、第三方供应商（如零售平台、CRM系统、业务指标）	针对API的攻击、数据抓取、账户劫持
Computing & IT	IT服务、IT提供商、服务和技术提供商	账户劫持、抓取
Education	在线学习平台、学校、大学	学生和教职员工账户劫持、课程可用性、抓取专有研究论文和数据
Entertainment	流媒体服务、售票平台、制作公司、场馆	账户劫持、价格抓取、库存抓取、黄牛
Financial Services	银行、保险、投资、加密货币	账户劫持、刷卡、破解银行卡密码、定制内容抓取
Food & Groceries	食品配送服务、在线杂货购物、食品和饮料品牌网站	信用卡欺诈、礼品卡欺诈、账户劫持、猜测优惠券
Gambling	赌场、体育博彩	账户劫持、赔率抓取、为滥用促销而创建账户
Gaming	在线游戏、电子游戏	账户劫持、为滥用促销和作弊而创建账户、游戏自动化、拒绝服务
Government	法律和政府网站、公民服务、州、市政	账户劫持、企业注册名单的数据抓取、选民登记、约会抓取和安排
Healthcare	健康服务、药店	账户劫持、内容抓取、“有用”的机器人抓取预约可用性
Lifestyle	生活方式杂志、博客	专有内容抓取
Marketing	市场营销机构、广告机构	专有内容抓取、广告欺诈、拒绝服务、扭曲数据
News	新闻网站、在线杂志	专有内容抓取、广告欺诈、评论垃圾邮件
Retail	电子商务、市场、分类广告	账户劫持、黄牛、库存拒绝、信用卡欺诈、礼品卡欺诈、数据和价格抓取、分析数据扭曲
Community & Society	非营利组织、信仰和信念、浪漫关系、在线社区、LGBTQ、家谱	内容和数据抓取、账户劫持、账户创建、在捐款页面上测试窃取的信用卡
Sports	体育新闻、实时比分服务	数据抓取（实时比分、赔率等）
Telecom & ISPs	电信供应商、移动ISP、托管提供商	账户劫持、竞争性价格抓取
Travel	航空公司、酒店、度假预订	价格和数据抓取、扭曲预订比例、拒绝服务、价格抓取、账户劫持