PowerLZY's Blog

在本篇文章中我们将讨论DataDome公司^[1]是如何利用基于流的异常值检测和 SliceLine 来快速安全地生成大量可用于阻止恶意流量的规则/签名。虽然机器学习(ML)的使用变得越来越普遍，但在安全环境中规则仍然很重要。事实上，公司已经投资了大量有效的规则引擎，能够快速评估大量规则。此外，规则通常更方便创建、操作和解释，因此在ML方法之外仍然很有价值。

虽然 SliceLine 最初设计用于识别 ML 模型表现不佳的数据子集，但它的使用可以适应以无监督方式生成大量与攻击相关的规则，即不使用标记数据。此外，利用机器人检测问题来说明如何使用 SliceLine 即时生成大量恶意签名。

该研究还将展示优化的 SliceLine Python 开源实现，并展示如何将其用于特定但困难的机器人检测子集：分布式凭证填充攻击，攻击者利用数千个受感染的 IP 地址进行攻击和绕过传统的安全机制，例如速率限制策略。通过一个真实世界的例子，该研究将首先解释如何使用基于流的检测来检测此类攻击，以及该研究如何使用数据建模在服务器端信号（HTTP 标头、TLS 指纹、IP 地址等）上应用 SliceLine 来识别并生成与分布式攻击相关的阻止签名。这种方法使该研究能够在去年阻止 59 位客户超过 2.85 亿次恶意登录尝试。

最后，该研究将解释这种方法如何推广到除机器人检测之外的其他安全用例，以及如何在不同的规则引擎中使用它。

【TODO】OWASP API安全 top 10 2023变化解读

问题定义，【问题危害】，变化比较（变化原因），场景分析，【案例分析】, 缓解措施

伴随企业数字化程度的加深，API成为软件世界数据交互的“通用语言”，其数量迎来爆发式增长。同时，API的广泛应用也为运维可见性、安全性提出了新的挑战。针对API这种“易攻难守”的新兴资产的安全治理显得愈发重要。

OWASP为强调API安全的重要性，在2019年首次提出了API Security Top 10。后随着安全产业实践加深，于2023年发布了API Security Top 10（候选版）的内容更新。该更新内容进一步强调了API攻击场景与Web攻击的差异化，突出API权限管理、资产管理、业务风控及供应链问题。

[TODO] 将 MITRE ATT&CK 框架映射到 API 安全

• https://salt.security/blog/mapping-the-mitre-att-ck-framework-to-api-security?
• BLADE框架矩阵描述了对手在业务逻辑攻击期间可能采用的阶段、战术和技术之间的关系：https://www.bladeframework.org/matrix

MITRE ATT&CK Framework 拥有数百名贡献者，已成为安全行业开源知识的重要资源。全球的 CISO 和网络安全专业人士依靠该框架来增加他们对不同网络攻击策略、技术和程序 (TTP) 的理解。通过了解与其特定平台或环境相关的 TTP，组织可以获得巨大的价值来应对网络威胁。

缺点是虽然框架有很多矩阵，但此时它没有特定的 API 安全矩阵。然而，我们都知道 API 安全威胁急剧增加，就像它们的使用随着企业数字化计划的激增一样。事实上，API 现在代表了现代应用程序的最大攻击向量。

从积极的方面来看，尽管缺少 API 安全矩阵，安全领导者仍然可以利用 MITRE ATT&CK 框架来识别和防御这些不断增长的威胁。不良行为者在其 API 攻击活动的不同阶段仍然频繁使用许多 MITRE 概述的 TTP。

虽然不是“包治百病”的方法（因为每次 API 攻击总是代表零日攻击），但了解其中一些攻击方法的交叉可以使安全领导者受益。通过识别 MITRE 框架中识别的许多 TTP 与攻击者在 API 攻击活动期间的行为之间的关系，组织有机会：

• 改进威胁检测
• 实施更有效的事件响应
• 更有效地分配安全资源
• 识别安全漏洞
• 加深对攻击范围及其潜在影响的了解

The Forrester Wave™: Bot Management, Q2 2022

坏机器人继续消耗资源，使组织不堪重负，至少占所有互联网流量的四分之一。机器人管理已经从一个新兴市场发展成为一种快速成熟的产品，有望满足拥有单一应用程序的小型组织以及拥有数百个应用程序的大型企业的需求。以前专门从事广告欺诈、身份欺诈或应用程序安全的机器人管理提供商发现，他们需要扩大产品范围，以支持来自安全、营销、电子商务、欺诈、客户体验和高管团队的客户角色。今天，保护自己免受一系列攻击；保护web应用程序、移动应用程序和API；以及利用机器学习已经成为赌注。现代机器人程序管理工具必须跟上不断发展的攻击，提供一系列开箱即用和可定制的报告，并使人类终端客户能够在几乎没有摩擦或挫折的情况下进行交易。由于这些趋势，机器人管理客户应该寻找以下提供商：

• 检测并阻止最复杂的机器人。机器人和机器人管理工具正在进行一场胜人一筹的游戏。虽然基本的机器人可以被大多数防御系统阻挡，但更复杂的机器人使用多种技术来模仿人类行为并颠覆检测。机器人操作人员在遇到机器人管理工具时会调整他们的机器人，迫使即使是最好的工具也要不断调整和发起防御，以挫败机器人，混淆他们的操作人员，并将攻击成本增加到不再值得的地步。
• 展示对机器人威胁的持续研究和创新。新的机器人威胁定期出现：旋转欺诈、CTV、图像抓取、NFT囤积机器人和僵尸即服务来抢购PS5。强大的威胁研究团队掌握新的攻击和技术，广泛分享趋势和威胁信息，并将他们的研究成果提供给产品团队，以抵御新的威胁。强有力的创新策略为新的检测技术、低摩擦挑战和社区项目提供了动力。
• 支持受机器人影响的所有利益相关者。虽然机器人程序管理当然是一种应用程序安全工具，但其利益相关者来自整个组织。【业务线属性】机器人会对安全、电子商务、营销、欺诈和高管团队造成严重破坏，因此全面的机器人管理解决方案必须满足他们的所有需求。寻找能够向不同利益相关者提供相关报告和指标的解决方案，提供攻击方法和目标的细节，并帮助安全专业人员向其领导团队阐明解决方案的价值。此外，强大的机器人管理工具可以轻松地与各种利益相关者所依赖的其他核心工具集成，如Magento、Salesforce Commerce Cloud或Splunk。

【draft】War of the Bots: Learnings from Thwarting New Automated Attack Vectors

• https://www.imperva.com/resources/resource-library/reports/2023-imperva-bad-bot-report-report-ty?lang=EN&asset_id=6248
• https://salt.security/blog/latest-state-of-api-security-report-400-increase-in-attackers-and-more?
• 2023年第一季度API安全观察：威胁态势仍在持续加剧：https://www.aqniu.com/hometop/94894.html

前言

第十届Imperva Bad Bot报告是一份威胁研究报告，分析和调查每天发生的自动化攻击，这些攻击绕过传统检测方法，在互联网上造成破坏。该报告基于公司在2022年收集的数据，这些数据来自全球网络，包括数万个域中的6万亿个被阻止的恶意机器人请求，这些请求被匿名化处理。

这份第十版报告不仅深入探讨了有关恶意机器人的最新趋势和统计数据，还回顾了过去十年中的机器人发展历程。此外，该报告提供了有关机器人性质和影响的有意义信息和指导，以帮助组织更好地了解机器人流量的潜在风险，如果不加以妥善管理，这些风险可能会带来什么影响。

恶意机器人与合法用户一样与应用程序进行交互，使它们更难被检测和阻止。它们通过利用企业运营方式而非技术漏洞来滥用业务逻辑。它们可以在网站、移动应用和API上进行高速滥用、误用和攻击。它们允许机器人操作者、攻击者、不道德的竞争对手和欺诈者执行各种恶意活动，包括网络爬虫、竞争数据挖掘、个人和财务数据收集、暴力登录、抢购、数字广告欺诈、拒绝服务、垃圾邮件、交易欺诈等。它们可以消耗带宽，减缓服务器速度，并窃取敏感数据，导致财务损失和公司声誉受损。

Uncovering Large Groups of Active Malicious Accounts in Online Social Networks

摘要

在线社交网络的成功吸引了攻击和利用它们的持续关注。攻击者通常控制恶意账户，包括虚假和被侵犯的真实用户账户，以发起攻击活动，例如社交垃圾邮件、恶意软件分发和在线评分扭曲。

为了防御这些攻击，我们设计并实现了一个名为SynchroTrap的恶意账户检测系统。我们观察到，恶意账户通常在各种社交网络环境中执行松散同步的动作。我们的系统根据用户行动的相似性对用户账户进行聚类，揭示了表现类似、在相同时间持续一段时间的大量恶意账户群体。我们将SynchroTrap实现为在Hadoop和Giraph上的增量处理系统，以便它能够高效地处理大型在线社交网络中的海量用户活动数据。我们已经在Facebook和Instagram的五个应用程序中部署了我们的系统。在一个月内，SynchroTrap能够揭示超过两百万个恶意账户和1156个大型攻击活动。

关键字：恶意账号检测；大规模聚类；在线社交网络；

What‘s the of use-cases Salt Security?

Salt Customer Attack Case Study: Blocking a Low-rate-per-bot HTTP DDoS Attack

一、What is an HTTP DDoS Attack?

一个HTTP DDoS攻击是一种恶意企图，旨在通过利用大量设备（称为僵尸网络）向网络服务或中间设备发送高速的请求，从而使其无法为合法用户提供服务。攻击者会利用这些攻击来压倒网络服务的资源，或者中间设备的资源，以阻止它们为合法用户提供服务，从而达到攻击的目的。

攻击的振幅是通过受害者网络服务接收到的总请求速率来衡量的。该速率是由僵尸网络的规模和每个僵尸程序的恶意请求速率决定的。

每个恶意请求可能看起来合法，或者至少不会与典型的Web应用程序攻击匹配。要区分恶意请求和合法请求以检测HTTP DDoS攻击，通常可以采取以下方法：

1. 限制每个源客户端的请求数量。
2. 对源客户端进行指纹识别，以区分恶意请求和合法请求。
3. 使用一些Web应用程序防火墙（WAF）中包含的预定义签名。

这些方法可以帮助检测和缓解HTTP DDoS攻击，但需要注意的是，攻击者可能会采取措施绕过这些限制和检测方法。因此，还应使用其他安全措施来提高网络服务的安全性。

[Published 10 October 2022]

Web API流量和攻击的数量和严重程度都在增长。新方法通过特定的API安全功能补充了传统的web应用程序安全措施。安全和风险管理领导者应确定何时寻求这种额外的保护。

主要发现

• 安全领导者正在寻找额外的安全功能来保护他们的API。他们正在扩展现有的API网关（GW）、web应用程序和API保护（WAAP）解决方案，尤其是在具有高安全要求的行业垂直领域。
• Gartner客户在询问过程中最关心的问题包括个人数据盗窃、账户接管和自动内容抓取。
• API保护创新保护web API免受攻击、滥用、访问违规和拒绝服务（DoS）攻击。
• API保护产品提供三种主要类型的功能-发现、姿态管理和运行时保护。

推荐

为了保护其API，安全和风险管理领导者应：

• 从发现和分类您的API开始。执行威胁建模，以确定减轻风险所需的特定安全机制。
• 评估当前WAAP或API网关提供的API保护。如果您的风险缓解需要额外的API保护，请调查能够提供额外保护层的API安全专家。
• 通过使用内部安全操作中心（SOC）或托管服务，解决行为异常检测可能产生的安全分析工作负载。
• 执行应用程序安全测试（AST）或渗透测试练习，以发现可能隐藏的业务逻辑问题。

一、FP-growth

前言——Apriori算法的缺陷

虽然Apriori算法能够有效计算频繁项集, 但是其缺点依旧存在：

• 需要多次扫描数据集：Apriori算法中间有许多步骤都需要对某一个大集合（比如 \(D, L_k\) ） 进行遍历扫描，如果数据量庞大，那么遍历扫描仍然会占据大量的时间。
• 可能会产生庞大的候选集：由于第 \(k\) 迭代的连接过程仍然需要进行 \(\left(\begin{array}{c}\left|L_k\right| /\ 2\end{array}\right)\) 次比较操作, 所以Apriori算法中途产生的候选集的数量依然巨大。

所以为什么一定要产生候选集？是否可以不通过产生候选集的方式来完成频繁模式挖掘呢？频繁模式增长(frequent pattern growth， 简称FP-growth)就是一种该方向的尝试。【原始事务数据转换为树状数据结构，减少扫描事务的成本】