解密数字足迹:突破性网络流量指纹识别技术揭秘

目录

• Fine-Grained High-Utility Dynamic Fingerprinting Extraction for Network Traffic Analysis
• FLOWPRINT: Semi-Supervised Mobile-App Fingerprinting on Encrypted Network Traffic
• Locality Sensitive Hashing for Network Traffic Fingerprinting
• Fingerprinting Network Entities Based on Traffic Analysis in High-Speed Network Environment
• 附录

Fine-Grained High-Utility Dynamic Fingerprinting Extraction for Network Traffic Analysis

概要

1. 使用细粒度高效用动态指纹提取(Huf)算法基于N-gram模型构建Huf-Tree。
2. 结合网络流量段-IP地址转换(IAT)方法，实现动态应用程序指纹提取。
3. 计算指纹的效用，以获得更有价值的指纹，实现细粒度和高效的流量特征提取。
4. 通过自动化特征提取过程来解决对手动分析高度依赖的问题。

数据集

1. 公开数据集：WRCCDC-PCAPS，来自瑞典网络安全公司Netresec发布的数据集。
2. 实际环境采集的网络数据：Dataset1-Dataset8（不公开），在两部安装有常用软件的Android手机上采集的网络流量数据。

输出结果

输出的流量指纹包括以下特征：

1. 分界点特征：不仅依赖时间，还结合IP地址、协议类型等，提取完整的细粒度应用指纹。
2. 应用程序特征：提取每个应用程序独特的特征，如“三次握手”等常见网络通信结构。
3. 动态特征：使用基于N-gram模型的树结构保存和提取应用指纹。
4. 域名信息：通过分析应用类别的域名特征，为异常分析提供依据。

总结

该论文的细粒度指纹提取方法可以为网络流量分析提供更多有价值的指纹特征，特别是在细化应用特征方面，可以应用于复杂的网络环境中进行动态指纹的识别和分析。

FLOWPRINT: Semi-Supervised Mobile-App Fingerprinting on Encrypted Network Traffic

概要

• FLOWPRINT 是一种半监督方法，用于从加密网络流量中对移动应用程序进行指纹识别。
• 它利用目标相关特征之间的时间相关性来生成应用程序指纹。
• 虽然指纹生成过程不需要先验知识，但应用识别和未知应用检测需要一些已知标签。

数据集

1. Cross Platform dataset: https://recon.meddle.mobi/cross-market.html
2. ReCon dataset: https://recon.meddle.mobi/appversions/
3. Andrubis dataset: https://drive.google.com/drive/folders/1IXa3IJS9zJS4vggpyU7yda8f7jZjz4gB
4. Browser dataset: https://drive.google.com/open?id=1wOdrfazbrcMDrL0NfA4GLoWegtPqkPj3

特征值

由于主要处理加密流量，FLOWPRINT 使用了以下特征值：

1. 时间特征：流量间的时间间隔、入向数据包的到达时间间隔。
2. 设备特征：源IP地址。
3. 目的地特征：目的IP地址、TLS证书信息（有效期、序列号、扩展集）。
4. 大小特征：入向数据包大小标准差、出向数据包大小标准差。

源代码

https://github.com/Thijsvanede/FlowPrint/blob/master/README.md

总结

FLOWPRINT 为我们提供了一个强大的工具来分析加密流量。我们可以利用这种方法来：

1. 开发更高效的移动应用识别系统，即使在加密流量环境中也能准确识别应用。
2. 基于其开源代码，我们可以进一步优化和定制算法，以适应特定的网络环境或应用场景。

Locality Sensitive Hashing for Network Traffic Fingerprinting

概述

• 提出了一种使用局部敏感哈希(LSH)的网络流量指纹识别方法，特别是Nilsimsa LSH函数。
• 探索了Nilsimsa LSH函数的替代设计选择，包括窗口大小、n-gram大小、哈希函数、累加器大小和阈值计算。
• 开发了一个名为LSIF-R的设备识别系统，使用可调整的Nilsimsa函数。

特点

• LSIF-R不需要特征选择和提取，它只需要使用网络流量的哈希值作为特征。
• 这是一种有监督的设备识别方法，将设备产生的流量哈希值作为签名存储在数据库中。

数据集

作者只说数据集借鉴了论文IOT SENTINEL: Automated Device-Type Identification for Security Enforcement in IoT ，然后我查询了此论文发现也没细说数据集怎么来的

总结

基于LSH的网络流量指纹识别方法非常适合处理大规模网络数据，尤其在资源受限的环境中，通过快速生成指纹提高了分析效率。该方法可以应用于实时流量监控和大数据分析中，帮助识别和分类网络流量。该方法适合用于指纹的大分类，区别流量是来自哪台计算机网络设备。

Fingerprinting Network Entities Based on Traffic Analysis in High-Speed Network Environment

概要

• 使用 PFQ 内核模块进行数据包捕获，并使用 Storm 进行在线流量分析，为高速网络环境设计了一个分布式流量分析框架。
• 基于运行时环境分析，使用 961 个特征（如应用程序、操作系统和 HTTP User-Agent）。
• 基于行为指纹识别，使用 Web 访问记录、域名和 HTTP User-Agent 开发了一种用户识别方法，在 5 分钟内达到 79.51% 的准确率。

数据集

1. 设备识别数据集：
   • 从2016年6月1日到7月23日，共收集了118台用户设备的53天网络流量数据。
   • 数据集包含50,305个有效的设备指纹。
2. 跨设备用户识别数据集：
   • 包括52,097个用户行为指纹。

这篇论文使用了两个数据集,一个是设备识别数据集,另一个是跨设备用户识别数据集。这些数据集都是作者从真实的网络流量中采集和提取得到的，所以不公开🥹。

特征值

961维的设备指纹特征向量包含以下内容:

• 应用程序类型和版本信息
• 浏览器类型、版本和操作系统类型等属性
• 单位时间内的网络流量特征,如某个应用程序的流量频率

论文中作者提到有 高达 961 种特征值之多，但是就是没有告诉读者分别是什么，给了一些笼统的特征，留着读者自己臆想😶。

总结

虽然该论文给我们提供特征值的获取方法，但是给我们提供了整个系统的架构和细节，给我们提供了方法。我们可以利用这种方法来开发适用于高速网络环境的实时网络监控系统，能够快速识别和分类网络实体。

附录

表1: 操作系统指纹识别

表2: 网站指纹识别

表3: 应用程序指纹识别