前言

之前介绍了关于stratum协议挖矿流量的一些内容，今天来介绍一下一款好用的流量特征提取工具 NFStream，它可以很好的帮助我们从更深层次的角度来分析流量特征。

flowcontainer

再介绍NFStream之前，先来介绍一下flowcontainer，它也是基于python开发的一款网络流量基本信息提取库。

flowcontainer默认提取流的：源IP，源端口，目的IP，目的端口，IP包长序列，IP包到达时间序列，流到达时间戳、流结束时间戳、载荷长度序列，载荷到达时间序列。

flowcontainer的安装环境：

python3

numpy>=18.1

系统安装好tshark的最新版本，并将tshark所在的目录添加到系统的环境目录

具体使用文档参考：https://github.com/jmhIcoding/flowcontainer/blob/master/README.md

flowcontainer是一个很好用的库，面对一些流量基本的特征提取是完全够用的，但是想要提取更多维的特征就显得力不从心了，而且不支持深度包检测技术。

下面我就着重介绍一下NFStream这个工具库，NFStream是国外开发的一款基于Python编写的网络流量分析工具，功能更加强大一些。但国内用的人不多，相关文章也很少。

NFStream

NFStream的主要特点：

性能：NFStream的运行速度非常快，而且对CPU和内存的需求并不大
七层可见度：允许Nfstream执行可靠的加密应用识别与元数据提取
灵活性：引入NFPlugin插件概念，便于实现功能扩展
机器学习：支持以NFPlugin的形式添加训练模型

安装

pip3 install nfstream # pip3命令安装

git clone https://github.com/aouinizied/nfstream.git #将项目源码克隆至本地

NFStreamer

创建一个NFStreamer：

from nfstream import NFStreamer
my_streamer = NFStreamer(source="facebook.pcap", # or network interface
                         decode_tunnels=True,
                         bpf_filter=None,
                         promiscuous_mode=True,
                         snapshot_length=1536,
                         idle_timeout=120,
                         active_timeout=1800,
                         accounting_mode=0,
                         udps=None,
                         n_dissections=20,
                         statistical_analysis=False,
                         splt_analysis=0,
                         n_meters=0,
                         max_nflows=0,
                         performance_report=0,
                         system_visibility_mode=0,
                         system_visibility_poll_ms=100)

# 基本的使用方式就是循环遍历NFStreamer（分组）
for flow in my_streamer:
   print(flow) # or whatever

NFStreamer的各个属性及含义

属性（默认）	描述
source="facebook.pcap"	pcap文件路径或网络接口名称
decode_tunnels=True	开启/关闭GTP/CAPWAP/TZSP隧道解码
bpf_filter=None	指定一个BPF filter过滤器，用于过滤选定的流量
promiscuous_mode=True	启用/禁用混杂捕获模式
snapshot_length=1536	控制包切片大小(截断),以字节为单位
idle_timeout=120	空闲流(没有收到数据包)超过该值(秒)即过期
active_timeout=1800	活动时间超过该值(秒)的流将过期
accounting_mode=0	指定一个模式报告字节相关特性(0:链路层,1:IP层,2:传输层,3:有效载荷)
udps=None	指定用户定义的用于扩展NFStreamer的NFPlugins
n_dissections=20	要为L7可见性特征分析的每个流分组数,当设置为0时,禁用L7可见性特性
statistical_analysis=False	启用/禁用事后流统计分析
splt_analysis=0	指定第一个分组的长度序列,用于早期的统计分析,当设置为0时,禁用splt_analysis
n_meters=0	指定返回前要捕获的最大流数,当等于0时不设置
max_nflows=0	指定并行计量过程的数量当,设置为0时,NFStreamer将自动根据运行主机上可用的物理核心对计量进行扩展
performance_report=0	性能报告间隔时间,单位为秒,当设置为0时禁用,忽略离线捕获
system_visibility_mode=0	通过探测主机来启用系统进程映射
system_visibility_poll_ms=100	设置系统进程映射特性的轮询间隔,单位为毫秒(0是最大可达速率)

NFLow

NFlow是NFStream中的流表示形式。它包含了根据NFStreamer配置计算的所有流特征。

Nflow核心特征包括：

特征	数据类型	描述
id	int	流标识符
expiration_id	int	流过期触发器的标识符,0表示idle_timeout,1表示active_timeout,-1表示自定义过期
src_ip	str	源IP地址字符串
src_mac	str	源MAC地址字符串
src_oui	str	源组织唯一标识符字符串
src_port	int	传输层源端口
dst_ip	str	目的IP地址字符串
dst_mac	str	目的MAC地址字符串
dst_oui	str	目标组织唯一标识符字符串
dst_port	int	传输层目的端口
protocol	int	传输层协议
ip_version	int	IP版本
vlan_id	int	虚拟局域网标识符
bidirectional_first_seen_ms	int	第一个双向分组的时间戳,单位为毫秒
bidirectional_last_seen_ms	int	最后一个双向分组的时间戳,单位为毫秒
bidirectional_duration_ms	int	双向流持续时间,单位为毫秒
bidirectional_packets	int	流量双向数据包累加器
bidirectional_bytes	int	双向字节累加器(依赖accounting_mode)
src2dst_first_seen_ms	int	第一个src2dst分组上的时间戳,单位为毫秒
src2dst_last_seen_ms	int	最后一个src2dst分组上的时间戳,单位为毫秒
src2dst_duration_ms	int	src2dst持续时间,单位为毫秒
src2dst_packets	int	src2dst数据包累加器
src2dst_bytes	int	src2dst字节累加器(取决于accounting_mode)
dst2src_first_seen_ms	int	第一个dst2src分组上的时间戳,单位为毫秒
dst2src_last_seen_ms	int	最后一个dst2src分组上的时间戳,单位为毫秒
dst2src_duration_ms	int	dst2src持续时间,单位为毫秒
dst2src_packets	int	dst2src数据包累加器
dst2src_bytes	int	dst2src字节累加器(取决于accounting_mode)

还有一些其他特征值包括：

隧道解码特征（TUNNEL DECODING FEATURES）
事后统计流特征 (POST-MORTEM STATISTICAL FEATURES)
早期统计特征 (EARLY STATISTICAL FEATURES)
系统可见特征 (SYSTEM VISIBILITY FEATURES)
流7层可见特征（NFLOW LAYER-7 VISIBILITY FEATURES）

详细参考：https://www.nfstream.org/docs/api

Pandas Dataframe转换

NFStream原生支持Pandas作为导出接口：

my_dataframe = my_streamer.to_pandas(columns_to_anonymize=[])

参数：columns_to_anonymize 要匿名的列名列表（一般不用）

示例：

from nfstream import NFStreamer
my_dataframe = NFStreamer(source=path_pcap).to_pandas()[["src_ip",  # 需要导出的特征列表
                                                         "src_port",
                                                         "dst_ip",
                                                         "dst_port",
                                                         "protocol",
                                                         "bidirectional_packets",
                                                         "bidirectional_bytes",
                                                         "application_name"]]
my_dataframe.head(5)

CSV文件转换

NFStream原生支持CSV文件格式作为导出接口：

total_flows_count = my_streamer.to_csv(path=None, columns_to_anonymize=[], flows_per_file=0, rotate_files=0)

参数：

path：指定csv结果文件的输出路径
flows_per_file：指定每个生成的文件的最大流量
columns_to_anonymize：要匿名的列名列表
rotate_files：限制磁盘存储使用的rotating文件数量

示例：

默认输出文件，是再原pcap文件名后面加上.csv, 如a.pacp.csv

NFStream特征提取

NFStream相比于flowcontainer的几大优点：

原生支持Pandas导出接口和CSV导出接口。
事后统计流特征提取：NFStream进行了48个事后流统计特征提取，包括详细的TCP标志位分析，数据包大小和每个方向的到达间隔时间的最小、均值、最大值和标准差。
早期统计流特征提取：NFStream执行早期流（最多255个分组）统计特征提取（也称为SPLT分析）。将这些分组的方向、大小和到达间隔时间归纳为一个序列。
应用层可见性特征提取：Nfstream深度数据包检测引擎基于nDPI实现，它允许Nfstream执行可靠的加密应用识别与元数据提取（例如TLS, QUIC, TOR, HTTP, SSH, DNS）
系统的可见性：NFStream探测被监控系统的内核，以获取有关开放Internet套接字的信息，并在应用层收集有保证的真实值(进程名、PID等)。

事后统计流特征提取

只需在NFStreamer函数参数设置 statistical_analysis=True即可开启事后统计流特征提取。

示例：

from nfstream import NFStreamer
my_streamer = NFStreamer(source=pcap,
                         n_dissections=0,  # 第 7 层数据不可见
                         statistical_analysis=True)
for flow in my_streamer:
    print(flow)

NFStream支持48个事后流统计特征提取：

      bidirectional_min_ps=84,
      bidirectional_mean_ps=92.0,
      bidirectional_stddev_ps=11.313708498984761,
      bidirectional_max_ps=100,
      src2dst_min_ps=84,
      src2dst_mean_ps=84.0,
      src2dst_stddev_ps=0.0,
      src2dst_max_ps=84,
      dst2src_min_ps=100,
      dst2src_mean_ps=100.0,
      dst2src_stddev_ps=0.0,
      dst2src_max_ps=100,
      bidirectional_min_piat_ms=0,
      bidirectional_mean_piat_ms=0.0,
      bidirectional_stddev_piat_ms=0.0,
      bidirectional_max_piat_ms=0,
      src2dst_min_piat_ms=0,
      src2dst_mean_piat_ms=0.0,
      src2dst_stddev_piat_ms=0.0,
      src2dst_max_piat_ms=0,
      dst2src_min_piat_ms=0,
      dst2src_mean_piat_ms=0.0,
      dst2src_stddev_piat_ms=0.0,
      dst2src_max_piat_ms=0,
      bidirectional_syn_packets=0,
      bidirectional_cwr_packets=0,
      bidirectional_ece_packets=0,
      bidirectional_urg_packets=0,
      bidirectional_ack_packets=0,
      bidirectional_psh_packets=0,
      bidirectional_rst_packets=0,
      bidirectional_fin_packets=0,
      src2dst_syn_packets=0,
      src2dst_cwr_packets=0,
      src2dst_ece_packets=0,
      src2dst_urg_packets=0,
      src2dst_ack_packets=0,
      src2dst_psh_packets=0,
      src2dst_rst_packets=0,
      src2dst_fin_packets=0,
      dst2src_syn_packets=0,
      dst2src_cwr_packets=0,
      dst2src_ece_packets=0,
      dst2src_urg_packets=0,
      dst2src_ack_packets=0,
      dst2src_psh_packets=0,
      dst2src_rst_packets=0,
      dst2src_fin_packets=0

事后流统计特征主要包括：TCP标志位分析，数据包大小和每个方向的到达间隔时间的最小、均值、最大值和标准差。

字段详细信息参照官方API文档：https://www.nfstream.org/docs/api

早期统计流特征提取

在NFStreamer函数参数设置 splt_analysis=N（N>0）即可开启早期统计流特征提取。

示例：

from nfstream import NFStreamer
my_streamer = NFStreamer(source=pcap,
                         n_dissections=0,  # 第 7 层数据不可见
                         splt_analysis=10)
for flow in my_streamer:
    print(flow)

这个早期统计流特征提取，和Wireshark的流追踪功能类似，针对同一个TCP会话的数据流方向，数据包大小，到达时间间隔进行了统计。最多统计255个包，当 N>255 时程序报错。

这三个列表的列表长度均为N（splt_analysis=N）：

splt_direction：分组的方向（0:src2dst, 1:dst2src, -1:no packet）
splt_ps：分组的大小（依靠accounting_mode, -1表示没有分组）
splt_piat_ms：到达间隔时间（第一个分组总是0，没有分组时总是-1）

应用层可见性特征提取

在NFStreamer函数中设置 n_dissection>0即可开启7层可见性特征。

示例：

from nfstream import NFStreamer
my_streamer = NFStreamer(source=pcap, n_dissections=20)
for flow in my_streamer:
    print(flow)

支持9个7层可见性特征：

application_name=SSH,  # 应用程序名称
application_category_name=RemoteAccess,  # 应用类别名称
application_is_guessed=1,  # 表示检测结果是基于纯解析还是基于猜测启发式
application_confidence=1,  # 底层检测方法（O:未知分类，1:仅通过4层端口得到的分类，3:基于部分/不完全DPI信息的分类结果，4:基于部分/不完全DPI信息的LRU缓存的分类结果，5:基于部分LRU缓存的分类结果(即会话之间的相关性)，6:深度包检测）
requested_server_name=,  # 请求的服务器名称(SSL/TLS、DNS、HTTP)
client_fingerprint=,  # 客户端指纹
server_fingerprint=,  # 服务器指纹
user_agent=,  # 提取的用户代理为HTTP或用户代理标识符为QUIC
content_type=  # 提取的HTTP内容类型

深度数据包检测引擎基于nDPI实现，支持这几种应用：TLS, QUIC, TOR, HTTP, SSH, DNS

系统的可见性

在NFStreamer函数参数设置 system_visibility_mode=1即可开启系统的可见性。

from nfstream import NFStreamer
my_streamer = NFStreamer(source=pcap,
                         n_dissections=0,  # 第 7 层数据不可见
                         system_visibility_mode=1,
                         splt_analysis=10)
for flow in my_streamer:
    print(flow)

开启以后可以获取关于这个分组的通信进程的信息，包括进程名称（process_name）和进程ID（process_pid）。

我本地运行这个程序运行报错，不过感觉这个用处不大。
还有一个隧道解码特征（TUNNEL DECODING FEATURES），个人感觉几乎用不到。

NFPlugin扩展

NFPlugin不过多介绍了，前面介绍的内容在绝大数情况下都足够使用了。

NFPlugin是扩展NFStream的主要类，可以创建一组新的NFlow特性，可以来满足自定义需求。在使用之前需要导入NFPlugin模块 from nfstream import NFPlugin

关于更多关于NFPlugin更多内容，参照官方文档：https://www.nfstream.org/docs/api

*本文的大部分内容来自官方文档的英文机翻，如有不准确的部分请谅解。

参考文章：
https://pypi.org/project/nfstream/
https://www.nfstream.org/docs/api
https://github.com/jmhIcoding/flowcontainer/blob/master/README.md

若有错误，欢迎指正！o(￣▽￣)ブ