SF-TAP: Scalable and Flexible Traffic Analysis Platform http://sf-tap.github.io/ http://ytakano.github.io/

1. SF-TAP: Scalable and Flexible
Traffic Analysis Platform
L7レベルネットワークトラフィック
解析器
北陸先端科学技術大学院大学
情報通信研究機構
1

2. おしながき
• 本研究の目的
• 既存研究と本研究の位置づけ
• SF-TAPの動作図及び構成要素
• 応用例
• 設計・実装
• デモ
• パフォーマンス計測
2

3. 目的（１）
高速なL7トラフィックの解析
high pps
high bps
3

4. 目的（２）
スケーラブルなトラフィック解析器
目的（２）
スケーラブルなトラフィック解析器
高負荷なL7トラフィック解析
台数効果で解消
4

5. 目的（３）
解析器のプログラマブルな作成
目的に応じた言語で解析器の実装を可能に
ちょっとした検証ならPython, Ruby
機械学習ならJava，C++
高速性を求めるならC
5

6. 目的（４）
コモディティベース
ベンダーロックインからの開放
アプライアンスは機能追加が困難
研究・開発フェーズには不向き
6

7. 既存研究と本研究の位置づけ
GASPP[USENIX ATC 2014]
SCAP[IMC 2012]
libnids(snort)
netmap PF_RING DPDK
bpf pcap
フローレベル解析 L7プロトコル判別
トラフィックキャプチャ
nDPI
l7-filter
libprotoident
SF-TAP
+ スケーラビリティ＆モジュラリティ
7

8. SF-TAPの動作図
CPU CPU CPU CPU
Flow Abstractor
CPU CPU CPU CPU
Flow Abstractor
CPU CPU CPU CPU
Flow Abstractor
CPU CPU CPU CPU
Flow Abstractor
Cell Incubator
The Internet
SF-TAP Cell SF-TAP Cell SF-TAP Cell SF-TAP Cell
Intra Network
Core ScalingCore Scaling Core Scaling Core Scaling
Horizontal Scaling
Analyzer Analyzer Analyzer Analyzer Analyzer Analyzer Analyzer Analyzer Analyzer Analyzer Analyzer Analyzer Analyzer Analyzer Analyzer Analyzer
10GbE
10GbE
8

9. SF-TAPの構成要素
Flow Abstractor
Cell Incubator
L7プロトコル判別
IPフラグメント＆TCPストリーム再構成
フロー抽象化による非言語依存のIF提供
フロー単位での高速ロードバランス
IPフラグメントハンドリング
9

10. 応用例（１）
Cell Incubatorの利用
Cell Incubator
Snort Snort Snort Snort
10 Gbps
複数マシンでのIDS運用
10

11. 応用例（２）
Flow Abstractorの利用
Flow Abstractor
HTTP Analyzer
Elastic Search
KibanaElastic Search + Kibana
によるHTTPトラフィックの
リアルタイム可視化
11

12. SF-TAPのアーキテクチャ
NW I/F
HTTP I/F
TLS I/F
Flow Abstractor
Flow
Classifier TLS Analyzer
HTTP Analyzer
HTTP Proxy
TCP and UDP
Handler
filter and
classifier
rule
L7 Loopback I/F
DB
Forensic
IDS/IPS
etc...
Application
Protocol Analyzer
etc...TCP Default I/F
UDP Default I/F
Analyzer PlaneAbstractor Plane
Capturer
Plane
SF-TAP Cell
Incubator
Flow
Identifier
Flow
Separator
Separator
Plane
separated traffic
SF-TAP Cell
L3/L7 Sniffer
SSL
Proxy
etc...
other SF-TAP cells
IP Packet
Defragmenter
L2 Bridge
mirroring
traffic
Packet Forwarder
IP Fragment
Handler
4つのPlaneを定義
Analyzer Plane
L7解析器
Forensic, IDS/IPS, etc…
Abstractor Plane
フローの抽象化
Separator Plane
フロー分割
Capturer Plane
トラフィックキャプチャ
12

13. Cell Incubatorの設計
SF-TAP Cell
Incubator Flow
Separator
separated traffic other SF-TAP cells
L2 Bridge
Packet Forwarder
IP Fragment
Handler
Packet Forwarder
L2ブリッジ機能
L2フレームキャプチャ機能
IP Fragment Handler
フラグメント化パケットと
フローの対応
Flow Separator
複数IFへフロー分割
13

14. Flow Abstractorの
設計（１）
14
NW I/F
HTTP I/F
TLS I/F
Flow Abstractor
Flow
Classifier
TCP and UDP
Handler
filter and
classifier
rule
L7 Loopback I/F
TCP Default I/F
UDP Default I/F
Flow
Identifier
IP Packet
Defragmenter
TCP and UDP Handler
Flow Identifier
IP Packet Defragmenter
TCPフロー再構成
フロー識別
UDPはそのまま
IPフラグメント再構成

15. Flow Abstractorの
設計（２）
15
NW I/F
HTTP I/F
TLS I/F
Flow Abstractor
Flow
Classifier
TCP and UDP
Handler
filter and
classifier
rule
L7 Loopback I/F
TCP Default I/F
UDP Default I/F
Flow
Identifier
IP Packet
Defragmenter
Flow Classifier
L7プロトコル識別
フロー抽象IFへトラフィックを出力

16. Flow Abstractorの
設定ファイル（１）
16
develop ana-
by this plane.
developed by
s analyzers in
rator and ab-
f the capturer
the analyzer
the following
ow abstractor
le of an ana-
stractor illus-
1 http:
2 up = ˆ[-a-zA-Z]+ .+ HTTP/1.(0r?n|1r?n([-a-
zA-Z]+: .+r?n)+)
3 down = ˆHTTP/1.[01] [1-9][0-9]{2} .+r?n
4 proto = TCP # TCP or UDP
5 if = http # path to UNIX domain socket
6 nice = 100 # priority
7 balance = 4 # balaced by 4 IFs
8
9 torrent_tracker: # BitTorrent Tracker
10 up = ˆGET .*(announce|scrape).*?.*info_hash
=.+&.+ HTTP/1.(0r?n|1r?n([-a-zA-Z]+: .+r?n)+)
11 down = ˆHTTP/1.[01] [1-9][0-9]{2} .+r?n
12 proto = TCP
13 if = torrent_tracker
14 nice = 90 # priority
15
16 dns_udp:
17 proto = UDP
18 if = dns
19 port = 53
20 nice = 200

17. Flow Abstractorの
設定ファイル（２）
17
develop ana-
by this plane.
developed by
s analyzers in
rator and ab-
f the capturer
the analyzer
the following
ow abstractor
le of an ana-
stractor illus-
1 http:
2 up = ˆ[-a-zA-Z]+ .+ HTTP/1.(0r?n|1r?n([-a-
zA-Z]+: .+r?n)+)
3 down = ˆHTTP/1.[01] [1-9][0-9]{2} .+r?n
4 proto = TCP # TCP or UDP
5 if = http # path to UNIX domain socket
6 nice = 100 # priority
7 balance = 4 # balaced by 4 IFs
8
9 torrent_tracker: # BitTorrent Tracker
10 up = ˆGET .*(announce|scrape).*?.*info_hash
=.+&.+ HTTP/1.(0r?n|1r?n([-a-zA-Z]+: .+r?n)+)
11 down = ˆHTTP/1.[01] [1-9][0-9]{2} .+r?n
12 proto = TCP
13 if = torrent_tracker
14 nice = 90 # priority
15
16 dns_udp:
17 proto = UDP
18 if = dns
19 port = 53
20 nice = 200
正規表現によるプロトコル判別

18. Flow Abstractorの
設定ファイル（３）
18
develop ana-
by this plane.
developed by
s analyzers in
rator and ab-
f the capturer
the analyzer
the following
ow abstractor
le of an ana-
stractor illus-
1 http:
2 up = ˆ[-a-zA-Z]+ .+ HTTP/1.(0r?n|1r?n([-a-
zA-Z]+: .+r?n)+)
3 down = ˆHTTP/1.[01] [1-9][0-9]{2} .+r?n
4 proto = TCP # TCP or UDP
5 if = http # path to UNIX domain socket
6 nice = 100 # priority
7 balance = 4 # balaced by 4 IFs
8
9 torrent_tracker: # BitTorrent Tracker
10 up = ˆGET .*(announce|scrape).*?.*info_hash
=.+&.+ HTTP/1.(0r?n|1r?n([-a-zA-Z]+: .+r?n)+)
11 down = ˆHTTP/1.[01] [1-9][0-9]{2} .+r?n
12 proto = TCP
13 if = torrent_tracker
14 nice = 90 # priority
15
16 dns_udp:
17 proto = UDP
18 if = dns
19 port = 53
20 nice = 200
L4プロトコル指定

19. Flow Abstractorの
設定ファイル（４）
19
develop ana-
by this plane.
developed by
s analyzers in
rator and ab-
f the capturer
the analyzer
the following
ow abstractor
le of an ana-
stractor illus-
1 http:
2 up = ˆ[-a-zA-Z]+ .+ HTTP/1.(0r?n|1r?n([-a-
zA-Z]+: .+r?n)+)
3 down = ˆHTTP/1.[01] [1-9][0-9]{2} .+r?n
4 proto = TCP # TCP or UDP
5 if = http # path to UNIX domain socket
6 nice = 100 # priority
7 balance = 4 # balaced by 4 IFs
8
9 torrent_tracker: # BitTorrent Tracker
10 up = ˆGET .*(announce|scrape).*?.*info_hash
=.+&.+ HTTP/1.(0r?n|1r?n([-a-zA-Z]+: .+r?n)+)
11 down = ˆHTTP/1.[01] [1-9][0-9]{2} .+r?n
12 proto = TCP
13 if = torrent_tracker
14 nice = 90 # priority
15
16 dns_udp:
17 proto = UDP
18 if = dns
19 port = 53
20 nice = 200
出力インターフェース名指定

20. Flow Abstractorの
設定ファイル（５）
20
develop ana-
by this plane.
developed by
s analyzers in
rator and ab-
f the capturer
the analyzer
the following
ow abstractor
le of an ana-
stractor illus-
1 http:
2 up = ˆ[-a-zA-Z]+ .+ HTTP/1.(0r?n|1r?n([-a-
zA-Z]+: .+r?n)+)
3 down = ˆHTTP/1.[01] [1-9][0-9]{2} .+r?n
4 proto = TCP # TCP or UDP
5 if = http # path to UNIX domain socket
6 nice = 100 # priority
7 balance = 4 # balaced by 4 IFs
8
9 torrent_tracker: # BitTorrent Tracker
10 up = ˆGET .*(announce|scrape).*?.*info_hash
=.+&.+ HTTP/1.(0r?n|1r?n([-a-zA-Z]+: .+r?n)+)
11 down = ˆHTTP/1.[01] [1-9][0-9]{2} .+r?n
12 proto = TCP
13 if = torrent_tracker
14 nice = 90 # priority
15
16 dns_udp:
17 proto = UDP
18 if = dns
19 port = 53
20 nice = 200
ポート番号指定

21. Flow Abstractorの
設定ファイル（６）
21
develop ana-
by this plane.
developed by
s analyzers in
rator and ab-
f the capturer
the analyzer
the following
ow abstractor
le of an ana-
stractor illus-
1 http:
2 up = ˆ[-a-zA-Z]+ .+ HTTP/1.(0r?n|1r?n([-a-
zA-Z]+: .+r?n)+)
3 down = ˆHTTP/1.[01] [1-9][0-9]{2} .+r?n
4 proto = TCP # TCP or UDP
5 if = http # path to UNIX domain socket
6 nice = 100 # priority
7 balance = 4 # balaced by 4 IFs
8
9 torrent_tracker: # BitTorrent Tracker
10 up = ˆGET .*(announce|scrape).*?.*info_hash
=.+&.+ HTTP/1.(0r?n|1r?n([-a-zA-Z]+: .+r?n)+)
11 down = ˆHTTP/1.[01] [1-9][0-9]{2} .+r?n
12 proto = TCP
13 if = torrent_tracker
14 nice = 90 # priority
15
16 dns_udp:
17 proto = UDP
18 if = dns
19 port = 53
20 nice = 200
ルールの優先順位指定

22. Flow Abstractorの
設定ファイル（７）
22
develop ana-
by this plane.
developed by
s analyzers in
rator and ab-
f the capturer
the analyzer
the following
ow abstractor
le of an ana-
stractor illus-
1 http:
2 up = ˆ[-a-zA-Z]+ .+ HTTP/1.(0r?n|1r?n([-a-
zA-Z]+: .+r?n)+)
3 down = ˆHTTP/1.[01] [1-9][0-9]{2} .+r?n
4 proto = TCP # TCP or UDP
5 if = http # path to UNIX domain socket
6 nice = 100 # priority
7 balance = 4 # balaced by 4 IFs
8
9 torrent_tracker: # BitTorrent Tracker
10 up = ˆGET .*(announce|scrape).*?.*info_hash
=.+&.+ HTTP/1.(0r?n|1r?n([-a-zA-Z]+: .+r?n)+)
11 down = ˆHTTP/1.[01] [1-9][0-9]{2} .+r?n
12 proto = TCP
13 if = torrent_tracker
14 nice = 90 # priority
15
16 dns_udp:
17 proto = UDP
18 if = dns
19 port = 53
20 nice = 200
分散処理・CPU負荷分散用設定
この場合，4つのIFへフロー単位で
分割され出力される

23. 抽象フローIFの
ディレクトリ構造
20 nice = 200
Figure 3: Configuration Example of Flow Abstractor
1 $ ls -R /tmp/sf-tap
2 loopback7= tcp/ udp/
3
4 /tmp/sf-tap/tcp:
5 default= http2= ssh=
6 dns= http3= ssl=
7 ftp= http_proxy= torrent_tracker=
8 http0= irc= websocket=
9 http1= smtp=
10
11 /tmp/sf-tap/udp:
12 default= dns= torrent_dht=
23

24. loopback7
インターフェース
入力用インターフェース
プロクシ・トンネル用
無限ループを防ぐため
hopカウントを利用
24

25. default
インターフェース
どのルールにもマッチしなかった
フローが出力される
25

26. 5タプルフローID
IPアドレス x 2
ポート番号 x 2
ホップカウント
26

27. TCPイベントの抽象化
CREATED
DATA
DESTROYED
27

28. 実装
Flow Abstractor
C++
Consumer Producer Pattern
スレッド間のバルクデータ転送
Cell Incubator
C++
netmap
CASを使った軽量ロック
28

29. デモ
29

30. 複数インターフェスによる
CPU負荷計測
(a) HTTP Analyzer x 1 (b) HTTP Analyzer x 2 (c) HTTP Analyzer x 4
generate 50 clients / sec, 1000 clients maximum, 2500 requests / sec on average
Figure 7: CPU Load of HTTP Analyzer and Flow Abstractor
30

31. Flow Abstractorと
秒間コネクション数
31
s maximum, 2500 requests / sec on average
TP Analyzer and Flow Abstractor

32. Cell Incubatorの
パフォーマンス
32
最大11.44 Mpps
（10 フロー）
詳細は別資料にて・・・

33. まとめ
• 汎用L7解析器SF-TAPを提案
• スケーラブル
• モジュラリティ
• コモディティ
• 非言語依存のインターフェース
• プログラマブルなネットワーク解析が可能に
• 高速なネットワークに対しても適用可能に
33