2015/10/22 マルウェア対策研究人材育成ワークショップ 2015 (MWS2015) での、市田の発表資料になります

1. マルウェア通信検知手法における
User-Agentの有効性の一考察
市田 達也†
†株式会社リクルートテクノロジーズ
サイバーセキュリティコンサルティング部
セキュリティアーキテクチャグループ
CSS/MWS2015@長崎
2015.10.22(木)
2A1: MWS ドライブ・バイ・ダウンロードと不正通信

2. 目次
1. 背景と目的
2. User-Agentについて
- マルウェアのUser-Agent活用
3. User-Agent 活用の関連研究
- 本考察の概要まとめ
4. FFRI Dataset での評価
1. HTTP 通信の特徴
2. 評価方法
3. 比較する正常系User-Agent
4. 評価結果
5. 独自取得マルウェアでの評価
6. 本考察のまとめと今後の検討
2(C) Recruit Technologies Co.,Ltd. All rights reserved.
User-Agentの有効性

3. 1. 背景と目的(1)
3© Recruit Technologies Co.,Ltd. All rights reserved.
法人企業のセキュリティ対策
従業員
公開サーバ群
メールGW
(アンチウイルス)
攻撃者
ファイアウォールIPS/IDS
ウェブGW
Webプロキシ
（アンチウイルス）
マネージドセキュリティ
サービスプロバイダー
す
り
抜
け
アンチウィルスソフト
でも全てを
検知できない

4. 1. 背景と目的(2)
4(C) Recruit Technologies Co.,Ltd. All rights reserved.
マルウェア感染は防御しきれない
二次感染防止のために感染後の出口対策
＜接続先URLやIPアドレスのシグニチャ登録＞
未知の悪性サーバーに対して有効ではない
HTTPリクエスト内のUser-Agentヘッダにより
マルウェアの通信かユーザーの正常通信かを判断できる仕組み
「UA監査機能」
ウェブGW
Webプロキシ
次世代FW
本研究の目的
User-Agentの特徴が最近のマルウェアに対しても有効か評価

5. 2. User-Agentについて
5(C) Recruit Technologies Co.,Ltd. All rights reserved.
端末で利用されているブラウザ，そのバージョン番号，およびシステムの詳細
ブラウザ用に最適化されたコンテンツ
アプリケーション/
バージョン
プラットフォーム
「Windows NT 6．1」
= Windows７
HTMLレンダリングエンジン/
バージョン
どういったアプリケーションがアクセスしているかを示唆しているが、
容易に改ざん、成りすましが可能であり、意図した文字列で通信できる
Gecko の
リリースバージョン
レンダリングバージョンより
ブラウザInternetExplorer 11からのアクセス

6. マルウェアのUser-Agent活用
6(C) Recruit Technologies Co.,Ltd. All rights reserved.
マルウェアは独自の文字列をUser-Agentに利用することがある
Ex.「FixUpdate」「Mazilla」「Updates downloader」「aaaaaa bbbbbbbbbbb」
もしくはUser-AgentなしでHTTP通信を行うことがある
セキュリティ調査機関による
クローラーや
一般ユーザからの偶発した
アクセスを識別するため
C&Cサーバーが
マルウェアの通信と
判断するため

7. 3. User-Agent 活用の関連研究
 Nizar Kheirの関連研究[8] in 2013
 User-Agentを各属性文字列に分割しクラスタリング
 最長共通部分列（LCS）によるシグニチャ抽出
 マルウェアHTTP通信の動的な振る舞いも考慮
 Van Bolhuisらの関連研究[9] in 2014
 User-Agentを各属性文字列に区切った
 一定時間の属性文字列の出現頻度をホストごとに算出
 マルウェア感染ホストと非感染ホストの識別および異常検知に有効と示唆
 Yang Zhangらの関連研究[10] in 2015
 正規表現による監査をすり抜けるUser-Agentを指摘
 独自の自由度が高い構文解析木を提案
 ブラウザのUser-Agentを細かく属性分割
 マルウェアと区別するには接続先ドメインとの相関で定義
7(C) Recruit Technologies Co.,Ltd. All rights reserved.
マルウェアの独自User-Agentの実態を簡潔に調査するため、
まずは属性分割せずに「User-Agent文字列」を抽出・比較

8. 本考察の概要まとめ
 マルウェア通信のUser-Agentの経年/経月変化を確認
 定量評価のためにUser-Agent文字列の正常からの逸脱指
標Dを定義
8(C) Recruit Technologies Co.,Ltd. All rights reserved.
本考察の目的
「UA監査機能」が最近のマルウェアに対しても有効か評価
考察項目
 どれほどのマルウェアが独自User-Agentを利用し，その
文字列が特徴として利用できるか
 逸脱指標Dの妥当性評価
実験データ
 FFRIDataset 2013, 2014, 2015のhttp通信データ
 独自取得マルウェアのhttp通信データ（2014年～2015年
6月）

9. 4. FFRI Dataset での評価
9(C) Recruit Technologies Co.,Ltd. All rights reserved.
データセット名称 検体数
HTTP通信を
行う検体数
FFRI Dataset 2013 2,638 256
FFRI Dataset 2014 3,000 598
FFRI Dataset 2015 3,000 905
FFRI Datasetとは …
(社)情報処理学会 コンピュータセキュリティ研究会
マルウェア対策研究人材育成ワークショップにて提供されている
マルウェア動的解析ログの過去3年分（約9000検体）を利用
(リクルートグループとして5月にデータセット契約済)
表1． FFRIDatasetのマルウェア検体における該当検体数
オープンソースのCuckoo
Sandboxで解析した、
インターネットに繋がった
Windows 7, 8.1のマルウェア
感染後の動作ログ
HTTP通信する
マルウェアも
増加傾向

10. 4.1 HTTP 通信の特徴
10(C) Recruit Technologies Co.,Ltd. All rights reserved.
検知名の先頭分類 割合（%）
HEUR:Trojan 19.14
not-a-virus:HEUR:AdWare 16.02
Trojan 14.06
Backdoor 13.28
not-a-virus:AdWare 3.91
Trojan-Downloader 2.34
Trojan-Ransom 1.56
検知名の先頭分類 割合（%）
not-a-virus:AdWare 29.10
HEUR:Trojan 14.38
not-a-virus:Downloader 14.05
Trojan 12.71
not-a-
virus:HEUR:Downloader
3.85
Trojan-Downloader 3.51
Hoax 2.68
Trojan-Dropper 2.34
Worm 2.34
Trojan-Spy 2.01
Trojan-Ransom 1.34
検知名の先頭分類 割合（%）
Trojan 19.91
HEUR:Trojan 14.38
Backdoor 10.18
Trojan-Banker 8.85
UDS:DangerousObject 8.74
Trojan-Downloader 7.96
Trojan-Ransom 4.54
not-a-virus:AdWare 2.54
Trojan-Spy 2.54
Worm 2.21
Trojan-Dropper 1.88
HEUR:Trojan-Downloader 1.22
Trojan-PSW 1.11
Hoax 1.00
カスペルスキー社の検知名を用いたHTTP通信を行う検体分類
表2. FFRI 2013
表3. FFRI 2014
表4. FFRI 2015
■追加マルウェアの
ダウンロード通信
■直IPアドレスに対
して宛先ポート
TCP/80番以外への
通信
■追加のマルウェアのコンポー
ネントをダウンロード通信
■「ads.yahoo.com」など
広告サービスへのアドウェアの
通信 年々、マルウェア通信はグレーになっており、
単調な識別が難しい傾向が見えた
■グローバルIPアドレス
を確認できるWebサイト
への通信
■「microsoft.com」や
「msn.com」，
「google.com」，
「virtualbox.org」など
正規ドメインへのイン
ターネットへの接続確認

11. 4.2 評価方法 - Levenshtein距離
11(C) Recruit Technologies Co.,Ltd. All rights reserved.
マルウェア通信のUserAgent文字列と
非感染端末から一般に見られるHTTP通信のUser-Agent文字列と
の逸脱度をLevenshtein距離により算出
別名：編集距離
-> 文字列xから文字列yを作るために要素の文字を最小で何回「挿入」「削除」
「置換」する必要があるかを示す数を距離
文字列ｘ:
「test」
文字列ｙ:
「street」
「s」挿入、「r」挿入、
e「置換」→ ３
x、yの文字列長の最大値で除算し、標準化したNLDを用いる
(完全一致する場合は0となし，全く一致しない場合は1となる．)

12. 4.2 評価方法 – 逸脱指標Dの定義
12(C) Recruit Technologies Co.,Ltd. All rights reserved.
あるUser-Agent群の正常からの逸脱度の評価指標 D
各年のFFRI DatasetにおけるHTTP通信内のUser-Agent文字列N種類
正常系User-Agent文字列K種類
c（yn）はUser-Agent 「yn」のデータセット内の出現回数
ある期間のマルウェアHTTP通信のUser-
Agentの多様性およびその頻度に依存した
逸脱度を定量化できる

13. 4.3 比較する正常系User-Agent
13(C) Recruit Technologies Co.,Ltd. All rights reserved.
正常系User-Agent
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT
5.1; SV1; .NET CLR 1.1.4322)
Mozilla/4.0 (compatible; MSIE 8.0; Windows NT
5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR
3.0.04506.30; .NET CLR 3.0.04506.648)
Mozilla/5.0 (compatible; MSIE 9.0; Windows NT
6.1; WOW64; Trident/5.0)
Mozilla/5.0 (compatible; MSIE 10.0; Windows NT
6.1; Trident/6.0)
Mozilla/5.0 (Windows NT 6.1; WOW64;
Trident/7.0; rv:11.0) like Gecko
Mozilla/5.0 (Windows NT 6.1; WOW64)
AppleWebKit/537.31 (KHTML. like Gecko)
Chrome/26.0.1410.64 Safari/537.31
Mozilla/5.0 (Windows NT 6.1; WOW64; rv:30.0)
Gecko/20100101 Firefox/30.0
Microsoft-CryptoAPI/6.1
Microsoft BITS/7.5
【正常系通信】
Windows 7 非感染端末
（32ビット，64ビット）
意図的に発生させた
ウェブブラウザ通信
・Internet Explorer 7～11
・FireFox
・Google Chrome
OSバックグラウンド制御通信
表5．正常系User-Agent一覧

14. 4.4 評価結果
14(C) Recruit Technologies Co.,Ltd. All rights reserved.
図1．FFRI Datasetにおける逸脱指標D
の経年変化(実線：D<左軸> ，破線：C<
右軸>)
図2． User-Agentが3文字以下の検体割合
（該当検体/HTTP通信発生検体）
・（実線）年を重ねるほど、逸脱指標Dが下
がっており、User-Agentが正常に似てきて
いる
※Dを上げる要因は，「User-Agentヘッダな
し」や「（空白）」，他に極端に短い文字列
・ User-Agentの出現回数の総和C（破線）
はFFRI Dataset 2014のみ急激に増加
－アドウェアの広告通信が多量であったため
・該当検体数は各年約50検体が確認された．
つまり，FFRI Dataset全体において各年2%
の検体がUser-Agent文字列長で識別できる
・年々減少した理由は，ブラウザや
Windows固有通信のUser-Agentを模倣して
通信するマルウェアの増加
（FFRI Datasetは主にWebクローリングに
よって取得したマルウェア）

15. 5. 独自取得マルウェアでの評価
15(C) Recruit Technologies Co.,Ltd. All rights reserved.
検知名の先頭分類 割合(%)
Trojan-Downloader 38.89
Trojan 27.27
Trojan-Spy 13.47
Trojan-Dropper 4.38
Trojan-PSW 3.87
Trojan-Ransom 3.54
HEUR:Trojan 1.52
Backdoor 1.18
メール添付マルウェアを独自環境にて取得
-> Windows 7（32ビット，64ビット）のサンドボックス環境に
て数分間動作させたマルウェアのHTTP通信
表6．独自取得マルウェアのHTTP通信を行う検体分類
■追加コンポーネントのダ
ウンロード通信
■Zbot等のバンキングト
ロイがC&Cサーバーの
「.php」へアクセスする
通信

16. 5. 独自取得マルウェアでの評価（評価結果）
16(C) Recruit Technologies Co.,Ltd. All rights reserved.
図3．独自取得マルウェアにおける逸脱
指標Dの変化(実線：D<左軸> ，破線：
C<右軸>)
図4．QごとのUser-Agentが3文字以下で通信を行
う該当検体の割合(該当検体/HTTP通信発生検体)
・（実線）逸脱指標D（赤実線）は2014年に
かけて増加傾向であったが，全体を通して四
半期(Q)単位で顕著な増加傾向。
※Dを上げる要因は，「User-Agentヘッダな
し」や「（空白）」，他に極端に短い文字列
・「Google Chrome」のUser-Agentを模倣
して通信するマルウェアが多数含まれていた
ため、2015.Q2で逸脱指標Dは低下した．
・四半期単位で増加傾向であり，今後も検知に
有益な特徴である可能性がある
・直近の2015年Q2（4月～6月）では，約
30%のマルウェアHTTP通信をUser-Agentの
長さのみで識別できる特徴があった

17. 6.本考察のまとめ
 逸脱指標Dを用いた評価実験
 逸脱指標Dのみを指標として総合評価することは難しい
 正常に類似したUser-Agentの規模次第で相殺される
 正常との類似度を別で評価する必要がある
 各データのUser-Agentの経年変化の調査結果
 User-Agentが極端に短いHTTP通信を行う検体は最近も存在
 特にメールに添付されるマルウェアでは顕著な増加傾向
17(C) Recruit Technologies Co.,Ltd. All rights reserved.
１独自環境にてサンプリング取得したマルウェアであるが、
HTTP通信を行うマルウェアのうち約20%～30%も
検知できる可能性があることを示唆
User-Agentの特徴が今後も有効である可能性を確認
特にUser-Agentが極端に短いという特徴は識別能力が高い

18. 6. 今後の検討
18(C) Recruit Technologies Co.,Ltd. All rights reserved.
適用環境内の「独自User-Agentを利用する巷のフリーツール」や「独自開発
ツール」の調査を十分に行うべき
False Positiveによる通信遮断を避ける必要
もしもUser-Agentの長さをシグニチャ適用した場合 ↓
あくまでUser-Agentによる識別は防御の１要素
MITB（Man In The Browser）攻撃、ブラウザ模倣User-Agentや
HTTPSによる通信には適用できない
少なくともSIEM（Security Information and Event Management）等のログ相
関分析・管理プラットフォームの一要素として検討できる
「User-Agentヘッダなし」の通信はセキュリティ製品の
UA監査機能では容易にフィルタできない
定期的にUser-Agentの有効性を容易に評価し続けるために，
引き続き、識別指標Dの磨き込み

19. まとめ
19© Recruit Technologies Co.,Ltd. All rights reserved.
法人企業のセキュリティ対策
セキュリティ担当
CSIRT/Private SOC
従業員
メールGW
(アンチウイルス)
攻撃者
ファイアウォールIPS/IDS
CISO
ウェブGW
Webプロキシ
（アンチウイルス）
SIEM分析
エンジン
マネージドセキュリティ
サービスプロバイダー
UserAgent
監査
SIEM分析
エンジンで検知

20. 参考文献
[1] 「2014 年度 情報セキュリティ事象被害状況 調査-報告書-」
http://www.ipa.go.jp/files/000043418.pdf
(参照2015/08/15)
[2] 2015年版M-Trends：サイバー脅威最前線からの見解（M-Trends 2015: A View from the Front Lines）
https://www2.fireeye.com/WEB-2015RPTM-Trends.html (参照2015/08/15)
[3] BlueCoatウェブプロキシでの活用例
https://www.bluecoat.com/security-blog/2014-04-29/protecting-your-organization’s-web-browsing-new-internet-
explorer(参照2015/08/15)
[4] McAfeeウェブゲートウェイでの活用例
http://www.dit.co.jp/ditplus/focus/series_mcafee/vol1.html(参照2015/08/15)
[5] Fortinet Security Blog
http://www.fortinet.co.jp/security_blog/131028-The-Stealthy-Downloader.html
[6] 特定非営利活動法人 日本セキュリティ監査協会，“APT対策入門: 新型サイバー攻撃の検知と対応，”APTによる攻撃
対策と情報セキュリティ監査研究会， Next Publishing 2012
[7] 神薗雅紀，秋山満昭，笠間貴弘，村上純一， 畑田充弘，寺田真敏 “マルウェア対策のための研究用データセット～
MWS Datasets 2015～，” 情報処理学会 研究報告コンピュータセキュリティ（CSEC） Vol.2015-CSEC-70， No.6，
pp.1-8， 2015
[8] Nizar Kheir “Analyzing HTTP User Agent Anomalies for Malware Detection，” Data Privacy Management and
Autonomous Spontaneous Security， 187-200，2013
[9] Van Bolhuisら “Anomaly Detection on Internet Content Filter Data，” University of Amsterdam 2014
[10] Yang Zhangら “Detecting Malicious Activities with User-Agent Based Profiles，” Minesota.Univ， Int. J. Network
Mgmt 2015; 00:1-25
[11] 北條孝佳，松浦幹太 “文字列類似性を考慮した標的型攻撃のグループ化手法，”MWS2014 (2014年10月)
[12] List of User-Agents
http://www.user-agents.org(参照2015/08/15)
20(C) Recruit Technologies Co.,Ltd. All rights reserved.

21. ご清聴ありがとうございました
市田達也
(tatsuya_ichida@r.recruit.co.jp)
21(C) Recruit Technologies Co.,Ltd. All rights reserved.

22. 1. 背景と目的
22© Recruit Technologies Co.,Ltd. All rights reserved.
法人企業のセキュリティ対策
セキュリティ担当
CSIRT/Private SOC
従業員
公開サーバ群
メールGW
(アンチウイルス)
攻撃者
ファイアウォールIPS/IDS
CISO
ウェブGW
Webプロキシ
（アンチウイルス）
SIEM分析エンジン
マネージドセキュリティ
サービスプロバイダー