Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
12/9/15                             1                                                  2                                 講...
12/9/15                                       5                                                                    6BoT201...
12/9/15                             9                           10怎麼中的?                            怎麼中的?•  Fake antivirus ...
12/9/15                                              13           14  RPZ (for Response Policy Zones)                     ...
12/9/15                                                     17                                                     18     ...
12/9/15                                21                                                  22Let’s review on DNS traffic  ...
12/9/15                                           25                                                26Current analysis of ...
12/9/15                                   29                                          30Let’s review the Bot infection aga...
12/9/15                            33                                          34Botsniffer                     Botsniffer...
12/9/15                                                                   37                                              ...
12/9/15                                                                                        41                         ...
12/9/15                                                                                                                   ...
12/9/15                                                              49                                                   ...
12/9/15                                        53              54Conclusion•  仍有許多惡意程式利用 DNS 來設定反連點,因此若能分析DNS流量將可找出這些受駭主機 ...
Upcoming SlideShare
Loading in …5
×

Discovering botnets from dns traffic using map reduce 5.pptx

slides of BoT 2012

  • Login to see the comments

Discovering botnets from dns traffic using map reduce 5.pptx

  1. 1. 12/9/15 1 2 講師簡介 DISCOVERING BOTNETS FROM •  李倫銓 •  交大資訊工程研究所 分散式系統與網路安全 DNS TRAFFIC USING 實驗室 MAPREDUCE •  台大電機工程研究所 博士候選人 •  中華電信數據通信分公司 專案經理 •  經歷: 台灣大學電機工程研究所 •  行政院研考會網路課程Web應用程式威脅、VPN技 博士候選人 李倫銓 術講師 •  CEH、CHFI、HITCON 講師、台灣Botnet研討會講師、 第五屆資安金盾獎冠軍 3 4大綱 BoT 2009 的演講題目•  兩個跟DNS操控有關的惡意事件 •  BotNet 3.0 Ban Ban Revolution and Taiwan BBS Bot•  DNS 與 殭屍網路 •  設計一個利用BBS作為CC的bot:•  過去幾年利用網路流量偵測botnet的方式 •  一切指令跟回報都按照BBS貼文回文的規定 •  ”大長精”-彈出notepad•  Mapreduce 是什麼? •  “馬可啵羅”- 反向連接打出一個SHELL•  利用 Mapreduce 來分析 DNS 流量 •  “C字褲” -傳回受控者IP , 編碼後貼上版•  效能評估•  結論 1
  2. 2. 12/9/15 5 6BoT2010的演講題目 案例一: DNS Changer •  惡意程式測試資料集合 Constructing a public malware •  公司 Rove Digital dataset for scientific research •  在紐約(PILOSOFT),洛杉磯(ATRIVO)和愛沙尼亞(ELION)•  許多研究的測試方式並不能有效地顯現真實世界殭屍網路 的三個資料中心承租伺服器。 活動的樣貌,共蒐集分析2005-2010 與偵測spam、fastflux、 •  電腦 (約四百萬台) botnet有關的論文共50篇,說明相關盲點 •  行動「Operation Ghost Click」•  如何匿名化測試資料(Anonymization ) •  日期: 7/9 7 8影響•  除了可以直接控制任何你要連的位置,還可以… Facebook DNSChanger Warning Rouge DNS server 賣威而剛 賣光碟片 Google Alert for DNS Changer Malware Infection 2
  3. 3. 12/9/15 9 10怎麼中的? 怎麼中的?•  Fake antivirus •  Fake antivirus 11 12 DNS changer 檢查網頁八月底只要有人叫你趕快更新Java 1.7 ,他鐵定是在害你 3
  4. 4. 12/9/15 13 14 RPZ (for Response Policy Zones) 案例二: Conficker.C 利用RPZ對DNS被改者 •  Conficker又名Downup、Downadup ,是一隻利用微軟MS08-067漏洞大量散播的Worm, 於2008年十月起出現,至今產生多隻變種 •  除了使用微軟漏洞散播外,也會利用USB、P2P方式散播,據統計共造成一千多萬台主 機受感染,另外根據IBM ISS估計,25台中毒電腦中,就有一台感染Conficker.C •  於4月1日利用本身引擎隨機從五萬個Domain name挑選出5000個,進行攻擊準備,試圖 造成更大災情。 •  微軟懸賞25萬美金,找出該蠕蟲的作者,與2004年Sasser病毒賞金相同,當時Sasser造 成全球數百萬台電腦感染,預估五億至十億美金的損失。 15 16案例二: 針對Conficker.C 的分析 案例二: 針對Conficker.C 的分析•  於愚人節當天從五萬個Domain name中選取5000個,發送大量DNS query,利用魚目混珠的方式躲避追緝,並達到回報或攻擊的目的 •  雖然Conficker.C 非常刁鑽,但卻被資安專家找到•  經追查背後的DNS server資訊如下: 了一個非常簡單的偵測方式 肉眼判斷法則 Domains_Conficker.C.txt aaak.com.ai aaax.com.hn aaaxvt.co.ke aabbb.com.uy aabe.ac aabfkx.com.co aadja.ec aadqnggvc.com.ua aadrbs.tc … 4
  5. 5. 12/9/15 17 18 DNS 與 殭屍網路 Fast-Flux •  Fast-flux :駭客控制網域名稱(Domain Name)內的IP位址快 速轉換,以便躲避利用IP位址黑名單之阻擋。且這種方式 還可如同 CDN一般,建構出一個惡意的代理伺服網路,可 DNS變換 直接IP反連 用來幫助駭客隱藏他們的內容伺服器(釣魚網頁、惡意程式 下載點等) 優點:可透過修改對應IP來 優點:不會被利用DNS response 做修改反連中繼站 的異常查出 缺點:只要被查出反連DN就 缺點:寫死反連中繼站 可由流量偵測 如何利用流量偵測找出可疑FQDN 如何利用流量偵測找出可疑IPNXDOMAINresponse ,127.0.0.1 Frequency analysis 19 20 電影:Live殺人網站(Untraceable) Change domain name mapping DNS Server hacker CC DNS query: DNS reply: M.Cc 202.202.33.44 M2.cc M3.cc Bot/Trojan 5
  6. 6. 12/9/15 21 22Let’s review on DNS traffic DNS 資料量 •  •  DNS 流量: •  •  一個DNS reuqest 封包大小為 512 bytes,2 min 正常瀏覽行為共有 •  165個 DNS query,一台主機 =~ 2.42M/hr,因此一台主機DNS查 •  詢量約 500K~2.5M/hr,2.5*100 = 250M /HR (100台主機的DNS query) •  •  依照一台雙核、4G ram的機器,約需 15 min確認是否有可疑DNS •  •  一般校園內DNS主機約同一時段服務兩、三萬台client, 約每小時 48G~73G DNS流量,光靠一台運算需 49 ~ 75 小時。 •  •  Big Data! 因此,是否能利用平行運算來加速運算? 23 24 The Life Cycle of A Botnet Infection 論文回顧 6
  7. 7. 12/9/15 25 26Current analysis of Botnet Binary analysis •  Binary protection •  Rootkit •  Anti-VM, Anti-Debug3.Honeypot •  How to get malicious binary? 2.Traffic analysis 1.Binary analysis 27 28Traffic analysis• •  •  BOTNET DETECTION•  7
  8. 8. 12/9/15 29 30Let’s review the Bot infection again Detect botnet in network traffic 31 32Bothunter Architecture Example BotHunter Infection Profile 8
  9. 9. 12/9/15 33 34Botsniffer Botsniffer 35 36 Botnet detection by monitoring groupBotSniffer Architecture activities in dns traffic •  利用Bots使用dns 會有持續性及集體行為,藉用觀察這些 特性,可以抓到CC server使用的domain name。 •  其測試方式為使用50台主機感染Agobot,直接在 campus network 上偵測10HR •  如果製作出來的dataset沒有N台以上,也就是沒有N台產生的集體行 為,該演算法便抓不到 •  只看DNS traffic 9
  10. 10. 12/9/15 37 38Bayesian bot detection based on DNS Using Failure Information Analysis totraffic similarity Detect Enterprise Zombies securecomm09•  利用bots查詢Domain name的動作,為了區分是否有問題, Gateway FIA 定義DNS黑名單白名單,並利用貝式機率來獲得其可疑的 程度。 Enterprise •  藉由已受駭的機器的DNS查詢,來貢獻出其他可疑DN Network DNSMon Failure Scores SVM Correlation Clustering 39 40Extending Black Domain Name List by UsingCo-occurrence Relation between DNS Queries 2010 NTT Information Sharing Platform Laboratories MAP REDUCE 10
  11. 11. 12/9/15 41 42 MapReduce 介紹•  回到剛剛問題•  48G~73G DNS流量,光靠一台運算需 49 ~ 75 小時。 Split 1 Map Shuffle Reduce Split 2 •  因此,是否能利用平行運算來加速運算? Result Split 3 Map Sort Reduce Split 4•  壞消息是:自己寫平行化程式,需要解決 •  資料傳遞 ( K1, V ) List ( K2, V2 ) ( k2, list ( v2 ) ) List ( v3 ) •  Recovering from machine failure •  狀況回報 •  Map : return a list containing zero or more ( k, v ) pair •  除錯 •  Output can be a different key from the input •  Output can have same key •  資料同步性•  好消息是: •  Reduce : return a new list of reduced output from input •  我們發現DNS分析可以部分平行化處理,因此上述問題可以有效地 透過分散運算解決 Ref: http://www.caida.org/workshops/wide-casfi/1004/slides/wide-casfi1004_wkang.pdf 43 44使用mapreduce的幾個優點 Map Reduce Example•  Scale Out Instead of Scaling Up: A large number of The Map-Reduce programming model illustrated with a word counting example commodity lowend servers is preferred over a small number of high-end servers.•  Be Ready to Tackle Failures: Failures are the norm at warehouse scale computing.•  Move Code to the Data: Code transfer is much cheaper than transferring massive amounts of data. The Map-Reduce system automatically distributes M Map tasks and R Reduce tasks across a large number of computer nodes.•  Process Data Sequentially: Random accesses to data stored on disks are much costlier than sequential accesses.•  Hide System-Level Details from Programmers: Provide a simple abstraction that is easy to reason about.•  Seamless Scalability: A simple programming model to approach ideal scaling characteristics in many circumstances. http://www.cs.sunysb.edu/~rezaul/Spring-2012/CSE590/CSE590-lectures-9-10.pdf 11
  12. 12. 12/9/15 45 46 Example : Flow Analysis Map/Reduce Flow Flow FlowOctet Dst Port •  Read text flow files •  Run map tasks MINING DNS DATA BY MAPREDUCE •  Read each line Flow (Validation Check) •  Parsing flow data •  Save result 53 [64, 128] into temporary files (key, value) 53 192 •  Run reduce tasks 53 128 64 •  Read temporary files (Key, List[Value]) •  Run sum process •  Write results to a file Ref: http://www.caida.org/workshops/wide-casfi/1004/slides/wide-casfi1004_wkang.pdf 47 48 說明T2 Bot.cc:1 Yahoo.com:0 …. 樣本說明(1/3) … •  本測試先將惡意程式經過分類,以較具代表性的三隻APT reducer reducer 攻擊手法之樣本作為本次測試項目,透過DNS流量分析方 式來進行偵測: Œ  Googlebar.exe ReducerT1 •  SHA256:39dbeada31cf4f93ee76aa59e50fb24acf52602ecad8a8fb1 Reducer 3f19895f871f17e •  SHA1:b536dbc84303c00f84ab43d327689e0819dbd45e Bot.cc •  MD5:e55b4b5ae7a97d339d4f15f3492add5b Mapper Mapper Mapper Mapper Yahoo.com •  File size:53.5 KB ( 54784 bytes ) •  File name:googlebar.exe log.1 log.2 log.3 … log.N •  File type:Win32 EXE •  Detection ratio:26 / 41 12
  13. 13. 12/9/15 49 50樣本說明(2/3) 樣本說明(3/3)  Living.exe Ž  Svchost.exe •  SHA256:133d51c0a4146afc432b5e8ab5c255dd942557ee3eaa442 •  SHA256:12efaf1cb1a6db5b312abc37e0f4b993a7753d1371015576 342e790c5784a49fe 13d8a374820bea44 •  SHA1:8f04c20f7afa8c81a264afcd0eff4bcf6021681e •  SHA1:87ab4a352778995f0eb0bfecd9b50f326547632a •  MD5:8e8b2f20a731a3a3682bc634289ba015 •  MD5:4e7d6783c30efdb97e3247370ec8a288 •  File size:56.0 KB ( 57344 bytes ) •  File size:32.0 KB ( 32810 bytes ) •  File name:8e8b2f20a731a3a3682bc634289ba015 •  File name:svchost .exe.txt •  File type:Win32 •  File type:Win32 EXE •  EXETags:peexe armadillo •  Detection ratio:30 / 43 •  Detection ratio:30 / 42 51 52測試資料與結果 測試資料與結果說明•  trixxxxxxxx.slyip.com 每1min 回報 3000 當處理的DNS 資料量越大時,平行化的效果•  gsnxxxxxx.esmtp.biz 每 3.4 min 回報 才會展現,資料量太小時,平行化的效果無•  Ofxxceupdate.xxxxxme.net 每 5 min 回報 2500 法抵消多個節點之間溝通的時間延遲。 運 算 利用所設計的演算法分別處理下列DNS資料量 時 2000 間 (sec) 400M 1G Reducer數量 400M 1G 2G 3G 1500 2G 3G 3 3min44sec 7min22sec 13min5sec 14min5sec 1000 DNS 資料量 6 4min11sec 7min30sec 11min56sec 11min56sec 500 12 3min54sec 5min57sec 10min16sec 10min16sec 0 3 6 12 Reducer數量 13
  14. 14. 12/9/15 53 54Conclusion•  仍有許多惡意程式利用 DNS 來設定反連點,因此若能分析DNS流量將可找出這些受駭主機 Q / A?•  在大量DNS流量資料中,找出頻率特徵回報的行為,可以利用Mapreduce架構來設計•  根據此架構所設計的偵測機制可找出過去2年內凡運用DNS反查的惡意程式•  除了運用DNS流量進行分析,亦在研發可偵測非DNS流量(failure information analysis)的分散式計算。 14

×