2014雲端博覽會數位講堂演講

1. www.themegallery.com
Big Data應用 讓企業獲利翻倍
如何在大數據海中掏金
2014雲端博覽會 數位講堂
翁國倫

2. www.themegallery.com
目錄
1. 建立基本觀念
2. 如何開始Big Data？
3. 應用案例分享
4. 如何在大數據海中掏金？

3. 建立基本觀念
Wallace 翁國倫

4. 到底要多大？
Big Data 到底多Big才算數？
 1GB
 1GB X 1000 = 1TB
 1TB X 1000 = 1PB
100萬支隨身碟！！

5. 大就是大數據Big Data？
Big Data只有大嗎？
 多元格式
 複雜型態
 增長快速
半結構化資料
結構化資料
非結構化資料
資料庫
管理系統
檔案文件
固定表單
操作記錄
使用行為多媒體資訊

6. Big Data從何而來？
Wallace 翁國倫
超過20億人
使用網路
300億個以上
RFID 裝置
46億台
行動裝置
近億個智慧家用
傳輸裝置
每天增加的討論內容
12+ TBs
其他各種
形式的資
料
?? TBs
每天增加
使用記錄
25+ TBs
進入『物聯網』後，數據會更多，累積會更快

7. 如何開始BIG DATA？
Wallace 翁國倫

8. 技術可行性
電信
政府（公共事業）
交通
金融
醫療
教育
能源
High
Mid
Low
Low Mid High
率先使用大數據的產業
不論技術與需求度都高
分析成果對於商業應用
顯著而立即
投入預算產生獲利可期
值得研究技術
方案的產業
組織內部有巨
量資料
期待巨量資料
分析成果
預算足夠
電子商務
現行需求度
流通買賣零售
製造
Big Data的產業特性分析
8
暫時不需要
跨入此領域
資料取得不
易
分析資料對
於產業幫助
不大
農業
養殖

9. 整合發揮價值
4V
 大量性(Volume)
 多樣性(Variety)
 速度性(Velocity)
 價值(value）
站在結構化基礎往資料海前進

10. 萬變不離其宗
產 集 存 析 決
Wallace 翁國倫
• 產生資料數據
• 發掘資料
• 定義數據來源
• 蒐集資料數據
• 確認資料格式
• 內外部資料匯聚
• 保存資料數據
• 保存年限與備份
• 不同型態的最佳方法
• 分析資料數據
• 設定分析目標
• 選擇適用工具
• 視覺化呈現資料數據
• 輔助決策
• 建立商業價值

11. 開始前的自我檢查
產 集 存 析 決
Wallace 翁國倫
• 作業過程資料
能否產生？
• 產生的詳細度
是否足夠？
• 是否透過有效
的方法蒐集？
• 不是自我產生
的資料有無管
道蒐集？
• 資料保存的載具？
• 保存安全性？
• 保存完整度？
• 企業目標如何落
實到分析目標？
• 分析方法與速度
是否滿足實際需
求？
• 透過圖表方式呈現才
能一目瞭然
• 整個流程必然產生決
策輔助
• 決策品質隨時調整流
程

12. 準備面對未來的無限可能
結構化資料僅能分析已定義
 結構化是事先規範的儲存規則
 非結構化資料成為寶庫
不要相信沒有事先定義的行為無法分析
 交易資料（時間、帳號、品項、金額…）
 交易評價（感受、收貨喜好、回饋…）
存下一切可能
 不要懷疑，存下來就對了

13. 應用案例分享
Wallace 翁國倫

14. 尿布與啤酒是好朋友
Walmart的銷售人員『不經意』的發現
 每個週五晚間，總是會有大量的尿布與啤
酒被一併購買
資料分析比對概念
 看到數據、推測結果，do not know why
• 美國的婦女們常會在週五提醒先生在下班後要順路
去幫孩子買尿布再回家，而同時先生也會想要順手
帶個幾罐啤酒歡渡週末
 尿布區擺上啤酒飲料架
 啤酒區擺上銷路較差、但價格較高的尿布

15. 恭喜你女兒懷孕了！
比老爸還早知道女兒懷孕
資料分析比對概念
 乳液、棉花球、鈣片、鋅鎂營養補充品…25種
商品
 採購動機採購行為採購品項一致性模
型

16. 找到你最想看到的廣告
Facebook每天需處理25億個訊息
每天累積交易資料超過500TB
讚、文字、照片、影片
巨量分析
 調整架構儲存資料
 維持服務運作效能
 廣告分析，找到合適TA
 推出新的服務

17. 快速才能降低風險
VISA Net每天需處理1.3億次交易授權
每年累積交易資料超過18TB
過往每次啟動分析約耗時1個月
巨量分析
 每次啟動分析時間縮短為13分鐘
 透過模型找出疑似盜刷
 阻斷盜刷行為

18. 比對各種可能性
路口監視器不停的進行錄影
影像資料無法事先定義
分析資料龐大
巨量分析
 建立資料儲存機制
 導入影像辨識分析
 整合GIS

19. 好吃真的重要嗎？
傳統品牌，老字號食品
銷售量微量下滑，廣告刺激無效
分析銷售數據找不到特別明顯的脈絡
 結構化巨量資料無效
網友論壇討論分析（非結構化分析）
澳洲卡夫食品

20. 風速大小很重要
內部資料分析已達頂點，放眼外部資料，
跳脫盲點
了解天氣
 精細程度
 蒐集頻率
 濕度、風速、風向
竹科工廠製程規劃
 改變煙囪的排煙方向

21. 你搜尋我分析
 搜尋行為成為最好的分析素材
 關鍵字、點選、排序、關聯
 免費的資料來源
 非結構化的寶庫
 了解TA的一舉一動
Wallace 翁國倫

22. 網友的意見可能影響你的品牌價值
網路評價蒐集
 定義資訊來源
 設定關鍵字與領域詞
• 不要相信共通性詞庫
 情緒喜好必須被觀察定義
 意見領袖才是重點
品牌是長期的，觀察當然也是
 資訊必須被保存
 不同期間的比較找出異同
 不要受一個『活動』成敗影響

23. 如何在大數據海中掏金？
Wallace 翁國倫

24. 掏不到金，肥了Levi’s
每隔幾年就要提出新術語
買設備、軟體、導入服務…..
總是無法完全理解
 DB、AP、Web
 ERP、SCM、CRM
 ETL、OLAP、Data Mining、DW
 VM、BI、Txt Mining
 M2M、Hadoop、Splunk 、MapReduce 、
HDFS

25. 直覺很重要
擁有直覺與動機才是分析的key
 好奇心
 依照你的工作（商業模式）發揮各種想像力
 丟出疑問，嘗試歸納一致性，變成模型
物流業者的巨量分析
最短時間
最少油耗
最低貨物損壞
出發
交通
氣候
目的
交通路線
路況
最短移動距離
天氣預報
地區實際天氣
車輛溫控調整
貨物裝載狀況
貨物運送注意事項
目的地路線圖

26. 多維報表分析-資訊日期比例分析
5.3%
9.1%
6.6%
10.1%
4.4%
2.2%
5.1%
22.0%
20.6%
18.1%
25.0%
20.2%
16.3%
21.2%
24.0%
7.0%
24.0%
26.2%
18.6%
18.8%
56.8%
44.5%
50.0%
54.4%
70.3%
78.0%
65.1%
17.5%
23.9%
24.3%
17.9%
29.6%
47.8%
28.2%
26.8%
41.6%
26.7%
26.9%
36.1%
38.2%
37.9%
46.4%
43.4%
35.4%
25.3%
19.7%
29.8%
60.5%
55.5%
57.5%
57.0%
50.2%
35.9%
50.6%
49.2%
51.4%
49.2%
46.9%
45.4%
43.0%
3月12日
3月14日
3月16日
3月18日
3月20日
3月22日
3月24日
3月26日
3月28日
3月30日
支持服貿比例 中立陳述比例 反對服貿比例
大數據分析協助掌握民意走向
 3/19反對力量最高峰
 3/24中立力量首度回檔

27. 電話行銷與客服
 對事件的敘述方式如何歸納？
 半夜挖馬路、晚上施工、三更半夜工程噪音
 對地點的說明如何判斷？
 民權東路建國北路口、榮星花園、民權東路三段2-1號
 回答問題的說法如何一致？
 服務成本如何降低？
文字探勘技術
提示話務人員可能的重覆
案件,減少重覆派工狀況
話務人員輸入案情時，提
示較標準的描述語，增加
資料記錄一致性
榮星公園路邊的路燈故障
民權東路與建國北路口的路燈故障
=
…..捷運工程半夜施工…..
故障
…..半夜挖馬路…..
=
自動分案判斷 案件趨勢分析
自動彙整常見問答FAQ

28. 任何產業都可以藉由分析數據而掏金
 網路行銷正夯
 比價、比價、再比價
 你有、我有、他也有
 該分析什麼數據？
 訂購者回購記錄
 商品出現頻率
 搜尋關鍵字漲跌
 商品交易數量
 競爭同業狀態
 產品金額區間
 …………….
Wallace 翁國倫

29. 經費不足如何掏金？
 先電腦化
 檢視所有流程，儲存『數據』
 設定量測指標
 先從可以產生『可見』營收的開始建立信心
 保存記錄，先不管能否分析
 小量資料建立模型
 嘗試各種可以『實驗』的模型
 擴大模型的數據來源
 強化模型的『校度』與『信度』
 投入適當的成本
 儲存系統、萃取模組、分析機制、資料視覺化
Wallace 翁國倫
產 集 存 析 決

30. 行動就會有收穫
Wallace 翁國倫
客戶行為分析
網站流程改善
產業情報蒐集
精準行銷
降低服務成本
提高生產效能
資源分配規劃
免除流程漏洞
確保法規遵循
風險因子管理
減少庫存囤積

31. www.themegallery.com
金礦一直都在，只是有沒有用對方法
翁國倫
Wallace.weng@gmail.com