20160818巨量資料的分析現況與展望(國發會) 張大明v2.1
•
7 likes•1,654 views
國發會105年資訊新知研討會 @2016/8/18 。高雄 | @2016/9/8 。台北 | @2016/9/22。台中 巨量資料分析的現況與展望 一、今日巨量資料與未來 》巨量資料面貌與影響 》為巨量資料做準備，觀點與切入角度 -巨量資料之武功密技 -巨量資料之屠龍刀 》練巨量資料神功 》主題一QA 二、政府開放資料 》關於開放資料與應用案例 》巨量資料加值應用Showcase-初探大數據資料分析 -量化分析方法 -質化分析方法 -深度學習與機器學習 》主題二QA 三、巨量資料之士農工商 》各國政府巨量資料創新應用 》Gov生活大數據 (天氣、交通運輸) 》Gov健康醫療大數據 (健保、勞保) 》Gov金融大數據 (銀行) 》Gov育樂大數據 (旅遊、教育) 》主題三QA 四、巨量資料人才與應用 》淺談大數據資料科學家與政府組織轉變 》淺談大數據專案流程與資料科學人才角色 -大數據企業準備度盤點表 》淺談大數據服務設計 (以教育大數據為例) 》主題四QA https://training.ndc.gov.tw/upload/edm/105seminar/index.htm
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (20)
Similar to 20160818巨量資料的分析現況與展望(國發會) 張大明v2.1
Similar to 20160818巨量資料的分析現況與展望(國發會) 張大明v2.1 (20)
More from 張大明 Ta-Ming Chang
More from 張大明 Ta-Ming Chang (16)
20160818巨量資料的分析現況與展望(國發會) 張大明v2.1
- 1. 巨量資料分析的現況與展望 1 講師：張大明 richard@abctech.pro 國發會105年資訊新知研討會 @2016/8/18 。高雄 | @2016/9/8 。台北 | @2016/9/22。台中 T h i n k B i g f o r B i g D a t a - D a t a G o v
- 2. 張大明 張大明執行長，育睿科技（2012）創辦人，資訊教育及教育科技專家，並擔任新 北市專業職能培訓人員職業工會-大數據應用職能發展委員會主委，xAPI中文實踐社群 指導委員會-Corporate L&D Coordinator，淡江大學教育科技研究所，台灣首位 4C/ID模式實證研究發表人，國際副價值工程專家 AVS，美國ATD會員，經濟部中小企 業領袖班第十二屆結訓。有近二十年成人教育訓練實務及數位化學習設計經驗。 • SBIR經濟部小型企業研發補助計畫—思翱夫子雲倍力大數據服務開放創新研發計畫主持人 （ALBiTER，2015-2016） • 2016台灣資料愛好者社群年會-教育大數據「有志一同」議程協同主持人（中央研究院資料科 學研究所，2016/7/17） • ALBiTER歐倍特教學設計與實施手冊（張大明，羅志傑，2016/6） • 張大明, 羅志傑, 蕭舒方（2016），整合學與教脈絡大數據應用的教育創新-以思翱倍力大數據 服務為例，2016數位學習學術研討會：學習科技新趨勢（淡江大學，2016/5/20） • Use VA/VE on Online to Offline (O2O) Cloud Learning Services Study（Hong Kong-SAVE， 2015） 講師 2
- 3. 張大明 • 國家發展委員會105年資訊新知研討會-巨量資料分析的現況與展望（北中南三場，2016/8-9月） • 105年下半年度產業人才投資計畫-生產力4.0巨量資料應用班：ALBiTER歐倍特螺旋式4 Cycles 課程（2016/8-10月） • ITI外貿協會國際企業人才培訓中心：專案管理Excel資料分析實務應用，EXCEL資料分析實作- 商品創新與商業模式、淺談大數據與智能行銷商業模式（2016/5、9、10月） • 2016台灣資料愛好者社群年會-教育大數據有志一同協同主持人（中央研究院資料科學研究所， 2016/7/17） • 聯輔中心企業培訓課程-高雄兆豐銀行，物聯網中的大數據：中小企業商機無限（2016/6月） • TBLC台灣企業領袖交流會：商業4.0智能化大數據應用 & 企業數據力應用心法與技法，CSIA中 華兩岸跨業聯盟總會：大數據智能化人才服務（2016/6-8月） • 教育部優質高中計畫－教師課程發展會議（2016/6月） 講師 3
- 4. Agenda 一、今日巨量資料與未來 》巨量資料面貌與影響 》為巨量資料做準備，觀點與切入角度 -巨量資料之武功密技 -巨量資料之屠龍刀 》練巨量資料神功 》主題一QA 二、政府開放資料 》關於開放資料與應用案例 》巨量資料加值應用Showcase-初探大數據資料 分析 -量化分析方法 -質化分析方法 -深度學習與機器學習 》主題二QA 三、巨量資料之士農工商 》各國政府巨量資料創新應用 》Gov生活大數據 (天氣、交通運輸) 》Gov健康醫療大數據 (健保、勞保) 》Gov金融大數據 (銀行) 》Gov育樂大數據 (旅遊、教育) 》主題三QA 四、巨量資料人才與應用 》淺談大數據資料科學家與政府組織轉變 》淺談大數據專案流程與資料科學人才角色 -大數據企業準備度盤點表 》淺談大數據服務設計 (以教育大數據為例) 》主題四QA 4
- 5. 一、今日巨量資料與未來 • 巨量資料面貌與影響 • 為巨量資料做準備 – 巨量資料之武功密技 – 巨量資料之屠龍刀 • 練巨量資料神功 • 主題一QA 5
- 6. Gartner 分析師 Doug Laney —Volume 資料量，Velocity 資料輸入輸出速度，Variety 資料類型，Veracity 真實性 在 2001 年發表的「3D Data Management： Controlling Data Volume, Velocity, and Variety.」 在 2012 年 全新的定義 「大數據是大量、高速、 及/或類型多變的資訊資 產，它需要全新的處理 方式，去促成更強的決 策能力、洞察力與最佳 化處理。」 6
- 7. 大數據特徵 • 大數據資料量龐「大」（Volume）、變化飛「快」 （Velocity），種類繁「雜」（Variety），以及 真偽存「疑」（Veracity） • 尤其在這資訊大爆炸時代，這些資料變得又多、 又快、又雜、又真偽難分 探索巨量資料這新領域 - Tim Smith https://youtu.be/j-0cUmUyb-Y
- 8. 資料來源：工業局 工業4.0 (生產力 4.0) – IR / IoT / Big Data
- 9. 9 Next Big Thing. 機器人Pepper月薪26888 4勝1敗 - AlphaGo勝 五段棋王李世乭
- 10. AlphaGo vs 李世乭 @2016, March 10 圖片來源：網路
- 11. Source: 天下雜誌。人類可以向 AlphaGo 學什麼？ https://www.youtube.com/watch?v=WIZH61sODNI 11
- 12. 學習代理機器人指日不遠! • 機器人正夯啊！連我也好想弄一台在家裡，但沒想到的是我們已經可 以「自己做機器人了」！ – 使用 IBM Bluemix 這樣的 PaaS 服務搭配 Watson API 後，除了比想像中好上手 之外，同時大幅縮短開發設計時間，自己也能快速完成一整套人工智慧系統啊！ 12 http://www.saydigi.com/2016/06/ibm-watson-robot.html
- 14. Big Data? What?! • I know, I don’t care. • I know, me too. or … • I don’t know, then I know and I will involve. 14
- 17. 機器學習 Machine Learning 一個電腦程序從經驗E至學會， 針對某類任務T和性能指標P， 如果在T中的任務性能， 按P測量，提高了有經驗的E。 A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P if its performance at tasks in T, as measured by P, improves with experience E. 17 Tom M. Mitchell, WIKI 另一個定義：機器學習目標是要電腦編碼運用舉例的資料，或過去的經驗來 解決已知問題。 麻省理工學院 https://en.wikipedia.org/wiki/Machine_learning
- 18. 知識傳達 vs 能力傳授 徒：請問…師傅，您真是了得! 師：飯可以亂吃，問題不可以亂問!? Association for Talent Development(from ASTD T+D Magazine April 2016) 一個電腦程序從 [E] 至 學會，針對 [T] 和 [P]， 如果在 [T] 中的任務性 能，按 [P] 測量，提 高了有經驗的 [E] 。 E:根據知識、技能與經驗提問問題 P:部屬問題闖關及格通過率 T:部屬要對提問解決問題並回答
- 19. 19
- 20. 商品販售與行銷 店員：請問…老闆，您真是了得! 老闆：飯可以亂吃，問題不可以亂問!? Association for Talent Development(from ASTD T+D Magazine April 2016) 一個電腦程序從 [E] 至 學會，針對 [T] 和 [P]， 如果在 [T] 中的任務性 能，按 [P] 測量，提 高了有經驗的 [E] 。 E: xxxxxxx……. xxxxxxx P: xxxxxxx……. xxxxxxx T: xxxxxxx……. xxxxxxx
- 23. Canvas 9大要素 • VP 價值主張 • CA 客戶活動 • CH 通路 • CS目標客戶 • R$ 收益 • KP 合作夥伴 • KA 關鍵活動 • KR 關鍵資源 • C$ 成本 23
- 24. 創意與創新 ─使用者體驗：改善一小步 資料來源：www.businessmodelgeneration.com 24 VP 價值主張 CR 客戶關係 CH 通路 CS目標客戶 R$ 收益 C$ 成本 KR 關鍵資源 KP 合作夥伴 KA 關鍵活動
- 26. 德國企業凱馳—賣清潔機器 vs. 賣空氣 • 顛覆原有的商業模式，客戶可以不買機器，改買 使用多少壓縮過的空氣來計費的服務 – 因為凱馳的清潔設備，都是壓縮空氣形成壓力，讓 水變成高壓強水柱，來清潔髒污。 – 以前，賣愈大台機器利潤好，但客戶不一定需要 – 現在可以選擇訂定最低用量、付一定金額，根據客 戶的需求預估，來配置設備給客戶使用，用量超過 合約最低門檻，就再支付額外費用 – 客戶不必再購置機器，維修服務也可以一應交予凱 馳處理。 26 賀桂芬，凱馳百年企業三年「換心」、秤斤論兩賣空氣。 2016-07-06 天下雜誌601期 http://www.cw.com.tw/article/article.action?id=5077226
- 28. 價值主張VP關鍵夥伴KP 關鍵活動KA 關鍵資源KR 客戶關係CR 通路CH 目標客戶CS 成本流C$ 收益流R$ 轉型工業4.0 (物聯網 + 大數據) 賣設備 維修設備 賣空氣 待維修時間長 無線通訊感應 代理商 維修設備 KA 關鍵活動
- 31. 巨量資料應用 案例與啟發 31
- 35. 35
- 36. 數據運用已充斥在生活與工作周遭 • 如何找餐廳吃飯? • 如何找房子? • 如何搭車? • 如何找答案? • 如何學習? • 如何交朋友? • 如何找工作? 36
- 37. 進入大數據應用領域 37 問題驅動取向 （Problem Driven Approach） 資料驅動取向 （Data Driven Approach） 資料來源：大數據@工作力 不同案例Big Dat商業模式差異比較，看出價值?!
- 38. 38 案例 應用大數據取向 大數據價值 UPS 四萬六千台車輛通訊感應器（物聯網） 修正送貨路線、節省成本 聯合健保 NLP 客服紀錄顧客錄音，並轉為文字 分析顧客滿意度資料，其他多個來源顧客資料， 由大數據團隊進行分析：健保理賠，疾病病程與 治療狀況 梅西.com 顧客導向資料分應用：個人化、精準廣 告與電子郵件、搜尋引擎最佳化 高數據技術大數據團隊：不該為用而用，注重投 資報酬率，只投資真能解決問題的技術上 美國銀行 龐大分散於各管道的交易、顧客、未結 構化等資料，注重前兩者 以往僅能抽樣，轉改採大數據技術，了解顧客， 明確定義區隔顧客，提供更一致、有吸引力的產 品與服務，由專案化大數據團隊負責 花旗銀行 有了總資料室基礎，面對日益增長企業 資訊，做好整合性、品質，轉換至大數 據善用開放源碼工具平台 降低成本、拓展環境、促進對顧客關係與顧客行 為了解，加深大數據科技創新，擴展地理限制顧 客影響範圍 希爾斯控股 領先同業的資訊科技應用能力，大數據 技術PB級零售資料整合-顧客、產品、 銷售、活動 提高行銷成果，把更多顧客找回店裡，從八週複 雜行銷活動推出時程，縮短成一週，更將大數據 營運能力獨立成公司對外服務 LinkedIn 活躍大數據活動-資料工程團隊、資料 產品團隊、商業資料分析團隊、產品資 料科學團隊等 加值應用數據的功能-搜尋用戶技能、可能認識 的人、類似工作、可能喜歡團體，預測最可能感 興趣的內容 資料來源：大數據@工作力
- 39. • A Culture of Big Data: Case Studies from Google • Data Science at Riot Games • 善用資料改善線上教育 : 一個十五人團隊，如何從無到有，融入資訊做決策 • 用數據解決都會城市的停車問題 • 有志一同：社群網路分析、電商、零售及網路行銷 • Data as a Service: 數據的新經濟 • 隨機對照實驗在公共領域的應用 • 數據分析在運輸管理之應用 • 全球網路攝影機帶來的機會與挑戰 • 大數據下的情緒分析 • 一個賭徒的告白 2：交易策略建構與分析，為何你該賭小一點 • 銀行資料這樣玩 • 從薪酬制度讀 CEO 的行為心理學 • 數位廣告大數據 • How to Approach Data Science Problems from Start to End: Two Case Studies • 自己的空氣品質自己量 : 談參與式環境感測的機會與挑戰 • 如何備料：資料的抓取、清理以及串接 • 心理與行為資料中的因與果 • 資料科學與防疫應用的結合 : 以登革熱防治為例 • 資料分析前的奏曲 : 談資料收集的挑戰 39 http://datasci.tw/agenda.php#!tab4 第一天 7/16 重要主題Big Data案例介紹
- 40. • 未來城市的任意門 (Mobility on Demand for Future Cities) • 從電腦視覺看人工智慧 : 下一件大事 • 人類行為訊號處理 : 跨學科 (醫療、教育、心理) 應用實例分享、心得、展望 • 有志一同：資料視覺化、資訊安全、教育大數據、健康醫療、財務金融、人工智慧/機 器學習/深度學習、開放資料及個資保護 • 公私協力的公共服務 - 以資料面詮釋 • The Inception of Learning from Big Video Data • 從手機解讀行為與心理 • Crowd Computing for Big and Deep AI • 智慧型工程管考系統 : 資料分析經驗談 • 音樂資料檢索 • 當語音處理遇上深度學習 • 貓都學得會的手機維修資料分析 • The Growth of a Data Scientist • Practical Issues in Machine Learning • 沒有大數據怎麼辦 ? 會計師事務所的小數據科學 • Feature Engineering in Machine Learning • 未來城市的交通運輸 • 漫談 R 的學習挑戰與 R 語言翻轉教室 • 娛樂產業中的資料科學家 : 談資料科學於線上遊戲與職業運動之應用 • 空間數據分析推動精準新農業 • Open Innovation as Strategic Plan • 世代之爭爭什麼 ? 談談如何從調查資料挖掘出豐厚的意義 • 資料視覺化的 20 個小訣竅 40 http://datasci.tw/agenda.php#!tab5 第二天 7/17 重要主題Big Data案例介紹
- 41. 2016台灣資料科學愛好者年會論壇， 以及兩天的前課程，分享! 41 1. 擁有資料並積極善用者，才能發揮資料的價值 2. 資料累積如同投資，要有長遠觀點與紮實行動 3. 資料在精不在多(微量、輕量、巨量)，面對資料要能問對問題，或是 從問對問題開始，才能找到並梳理資料 4. 大數據世界裡，強調分享與合作，誰都無法握有全部的資料，如何 拿到別人的資料? 或許從分享自己的手上"油"開始 5. 資料科學家為何身價如此高? 豐沛的實務經驗與對問題的敏銳度，同 時要經過資料科學技術鍛鍊(千錘百鍊)，大數據團隊沒有這樣的人才， 資料的一點價值都找不到? (擠不出半滴油? 或是劣油傷身?!) 6. 未來每家企業或組織都需要有"油"保身，挖礦礦工工作都得時時做， 不然對日後發展只能說「 Good Luck & Good Byte!」 分享與共勉! From Ta-Ming Chang
- 42. 練巨量資料之 神功 42
- 43. 資料價值：有效分析 vs. 靈活運用 5.決策 最佳化 • 運用機器學習等 演算法，由程式 自動建議產生參 數， 4.行為 解讀 • 根據資料來解讀 個體／群體行為 背後的動機 3.預測 • 同樣是根據歷史 資料，但目的是 要預測，預測未 來的表現或需求 2.推薦 • 基於歷史資料， 將廣告或商品推 薦給潛在消費者 1.情勢 評估 • 利用資料分析， 來評估組織／個 人／產品／決策 的績效 43 大數據分析的技術導入，獲得有價值結果的五個目的與內涵 資料來源：陳昇瑋。為什麼很多企業大數據應用的效益，沒有專家說的那麼神？科技橘報 https://buzzorange.com/techorange/2016/06/27/big-data-analysis-practice/
- 44. Big Data應用 —加速、自動化、智能化 • Big Data萃取出智慧的作法，和傳統人工智慧 （artificial intelligence）的作法有很大的區別 – 過去很多人所發展的人工智慧技術，重視演算法 （algorithm）和模型（model）的開發 – 自然語言處理（natural language processing, NLP） 這個領域，偏重於文法、語意的規則（rules），想辦 法把諸多的規則放進電腦，希望讓電腦成為有能力分 析人類語言的專家系統（expert systems） 44
- 45. 教英文的方法為例 • 在台灣國中裡面文的方法 – 要學生背誦各種拼音、造字、文法規則，希望 他們能夠以此看懂文章，按照文法作文 以Big Data做自然語言處理 的方法，並不講究文法 45
- 48. Impact • TEDxBroadway演講，Ben Wellington 提供五項原則， 透過故事讓數據更有意義(Making data mean more through storytelling) – 1.連結人們的經驗 Connection with People's Experiences – 2.專注一個創意 Focus One Idea – 3.讓它簡單化 Keep it Simple – 4.探索你最熟悉的 Explore the Things You Know Best – 5.發生改變 Make an Impact 48 https://youtu.be/6xsvGYIxJok
- 53. 對於大數據應用 主題一：省思 Q&A Do and See Transformation
- 54. 主題一：省思 Q&A • 資料真的如油、礦般珍貴，為什麼? – 它改變了什麼? • 如何實踐? • 由誰實踐? • 我準備好了嗎? • 我如何踏出第一步? 54
- 55. 二、政府開放資料 • 關於開放資料與應用案例 • 巨量資料加值應用Showcase – 初探大數據資料分析 – 量化分析方法 – 質化分析方法 • 深度學習與機器學習 • 主題二QA 55
- 58. 英國開放知識基金會（OKFN）開放資料 （Open data）國際評比結果出爐，台灣在 全球149個國家中名列世界第一 58 http://www.appledaily.com.tw/realtimenews/article/new/20151209/749534/ • 2013年名列第36名 • 2014年名列第11名 • 2015年進步到第1名
- 59. 開放資料(Open Data) 一秒搞懂政府網站創意競賽 • 透過Open Data之需求彙整與推廣，鼓勵業界自主發展開放資料應用與改良 商業模式，建立起示範標竿，進而帶動各項創新服務，活化整體社會經濟。 並藉由多元推廣宣傳來促進知識擴散與學習，以有效全面提升Open Data的 觀念與認知。 59 http://opendata.tca.org.tw/
- 61. 61 領先指標 vs 落後指標 好設計 vs 好服務 門面 vs 包 裝行銷 持續改善
- 62. 大數據專案 —資訊系統開發專案 • 失敗 or 成功 – 為什麼需求會議開了多次，需要異動狀況還是層出不前，造成時 間延遲，預算超支? – 為什麼花了這麼多錢的大數據專案(系統)，使用者總是抱怨連連， 預期效益沒有發生或不佳? • 需求 or 目的 – 「這個Idea在幹什麼」? – 客戶您知道 「您真的知道自己在幹什麼」? – 專案經理您知道 「您真的知道客戶在幹什麼」? – 討好客戶的PM，亂開難以實做與無實際效益的規格 – 規格表現的形式讓RD難以理解實做 – Problem Statement的人，不懂技術是搞不定的? 62 http://blog.xdite.net/posts/2014/05/29/from-idea-to-product-user-story
- 63. ABOUT 願景 vs. 需求 願景 → 價值→ 目的→需求
- 65. 溝通形式與流程 • 感性的感覺 –故事情節 –情境 vs. 角色 –情境：人事時 地物 • 理性的事實 –邏輯的考驗：因 果 vs 順序 –提問者 vs. 回答 者 –問題的描述 –回答的描述
- 66. Story Board & Why-How —Tools • Story – 當我是(As a) – 我想要(I want to) – 所以(So that) • Acceptance Criteria – 就提供使用者(Given) – 當(When) – 然後(Then) • Conversations – 對於目的需求確切的描述 – 對於一些額外限制的描述 – 轉換為規格描述 Why How
- 67. 改善流程 • 分析 – 方法：量化與質化 – 溝通：當責者與參與者-團隊合作 • 找出問題 – 發散 & 收斂 • 行動-改善措施 • 驗證確認 – A/B Test
- 68. 68 What happened? • 描述性分析 Descriptive Analytics Why did it happen? • 診斷式分析 Diagnostic Analytics What will happen? • 預測式分析 Predictive Analytics How can we make it happen? • 指導性分析 Prescriptive Analytics 價值 困難度 & 複雜度 傳統BI 進階分析-大數據 落後指標 洞見與覺察 領先指標 撿 找 人 算 神 算 Edited by Ta-Ming Chang , 2016/8/2 Big Data應用技術演變， 人 & 技術，大數據專案 本身
- 69. Machine learning? 69 Machine Learning Tutorials for Beginners (Microsoft) https://youtu.be/xmvEGS5Xbpg
- 70. 簡單說… 70 Machine Learning Tutorials for Beginners (Microsoft) https://youtu.be/xmvEGS5Xbpg
- 71. Machine learning…How? • Supervised learning – 監督式學習，可以由訓練資料中學到或建立一 個模式，並依此模式推測新的實例。 • Unsupervised learning – 非監督式學習，並不需要人力來輸入標籤。它 是監督式學習和強化學習等策略之外的一種選 擇。 71 Source : WIKI https://en.wikipedia.org/wiki/Machine_learning
- 72. 72 Machine Learning Tutorials for Beginners (Microsoft) https://youtu.be/xmvEGS5Xbpg
- 73. 73 Machine Learning Tutorials for Beginners (Microsoft) https://youtu.be/xmvEGS5Xbpg
- 74. 三大要素決定 Machine Learning 是否可以幫我們解決問題 • 第一：現象具有模式 (Patterns) – 現象、行為、規則 • 第二：該現象無法用簡單數學式表達 – 演算法： Supervised learning，Unsupervised learning， Reinforcement learning • 第三：必須要有數據 (Data) – 小、中、大數據 74http://chinese.classroom-aid.com/2014/10/the-classroom-will-learn-you.html/
- 76. 模板、範本 76
- 77. 如何找尋、適配並說故事 77
- 78. 對於大數據應用 主題二：省思 Q&A Do and See Transformation
- 79. 主題二：省思 Q&A • 公開 vs 開放? • 資料(Data) vs 模型(Pattern)何者為重? • 視覺化後? 理性 vs. 感性 • 資料分析進程? 影響度? • 機器學習神算! – 功夫熊貓阿波 vs 駭客尼歐 79
- 80. 三、巨量資料之士農工商 • 各國政府巨量資料創新應用 • Gov生活大數據-氣象、交通 • Gov健康醫療大數據-健保、勞保 • Gov金融大數據-銀行 • Gov育樂大數據-旅遊、教育 • 主題三QA 80
- 81. Open Data Top 20 1. Data.gov.uk the UK government’s open data portal including the British National Bibliography – metadata on all UK books and publications since 1950. 2. Data.gov Search through 194,832 USA data sets about topics ranging from education to Agriculture. 3. US Census Bureau latest population, behaviour and economic data in the USA. 4. Socrata – software provider that works with governments to provide open data to the public, it also has its own open data network to explore. 5. European Union Open Data Portal thousands of datasets about a broad range of topics in the European Union. 6. European Data Portal is a European portal that harvests metadata from public sector portals throughout Europe. EDP therefore focuses on data made available by European countries. In addition, EDP also harvests metadata from ODP. 7.DBpedia crowd sourced community trying to create a public database of all Wikipedia entries. 8. The New York Times a searchable archive of all New York Times articles from 1851 to today. 9. Dataportals.org datasets from all around the world collected in one place. 10. The World Factbook information prepared by the CIA about, what seems like, all of the countries of the world. 81 http://datatovalue.co.uk/top-20-open-data-sources/
- 82. Open Data Top 20 11. NHS Health and Social Care Information Centre data sets from the UK National Health Service. 12. Healthdata.gov detailed USA healthcare data covering loads of health related topics. 13. UNICEF statistics about the situation of children and women around the world. 14. World Health organisation statistics concerning nutrition, disease and health. 15. Amazon web services large repository of interesting data sets including the human genome project, NASA’s database and an index of 5 billion web pages. 16. Google Public data explorer search through already mentioned and lesser known open data repositories. 17. Gapminder a collection of datasets from the World Health Organisation and World Bank covering economic, medical and social statistics. 18.Google Trends analyse the shift of searches throughout the years. 19. Google Finance real-time finance data that goes back as far as 40 years. 20. UCI Machine Learning Repository a collection of databases for the machine learning community. 21.National Climatic Data Center world largest archive of climate data. 82 continue
- 84. 台南2015年登革熱恢復狀況 84 https://www.taiwanstat.com/realtime/tainan-2015-denguefever-recovery/ • 資料來源：臺南市政府資料開放平台 • 最新病例資料日期：2015/12/08 • 圖表呈現臺南市各里近期的登革熱狀況，依 「近2週內無病例」、「近1周內無病例」與 「其他」三種情況區分。 @2016/8/5 http://www.slideshare.net/tw_dsconf/ss-64078404 莊坤達/資料科學與防疫應用的結合 : 以登革熱 防治為例
- 85. 臺灣2013－2016年輿情演變 85 https://www.taiwanstat.com/statistics/news-topic-evolution/ Obama, the ‘big data’ president https://goo.gl/0Ywuix https://join.gov.tw/
- 87. 87 『Big Data， Better Health』 -PHILIPS 『最大的挑戰是如何 把健康資料轉換為具 有價值與意涵的格式 並且整合於醫療系統 之中』 Source: https://www.flickr.com/photos/juhansonin/
- 89. 89 https://opendata-contest.tca.org.tw/announcement2.aspx 政府及企業指定類 - easy Traffic服務平台組 政府及企業指定類 - 氣候變遷創新應用組 政府及企業指定類 - 農業開放資料應用組 政府及企業指定類 - 經濟開放資料應用組 政府及企業指定類 - TGOS MAP應用組 大會指定類 - 開放資料應用組
- 90. 90 天氣
- 91. 91 交通運輸
- 92. 92 健保、勞保
- 94. 94 旅遊
- 96. 對於大數據應用 主題三：省思 Q&A Do and See Transformation
- 97. 主題三：省思 Q&A • 政府開放資料?! – 資料的功能與價值 – 政府的角色? • 管理者 vs 擁有者 vs 使用者 vs 加值者 • 挑戰 – 小而美 – 資料治理 97
- 98. 四、巨量資料人才與應用 • 淺談大數據資料科學家與政府組織轉變 • 淺談大數據專案流程與資料科學人才角色 • 淺談大數據服務設計 • 主題四QA 98
- 99. DELTA模式 —大數據資料分析發展模式 資料 Data 企業 Enterprise 領導 團隊 Leadership 目標 Target 分析 Analysis 99資料來源：大數據@工作力
- 100. DELTTA 大數據 資料 找出可能的資料來源、經過處理將未結構化資料轉換為結構化資料，將 多個來源資料整合到同一資料集中；平日的資料治理，整合至大數據流 程 企業 早期接納-新創或線上企業；試探-驗證概念或探索資料，非完全量產應 用；導入-合理分配資源或結合多項專案、創造綜效 領導團隊 對大數據信心；待在橋上的溝通者；很難評估投資報酬率，投如新產品、 新服務或加快決策流程的挑戰；決策者的耐心 目標 組織的選擇與大數據應用的順序；嘗試與驗證 vs. 效益價值（降低成本、 提高處理資料的速度、開發新產品或服務、利用新資料與新模型改良決 策） 技術 平台架構、語言、視覺化工具，與機器學習演算法等 分析 資料科學家-水平或垂直型，駭客、科學家、顧問、量化分析師、商業 專家 100資料來源：大數據@工作力
- 101. 大數據整體技術架構 —如何與傳統資料倉儲＆資料分析基礎架構並存 • Hadoop – 用於在多個平行伺服器上處 理大數據開放原始碼軟體 • MapReduce – Hadoop據以發展的基礎架 構 • 腳本語言 – 與大數據企業的程式語言 （如 Python、Pig、Hive、 R等） • 機器學習 – 用於迅速找出最適於某資料 集的軟體技術 • 視覺化資料分析 – 以影像或圖像形式呈現資料 分析結果 • 自然語言處理 – 用於分析文字出現的頻率、 意義等事項軟體 • 記憶體內建資料分析 – 能夠在電腦記憶體中以更高 速處理大數據 101資料來源：大數據@工作力
- 102. 資料科學家 —要有經驗的Big Data分析師是很困難的事 • 因為除了懂得分析之外，還必須能充分了解和運 用Big Data所使用的平台技術， • 目前具備實務經驗的Big Data分析師一位難求 102
- 106. 商業模式 Business Model-Case01 價值主張關鍵夥伴 關鍵活動 關鍵資源 客戶活動 通路 目標客戶 成本流 收益流 106 在路邊臨時或緊急 乘車服務 計程收費 / 現金 馬路 提供搭乘工具 營業車 開車維生者 的合作社 專業駕駛 交通部 營業車維修 車行規費
- 107. 商業模式 Business Model-Case02 價值主張關鍵夥伴 關鍵活動 關鍵資源 客戶活動 通路 目標客戶 成本流 收益流 107 在路邊臨時或緊急 乘車服務 計程收費 / 現金 馬路 網路 計程收費 / 信用卡 提供搭乘工具 隨時隨處臨 時或緊急 乘車服務 創造共享經濟 加值服務 營業車 開車維生者 的合作社 專業駕駛 私家車車主 Uber 網路系統 雲端網路系統 交通部 高額罰款 行政救濟官司 營業車維修 車行規費
- 108. 商業模式 Business Model-Case03 價值主張關鍵夥伴 關鍵活動 關鍵資源 客戶活動 通路 目標客戶 成本流 收益流 108 在路邊臨時或緊急 乘車服務 計程收費 / 現金 馬路 網路 計程收費 / 信用卡 提供搭乘工具 隨時隨處臨 時或緊急 乘車服務創造共享經濟 加值服務 營業車 開車維生者 的合作社 專業駕駛 私家車車主 Uber 網路系統 雲端網路系統 交通部 高額罰款 行政救濟官司 營業車維修 車行規費 無人車 vs 自動駕駛 ? ? ?
- 109. 對資訊部門 —分辨資料分析技術差異並盤點現況 • 資料分析差異 – 傳統統計分析：建立假說，再檢驗它是否有資料相吻合 – 大數據資料分析：運用機器學習，自動建模手法，套用多種模式 到資料上，以找出最吻合模式 • 技術評估 – 如何將大數據能力加到目前的資訊基礎架構 – 是否具備適切技術基礎能力，能夠切入大數據方案，譬如：開放 源瑪工具平台 • 組織評估 – 評估組織初步性問題是大數據的新技術可能幫忙解決的 – 思考大數據技術在未來組織中扮演特定角色與功能 – 運用與導入大數據技術的階段步驟，以及經費與人力的資源 109資料來源：大數據@工作力
- 110. 110 善用科技的力量! 圖片來源：網路
- 111. 111 瞬 時 競 爭 策 略 。 快 經 濟 時 代 的 新 常 態 競 爭 ( 轉 變 ) 唯 快 不 破 ！ • 良性割捨，退出衰退 產業 • 彈性配置資源與組織， 提升靈活度 • 培養持續創新力 • 面對瞬間優勢的領導 力與思維 • 瞬間優勢對個人的意 義
- 112. Digital Business （Data Enterprise） Digital Transfor- mation The Talent Economy The Waves of Business Analytics • Today-The Talent Economy • 1970s~80s-The Customer Economy and Web • 1950s~60s-The Financial Economy • Early 1990s-The Industrial Economy Big Data in HR: Why it‘s Here and What it Means (Bersin.com，2016) 五大創新產業 與新農業、循環經濟， 以數位經濟為底層， 由此實踐軟硬結合 Digital Transformation Business Benefits • Capturing new market opportunities • Improved customer experience • Streamlined business operations • Extending the reach of the company 10 Networking Priorities for Digital Transformation (Zeus Kerravala Research， 2016)
- 113. 人財（才、材）攻略—Talent & Leadership，The Talent Economy & Digital Business Predictive， Talent Models， HR Analytics Business-driven， Talent Analytics Integrated Talent Management， Workforce Planning Recruiting，Learning， Performance Measurement
- 114. 114
- 115. 資料來源：工業局
- 116. 五大創新產業與新農業、循環經濟，以數位經濟為底層，由此實踐軟硬結合 五大創新研發產業： 一. 台南沙崙為中心的「綠能研發中心」 二. 桃園的「亞洲矽谷計畫」，發展物聯網與智慧產品 三. 以台北資安、台中航太、高雄船艦為中心的「國防產業聚落」 四. 中研院所在的南港園區、竹北生醫園區延伸到南科的「生技產業聚落」 五. 台中的「智慧精密機械聚落」 工業4.0（生產力4.0計畫於2016年7月停止）
- 117. 資料來源：工業局
- 118. 118 1個人領２份薪水做３份工作 65歲以上 15-65歲工作人口 14歲以下 2015 12% 74% 14% 2060 41% 50% 9% 資料來源：工業局 生產力4.0
- 119. 李開復： “最大白領失業 潮來襲 4種「師」 首當其衝。” Future… Partner with Code. 醫師、律師、教師，與金融 ?! http://goo.gl/DD96tB @ALBiTER 119
- 121. 121 Think Big for Big Data – Smart & Automatics 大數據智能化 vs 人才工作之爭
- 131. 4C/ID- model Step.1 思翱 157 Step.2 闖關 幫幫忙 Step.3 思翱 倍力 Step.4 研發 設計 科技 服務 131 活動設計複雜學習 行動遊戲式 數據驅動 規模化與 智能化 數據蒐集 與應用 設計-活 動（虛） 設計-活 動（實） 基礎理論 目的與需 求
- 132. 132 大數據研 究方法 大數據專 案團隊 學教脈絡 理論模式 學習分析 方法論與 演算法 學教脈絡 視覺化圖 表 企業內部練兵 學習 & 外部資源 1. 由使用者行為現場脈絡，蒐集必要資料，並且依照產業專業模式，對待與 探索這些資料? 2. 資料室如何進行加減乘除的，或是進階的演算法? 數據是拿來用的，不是拿 來看的! 3. 數據轉換成視覺圖表後，經探索發掘了什麼，這時需要的想像力! 4. 大數據團隊成員是否對數據分析探索是否充滿熱情? 5. 外部資料是否能夠為我們所用? 6. 我們要如何分享我們的資料?
- 134. 刀譜-設計 屠龍刀-科技 耍刀的你 -師師認證 • Handbook (智財) • Cloud & Web App (大數據) • Trainer Certification (商業模式) 134
- 135. 實施方法：研發聯盟 訓練實施(D) 研發聯盟會議(檢討ABC) 依據指引進行 訓練需求 課程設計 教材發展 實施方法:委外開發 A教材發展指引 B課程實施指引 佐證文件 D教學場域模擬測試 AB指引改善 C系統改善 雛型開發 C雲端資訊系統 研發AB指引 研發C雲系統 A.B 指引 C 使用手冊 D各課程實 施紀錄 A.B C 改善執行 內容清單 計畫執行流程
- 138. 由 數 據 驅 動 找 到 人 才 卓 越 最 漂 亮 的 角 度 整合學與教脈絡大數據應用的教育創新-以思翱倍力大數據服務為例，2016數位學習學術研討會：學習科技新趨勢（淡江大學， 2016/5/20）
- 141. xAPI tracking all kinds of learning experiences 141 Source: Jessie Chuang https://www.facebook.com/groups/648340368618407/
- 142. GE Capital - 需要訓練多達 250,000 位(44,000 個零售店) 廣佈全世界的零售商 • 適合平板電腦使用介面的網頁設計與行動 App • HTML5 技術 (註 : 要橫跨不同平台，或採用 BYOD 政策， HTML5 技術為必要) • 使用者可以評分的內容 • 五分鐘的課程 • 不需登入，除了牽涉公司機密之外，所有學習內容讓所有人都可免 費取得 • 面對面訓練只留下絕對必要的課程，70% 被刪去，省時省錢 • 層次化設計，讓學習者視需要決定是否深入學習 • 訪問客戶的故事作為教材，影片還是以五分鐘長度為限 • 所有學習資源整合成為單一資源庫 (Single Source) • 學習資源以學習目標來組織分類 • 學習路徑以使用者的角色來設計 Source: Jessie Chuang
- 143. 143 Source: image created by ADL Andy Johnson
- 144. 144
- 147. 147 天下武功 無堅不摧 唯快 (準 & 先) 不破 大數據神功很神奇，不過也很平凡，基本功還是關鍵… 外功、內功 vs. 心法
- 148. 148 Source：IFPC
- 149. 對於大數據應用 主題四：省思 Q&A Do and See Transformation
- 150. 主題四：省思 Q&A • 投資資料的心態與做法? • 人才? – 探險者? – 梳理資料的礦工 – 提煉油的工程師 – 包裝油品的化妝師 – 油商? • 資料素養 • 大數據專案的組織層級 150
- 151. 創造人才的價與質 THANKS! Q&A
- 155. 大數據分析決策與商業應 用ERP, CRM最大不同? 領先指標 vs 非領先指標（落後） Q4
- 160. TB級資料應用與分析才 能稱為大數據分析嗎? Type A. Big data 問題跟 Small data 是一樣的 Type B. Big data 問題等同一大群 Small data 的問題 Type C. Big data 問題需要靠特製系統解決 Q9 http://readata.org/three-type-problem-for-big-data-analytics/
- 162. 學習資源-搜尋關鍵字 • 資料科學 Data Science • 大數據 Big Data • 機器學習 Machine Learning • R語言、Python • 網路爬蟲-Crawler • 分析方法- – 描述性分析 Descriptive Analytics、診斷式分析 Diagnostic Analytics、 預測式分析 Predictive Analytics、指導性分析 Prescriptive Analytics • 演算法- – Supervised learning，Unsupervised learning，Reinforcement learning • 大演算-機器學習五大學派 – 演化論學派、類神經網路學派、符號理論學派、貝氏定理學派、類比推理學派 162 http://www.books.com.tw/products/0010722761