SlideShare a Scribd company logo
1 of 27
Download to read offline
• 美國新創公司,由MIT/Harvard/Stanford及業界數據專家組成
• 核心團隊玩了幾年的數據,深深感到數據取得的沒有效率
• 專注在數據交易的關鍵技術,串聯全世界的專業級數據
關於我
人生立志打造一個殺手級數據應用(產品),但是踩了一堆雷
• 4篇資料探勘應用於決策支援的期刊論文
• 創立TwCareer網站想幫助生涯規畫決策
• 創立負評網想用數據幫助消費者/廠商決策
加入Kyper Data擔任產品經理,共同努力打造數據平台
打造一個數據應用,比老闆們想像的更難
切身之痛 負評網打造使用者愛好智慧系統
一個完整的資料科學團隊應該包含
程式開發者、資料工程師、資料科學家、
分析師、產業專家
其實,他們都只是幻想中的同事
目前,最常見的就是只有一個人或是功能
相似的一組人
當我們想要導入外部數據
需要數個月的時間,冒著可能沒有成效不能退款的風險
我們還是平心靜氣,能把自家的數據處理
好就上天保佑,先別想外部數據了
要打造資料科學家交易數據的平台,解放更多創意
Standardized API
Automatic Tunnel
We have gained the trust of data publishers because we never store their data.
社群 電商數據用於信用評分管理
Data:
社群/電商
• Email
• 公司
• 職稱
• 網店數量
• 網店評價
• 商品數
• 銷售額
• 朋友數
• 發文數
• …
• 上千特徵
特徵選取 智慧模型
模型1
模型2
模型3
模型4
模型5
模型6
模型9
…
身
分
還
款
能
力
還
款
意
願
穩
定
性
信用評分
追蹤管理
機器
學習
國外相當成熟的產品,為什麼台灣沒有
1. 台灣電商來源多,無明顯霸主
2. 台灣部分電商發展早,並未跟上世界潮流提供有用數據
3. 爬數據本身就是個坑,有去無回
成本過高,能否賺回那麼多?
分析下去才知道,在商城賣衣服比資料科學家賺的多很多
數據商城 主題式瀏覽
數據商城 分類式瀏覽
數據商城 線上預覽 結合各式分析環境
在 中直接使用
在 中直接使用
直接在 雲端玩
直接在 雲端玩 視覺化
小提醒 不能因為有強大的武器而忘記作戰方法
從數據中發掘Insight的能力是最重要的
迎接數據專業分工時代, 建議
1. 重視技能深度>廣度
2. 專業蒐集/整理數據的,應該讓更多人購買、應用,發揮價值
3. 專業分析建模的,應該用更低成本,更有效率方式使用數據
4. 原本就有完整數據應用的,可以將數據釋出,增加更多營收
專屬
請寄email給我,註明是R Taiwan 2015參與者
1. Insider Preview帳號
2. 免費體驗數據: 股票/期貨/新聞/天氣
3. 比全世界其他R社群更早使用
當資料科學家不須花大量時間蒐集/清洗數據-2015 R Taiwan研討會分享

More Related Content

What's hot

大數據獲利模式 Ch 2
大數據獲利模式 Ch 2大數據獲利模式 Ch 2
大數據獲利模式 Ch 2Hans Shih
 
Data Leaders in Action - 資料價值領袖風範與關鍵行動
Data Leaders in Action - 資料價值領袖風範與關鍵行動Data Leaders in Action - 資料價值領袖風範與關鍵行動
Data Leaders in Action - 資料價值領袖風範與關鍵行動Etu Solution
 
Hadoop Big Data 成功案例分享
Hadoop Big Data 成功案例分享Hadoop Big Data 成功案例分享
Hadoop Big Data 成功案例分享Etu Solution
 
数据的价值和灵魂
数据的价值和灵魂数据的价值和灵魂
数据的价值和灵魂学峰 司
 
DSP 資料科學計畫簡介
DSP 資料科學計畫簡介DSP 資料科學計畫簡介
DSP 資料科學計畫簡介codefortomorrow
 
Big Data Taiwan 2014 Keynote 1: Why and How We Monetize Data – 意圖,讓我們聚在這裡
Big Data Taiwan 2014 Keynote 1: Why and How We Monetize Data  – 意圖,讓我們聚在這裡Big Data Taiwan 2014 Keynote 1: Why and How We Monetize Data  – 意圖,讓我們聚在這裡
Big Data Taiwan 2014 Keynote 1: Why and How We Monetize Data – 意圖,讓我們聚在這裡Etu Solution
 
Data without Boundaries - 圍繞第一方數據,找到商業驅動力
Data without Boundaries - 圍繞第一方數據,找到商業驅動力Data without Boundaries - 圍繞第一方數據,找到商業驅動力
Data without Boundaries - 圍繞第一方數據,找到商業驅動力Etu Solution
 
浅谈数据科学
浅谈数据科学浅谈数据科学
浅谈数据科学学峰 司
 
何謂大數據
何謂大數據何謂大數據
何謂大數據kngchn
 
Track C-2 洞見未來 - Tableau 創造大數據新價值
Track C-2 洞見未來 - Tableau 創造大數據新價值Track C-2 洞見未來 - Tableau 創造大數據新價值
Track C-2 洞見未來 - Tableau 創造大數據新價值Etu Solution
 
Track C-1 大數據時代的產品 ─ 創新與洞察決策
Track C-1 大數據時代的產品 ─ 創新與洞察決策Track C-1 大數據時代的產品 ─ 創新與洞察決策
Track C-1 大數據時代的產品 ─ 創新與洞察決策Etu Solution
 

What's hot (11)

大數據獲利模式 Ch 2
大數據獲利模式 Ch 2大數據獲利模式 Ch 2
大數據獲利模式 Ch 2
 
Data Leaders in Action - 資料價值領袖風範與關鍵行動
Data Leaders in Action - 資料價值領袖風範與關鍵行動Data Leaders in Action - 資料價值領袖風範與關鍵行動
Data Leaders in Action - 資料價值領袖風範與關鍵行動
 
Hadoop Big Data 成功案例分享
Hadoop Big Data 成功案例分享Hadoop Big Data 成功案例分享
Hadoop Big Data 成功案例分享
 
数据的价值和灵魂
数据的价值和灵魂数据的价值和灵魂
数据的价值和灵魂
 
DSP 資料科學計畫簡介
DSP 資料科學計畫簡介DSP 資料科學計畫簡介
DSP 資料科學計畫簡介
 
Big Data Taiwan 2014 Keynote 1: Why and How We Monetize Data – 意圖,讓我們聚在這裡
Big Data Taiwan 2014 Keynote 1: Why and How We Monetize Data  – 意圖,讓我們聚在這裡Big Data Taiwan 2014 Keynote 1: Why and How We Monetize Data  – 意圖,讓我們聚在這裡
Big Data Taiwan 2014 Keynote 1: Why and How We Monetize Data – 意圖,讓我們聚在這裡
 
Data without Boundaries - 圍繞第一方數據,找到商業驅動力
Data without Boundaries - 圍繞第一方數據,找到商業驅動力Data without Boundaries - 圍繞第一方數據,找到商業驅動力
Data without Boundaries - 圍繞第一方數據,找到商業驅動力
 
浅谈数据科学
浅谈数据科学浅谈数据科学
浅谈数据科学
 
何謂大數據
何謂大數據何謂大數據
何謂大數據
 
Track C-2 洞見未來 - Tableau 創造大數據新價值
Track C-2 洞見未來 - Tableau 創造大數據新價值Track C-2 洞見未來 - Tableau 創造大數據新價值
Track C-2 洞見未來 - Tableau 創造大數據新價值
 
Track C-1 大數據時代的產品 ─ 創新與洞察決策
Track C-1 大數據時代的產品 ─ 創新與洞察決策Track C-1 大數據時代的產品 ─ 創新與洞察決策
Track C-1 大數據時代的產品 ─ 創新與洞察決策
 

Viewers also liked

內容者的正義@2015資策會閃電秀
內容者的正義@2015資策會閃電秀內容者的正義@2015資策會閃電秀
內容者的正義@2015資策會閃電秀Liang-Chuan Huang
 
負評網計畫-負面能量好厲害!
負評網計畫-負面能量好厲害!負評網計畫-負面能量好厲害!
負評網計畫-負面能量好厲害!Liang-Chuan Huang
 
Data Science: Z > B 的資料科學
Data Science: Z > B 的資料科學Data Science: Z > B 的資料科學
Data Science: Z > B 的資料科學ckliu
 
我把流量搞大了(台中前端社群2015/06/06分享)
我把流量搞大了(台中前端社群2015/06/06分享)我把流量搞大了(台中前端社群2015/06/06分享)
我把流量搞大了(台中前端社群2015/06/06分享)Liang-Chuan Huang
 
Pandas!資料處理與分析的利器!
Pandas!資料處理與分析的利器!Pandas!資料處理與分析的利器!
Pandas!資料處理與分析的利器!鈵斯 倪
 
計算社會科學初探- 當電腦科學家遇上社會科學
計算社會科學初探-當電腦科學家遇上社會科學計算社會科學初探-當電腦科學家遇上社會科學
計算社會科學初探- 當電腦科學家遇上社會科學Sheng-Wei (Kuan-Ta) Chen
 
Who believes in data science
Who believes in data scienceWho believes in data science
Who believes in data scienceJohnson Hsieh
 
應用資料科學於交通網路解析-闕嘉宏
應用資料科學於交通網路解析-闕嘉宏應用資料科學於交通網路解析-闕嘉宏
應用資料科學於交通網路解析-闕嘉宏台灣資料科學年會
 
教育中的資料科學:深又大
教育中的資料科學:深又大教育中的資料科學:深又大
教育中的資料科學:深又大Ming-Chi Liu
 
Modern Web 2016: Using Golang to build a smart IM Bot
Modern Web 2016: Using Golang to build a smart IM Bot Modern Web 2016: Using Golang to build a smart IM Bot
Modern Web 2016: Using Golang to build a smart IM Bot Evan Lin
 
李祈均/人類行為訊號處理 : 跨學科 (醫療、教育、心理) 應用實例分享、心得、展望
李祈均/人類行為訊號處理 : 跨學科 (醫療、教育、心理) 應用實例分享、心得、展望李祈均/人類行為訊號處理 : 跨學科 (醫療、教育、心理) 應用實例分享、心得、展望
李祈均/人類行為訊號處理 : 跨學科 (醫療、教育、心理) 應用實例分享、心得、展望台灣資料科學年會
 
Self improvement in the big data era
Self improvement in the big data eraSelf improvement in the big data era
Self improvement in the big data eraJohnson Hsieh
 
許懷中/娛樂產業中的資料科學家 : 談資料科學於線上遊戲與職業運動之應用
許懷中/娛樂產業中的資料科學家 : 談資料科學於線上遊戲與職業運動之應用許懷中/娛樂產業中的資料科學家 : 談資料科學於線上遊戲與職業運動之應用
許懷中/娛樂產業中的資料科學家 : 談資料科學於線上遊戲與職業運動之應用台灣資料科學年會
 
曾韵/沒有大數據怎麼辦 ? 會計師事務所的小數據科學
曾韵/沒有大數據怎麼辦 ? 會計師事務所的小數據科學曾韵/沒有大數據怎麼辦 ? 會計師事務所的小數據科學
曾韵/沒有大數據怎麼辦 ? 會計師事務所的小數據科學台灣資料科學年會
 
[Modern Web 2016] 讓你的 PHP 開發流程再次潮起來
[Modern Web 2016] 讓你的 PHP 開發流程再次潮起來[Modern Web 2016] 讓你的 PHP 開發流程再次潮起來
[Modern Web 2016] 讓你的 PHP 開發流程再次潮起來Shengyou Fan
 
「資料視覺化」有志一同場次 at 2016 台灣資料科學年會
「資料視覺化」有志一同場次 at 2016 台灣資料科學年會「資料視覺化」有志一同場次 at 2016 台灣資料科學年會
「資料視覺化」有志一同場次 at 2016 台灣資料科學年會台灣資料科學年會
 
開發語音控制的IoT應用服務
開發語音控制的IoT應用服務開發語音控制的IoT應用服務
開發語音控制的IoT應用服務Amazon Web Services
 

Viewers also liked (20)

內容者的正義@2015資策會閃電秀
內容者的正義@2015資策會閃電秀內容者的正義@2015資策會閃電秀
內容者的正義@2015資策會閃電秀
 
負評網計畫-負面能量好厲害!
負評網計畫-負面能量好厲害!負評網計畫-負面能量好厲害!
負評網計畫-負面能量好厲害!
 
TwCareer的故事跟檢討
TwCareer的故事跟檢討TwCareer的故事跟檢討
TwCareer的故事跟檢討
 
Data Science: Z > B 的資料科學
Data Science: Z > B 的資料科學Data Science: Z > B 的資料科學
Data Science: Z > B 的資料科學
 
我把流量搞大了(台中前端社群2015/06/06分享)
我把流量搞大了(台中前端社群2015/06/06分享)我把流量搞大了(台中前端社群2015/06/06分享)
我把流量搞大了(台中前端社群2015/06/06分享)
 
Pandas!資料處理與分析的利器!
Pandas!資料處理與分析的利器!Pandas!資料處理與分析的利器!
Pandas!資料處理與分析的利器!
 
計算社會科學初探- 當電腦科學家遇上社會科學
計算社會科學初探-當電腦科學家遇上社會科學計算社會科學初探-當電腦科學家遇上社會科學
計算社會科學初探- 當電腦科學家遇上社會科學
 
Who believes in data science
Who believes in data scienceWho believes in data science
Who believes in data science
 
應用資料科學於交通網路解析-闕嘉宏
應用資料科學於交通網路解析-闕嘉宏應用資料科學於交通網路解析-闕嘉宏
應用資料科學於交通網路解析-闕嘉宏
 
教育中的資料科學:深又大
教育中的資料科學:深又大教育中的資料科學:深又大
教育中的資料科學:深又大
 
Modern Web 2016: Using Golang to build a smart IM Bot
Modern Web 2016: Using Golang to build a smart IM Bot Modern Web 2016: Using Golang to build a smart IM Bot
Modern Web 2016: Using Golang to build a smart IM Bot
 
李祈均/人類行為訊號處理 : 跨學科 (醫療、教育、心理) 應用實例分享、心得、展望
李祈均/人類行為訊號處理 : 跨學科 (醫療、教育、心理) 應用實例分享、心得、展望李祈均/人類行為訊號處理 : 跨學科 (醫療、教育、心理) 應用實例分享、心得、展望
李祈均/人類行為訊號處理 : 跨學科 (醫療、教育、心理) 應用實例分享、心得、展望
 
Self improvement in the big data era
Self improvement in the big data eraSelf improvement in the big data era
Self improvement in the big data era
 
心理學x資料科學-黃從仁
心理學x資料科學-黃從仁心理學x資料科學-黃從仁
心理學x資料科學-黃從仁
 
許懷中/娛樂產業中的資料科學家 : 談資料科學於線上遊戲與職業運動之應用
許懷中/娛樂產業中的資料科學家 : 談資料科學於線上遊戲與職業運動之應用許懷中/娛樂產業中的資料科學家 : 談資料科學於線上遊戲與職業運動之應用
許懷中/娛樂產業中的資料科學家 : 談資料科學於線上遊戲與職業運動之應用
 
李育杰/The Growth of a Data Scientist
李育杰/The Growth of a Data Scientist李育杰/The Growth of a Data Scientist
李育杰/The Growth of a Data Scientist
 
曾韵/沒有大數據怎麼辦 ? 會計師事務所的小數據科學
曾韵/沒有大數據怎麼辦 ? 會計師事務所的小數據科學曾韵/沒有大數據怎麼辦 ? 會計師事務所的小數據科學
曾韵/沒有大數據怎麼辦 ? 會計師事務所的小數據科學
 
[Modern Web 2016] 讓你的 PHP 開發流程再次潮起來
[Modern Web 2016] 讓你的 PHP 開發流程再次潮起來[Modern Web 2016] 讓你的 PHP 開發流程再次潮起來
[Modern Web 2016] 讓你的 PHP 開發流程再次潮起來
 
「資料視覺化」有志一同場次 at 2016 台灣資料科學年會
「資料視覺化」有志一同場次 at 2016 台灣資料科學年會「資料視覺化」有志一同場次 at 2016 台灣資料科學年會
「資料視覺化」有志一同場次 at 2016 台灣資料科學年會
 
開發語音控制的IoT應用服務
開發語音控制的IoT應用服務開發語音控制的IoT應用服務
開發語音控制的IoT應用服務
 

Similar to 當資料科學家不須花大量時間蒐集/清洗數據-2015 R Taiwan研討會分享

資訊管理 CH6 資料倉儲、資料探勘與巨量資料分析系統 (Data Warehouse、Data Mining、Big Data Analytic sys...
資訊管理 CH6 資料倉儲、資料探勘與巨量資料分析系統 (Data Warehouse、Data Mining、Big Data Analytic sys...資訊管理 CH6 資料倉儲、資料探勘與巨量資料分析系統 (Data Warehouse、Data Mining、Big Data Analytic sys...
資訊管理 CH6 資料倉儲、資料探勘與巨量資料分析系統 (Data Warehouse、Data Mining、Big Data Analytic sys...luna chen
 
20151016 中興大學 big data + machine learning
20151016 中興大學 big data + machine learning20151016 中興大學 big data + machine learning
20151016 中興大學 big data + machine learningMeng-Ru (Raymond) Tsai
 
IT445_Week_11.pdf
IT445_Week_11.pdfIT445_Week_11.pdf
IT445_Week_11.pdfAiondBdkpt
 
Oceanus, a social listening/ social software company
Oceanus, a social listening/ social software companyOceanus, a social listening/ social software company
Oceanus, a social listening/ social software companyOceanus_Data
 
淺談台灣巨量資料產業供應鏈串聯現況
淺談台灣巨量資料產業供應鏈串聯現況淺談台灣巨量資料產業供應鏈串聯現況
淺談台灣巨量資料產業供應鏈串聯現況Jazz Yao-Tsung Wang
 
Introduction of libraries' big data in China
Introduction of libraries' big data in ChinaIntroduction of libraries' big data in China
Introduction of libraries' big data in Chinayuanxinz
 
[相濡以沫] 非營利組織裡的網站企劃
[相濡以沫] 非營利組織裡的網站企劃[相濡以沫] 非營利組織裡的網站企劃
[相濡以沫] 非營利組織裡的網站企劃悠識學院
 
Hadoop 生態系十年回顧與未來展望
Hadoop 生態系十年回顧與未來展望Hadoop 生態系十年回顧與未來展望
Hadoop 生態系十年回顧與未來展望Jazz Yao-Tsung Wang
 
How Enterprises Leverage Data to Overcome Business Challenges During Coronavirus
How Enterprises Leverage Data to Overcome Business Challenges During CoronavirusHow Enterprises Leverage Data to Overcome Business Challenges During Coronavirus
How Enterprises Leverage Data to Overcome Business Challenges During CoronavirusDenodo
 
Realtime analytics with Flink and Druid
Realtime analytics with Flink and DruidRealtime analytics with Flink and Druid
Realtime analytics with Flink and DruidErhwen Kuo
 
Bigdata bizoppor
Bigdata bizopporBigdata bizoppor
Bigdata bizopporAccenture
 
2016 Ideas Hakathon_EC Decision
2016 Ideas Hakathon_EC Decision2016 Ideas Hakathon_EC Decision
2016 Ideas Hakathon_EC Decisionideashackathon
 
資料如何幫助產品決策
資料如何幫助產品決策資料如何幫助產品決策
資料如何幫助產品決策Soldier Hsieh
 
LnData NMEA 簡介
LnData NMEA 簡介LnData NMEA 簡介
LnData NMEA 簡介Jay cheng
 
Working experience report _201903
Working experience report _201903Working experience report _201903
Working experience report _201903邱 國欣
 
IA 資訊架構(講義) , 2011
IA 資訊架構(講義) , 2011IA 資訊架構(講義) , 2011
IA 資訊架構(講義) , 2011悠識學院
 
Pzaar Bp 20091021
Pzaar Bp 20091021Pzaar Bp 20091021
Pzaar Bp 20091021Julia Chen
 
N世代情報收集術
N世代情報收集術N世代情報收集術
N世代情報收集術基欽 劉
 

Similar to 當資料科學家不須花大量時間蒐集/清洗數據-2015 R Taiwan研討會分享 (20)

資訊管理 CH6 資料倉儲、資料探勘與巨量資料分析系統 (Data Warehouse、Data Mining、Big Data Analytic sys...
資訊管理 CH6 資料倉儲、資料探勘與巨量資料分析系統 (Data Warehouse、Data Mining、Big Data Analytic sys...資訊管理 CH6 資料倉儲、資料探勘與巨量資料分析系統 (Data Warehouse、Data Mining、Big Data Analytic sys...
資訊管理 CH6 資料倉儲、資料探勘與巨量資料分析系統 (Data Warehouse、Data Mining、Big Data Analytic sys...
 
20151016 中興大學 big data + machine learning
20151016 中興大學 big data + machine learning20151016 中興大學 big data + machine learning
20151016 中興大學 big data + machine learning
 
IT445_Week_11.pdf
IT445_Week_11.pdfIT445_Week_11.pdf
IT445_Week_11.pdf
 
Datablau Overall.pdf
Datablau Overall.pdfDatablau Overall.pdf
Datablau Overall.pdf
 
Oceanus, a social listening/ social software company
Oceanus, a social listening/ social software companyOceanus, a social listening/ social software company
Oceanus, a social listening/ social software company
 
淺談台灣巨量資料產業供應鏈串聯現況
淺談台灣巨量資料產業供應鏈串聯現況淺談台灣巨量資料產業供應鏈串聯現況
淺談台灣巨量資料產業供應鏈串聯現況
 
Introduction of libraries' big data in China
Introduction of libraries' big data in ChinaIntroduction of libraries' big data in China
Introduction of libraries' big data in China
 
[相濡以沫] 非營利組織裡的網站企劃
[相濡以沫] 非營利組織裡的網站企劃[相濡以沫] 非營利組織裡的網站企劃
[相濡以沫] 非營利組織裡的網站企劃
 
Hadoop 生態系十年回顧與未來展望
Hadoop 生態系十年回顧與未來展望Hadoop 生態系十年回顧與未來展望
Hadoop 生態系十年回顧與未來展望
 
How Enterprises Leverage Data to Overcome Business Challenges During Coronavirus
How Enterprises Leverage Data to Overcome Business Challenges During CoronavirusHow Enterprises Leverage Data to Overcome Business Challenges During Coronavirus
How Enterprises Leverage Data to Overcome Business Challenges During Coronavirus
 
Realtime analytics with Flink and Druid
Realtime analytics with Flink and DruidRealtime analytics with Flink and Druid
Realtime analytics with Flink and Druid
 
Bigdata bizoppor
Bigdata bizopporBigdata bizoppor
Bigdata bizoppor
 
20150206 aic machine learning
20150206 aic machine learning20150206 aic machine learning
20150206 aic machine learning
 
2016 Ideas Hakathon_EC Decision
2016 Ideas Hakathon_EC Decision2016 Ideas Hakathon_EC Decision
2016 Ideas Hakathon_EC Decision
 
資料如何幫助產品決策
資料如何幫助產品決策資料如何幫助產品決策
資料如何幫助產品決策
 
LnData NMEA 簡介
LnData NMEA 簡介LnData NMEA 簡介
LnData NMEA 簡介
 
Working experience report _201903
Working experience report _201903Working experience report _201903
Working experience report _201903
 
IA 資訊架構(講義) , 2011
IA 資訊架構(講義) , 2011IA 資訊架構(講義) , 2011
IA 資訊架構(講義) , 2011
 
Pzaar Bp 20091021
Pzaar Bp 20091021Pzaar Bp 20091021
Pzaar Bp 20091021
 
N世代情報收集術
N世代情報收集術N世代情報收集術
N世代情報收集術
 

當資料科學家不須花大量時間蒐集/清洗數據-2015 R Taiwan研討會分享