More Related Content Similar to 資料科學的第一堂課 Data Science Orientation (20) More from Ryan Chung (20) 資料科學的第一堂課 Data Science Orientation3. 資策會 IT Training Center
² 最新科技進修
Ø 在職夜間假日進修
Ø 轉職全天養成班
² 資訊技術充電站
Ø 國際技術趨勢
Ø 職場必備能力
Ø 基本資訊技能
http://taipei.iiiedu.org.tw/
3
4. 未來之星 – 菁英培育計畫
• 台灣大學
• 中山大學
• 中央大學
• 元智大學
• 金門大學
• 東華大學
• 暨南大學
• 長榮大學
• 逢甲大學
• 。。。 http://elite.iiiedu.org.tw/
4
7. Microsoft Professional Program
Data Science
• T-SQL
• Excel
• Power BI
• Python
• R
• Azure Machine Learning
• HDInsight
• Spark
Big Data
• Azure Data Lake
• Hadoop
• HDInsight
• Spark
• Azure Data Factory
• Azure Stream Analytics
Front-end Web
Development
• HTML
• CSS
• JavaScript
• Angular
• jQuery
• DevOps
https://academy.microsoft.com
7
8. 資料科學 -> 大數據 -> 人工智慧
1.依工作專業需求規劃
2.搭配 Hands-on lab 和實務專題
3.完成課程可加購數位認證(非必要)
4.擁抱開源,適用於不同平台的資料科學技能
https://technews.tw/2017/09/04/microsoft-tmu-ai-plan/
8
19. Working with Data in Excel
l 匯入資料方式
Ø 文字檔
Ø 資料庫
Ø …
l 資料欄位型別確認
Ø 標頭
Ø 屬性
Ø 分隔
l 新增欄位(Sales、Weekday、Revenue)
l 資料整理
Ø 刪除重覆資料
Ø 缺失值
19
20. Exploring Data in Excel
l 設定格式化的條件
Ø 資料橫條(Data Bars)
Ø 色階(Color Scale)
Ø 圖示(Icon Set)
Ø 頂端底端規則(Top10、Button10)
l 插入圖表
Ø 折線圖(High/Low Points)
Ø 直條圖
20
46. 購買證照序號
• 付款方式
–信用卡 / 匯款 / 現金
–台北市復興南路一段390號2樓
• 價格
–原價台幣NT$3,200
–不定期優惠
https://www.slideshare.net/ryan/xopenedxiiieduorgtw
46
53. 文字探勘流程
Data Source
Data Storage
Data Pre-processing
Data Analysis
· 使用爬蟲程式抓取想分析的資料
· 將取得的資料儲存於分散式檔案系統
· 使用元件: Solr
· 將資料去除特殊符號以及不必要的URL
· 使用元件: Spark、Pandas
· 將資料做TFIDF計算每個字詞的權重
· 使用元件: Spark、Scikit-learn
Data visualization
· 將資料做分析並產出預測結果
· 使用元件: Tableau、文字雲服務
Data Processing
· 將前處理後的字詞作分詞
· 使用元件: Jieba
Source : 資策會系統所巨資中心
53
55. 基本統計
PIN Freq PIN Freq
#1 1234 10.71% #9980 8557 0.00%
#2 1111 6.02% #9981 9047 0.00%
#3 0000 1.88% #9982 8438 0.00%
#4 1212 1.20% #9983 0439 0.00%
#5 7777 0.75% #9984 9539 0.00%
#6 1004 0.62% #9985 8196 0.00%
#7 2000 0.61% #9986 7063 0.00%
#8 4444 0.53% #9987 6093 0.00%
#9 2222 0.52% #9988 6827 0.00%
#10 6969 0.51% #9989 7394 0.00%
#11 9999 0.45% #9990 0859 0.00%
#12 3333 0.42% #9991 8957 0.00%
#13 5555 0.40% #9992 9480 0.00%
#14 6666 0.39% #9993 6793 0.00%
#15 1122 0.37% #9994 8398 0.00%
#16 1313 0.30% #9995 0738 0.00%
#17 8888 0.30% #9996 7637 0.00%
#18 4321 0.29% #9997 6835 0.00%
#19 2001 0.29% #9998 9629 0.00%
#20 1010 0.29% #9999 8093 0.00%
⋯⋯ ⋯⋯ #10000 8068 0.00%
「2580」名列第22 ?
不意外!
1234, 1111, 0000, 1212, 7777
55
61. 相關資訊
• 微軟x資策會 - 資料科學家線上學習
– https://openedx.iiiedu.org.tw
• 未來之星 – 菁英培育計畫
– http://elite.iiiedu.org.tw/
• FB社團 – 大學生的資訊充電站
– https://www.facebook.com/groups/846979765403349/
• FB粉絲團 – 行動開發學院
– https://www.facebook.com/mobiledev.tw/
61