Recommended
More Related Content
Viewers also liked
Viewers also liked (7)
Similar to 影音大數據商機挖掘
Similar to 影音大數據商機挖掘 (14)
More from Albert Y. C. Chen
More from Albert Y. C. Chen (10)
影音大數據商機挖掘
- 1. 影音大數據商機挖掘 Albert Y. C. Chen, Ph.D. Vice President, R&D Viscovery
- 2. Albert Y. C. Chen, Ph.D. 陳彥呈 博士 • 經歷 2017 迄今：Viscovery 研發副總裁 2015–2017：Viscovery 首席科學家 2015–2015：美國 Nervve Technologies 主任科學家 2013–2014：美國 Tandent Vision Science 電腦視覺科學家 2011–2012：美國 GE Global Research 研發人員 • 學歷 美國 紐約州立大學水牛城分校 Computer Science 博士 國立台灣師範大學 Computer Science 碩士 國立清華大學 Computer Science 學士
- 3. Viscovery = Video Discovery Optical Character Recognition Offline Recognition 2013 2014 Product Recognition 2015 Video Content related Advertisements 2017 Wearable Devices Video Content Discovery & Interaction 2016 影音內容自動辨識與商機挖掘的先驅
- 4. 媒體與影視產業面臨的挑戰 • 網際網路時代商業模式：內容免費，流量加倍，營收就會跟 著翻倍？ • 此商業模式運行近20年，受益的僅Google和Facebook。 全球數位廣告營收，他們掌握現階段75%的市場，以及未來 99%的成長。 • 這商業模式還玩得下去嘛？矽谷最新的「獨角獸」，多已不 再遵照這規則。
- 7. 人們願意付費收看優質內容
- 8. 好的內容，不僅限於原生內容 好的聚合與推薦同樣有價值 • News Republic (2016年8月被以 57M usd 收購) • 每日活躍用戶數：1250萬人。 • 年營收6萬美金。 • 今日頭條 (toutiao.com) • 每日活躍用戶數：8000萬人。 • 年營收10億美金。
- 9. 自營平台，或授權Google、 Facebook以外的第三方平台？ • 自營平台： • 對會員服務、營收佔比有更多控制。 • 授權內容予第三方平台： • 專注於內容製作，減少軟體開發、IT維護、客戶服務的成 本。
- 10. 案例研究：Netflix • Netflix每年花2.5億美金在「個人化影音內容推薦 」的研發 上。 • 全球1億個用戶，美國5200萬個用戶（美國市佔#1 ，第二 名的Youtube僅52%）。 • Netflix用戶每月觀影19天，每月平均看28小時影片（美國 市佔#2，次於Dish衛星電視的48小時）。
- 14. 影音內容 流量→營收 的轉換 掙扎的傳統媒體 內容免費 廣告營收 內容收費 會員收費 2000 2005 2010 維持現狀 坐以待斃 提昇廣告收益? Ad Tech now 影音內容 關連廣告 自營平台 共享平台 聚合授權 影音內容 關連推薦 (提昇用戶體驗與黏度) 影音大數據挖掘
- 15. 影音辨識量 vs 變現方式 • 影片辨識成本非常高。 Google每項辨識服務的 定價$1.5/1000張圖，一 小時影片=3600秒，每秒 辨識一張，需$5.4。 • 影片儲存、辨識結果儲存 、辨識結果進行分析的成 本很高。 • 需要有「一邊辨識一邊賺 錢」的business model 。 0 2.5 5 7.5 10 12.5 電商導購 單劇廣告成效 劇集廣告成效分析 關連廣告 (直投) 關連廣告 (程序) 影音大數據 辨識影片量 (10^N)
- 16. 影音內容關連 電商導購
- 17. 影音內容關連廣告 Previous moment: dining scene Insert Food Deliver Service ad Next Moment: dining scene 饿了吗？快点饿了么！ Food Delivery Service Ad: Previous moment: dining scene Insert KFC ad Next second: dining scene 炸鸡红包快来抢 ！ Restaurant Ad:
- 18. 影音內容關連廣告 Previous moment: driving scene Insert Automobile ad Next moment: driving scene Automobile Ad: Consumer Electronics Ad:
- 19. 影音內容關連 影片推薦
- 20. 影音大數據分析 Viscovery’s video insight publication on “Ode to Joy 2”
- 21. 影音內容變現 願景雖好，技術障礙卻非常高 周杰倫唱 A 跳著 B 穿著 C 戴著 D 在 E 場景前於 F 時間? • 距離全面了解影音內容的「強AI」，還有很大距離。 • 未完美之前，就什麼事情都不能做了嘛？
- 22. 過去50年逐個成熟的電腦視覺應用 • 1960至今：AOI 光學檢測 • 1970至今：指紋辨識 • 1980至今：車牌辨識 • 1990至今：醫療影像 • 2000至今：人臉識別 • 2010至今：自動駕駛
- 23. 當前的AI影音辨識技術到哪了？ 人臉辨識 • 1 to 1: 99%+ • 1 to 100: 90% • 1 to 10,000: 50%-70%. • 1 to 1M: 30%. LFW dataset, common FN↑, FP↓
- 24. 當前的AI影音辨識技術到哪了？ 場景辨識 • MIT Places 365 dataset. • top-5 accuracy rates >85%.
- 25. 當前的AI影音辨識技術到哪了？ 物件辨識 • ImageNet Large Scale Visual Recognition Challenge (ILSVRC) • 1000+ classes, 1.2M images. 0 0.125 0.25 0.375 0.5 11 12 13 14 11 12 13 14 classification error classification +localization error
- 27. 通用型 AI vs 專門辨識影音內容商機之 AI TOP 5 TAGS COMPARISON TAG AD PLACEMENT VALUE TAG AD PLACEMENT VALUE Person Low Coulee Nazha (actress) High Anime Low Sean Sun (actor) High Screenshot Low Back of smartphone High Cartoon Low Female Medium Adult Medium Young Medium “FIRST LOVE” DRAMA SERIES SCENE TOP 5 TAGS COMPARISON TAG (Man’s Face) AD PLACEMENT VALUE TAG AD PLACEMENT VALUE Age: 32 Medium Necklace High Asian Medium Baseball cap High Male Medium Bracelet High Not smiling Low (inaccurate) Ziwen Wang High
- 28. 經典問題一：高維度的詛咒 坐 ze sit って 앉다 sentarse • 變數量 vs 樣本量。新手解題時變數量往往遠大於樣本量 ，以致於即便是最強大的機器學習理論，同樣無解。
- 29. 例1: 違規停車偵測 合法停車影像樣本 x100 違規停車樣本 x100 我們來訓練一個150層的 Res-Net 吧!!! 應該沒什麼能出錯的地方吧？
- 30. 例2: 利用Google Cloud Vision API辨識結果做智慧型相簿
- 31. 例2: 利用Google Cloud Vision API辨識結果做智慧型相簿 一個能辨識百萬類別標籤的分類器，任意兩張 圖片之間的標籤相似度，平均近乎0。
- 33. 各種角度的明星臉都要識別 • 大幅提升辨識海量視頻人臉的效率與實測準確率 搜圖、篩圖、補 圖 人臉模型訓練 人臉偵測 ＋人臉辨識 傳統人臉識別 3.25 小时 / 人 24 hr 3 min Viscovery 2 分钟 / 人 不需訓練模型 5 min • 僅需單張劇照即可建立高精度人臉模型。 • 配搭之「明星劇照爬蟲系統」上線整合。
- 35. 不僅僅是物件識別... 品牌、型號... 高階 畫面中有車 這有車 這有台BMW 這有台BMW M3 Clarifai Metamind (客製，沒有自己的數據） Viscovery (Mission Impossible 5 電影畫面) SenseTime (僅限汽車)Cortexica CloudSight Cortica (單張影像) 現行比對技術 VDS比對技術 • 克服影片中品牌 、商標，受到遮 擋、光影、過小 、非平面等等會 導致辨識失敗的 因素。 低階
- 36. 物件、品牌、型號 • 一個電商通常會有>100萬SKU的商品。 • 一天可能>20萬SKU內容會有所變動，每20分鐘架上商品就 會更新一次。 • 跟1000類訓練問題相比，所需數據量暴增，training成本亦 暴增。此外，更新很快時，不可能一直重train、一直fine- tune、甚至用transfer-learning手段解決。 • 有些類別，如「女裝」的識別，是個非常大的坑。
- 37. 取景角度頻繁切換的場景識別
- 38. 情緒、抽象性概念識別
- 39. 辨識結果整合、概念關連 目的：透過索取得知tags推測其他「應共同存在tags」。 • Dataset：Shutterstock •＃ classes：7392 •＃samples：19,362,404 (and growing)
- 40. 內容關連廣告推薦 商业模式 上傳影片 内容辨識 廣告推薦 廣告預覽與投遞
- 41. 影音內容關連廣告要做得好，還需跟 合作夥伴建立反饋機制，長期累積 60 mins0 mins 服飾 汽車 代言人 聚會 手機 居家 z CTR: 0.2% 60 mins0 mins 旅遊 活力 汽車 工作 聊天 z 60 mins0 mins 學習 僅用「具體」標籤做內容 廣告關連推薦 CTR: 0.9% CTR: 2.0% z z 智慧手機廣告 用「具體」與「情緒、 抽象」標籤推薦 具體、情緒、抽象推薦，加上 點擊反饋學習 客廳 歡樂客廳 聊天工作手機 代言人 歡樂旅遊
- 42. 不僅是辨識技術的問題 更是整個系統架構的挑戰 Unstructured videos 廣告主 DSP SSP 廣代 媒代 DMP Viscovery SDK 互動層Ad Exchange 廣告板位 (Key moment) Categories Users User segment Viscovery Server Video id and key moments Publishers Video crawler VSP ranking system One video w/ its id Categories User profile From DMP or publishers Asynchronous processes Filter Recommander engine Category of ad Tracking Server 監控鏈結(互動層)之資訊 監控鏈結(互動層)之 資訊 6 53 2 14 vad.json Tag2AD expensive cheaper ad request vtag.raw vtag.raw Database Engine api api VDSAgent web api web api ad op Video id Key moment AD category https://vsp.viscovery.com/ 與現行廣告生態系統串接
- 43. 辨識系統 減少非必要效能損耗
- 44. 辨識核心調校
- 45. 還有很多坑，要不斷試錯，才能找 到正確的business model • 置入廣告成效報告怎麼賣？ • 說實話潑冷水 vs 從另個角度鼓勵品牌主贊助！ • 鑑黃與暴恐識別，對平台來來說只是loss leader？ • 換個人出錢，向品牌主打brand safety！ • 女裝識別研發曠日廢時，無法做電商導購？ • 改向服飾專門店提供虛擬試衣服務？