More Related Content
Similar to Data pipeline 101 (20)
More from Bryan Yang (15)
Data pipeline 101
- 12. 管線需求及設計考量(一)功能面
● 延遲 需要即時處理還是批次處理?
● 資料正確性 最少一次 僅此一次?資料順序?
● 高可用性 容錯、
● 障礙排除所需時間?能不能支援版本回滾?
● 紀錄任務進行時間
● 防止錯誤資料進入生產環境
● 資源監控 能否簡單監控甚至預測所需資源?
● 易於開發 部署 符合你們主要的開發語言?
● 方便維運 自動化的維運工具
- 30. 其他
● 減少熱點 像是 運算單元 資料倉儲
● 規劃資源
● 訂立資安政策 誰可以碰到 資料
● 規劃升級方式
- 52. 補充
● 以最後產出 為單位來切割 :
○ 優點:方便管理和確認當前有多少 產出的資料
○ 缺點: 之間的 難以管理( 管理 )
● 以資料源或是 來切割 ,一個 裡面包含所有相關連的資料
以及產出:
○ 優點:方便觀察每個 產出 之間的關聯,如果需要回溯也會比較方便。