We reshaped user's behavior into a word, transformed past sequential behavior into a sentence, and applied Natural Language Processing(NLP) model. Results showed that the application of NLP on user's sequntial behavior was successful.

1. User’s Sequential Behavior Modeling
How we used in Cathay Financial Holdings
Speaker@DataConf.TW2019: Ta-Chun Su

2. Agenda
01 The importance of Sequential Behavior Information
✦ Behavior
✦ Sequence
02 NLP: World of word embedding
04 Case- CIP
✦ Advanced Preprocessing- How we define “word”
✦ Modeling
✦ Preprocessing- How we define “word”
✦ Visualization
03 Case- MyRewards
✦ Embedding- Better representations of a word
✦ Application- 1. Visualization
2. Modeling

3. Agenda
02 NLP: World of word embedding
04 Case- CIP
✦ Advanced Preprocessing- How we define “word”
✦ Modeling
✦ Preprocessing- How we define “word”
✦ Visualization
03 Case- MyRewards
✦ Embedding- Better representations of a word
01 The importance of Sequential Behavior Information
✦ Application- 1. Visualization
2. Modeling
✦ Behavior
✦ Sequence

4. 什什麼是⾏行行為序列列
Timeline
2018-10-30 20:38
在 MOMO 消費 195 元
2019-08-07 17:45
進線客服: 信⽤用卡異異常
2019-08-07 08:41
在 Uber 消費 185 元
2019-08-07 16:39
在星巴克信義店消費
授權失敗
2018-04-30 12:11
客訴網路路當機
2018-01-23 15:11
官網購買長榮機票
2017-9-23 01:42
官網點擊長榮機票
2017-9-25 17:24
官網點擊長榮機票

5. 跨集團產品推薦 數位資料
客服進線
風險預警
電商
物流
什什麼場景需要⾏行行為序列列
…
…

6. 模型訓練⽅方式
男 20 是 … 2 0 1 … 1 … 熱拿鐵
男 21 否 … 4 2 1 … 1 … 茶茶葉蛋
女 22 是 … 0 1 1 … 1 … 茶茶葉蛋
女 35 是 … 1 1 0 … 0 … 85度c
性別 年年紀
商品的歷史兌換次數
(one-hot encoding)
Y…
茶茶葉蛋熱拿鐵 冰拿鐵養樂多
過去N天
是否兌換

7. 歷史訊息彙總類變數
1. 易易造成維度過⾼高問題
2. 看不出: ⾏行行為(商品)之間的關聯聯性
3. 看不出: ⽤用⼾戶⾏行行為序列列間的關聯聯性
1-of-N Encoding問題

8. ⾏行行為之間的關聯聯性
Timeline
⼩小韓
⼩小英

9. ⾏行行為之間的關聯聯性
Timeline
⼩小韓
⼩小英
2019-08-07 18:31

10. ⾏行行為之間的關聯聯性
Timeline
⼩小韓
⼩小英
2019-08-07 19:022019-08-07 18:31

11. ⾏行行為之間的關聯聯性
Timeline
⼩小韓
⼩小英
2019-08-07 22:012019-08-07 19:022019-08-07 18:31

12. ⾏行行為之間的關聯聯性
Timeline
⼩小韓
⼩小英
2019-08-07 22:012019-08-07 19:022019-08-07 18:31
2019-08-07 17:41

13. ⾏行行為之間的關聯聯性
Timeline
⼩小韓
⼩小英
2019-08-07 22:012019-08-07 19:022019-08-07 18:31
2019-08-07 18:532019-08-07 17:41

14. ⾏行行為之間的關聯聯性
Timeline
⼩小韓
⼩小英
2019-08-07 22:012019-08-07 19:022019-08-07 18:31
2019-08-07 18:53 2019-08-07 21:552019-08-07 17:41

15. ⾏行行為之間的關聯聯性
Timeline
⼩小韓
⼩小英
2019-08-07 22:012019-08-07 19:022019-08-07 18:31
2019-08-07 18:53 2019-08-07 21:552019-08-07 17:41

16. ⼩小韓
⾏行行為序列列間的關聯聯性: 以⾏行行動⽀支付為例例
1/29 1/311/301/30
收到轉帳款項
收到轉帳款項修改帳⼾戶資訊更更改⽤用⼾戶⼤大頭貼 轉出款項
Timeline
⼩小明

17. ⼩小韓
⾏行行為序列列間的關聯聯性: 以⾏行行動⽀支付為例例
1/29 1/311/301/30
收到轉帳款項
收到轉帳款項修改帳⼾戶資訊更更改⽤用⼾戶⼤大頭貼 轉出款項
Timeline
⼩小明

18. ⾏行行為序列列很重要

19. ⾏行行為序列列很重要
如何萃取⾏行行為意義

20. Agenda
01 The importance of Sequential Information
✦ Behavior
✦ Sequence
02 NLP: World of word embedding
04 Case- CIP
✦ Advanced Preprocessing- How we define “word”
✦ Modeling
✦ Preprocessing- How we define “word”
✦ Visualization
03 Case- MyRewards
✦ Embedding- Better representations of a word
✦ Application- 1. Visualization
2. Modeling

21. [1, 0, 0, 0, 0, 0, 0, …, 0]
[0, 1, 0, 0, 0, 0, 0, …, 0]
[0, 0, 1, 0, 0, 0, 0, …, 0]
[0, 0, 0, 1, 0, 0, 0, …, 0]
[0, 0, 0, 0, 1, 0, 0, …, 0]
catapple wordv
過去：定義⽂文字向量量

22. [1, 0, 0, 0, 0, 0, 0, …, 0]
[0, 1, 0, 0, 0, 0, 0, …, 0]
[0, 0, 1, 0, 0, 0, 0, …, 0]
[0, 0, 0, 1, 0, 0, 0, …, 0]
[0, 0, 0, 0, 1, 0, 0, …, 0]
catapple wordv
過去：定義⽂文字向量量 現在：Word Embedding

23. Hottest Pre-trained
Embedding Method
BERT ELMO
XLNETMT − DNN
Word2Vec
ERNIE

24. Hottest Pre-trained
Embedding Method
BERT ELMO
XLNETMT − DNN
Word2Vec
ERNIE

25. Word2Vec

26. Word2Vec

27. Word2Vec

28. Pre-trained
Word Embedding

29. 1. Visualization 2. Modeling
Convolutional Neural Networks for Sentence Classification
Word embedding 應⽤用

30. Agenda
01 The importance of Sequential Information
✦ Behavior
✦ Sequence
02 NLP: World of word embedding
04 Case- CIP
✦ Advanced Preprocessing- How we define “word”
✦ Modeling
✦ Preprocessing- How we define “word”
✦ Visualization
03 Case- MyRewards
✦ Embedding- Better representations of a word
✦ Application- 1. Visualization
2. Modeling

31. ⼀一篇⽂文章
韓國 氣象廳 表⽰示 ， 康芮
在 沖繩 東南⽅方 1080 公⾥里里
附近 海海上 ， 以 時速 20
公⾥里里 的 速度 ， 往 ⻄西北
偏⻄西 ⽅方向 移動
⼀一連串串的序列列⾏行行為
點擊商品茶茶葉蛋
點擊商品紅茶茶拿鐵
我要兌換紅茶茶拿鐵
我要送禮紅茶茶拿鐵

32. !19
韓國 氣象廳 表⽰示 ， 康芮
在 沖繩 東南⽅方 1080 公⾥里里
附近 海海上 ， 以 時速 20
公⾥里里 的 速度 ， 往 ⻄西北
偏⻄西 ⽅方向 移動
點擊商品茶茶葉蛋
點擊商品紅茶茶拿鐵
我要兌換紅茶茶拿鐵
我要送禮紅茶茶拿鐵
⼀一篇⽂文章 ⼀一連串串的序列列⾏行行為

33. !19
韓國 氣象廳 表⽰示 ， 康芮
在 沖繩 東南⽅方 1080 公⾥里里
附近 海海上 ， 以 時速 20
公⾥里里 的 速度 ， 往 ⻄西北
偏⻄西 ⽅方向 移動
點擊商品茶茶葉蛋
點擊商品紅茶茶拿鐵
我要兌換紅茶茶拿鐵
我要送禮紅茶茶拿鐵
透過前後⽂文，
描述詞語間的關聯聯性:
Word Embedding
⼀一篇⽂文章 ⼀一連串串的序列列⾏行行為

34. !19
韓國 氣象廳 表⽰示 ， 康芮
在 沖繩 東南⽅方 1080 公⾥里里
附近 海海上 ， 以 時速 20
公⾥里里 的 速度 ， 往 ⻄西北
偏⻄西 ⽅方向 移動
點擊商品茶茶葉蛋
點擊商品紅茶茶拿鐵
我要兌換紅茶茶拿鐵
我要送禮紅茶茶拿鐵
透過前後⽂文，
描述詞語間的關聯聯性:
Word Embedding
透過前後⾏行行為，
描述⾏行行為間的關聯聯性:
Behavior Embedding
⼀一篇⽂文章 ⼀一連串串的序列列⾏行行為

35. 紅茶茶
紅茶茶 茶茶葉蛋
紅茶茶
85度c
50元飲料任選
85度c
50元飲料任選
熱拿鐵
熱拿鐵
Haagen-dazs
迷我杯
原燒套餐券
茶茶葉蛋熱拿鐵
養樂多
紅茶茶
熱拿鐵
定義⽂文本
Timeline
Corpus
window=2, min_count=2, size=100, negative=50

36. 紅茶茶
紅茶茶 茶茶葉蛋
紅茶茶
85度c
50元飲料任選
85度c
50元飲料任選
熱拿鐵
熱拿鐵
Haagen-dazs
迷我杯
原燒套餐券
茶茶葉蛋熱拿鐵
養樂多
紅茶茶
熱拿鐵
Item Sequences
定義⽂文本
Corpus
window=2, min_count=2, size=100, negative=50

37. MR2V
MR2V
Item
Vectors
Dimensions (4 dim)
[
[
[
[
[
[
[
[
[
[
window=2, min_count=2, size=100, negative=50

38. Agenda
01 The importance of Sequential Information
✦ Behavior
✦ Sequence
02 NLP: World of word embedding
04 Case- CIP
✦ Advanced Preprocessing- How we define “word”
✦ Modeling
✦ Preprocessing- How we define “word”
✦ Visualization
03 Case- MyRewards
✦ Embedding- Better representations of a word
✦ Application- 1. Visualization
2. Modeling

39. Visualization-
Top 10 similar item

40. Visualization-
Top 10 similar item

41. Visualization-
Top 10 similar item

42. Agenda
01 The importance of Sequential Information
✦ Behavior
✦ Sequence
02 NLP: World of word embedding
04 Case- CIP
✦ Advanced Preprocessing- How we define “word”
✦ Modeling
✦ Preprocessing- How we define “word”
✦ Visualization
03 Case- MyRewards
✦ Embedding- Better representations of a word
✦ Application- 1. Visualization
2. Modeling

43. 預測目的
幫助客服專員解決服務的三個痛點
客戶問題描述不清
繁雜問題常進線客服
客戶進線缺乏耐心
客戶不熟銀行業務易誤用詞彙
應對複雜的熱門商品
93% 進線客服為信用卡業務
客戶最為關心信用卡帳務
通話服務及時間壓力
法規: 80 % 進線須於 30 秒內接起
時常要安撫客戶情緒
員工流動率高、培訓成本增

44. 2018-10-30 20:38
在 MOMO 消費 195 元
2019-08-07 17:45
進線客服: 信⽤用卡異異常
2019-08-07 08:41
在 新光三越 消費 104 元
2019-08-07 16:39
在星巴克信義店消費授權失敗
2018-10-18 20:38
進線客服申請信⽤用卡掛失
2018-10-12 15:19
信⽤用卡開卡
2018-10-01 18:41
在好市多消費 2145 元
2018-10-02 09:23
在新光三越消費 184 元
假設：有因有果

45. ⾦金金控客⼾戶歷程

47. 2018-06-22 13:57:12
在信義分⾏行行開立台幣存款帳⼾戶
2018-06-11 20:38:07
在 ATM 從台幣存款帳
⼾戶提款 3,000 元
2018-06-13 15:19:28
透過業務⼈人員詢問防癌保險的投保資訊
2018-06-05 09:23:58
進線客服中⼼心申請信⽤用卡掛失
2018-06-18 10:38:40
⽤用樹精靈買進國泰⾦金金股票 55,100 元
建立以客⼾戶為中⼼心的
歷程資料

48. 如何⽤用在客服進線

49. 如何⽤用在客服進線
⾸首先要知道怎麼把⾏行行為定義成⽂文字

50. 千千萬萬種⾏行行為
2018-10-30 20:38
在 MOMO 消費 195 元
2019-08-07 17:45
進線客服: 信⽤用卡異異常
2019-08-07 08:41
在 Uber 消費 185 元
2019-08-07 16:39
在星巴克信義店消費
授權失敗
2018-10-18 20:38
在新光三越消費 184 元
2018-10-12 15:19
KOKO信⽤用卡開卡
2018-10-01 18:41
在好市多消費 2145 元
2018-10-02 09:23
信義分⾏行行ATM提款777元
…
2018-04-30 12:11
台幣存款99元
2018-01-23 15:11
在新光三越消費499元
2017-9-23 01:42
官網瀏覽長榮機票
2017-9-25 17:24
在全家繳信⽤用卡帳單200元
Timeline

51. Initialized
Word Embedding
Dimemb
Word Vector
0.12 0.32 0.67 0.71 0.54 0.23
0.11 0.67 0.91 0.25 0.12
0.42 0.54 0.44 0.11 0.87 0.24 0.32
0.34 0.22 0.35 0.54 0.11
0.56 0.11 0.58 0.23 -0.12 0.91 0.22
0.24 0.34 0.34 0.39 0.31 0.69
0.67 0.56 0.56 0.55 0.91
…
0.23 0.54 0.93 0.23 0.56 0.67
0.51 0.22 0.68 0.67 0.77 0.91 0.34
在 MOMO 消費 195 元
在 Uber 消費 185 元
在星巴克信義店授權失敗
在新光三越消費 184 元
在好市多消費 2145 元
…
在 MOMO 消費 299 元
在新光三越消費 499元
官網瀏覽長榮機票
在全家繳信⽤用卡帳單200元
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[

52. 如果有Ｎ筆⾏行行為，Ｎ筆⽂文字向量量是好的嗎

53. Case1
Dimemb
Word Vector
0.12 0.32 0.67 0.71 0.54 0.23
0.11 0.67 0.91 0.25 0.12
0.42 0.54 0.44 0.11 0.87 0.24 0.32
0.34 0.22 0.35 0.54 0.11
0.56 0.11 0.58 0.23 -0.12 0.91 0.22
0.24 0.34 0.34 0.39 0.31 0.69
0.67 0.56 0.56 0.55 0.91
…
0.23 0.54 0.93 0.23 0.56 0.67
0.51 0.22 0.68 0.67 0.77 0.91 0.34
在 MOMO 消費 195 元
在 Uber 消費 185 元
在星巴克信義店授權失敗
在新光三越消費 184 元
在好市多消費 2145 元
…
在 MOMO 消費 299 元
在新光三越消費 499元
官網瀏覽長榮機票
在全家繳信⽤用卡帳單200元
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[

54. Case1
Dimemb
Word Vector
0.12 0.32 0.67 0.71 0.54 0.23
0.11 0.67 0.91 0.25 0.12
0.42 0.54 0.44 0.11 0.87 0.24 0.32
0.34 0.22 0.35 0.54 0.11
0.56 0.11 0.58 0.23 -0.12 0.91 0.22
0.24 0.34 0.34 0.39 0.31 0.69
0.67 0.56 0.56 0.55 0.91
…
0.23 0.54 0.93 0.23 0.56 0.67
0.51 0.22 0.68 0.67 0.77 0.91 0.34
在 MOMO 消費 195 元
在 Uber 消費 185 元
在星巴克信義店授權失敗
在新光三越消費 184 元
在好市多消費 2145 元
…
在 MOMO 消費 299 元
在新光三越消費 499元
官網瀏覽長榮機票
在全家繳信⽤用卡帳單200元
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[

55. Case2
Dimemb
Word Vector
0.12 0.32 0.67 0.71 0.54 0.23
0.11 0.67 0.91 0.25 0.12
0.42 0.54 0.44 0.11 0.87 0.24 0.32
0.34 0.22 0.35 0.54 0.11
0.56 0.11 0.58 0.23 -0.12 0.91 0.22
0.24 0.34 0.34 0.39 0.31 0.69
0.67 0.56 0.56 0.55 0.91
…
0.23 0.54 0.93 0.23 0.56 0.67
0.51 0.22 0.68 0.67 0.77 0.91 0.34
台灣銀⾏行行提款199 元
國泰世華銀⾏行行提款199元
富邦銀⾏行行提款199元
⽟玉⼭山銀⾏行行提款199元
…
⼟土地銀⾏行行提款199 元
台新銀⾏行行提款199元
華南銀⾏行行提款199 元
花旗銀⾏行行提款199 元
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
王道銀⾏行行提款199元

56. 怎麼把⾏行行為定義成好的⽂文字

57. 如何定義⽂文字
在 MOMO 消費 195 元
在 Uber 消費 185 元
在星巴克信義店授權失敗
在新光三越消費 184 元
在好市多消費 2145 元
在 MOMO 消費 299 元
在新光三越消費 499元
官網瀏覽長榮機票
在全家繳信⽤用卡帳單200元
2019-08-07 08:41
2019-08-07 08:41
2019-08-07 08:41
2019-08-07 08:41
2019-08-07 08:41
2019-08-07 08:41
2019-08-07 08:41
2019-08-07 08:41
2019-08-07 08:41
在 其他 消費 3位數
在 Uber 消費 3位數
在星巴克授權失敗
在新光三越消費 3位數
在好市多消費 4位數
在 其他 消費 3位數
在新光三越消費 3位數
官網瀏覽長榮機票
在全家繳帳單3位數
原⾏行行為歷程表⽰示 顆粒度重整-1 顆粒度重整-2
在 MOMO 消費 3位數
在 Uber 消費 3位數
在星巴克信義店授權失敗
在新光三越消費 3位數
在好市多消費 4位數
在 MOMO 消費 3位數
在新光三越消費 3位數
官網瀏覽長榮機票
在全家繳信⽤用卡帳單3位數

58. 如何定義⽂文字
在 MOMO 消費 195 元
在 Uber 消費 185 元
在星巴克信義店授權失敗
在新光三越消費 184 元
在好市多消費 2145 元
在 MOMO 消費 299 元
在新光三越消費 499元
官網瀏覽長榮機票
在全家繳信⽤用卡帳單200元
2019-08-07 08:41
2019-08-07 08:41
2019-08-07 08:41
2019-08-07 08:41
2019-08-07 08:41
2019-08-07 08:41
2019-08-07 08:41
2019-08-07 08:41
2019-08-07 08:41
在 其他 消費 3位數
在 Uber 消費 3位數
在星巴克授權失敗
在新光三越消費 3位數
在好市多消費 4位數
在 其他 消費 3位數
在新光三越消費 3位數
官網瀏覽長榮機票
在全家繳帳單3位數
原⾏行行為歷程表⽰示 顆粒度重整-1 顆粒度重整-2
在 MOMO 消費 3位數
在 Uber 消費 3位數
在星巴克信義店授權失敗
在新光三越消費 3位數
在好市多消費 4位數
在 MOMO 消費 3位數
在新光三越消費 3位數
官網瀏覽長榮機票
在全家繳信⽤用卡帳單3位數

59. 如何定義⽂文字
在 MOMO 消費 195 元
在 Uber 消費 185 元
在星巴克信義店授權失敗
在新光三越消費 184 元
在好市多消費 2145 元
在 MOMO 消費 299 元
在新光三越消費 499元
官網瀏覽長榮機票
在全家繳信⽤用卡帳單200元
2019-08-07 08:41
2019-08-07 08:41
2019-08-07 08:41
2019-08-07 08:41
2019-08-07 08:41
2019-08-07 08:41
2019-08-07 08:41
2019-08-07 08:41
2019-08-07 08:41
在 其他 消費 3位數
在 Uber 消費 3位數
在星巴克授權失敗
在新光三越消費 3位數
在好市多消費 4位數
在 其他 消費 3位數
在新光三越消費 3位數
官網瀏覽長榮機票
在全家繳帳單3位數
原⾏行行為歷程表⽰示 顆粒度重整-1 顆粒度重整-2
在 MOMO 消費 3位數
在 Uber 消費 3位數
在星巴克信義店授權失敗
在新光三越消費 3位數
在好市多消費 4位數
在 MOMO 消費 3位數
在新光三越消費 3位數
官網瀏覽長榮機票
在全家繳信⽤用卡帳單3位數

60. 如何定義⽂文字
信⽤用卡刷卡
信⽤用卡刷卡
信⽤用卡刷卡
信⽤用卡刷卡
信⽤用卡刷卡
信⽤用卡刷卡
信⽤用卡刷卡
官網瀏覽
信⽤用卡帳單
顆粒度重整-3
在 MOMO 消費 195 元
在 Uber 消費 185 元
在星巴克信義店授權失敗
在新光三越消費 184 元
在好市多消費 2145 元
在 MOMO 消費 299 元
在新光三越消費 499元
官網瀏覽長榮機票
在全家繳信⽤用卡帳單200元
在 其他 消費 3位數
在 Uber 消費 3位數
在星巴克授權失敗
在新光三越消費 3位數
在好市多消費 4位數
在 其他 消費 3位數
在新光三越消費 3位數
官網瀏覽長榮機票
在全家繳帳單3位數
原⾏行行為歷程表⽰示 顆粒度重整-1 顆粒度重整-2
在 MOMO 消費 3位數
在 Uber 消費 3位數
在星巴克信義店授權失敗
在新光三越消費 3位數
在好市多消費 4位數
在 MOMO 消費 3位數
在新光三越消費 3位數
官網瀏覽長榮機票
在全家繳信⽤用卡帳單3位數

61. 請款 帳單 繳款授權
進件 開卡 活動
登錄
紅利利異異動
現⾦金金回饋
僅包含: ⼀一般消費（退回）、預借現⾦金金（負項）、分期前交易易
消費⽇日
入帳⽇日
結帳⽇日
繳款⽇日
進件⽇日
開卡⽇日
登錄⽇日
異異動⽇日
客⼾戶歷程資料: 信⽤用卡八⼤大⾏行行為

62. 授權
授權結果
拒絕原因
原始幣別
店家的國家
折台幣⾦金金額
⼿手機⽀支付
實體卡片
卡種
卡等
event
twd_amt_
flag
txn_au_re
sp_desc
txn_decli
ne_desc
txn_curre
ncy_code
merchant_l
ocation_co
untry_code
card_type card_level
payment
_desc
is_physi
cal_card
event_p
ercent
creditcard_autho
rization
positive-4-
digits
Approved
Not
Declined
TWD TW 9.Costco聯聯名卡 ⼀一般卡 Normal TRUE 10.24%
creditcard_autho
rization
positive-4-
digits
Approved
Not
Declined
TWD TW 13.台塑聯聯名卡 ⼀一般卡 Normal TRUE 7.45%
creditcard_autho
rization
positive-3-
digits
Approved
Not
Declined
TWD TW 9.Costco聯聯名卡 ⼀一般卡 Normal TRUE 6.85%
creditcard_autho
rization
positive-4-
digits
Approved
Not
Declined
TWD TW 1.Bank Card ⼀一般卡 Normal TRUE 3.91%
creditcard_autho
rization
positive-3-
digits
Approved
Not
Declined
TWD TW 1.Bank Card ⼀一般卡 Normal TRUE 3.62%
客⼾戶歷程資料: 調整⾏行行為顆粒度
A95276897788609
A95276897788609
A95276897788609

63. User Behavior Table
A95276897788609
A95276897788609
A95276897788609
A95276897788609
A95276897788609
A95276897788609

64. Recalibrated
Behavior Vector
Dimemb
Word Vector
0.12 0.32 0.71 0.54 0.23
0.11 0.91 0.12
0.42 0.44 0.24 0.32
0.34 0.22 0.54 0.11
0.56 -0.12 0.91 0.22
0.24 0.34 0.39 0.31 0.69
[
[
[
[
[
[
[
[
[
[
[
[

65. Agenda
01 The importance of Sequential Information
✦ Behavior
✦ Sequence
02 NLP: World of word embedding
04 Case- CIP
✦ Advanced Preprocessing- How we define “word”
✦ Modeling
✦ Preprocessing- How we define “word”
✦ Visualization
03 Case- MyRewards
✦ Embedding- Better representations of a word
✦ Application- 1. Visualization
2. Modeling

66. 2019/10/01
01 02 03 04 01 02 03 04 05 06 07 08 09
Day
Hour
⽤用KOKO COMBO卡在PCHOME消費18650元
2018/10/01 02:03 - 信⽤用卡交易易
⾦金金融
⾏行行為
⽤用Costco聯聯名卡在好市多內湖店消費2145元
2018/10/03 00:48 - 信⽤用卡交易易
⾦金金融
⾏行行為
CTI
CTI
CTI
⽤用台塑聯聯名卡在新店加油站消費487元
2018/10/01 04:48 - 信⽤用卡交易易
⾦金金融
⾏行行為
2018-10-01 08:58
在其他商家消費3位數
2016-9-23 01:42
官網瀏覽機票
2018-9-25 17:24
在全家繳信⽤用卡帳單3位數 …
2018-10-01 03:51
在其他商家消費3位數
2017-9-25 17:24
在MOMO消費5位數 …
…
2017-9-25 17:24
在YAHOO消費5位數
定義模型訓練⽅方式
過去⼀一個⽉月內⾏行行為

67. 模型輸入
x1 x2 xn
2019-08-07 17:45
進線客服: 信⽤用卡異異常
2019-08-07 08:41
在 Uber 消費3位數
2019-08-07 16:39
在星巴克信義店消費
授權失敗
2018-10-12 15:19
信⽤用卡開卡
2018-10-01 18:41
在好市多消費4位數
2018-10-02 09:23
進線客服申請信⽤用卡掛失
…
2018-01-23 15:11
在新光三越消費3位數
2017-9-23 01:42
官網瀏覽長榮機票
2017-9-25 17:24
在全家繳信⽤用卡帳單3位數
… 下⼀一通進線問題

68. Attention Model
Fig. from HuggingFace DeepMoji model
進線問題 *24
xAgg x1 x2 x3 xN…

69. Attention Model
Fig. from HuggingFace DeepMoji model
進線問題 *24
xAgg x1 x2 x3 xN…

70. C1
C2
C3
Source
Target
Attention Mechanism

71. C1
C2
C3
Source
Target
我⽩白天是student
Attention Mechanism

72. C1
C2
C3
Source
Target
我⽩白天是student
I am a student during daytime
Attention Mechanism

73. C1
C2
C3
Source
Target
我⽩白天是student
I am a student during daytime
Attention Mechanism
我
⽩白天
是
student
I am
a
student
during
daytime

74. Attention Score
a1 = 0.7 a2 = 0.2 a3 = 0.1
信⽤用卡授權, 授權結果
拒絕原因, 原始幣別
店家的國家, 折台幣⾦金金額
⼿手機⽀支付, 實體卡片
卡種,卡等
信⽤用卡帳單, 應繳總額,
最低應繳⾦金金額, 上期是否繳清 循
環利利息, 預借現⾦金金,
是否⾃自動扣繳, 繳款截⽌止⽇日
交易易型態, 紅利利種類
兌換管道, 異異動點數/⾥里里程
預借現⾦金金

75. Attention Score
a1 = 0.7 a2 = 0.2 a3 = 0.1
信⽤用卡授權, 授權結果
拒絕原因, 原始幣別
店家的國家, 折台幣⾦金金額
⼿手機⽀支付, 實體卡片
卡種,卡等
信⽤用卡帳單, 應繳總額,
最低應繳⾦金金額, 上期是否繳清 循
環利利息, 預借現⾦金金,
是否⾃自動扣繳, 繳款截⽌止⽇日
交易易型態, 紅利利種類
兌換管道, 異異動點數/⾥里里程
預借現⾦金金

76. 模型成效
AUC

77. 模型成效
AUC

78. In Progress

79. Self Attention
Fig. from Jay Alammar

80. Streaming Framework

81. 結論
Sequential behavior is all you need