tableau and r

1. 株式会社GRI
データで新たな事業を開発していくカンパニー。
Tableau + R + グラフ理論 → ソーシャルネットワーク分析
2019/02/18
Tableau Developers Club Season 2
/*TableauのAPIすべて*/
外部サービス編 #2 R言語

2. #レイアウトアルゴリズムで座標計算
coords <- layout.fruchterman.reingold(mygraph, weights=E(mygraph)$weight)
この１行のために60分、話します

3. ©GRI Inc.
自己紹介
古幡征史(Ph.D)
- データ分析官
- AI 研究者（制度設計）
- コンサルタント
キャリア
• GRI （データ分析、機械学習、BI）
• Dwango （データ分析、機械学習、BI）
• University of Southern California（ポスドク）
• 米国運輸省向けのライドシェア市場研究
• 米国海軍研究所向けロボット制御研究
• Japan Advanced Institute of Science & Tech.（ポスドク）
• 東京証券取引所向け市場ルール研究
• SPARXグループ向け予測アルゴリズムの研究
• KPMG Consulting（シニアコンサル）
• 三菱化学、Vodafone、東京ガス、富士ゼロックス向け サプライチェーン・コンサ
ル
• 丸文（データ分析）
教育
• Universite de Toulouse（PhD in Computer Science）
• University of Western Sydney（PhD in Computer Science）
• 筑波大学（経営学修士）
• 筑波大学（経営工学学士）
表彰
• 交通学会での最高峰ジャーナル（Transportation Research Part B）の歴代ダウンロード
ランキング５位
• Trading Agent Competition in Mechanism Design （優勝 2008、2位 2007）
• 日本人工知能学会優秀賞(2011)
株式会社GRI 取締役
http://gri.jp/
Tableau: 2013~
S/R言語: 1992~

4. ©GRI Inc.CONFIDENTIAL
GRI の Tableau関連の実績（BIとAIの連動）
トランスコスモス
・売上: 2,423億円
・対象：ワンストップEC事業
・ロジ、コールセンタ、フロント、事務局
・国内事業、越境事業
・12種類のビジネスプロセス
・収益性、予実管理、物流管理の可視化
ADK
・メディア・プランニング（視聴率分析）
・生活情報調査分析
カドカワ
・エンタメ業界（アニメ、ゲーム、ドラマ、
ラノベ）向けマーケティングリサーチ事業
・eスポーツでのSNS統合分析(YouTube/ニ
コニコ/Twitch/Twitter/Instagram)
野村総研
・消費者のメディア活用ガイド
リンクバル
・街コン＆デートアプリ事業のデータ利活用
体制の向上支援、およびAI活用支援
ジブラルタ生命保険
・営業＆代理店管理（インセンティブモデル）
・データドリブン文化の醸成
・データ整形（Prep）
グラニフ
・予算計画・店舗管理・ＭＤ計画
・データドリブン文化の醸成
グリーンスタンプ
・群馬県の地場チェーン
・機械学習による販促予測（ID抽出）＆
検証
・スーパーマーケットの初期分析
ライオン
・自社のブランド価値スコアとインター
ネット上での口コミの比較分析
・自然言語処理
・レビュースコアの平準化
ハウス食品グループ
・SNS上での「母の日のお祝い」の仕方の
情景分析
・自然言語処理
・広告判定アルゴリズム開発
トヨタコネクティッド
・トヨタグループのデジタルマーケティング用
ダッシュボード作成
・データ整形の設計、および開発(Prep)
JAF
・GAを用いた会員定着分析＆可視化
・機械学習予測モデル
モニタス
・アンケートモニタ提供サービスの戦略立案
・モニタ定着予測＆可視化
Gallery 2
パソナキャリア
双日インフィニティ

5. ©GRI Inc.CONFIDENTIAL
Tableau R連携で伝えたいこと
R単体やPython単体の方が楽なので、下記のメリットを享受しない場合は、単体が良い
メリット
–対話型の探索的データ解析をTableauに含められる
–RやPythonユーザ以外に上記を共有・再利用できる
制約
–Tableau側で連携結果は、集約された状態
• R側で実際に使える分析に制約がある
• R側で事前処理や事後処理が多い
–Tableau Desktop, Serverは連携可能だが
• Public/Online/Readerは不可
–デバッグできるような環境がないです
• 自分で正しい文法(R/Python)を事前に知っておく必要があります

6. Rの話

7. ©GRI Inc.CONFIDENTIAL
グラフ描画に関してはRとTableauは同じルーツ
Elijah Meeks Keynote at Tapestry 2018: Third Wave Data Visualization
https://www.youtube.com/watch?v=itChfcTx7ao

8. ©GRI Inc.CONFIDENTIAL
Rの分析ワークフローの例（対話型の探索的データ解析が得意）
※Libraryの使い方はCheat Sheetを見る
https://www.rstudio.com/resources/cheatsheets/
Hadley Wickham（神）
https://medium.com/@ODSC/how-tidyverse-guides-r-programmers-through-data-science-workflows-f16dddc661b2
Tidyverse
Hadley Wickhamが作ったパッケージ群（誰でもデータ解析できるようにライブラリで作法を整えた）

9. ©GRI Inc.CONFIDENTIAL
Rの情報源(R-bloggers)
Rの分析例を知りたかったら、R-Bloggersを見る

10. Tableau-R連携のコンセプト

11. ©GRI Inc.CONFIDENTIAL
外部ツール連携
RやPythonで、あっと言う間にできてしまう高度な分析を
Tableauに取り込もう！
Anomaly Detection（異常検知）
Clustering（K-Means以外のクラスタリング）機械学習モデルの利用 ※注意
Time-Series Forecast（時系列予測） グラフ理論
G=(V, E)
and more
色んな例を参加者の方から
発表していただければ

12. ©GRI Inc.CONFIDENTIAL
Tableau R連携で伝えたいこと
R単体やPython単体の方が楽なので、下記のメリットを享受しない場合は、単体が良い
メリット
–対話型の探索的データ分析をTableauに含められる
–RやPythonユーザ以外に上記を共有・再利用できる
制約
–Tableau側で連携結果は、集約された状態
• R側で実際に使える分析に制約がある
• R側で事前処理や事後処理が多い
–Tableau Desktop, Serverは連携可能だが
• Public/Online/Readerは不可
–デバッグできるような環境がないです
• 自分で正しい文法(R/Python)を事前に知っておく必要があります

13. ©GRI Inc.CONFIDENTIAL
Tableau-R連携でのお役立ちサイト
 Tableau と R についてよく寄せられる質問
– https://www.tableau.com/ja-jp/learn/whitepapers/tableau-and-r-faq
• コンパイル済みの R パッケージ、モデル、ライブラリを Tableau で使用することはできますか?
• Tableau と R を統合する際の、R スクリプトのデバッグおよびエラーの検出のベスト プラクティスを教えてください。
• R を使用してデータを再形成できますか?
• Tableau では、リレーショナル データベースからのデータを R へ渡すことはできますか?
• さまざまなレベルのドリルダウン ディメンションを R 関数に動的に渡すことはできますか?
• 異なる変数タイプの組み合わせを持つ関数の実行方法は?
• R の画像やグラフィックを Tableau に挿入できますか?
 R for Statistical Computing & Analysis
– https://www.tableau.com/solutions/r
 Bora Beran
– https://boraberan.wordpress.com/category/r/
–

14. ©GRI Inc.CONFIDENTIAL
Tableau 外部連携の使い方の例(TC18 Data science applications with TabPy/R）
https://tc18.tableau.com/learn/sessions/32185
–主成分分析
–Prophet時系列予測
–機械学習の推論

15. ©GRI Inc.CONFIDENTIAL
Tableau 外部連携のワークフロー
Tableau
ワークシート
Tableau
表計算
Tableau
計算フィールド
Python/R
データの粒度 RからTableau（Rserve
Rへ（Rserve）
※python連携用

16. はじめてのTableau-R連携

17. ©GRI Inc.CONFIDENTIAL
RとTableauの連携
連携
①Rstudioを立ち上げる
②Rserveを起動しTableauからの通信を開く
>library(“Rserve”) #Rserveライブラリをロード
>Rserve() #Rserveを起動
③Tableau側で外部接続との通信設定
(menu) > ヘルプ > 設定とパフォーマンス > 外部サービス接続の管理
外部サービス：Rserve
サーバ： localhost（同一マシーンなら）
ポート： 6311 （デフォルトのポート）
■そもそもの事前準備
• RやRstudioをインストールしておく（anaconda経由でRstudioを
入れるのも良い）
• RserveやProphetのパッケージをインストールしておく

18. ©GRI Inc.CONFIDENTIAL
Tableau-R連携（単純な足し算）
■入力データ
・次元
・ID
・属性
・NAME
・メジャ
・VALUE1
・VALUE2
■やりたいこと
・IDレベルでVALUE1とVALUE2をRで足し算する
ワークブック： Tableau+R連携の基礎
ワークシート： ①表で足し算の確認
Tableau岩橋さんのワークブックを参考に

19. ©GRI Inc.CONFIDENTIAL
Tableau-R連携（単純な足し算）
計算の次元をID
TableauからRへ
第１引数(.arg1)
TableauからRへ
第２引数(.arg2)
足し算
RからTableauへ
戻り値

20. ©GRI Inc.CONFIDENTIAL
Tableau-R連携（相関係数の算出）
ワークブック： Tableau+R連携の基礎
ワークシート： ②散布図と相関係数
相関の計算フィールドをタイトルに表示
（メニュー）分析 ＞ メジャーの集計 ※外しておく
■やりたいこと
・IDレベルでVALUE1とVALUE2の相関をRで算出する

21. ©GRI Inc.CONFIDENTIAL
Tableau-R連携（相関係数の算出）
相関の計算
RからTableauへ
戻り値
計算の次元をID
・表計算の次元で、どのレベルで連携するかが重要
・集計という考え方で連携するので、詳細レベルで連携したくなる

22. ©GRI Inc.CONFIDENTIAL
Tableau-R連携（相関係数の算出（異なるレベル））
ワークブック： Tableau+R連携の基礎
ワークシート： ③散布図と相関係数（異なるレベル）
（メニュー）分析 ＞ メジャーの集計 ※外しておく
■やりたいこと
・NAMEレベルでVALUE1とLOG(VALUE2)の相関
をRで算出する

23. ©GRI Inc.CONFIDENTIAL
Tableau-R連携（相関係数の算出（異なるレベル））

24. 【背景】Tableau-R連携（アニメのソーシャルネットワーク分析）

25. ©GRI Inc.CONFIDENTIAL
ファンから注目されているアニメ間の関係性を表現したい
■背景
テレビでは毎クール、数十作品が放映
■やりたいこと
中心的なアニメを知りたい

26. ©GRI Inc.CONFIDENTIAL
やりたいことのイメージ
• 興味の中心にあるアニメ同士が近づくようにしたい

27. ©GRI Inc.CONFIDENTIAL
グラフ理論で表現（グラフ理論のはじまり）
Königsberg（現Kaliningrad）の7つの橋の問題（一筆書き）
Leonhard Euler
G=(V, E)
1736年グラフで表現

28. ©GRI Inc.CONFIDENTIAL
グラフ理論で表現してみよう
グラフ理論
G=(V, E)
Vertex（頂点、ノード）： 人、物、地点など
Edge（辺、エッジ）： ノード間の繋がり（関係性）
Weight（重み）： エッジの重み（ 近さ、距離など）
O D
Origin Destination
有向グラフの場合
OD-Pair

29. ©GRI Inc.CONFIDENTIAL
Twitterのアニメ公式アカウントのfollowersネットワーク
アニメ公式アカウントのfollowers
アニメ公式アカウントのco-followers
2
1
1 ※co-followers率で近さを表現することも考えられる
[co-followers] / [originのco-followers]

30. ©GRI Inc.CONFIDENTIAL
Tableauでのグラフ表現と必要なデータ構造（OD-Pair）
O D
Origin Destination
Originの座標
Destinationの座標
ワークブック： od-pair
ワークシート： OD-pairのノードを操作 ※Tableauでは重複行が必要

31. ©GRI Inc.CONFIDENTIAL
TableauでSNAするための課題
事前にノードの座標が必要
（ネットワークの状況に基づき
動的に座標を決めたい）
グラフレイアウト
アルゴリズム
（Rのigraphパッケージ）
Tableau R
Fruchterman-Reingoldアルゴリズム
Fruchterman, T.M.J. and Reingold, E.M. (1991). Graph
Drawing by Force-directed Placement. Software - Practice
and Experience, 21(11):1129-1164.

32. ©GRI Inc.CONFIDENTIAL
Fruchterman Reingoldアルゴリズム
力学モデルでグラフのレイアウトを決める
https://www.youtube.com/watch?v=HQBMfozLa4Y

33. ©GRI Inc.CONFIDENTIAL
Fruchterman Reingoldアルゴリズム

34. ©GRI Inc.CONFIDENTIAL
Rで使うため
origin_nodes
(from)
destination_nodes
(to)
data frame（Rのオブジェクト）
weight
graph data frame（R.igraphのオブジェクト）
※エッジのあるノードを行として持つ
（重複行は不要）
アニメ名 アニメ名 cofollower数
layout.fruchterman.reingold
各ノードの
座標行列

35. ©GRI Inc.CONFIDENTIAL
TableauでSNAするための課題
事前にノードの座標が必要
（ネットワークの状況に基づき
動的に座標を決めたい）
Pathを描くためにOD-pairが
複数行必要
グラフレイアウト
アルゴリズム
（Rのigraphパッケージ）
Rの前処理、後処理でどうにかする
Tableauでの前提条件 Rでの前提条件
複数行いらない

36. ©GRI Inc.CONFIDENTIAL
Bora Beranさんのやり方を真似してみる
https://boraberan.wordpress.com/2014/06/28/dynamic-
network-graph-layouts-in-tableau-using-r/
■オリジナルと変更したところ
• ノード・ラベルの挙動がおかしいので修正
• Plyrライブラリでハンドリングしていたので、
Dplyrライブラリへコマンドを修正（2014年に作
られてたので）

37. ©GRI Inc.CONFIDENTIAL
入力データの構造（CSV -> Tableau）
データ行数： 40アニメ(from) x 40アニメ(to) x 2(Pathに入れるためにorder)
アニメ(from) アニメ(to)
アニメ(from-to)
同一行のフラグ
アニメ(from)
フォローワー数
アニメ(from)とアニメ(to)を同時にフォローしているアカウント数
E列/D列
Path用のフラグ(1と2)
アニメの対象としてる性別
行番号
40x40行でGraph構造は表現できる
(Rではこちらのみ使う)
TableauでエッジをPathで
表現するために必要な行

38. ©GRI Inc.CONFIDENTIAL
RとTableauの連携のポイント
２倍に膨らませたOD-pairリスト
２倍に膨らませたOD-pairリスト
• title_a: origin (from)
• title_b2: destination(to)
• freq_x: cofollowers
• path: path order
前処理
• データフレーム化
• From
• To
• Weight
• Order
• 不要な行の削除
• path order = 2
• Nullラベル
• グラフ・データフレーム化
座標計算
• Layout.fruchterman.reingold
後処理
• 座標にノードラベル付与
• betweenness計算（※今回使わないが将来のため）
• Tableauに戻すためのデータセットを整える(title_a2
で２倍に膨らまし、ノードを反転させる)
２倍に膨らませたOD-pairリスト
• x座標~y座標~betweenness
（titleのa2基準に並べ替え）
[title_a] x [title_b2]のレベルで投げ、
[title_a2]で受ける
x, y: エッジ用の座標（２倍に膨ら
ませてある）
y2: Node用にユニーク化

39. ©GRI Inc.CONFIDENTIAL
連携時の中心となる計算フィールド
レイアウトアルゴリズムの実行
Tableauのパラメタを直接入れられる
EはigraphのEdge関数
pasteで3列を~付きで結合して戻す
（Tableauでは複数の戻り値を扱えないため）
※よって、Tableau側でsplitして扱う

40. ©GRI Inc.CONFIDENTIAL
エッジ側の設定
(X, Y)をtitle_a, title_b2（OD同一ノード
のnull化）レベルで連携
X: GraphNodesの#1
Y: GraphNodesの#2

41. ©GRI Inc.CONFIDENTIAL
ノード側の設定

42. ©GRI Inc.CONFIDENTIAL
SNAに関する残課題
フィルター操作（きちんと、エッジを含んだ形で動かす）
Kawai-Kamadaやその他のレイアウト・アルゴリズム用に、Rの入力データの変更
Betweenness Centralityの計算結果の扱い
Influencer Detection
Community Detection
Link Prediction

43. ©GRI Inc.CONFIDENTIAL
まとめ
• 【制約】Tableau-R連携では、連携時の粒度を理解することが大切
• 本当にやりたいことは、Tableau-R連携じゃない方が良いことが多い
• 先に、Rなどで演算した結果をTableauで解釈
• 【狙い】Tableau-R連携を使うのは、組織の中で高度な探索的分析を広めたい場合
• Rで１行でできることでも、データ準備、Tableauの構造の工夫、連携の設定が必要
• これを克服してでも、組織が大きくなるとメリットが出てくる

44. ©GRI Inc.CONFIDENTIAL
Tableau-R連携で、もっといろいろある
Anomaly Detection（異常検知）
Clustering（K-Means以外のクラスタリング）機械学習モデルの利用 ※注意
Time-Series Forecast（時系列予測） グラフ理論
G=(V, E)
and more
色んな例を参加者の方から
発表していただければ
懇親会で可能性をお聞かせ
ください

45. ©GRI Inc.CONFIDENTIAL
GRI宣伝（Forecast Flowの告知、人材募集）
データに基づく施策立案をサポートする機械学習基盤
Forecast Flow
– http://gri.jp/service/forecastflow
– 解釈のしやすさにフォーカス
– サンプル：
https://public.tableau.com/profile/griinc6648#!/vizhome/Tr
ueFalse/sheet0
データ・サイエンティスト、データ・エンジニア募集
–データエンジニア
–データ分析
–可視化
–機械学習
–最適化