Code for Japan Summit 2020 Day2 のセッション、BADオープンデータ供養寺にてお話した、データクレンジングに関わるお話です。

2. ある時、友人からこんなことを言われまして。
関さん、マイナンバーカードのデモ
グラフィックデータをダッシュボー
ドみたいにして公開したいなと思っ
てるんですが、今って総務省のPDF
で毎月更新されるだけでして...
xID ○下さん

3. 気軽な気持ちで引き受けてみたんです

4. ちなみにこんなPDFです

5. できました！

6. 意気揚々と Tableau で取り込みを・・・
あれ？なんかちゃんとグラフになら
ない県がいくつか・・・
どういうこと？

7. ！！！！！

8. ほら違う！
>>> '⽟'.encode('utf-8')
b'¥xe2¥xbd¥x9f'
>>> '玉'.encode('utf-8')
b'¥xe7¥x8e¥x89'

10. その他の呪いの数々
数字からカンマや%を取り除く
分かれている CSV ファイルを結合
日付がファイル名にしか入っていない
セル結合データを分割
ヘッダに日付が入っている

11. https://mynumbercard.code4japan.org/

12. 供養の過程全公開
https://mynumbercard.code4japan.org/chant

13. 結論
PDF はデータ公開に向かない
表データを公開したいならせめて
Excelで

14. 8月からExcel版も提供されるようになりました
功徳が効きましたね
総務省さんに感謝