NLPソリューション開発の最前線
•
8 likes•3,401 views
自然言語処理ナイト 株式会社 電通国際情報サービス 深谷勇次 氏 小川雄太郎 氏 FAISAL HADIPUTRA 氏
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to NLPソリューション開発の最前線
Similar to NLPソリューション開発の最前線 (20)
More from Deep Learning Lab（ディープラーニング・ラボ）
More from Deep Learning Lab（ディープラーニング・ラボ） (20)
Recently uploaded
Recently uploaded (10)
NLPソリューション開発の最前線
- 1. D E E P L E A R N I N G L A B - 自 然 言 語 処 理 ナ イ ト NLPソリューション開発の最前線 I S I D の 最 新 最 新 文 書 A I ソ リ ュ ー シ ョ ン ： T e x A I n t e l l i g e n c e / テ ク サ イ ン テ リ ジ ェ ン ス の 概 要 を 紹 介 、 ソ リ ュ ー シ ョ ン 内 で の A z u r e 活 用 方 法 の 解 説 、 そ し て 自 然 言 語 処 理 分 野 で 実 施 し て い る 弊 社 研 究 開 発 の 紹 介 2020年7月2日 株式会社 電通国際情報サービス X（クロス）イノベーション本部 AIテクノロジー部 【本資料は公開されます】
- 2. 本日の 発表概要 ＃ 目次 登壇者 0 はじめに ISID） 深谷勇次1 ISID の最新文書AIソリューション： TexAIntelligence/テクサインテリジェンスの 概要紹介 2 ソリューション内でのAzure活用方法の解説 ISID） 小川雄太郎 3 自然言語処理分野で実施している 弊社研究開発の紹介 ISID） ファイサル ハディプトラ
- 3. [＃0] はじめに
- 4. • ISIDは、株式会社電通と米国General Electric Company(GE)との合弁で1975年に設立された企業です。 • 業界・ソリューション別に4つの事業セグメント（製造、金融、ビジネス、ｺﾐｭﾆｹｰｼｮﾝ）でビジネスを展開しています。 4 株式会社電通国際情報サービス（略称:ISID） 情報セキュリティマネジメントシステム（ISMS) - 「ISO/IEC27001:2013」 - 「JISQ27001:2014」 プライバシーマーク 環境マネジメントシステム（EMS) - 「ISO14001：2015」 - 「JISQ14001：2015」 企業情報 各種認証 IS 598941 / ISO(JIS Q)27001 会社名 株式会社電通国際情報サービス（略称:ISID） 英文社名 Information Services International-Dentsu, Ltd. 代表者 代表取締役社長 名和 亮一 本社所在地 東京都港区港南2-17-1 支社 関西支社/中部支社/豊田支社/広島支社 設立 1975年12月11日 資本金 81億8050万円 従業員数 連結2,783名/単体1,457名（2018年12月末現在） 連結子会社数15社（国内8社、海外7社） URL www.isid.co.jp 事業内容 コンサルティングからシステムの企画・設計・開発・運用 ・メンテナンスまで、一貫したソリューションを提供
- 5. • ISIDは、2020年2月に全社にまたがる部門横断の新組織として、 「AIトランスフォーメーションセンター」を設置しました。 • 人工知能に関する人材と知見を集約し、客先に対するデジタル変革「DX」支援で全社の力を結集し、 製造業の設計開発への適用などで先駆けてきたAIソリューションや深層学習などの技術を全社ビジネス に横展開し、お客様の新規事業創出のご支援を行っています。 5 AIトランスフォーメーションセンター 設立について https://www.isid.co.jp/news/release/2020/0210.html
- 8. 8 自己紹介 深谷 勇次 （Fukaya Yuji） 所属 株式会社 電通国際情報サービス X（クロス）イノベーション本部 AIテクノロジー部 AIコンサルティンググループ マネージャー AIトランスフォーメーションセンター 業務 AIプロジェクトのリードから、プロジェクトマネージャとして、お客様へのビジネスのAI適用を包括的に推進 ISIDのAI製品の企画、プロジェクトマネジメント AI技術を中心とした研究開発、新規ビジネス開発 その他 東北大学工学研究科修士卒。長年様々な業種のデータ分析や、データ分析システム構築のプロジェクトマネージャを担当。 昨今は、自社だけではなく、MS様との共同セミナーや、Webinarなどを多数企画・実施。ゆるふわなビジネス課題をAIで支援し ていくためのメソドロジを開発。AIの実社会への実装を１つでも増やし、社会に貢献するため日々奮闘中。
- 14. 14 ISIDのNLPを利用したケーススタディー ケーススタディー①「過去の製品不具合に関する文書から似たものを探し出す」 ケーススタディー②「文書を読んで分類する工数削減、人の誤りを減らす」
- 17. 17 文書系AIソリューションの開発背景 NLP・言語分野の AI技術力の向上 AI・NLP技術を用いた 業務システム案件の増加 • ISID独自の自然言語処理（NLP）ソリューション • お客様の課題・ニーズからスタートし、実プロジェクトの経験を活かしたAIシステム • Webシステムのため、ユーザーはWebブラウザだけで利用可能
- 19. • TexAIntelligenceに興味がある方は、 • https://isid-industry.jp/product_and_service/detail/AI_implementation/TexAIntelligence • を参照ください。 19 TexAIntelligenceに関して
- 21. 21 小川 雄太郎 所属：電通国際情報サービス クロスイノベーション本部 AIテクノロジー部 業務：深層強化学習やDL解釈性などの案件、自社AIソフトの開発リーダ、研究&学会発表、外部講演 兼職：早稲田大学 非常勤講師、日本ディープラーニング協会 委員 詳細：https://github.com/YutaroOgawa/about_me Twitter：https://twitter.com/ISID_AI_team 出版： PyTorchによる発展ディープラーニング、深層強化学習、機械学習入門、因果分析 自己紹介
- 23. 23 システムのインフラ構成図 Resource Group Internet Machine Learning Service Blob Storage for Media Data Azure Database for PostgreSQL as Application DB Blob Storage for Trained Models User Storage Account for Static Site Virtual Machine for ML computing Log Analytics Virtual Machine for Application Server ※ML : Machine Learning ※各IP制限やNSG（ネットワークセキュリティグループは省略） フロントエンド
- 24. 24 フロントエンドの3つの特徴 ・Azure Storageの静的Webサイトホスティングを利用※ 特徴1：Azure Blob Storageにフロントエンドのサイトを配置 （※参考）Azure Storage での静的 Web サイト ホスティング https://docs.microsoft.com/ja-jp/azure/storage/blobs/storage-blob-static-website ・サーバーサイドレンダリングはせず、SPA (シングルページアプリケーションモード) で、フロントエンドのHTMLを構築（静的サイト） 特徴2：Vue.js & Nuxt.jsフレームワークで静的サイトを構築 特徴3：フロントエンドとバックエンドを分離したアーキテクチャ ・フロントとバックは疎結合に。axios（Ajax）によるAPI通信でやりとり ・これによりフロントエンドは、リッチでUIの良いサイトを構築しやすい F B
- 25. 25 システムのインフラ構成図 Resource Group Internet Machine Learning Service Blob Storage for Media Data Azure Database for PostgreSQL as Application DB Blob Storage for Trained Models User Storage Account for Static Site Virtual Machine for ML computing Log Analytics Virtual Machine for Application Server ※ML : Machine Learning ※各IP制限やNSG（ネットワークセキュリティグループは省略） アプリケーションサーバ
- 26. 26 アプリケーションサーバの6つの特徴 その1 ・VMにDocker Composeをインストールし、マルチコンテナ環境上にAPサーバを構築 ・Azure Container Instances (ACI)も検討したが、マルチコンテナの運用が困難 特徴1：Azure Virtual Machines（IaaS）を利用 ・APサーバーでも自然言語処理のAI系処理がしやすいようJavaでなくPythonを採用 ・フロントと疎結合にRESTを構築できる、Django REST frameworkを採用 特徴2：APサーバにはPythonとDjango REST frameworkを採用 特徴3：非同期処理にはCeleryとRabbitMQを利用 ・機械学習の訓練やバッチ推論を実施すると時間がかかるので、Webレスポンスは当 分返ってこない。タイムアウトするので非同期処理を実現する必要あり ・非同期処理の内容を生成・実施するプロデューサー&ワーカーとしてCelery、非同 期処理のタスク管理ブローカーとしてRabbitMQを採用
- 27. 27 アプリケーションサーバの6つの特徴 その2 ・メンテナンスしやすいクラウドDBであるAzure Database for PostgreSQLを採用 特徴4：データベースは外部DBとしてAzure PostgreSQL ・Log Analyticsで運用監視と、サーバーからのログ収集を実施 ・Azure Logic Appsで、定期的にサーバーログの回収し任意の場所へ保存させる 特徴5：運用監視とログ収集はAzure Log Analytics & Azure Logic Apps 特徴6：Docker Composeによるマルチコンテナで管理・運用 ・WebサーバであるNginx、APサーバ機能のDjango REST framework、APサーバの 背後で利用されるCeleryとRabbitMQはマルチコンテナ環境上にまとめ、 一括で起動・停止（次ページに絵）
- 29. 29 システムのインフラ構成図 Resource Group Internet Machine Learning Service Blob Storage for Media Data Azure Database for PostgreSQL as Application DB Blob Storage for Trained Models User Storage Account for Static Site Virtual Machine for ML computing Log Analytics Virtual Machine for Application Server ※ML : Machine Learning ※各IP制限やNSG（ネットワークセキュリティグループは省略） マシンラーニング・サービス
- 30. 30 マシンラーニング・サービスの2つの特徴 ・GPU搭載のData Science Virtual Machine (DSVM)※をAzure MLサービスに紐づけ ・APサーバから、MLサービスを経由し、DSVMにPythonファイルと引数を投げて実行 ・MLサービスに紐づいているBlob Storageに訓練用データや学習済みモデルを保存 （次ページに絵） 特徴1：Azure MachineLearning サービスを利用 ・計算用VMはアプリから自動で起動&停止させる ・長時間DSVMを使用していない場合はAzure Active DirectoryとAzureのPython SDK の連携&関数を利用し、VMをシャットダウン（コスト削減）。 ・再度、DSVMに計算タスクが投げられた時に起動させる 特徴2：Azure Active DirectoryとPython SDKでDSVMの起動を制御 （※参考）Linux および Windows 用の Azure Data Science Virtual Machine とは https://docs.microsoft.com/ja-jp/azure/machine-learning/data-science-virtual-machine/overview
- 32. 32 システムのインフラ構成図 Resource Group Internet Machine Learning Service Blob Storage for Media Data Azure Database for PostgreSQL as Application DB Blob Storage for Trained Models User Storage Account for Static Site Virtual Machine for ML computing Log Analytics Virtual Machine for Application Server ※ML : Machine Learning ※各IP制限やNSG（ネットワークセキュリティグループは省略） マシンラーニング・サービスアプリケーションサーバ フロントエンド
- 33. [＃2-2] AIソフトウェアの アジャイル開発過程 における Azure活用方法 1. Azure DevOps Services 2. 実装の流れ
- 34. 34 Azure DevOps Services アジャイル（スクラム）を実施するにあたり、ツールとしてはAzure DevOps Servicesを利用
- 35. 35 実装のながれ 2つの特徴 ・各自の開発用PCに、Docker Composeに よる開発用コンテナ環境を用意し（DBもコ ンテナ化）、そこで、実装 & 動作確認 特徴1：各自ローカル環境にコンテナ ・実装が完了し、動作確認したらPRを送る ・レビュー後にMergeされる ・Mergeされると自動で、Azure DevOpsの CI/CDが実行され、本番環境が更新 ①Nuxt.jsのフロント用静的ファイル作成 ②フロント用ストレージにファイル・コピー ③APサーバのDjangoファイルを上書き ④APサーバのDockerComposeを再起動 特徴2：CI/CDの自動化
- 41. 41 開発部隊の目指すところ [2] アジャイル開発にあたり、各メンバは複数領域をカバーできるポリバレント人材を目指す ※ポリバレントとは、サッカー日本代表などで導入されている、複数ポジションをこなせるメン バのこと。複数領域をカバーできるポリバレント人材を集める&育てる方針 - AI：機械学習&ディープラーニングのアルゴリズム知識、研究能力、開発・実装力 - IT：フロントエンド、バックエンド、インフラ&DevOps、クラウド、セキュリティ - Biz： PM、PdM、デザイン思考UX&UI、ビジネスクリエーション [3] 最近の私の考え（AI×IT×Biz）はQiitaなどにまとめています 「AIエンジニアが知っておきたいAI新ビジネス立案のノウハウ・コツまとめ」 https://twitter.com/ISID_AI_team/status/1271992560479645697?s=20
- 44. 所属 電通国際情報サービス クロスイノベーション本部 AIテクノロジー部 業務 自然言語処理を中心とした研究開発、自社のAIソフトウェアの開発、ソフ トウェアアーキテクチャー設計、情報検索ソリューションの開発、 Pytorch/Tensorflowでディープラーニング。 その他 インドネシア出身、バンドン工科大学卒、ソフトウェア工学専攻 趣味でクラウド技術（Azure、AWS）、コンテナー技術（Docker, Kubernetes）、Javascript（Vue.js, React）など 自己紹介 44 ファイサル ハディプトラ (FAISAL HADIPUTRA) @faisal_putra
- 45. 目次 ISIDオリジナルALBERT学習済みモデルの構築 1. BERTのおさらい 2. BERTの高速化方法 3. ALBERTの概要 4. ISIDのALBERTオリジナルモデルの構築
- 46. • 2018年10月、TransformersベースのBERTモデルの公開 • 英語の自然言語理解タスクのSOTA（State-of-the-arts） • 多言語対応のモデル • bert-base-multilingual-cased（Google AI Research） • だが、日本語では性能がでない・・・ • 日本語版のBERTを各種企業が公開 • Yohei Kikuta氏: yoheikikuta/bert-japanese (BERT-base w/ SentencePiece) • 株式会社ホットリンク: hottoSNS-BERT（SNSデータ, BERT-base w/SentencePiece） • 京都大学: BERT日本語Pretrainedモデル (BERT-base&BERT-large w/ Jumanpp+BPE) • 東北大学: cl-tohoku/bert-japanese (BERT-base w/ MeCab+WordPiece & MeCab+Char) • 情報通信研究機構: NICT_BERT (BERT-base w/ MeCab+Juman辞書 & Mecab+Juman辞書+BPE) • Laboro.AIオリジナル日本語版BERTモデル（webデータ, BERT-base w/SentencePiece） BERTのおさらい 46
- 47. • 2019年通年、BERTをベースと するモデルがたくさん登場 • RoBERTa • XLNet • DistilBERT • ALBERT • StructBERT • など • 研究の方向性 • 精度を高く • 速度を速く（サイズを小さく） • 英語以外の言語に適用 • 構造化データとの統合 • マルチモーダル • など BERTをベースとしたモデル 47
- 48. 業務の課題 48 • 機械学習モデルをシステムに組み込む際の課題 • CPU/GPUリソースの制限 → 大きいモデル使用不可 • パフォーマンスの要求 → 大きいモデルの推論時間が達成で きない • 解決の方向性: • モデルの速度を速く（モデルのサイズを小さく）
- 49. 方法名 学習 推論 備考 最適化アルゴリズムの改良 - LAMB Optimizer ◯ X 大きいバッチサイズ（4096）での学習を効率化 モデルアーキテクチャの改良 - Progressive Stacking Layer ◯ X レイヤーを徐々に追加する - ALBERT ◯ ◯ パラメータを共通化、埋め込み行列の因数分解 モデルを圧縮 - Quantization（量子化） X ◯ 学習: FP32 → 推論: FP16 例：Tensorflow Lite, Tensor RT, Pytorch>=1.3, Q-BERT - Pruning（枝刈り） X ◯ 不要な重みを削除 モデルの蒸留 - DistillBERT X ◯ 学習済みBERTモデルから小さいのモデルに知識を蒸留 - TinyBERT X ◯ DistillBERTより、知識を蒸留するための立派な誤差を提案 BERT高速化方法 49
- 50. ALBERT 50 • ALBERT (A Lite BERT)はBERTの軽量版 • 2019年10月23日、公開 • メインポイント • 因数分解埋め込みパラメーター • クロスレイヤーパラメーター共有 • NSPの代わりに、Sentence-Order Predictionの 新補助タスク • その他 • LAMB 最適化アルゴリズム使用 • 大きいバッチで学習 • n-gramマスキング • SentencePiece対応
- 51. BERT vs ALBERT 51 • ALBERTのパラメータが少ないが、精度がかなり良い。 • BERT-large → BERT-xlargeの場合、精度が悪くなる • ALBERT-large → ALBERT-xxlargeでは精度が良くなる → BERTより、ALBERTのモデル構造の方がよりスケール可能
- 52. • alinear-corp/albert-japanese • URL: https://github.com/alinear-corp/albert-japanese • トークナイザー: SentencePiece • モデルの設定: H=768、L=12、A=12、Max. Seq Length=512 • Yohei Kikuta氏のモデルをベースとする。 • 課題 • 実際の業務文書は長さの512で入っていない。 • SentencePieceを使用しているが、日本語版のBERTの結果に従い、SentencePieceより、形態素解析を事前に 行った方がモデルの精度が良くなる。 • 参考: https://alaginrc.nict.go.jp/nict-bert/index.html • Sudachiという形態素解析機がTexA Intelligenceで使用してかなり良い結果が得られるので、このライブラリを 使い続けたい。 ALBERTの日本語版 52
- 53. トークナイザ 例文： 明日、新宿御苑に行きます。 トークナイザーとWhole Word Masking (WWM) 53 ['▁', '明日', '、', '新宿', '御', '苑', 'に行き', 'ます', '。'] alinear/albert-japanese (SentencePiece) bert-base-japanese (MeCab + WordPiece) ['明日', '、', '新宿', '御', '##苑', 'に', '行き', 'ます', '。'] ['明日', '、', '新宿', '##御', '##苑', 'に', '行き', 'ます', '。'] Sudachi + WordPiece Whole Word Masking（WWM）: Pieceではなく、単語全体を隠す '明日', '、', '新宿', [MASK], '##苑', 'に', [MASK], 'ます', '。' '明日', '、', [MASK], [MASK], [MASK], 'に', '行き', 'ます', '。' （WWMなし） （WWMあり）
- 54. • モデル設定 • コーパス: Wikipedia日本語 • トークナイザー: Sudachi（モードC） + Wordpiece • 辞書の単語数（32000語） • WWMあり • max_seq_length: 1024、H: 768, A: 12, L: 12 • 学習設定 • 公開されたコード（Tensorflow）を使う • 最初の100万ステップは、128単語（バッチサイズ: 32） で学習、 • 次の4万スップは、1024単語（バッチサイズ: 4）で学 習。 • 最適化アルゴリズム: AdamW • 学習済みモデルのサイズ • 46.31 MB (BERT-baseの場合は 424.4MB) → 90%削減 ISIDのオリジナルALBERTモデル 54 *** Eval Results *** global_step=1400000 loss = 2.4073303 masked_lm_accuracy = 0.5859618 masked_lm_loss = 2.3573806 sentence_order_accuracy = 0.965 sentence_order_loss = 0.0828039 *** Eval Results *** global_step=1400000 loss = 3.690914 masked_lm_accuracy = 0.4285665 masked_lm_loss = 3.4951706 sentence_order_accuracy = 0.898 sentence_order_loss = 0.24268238 参考: alinear-corp/albert-japanese
- 55. livedoorニュースでファインチューニング※ 55 ※記事タイトルを使用しない モデル accuracy 学習時間 (1枚K80) 推論時間 (1500件) alinear-corp/albert-japanese 89.27% 57分 3分50秒 yoheikikuta/bert-japanese 94.16% 1時間20分 4分10秒 cl-tohoku/bert-base-japanese-whole- word-masking 93.21% 1時間20分 4分15秒 albert-sudachi（ISIDオリジナル） 94.30% 1時間5分 4分3秒 ISIDオリジナル
- 56. • BERTの軽量版、ALBERTのモデルを紹介しました。 • 因数分解の埋め込み行列とクロスパラメータ共有で、精度を守ったままパラメータ数の削減ができる。 • 日本語版のALBERT、ISIDで新しく作成しました。 • Sudachi使用 • 文の最長の長さを1024に • 今後の課題 • 最長の長さを1024にしたため、推論時間に影響がある。 • ナレッジ蒸留手法（DistilBERTなど）の検討、Sparse Attentionの使用 • TexA Intelligenceに組み込む際のパフォーマンス検証。 まとめ 56
- 57. 57 問い合わせ先 【お問い合わせ先】 • 株式会社 電通国際情報サービス • X（クロス）イノベーション本部 AIテクノロジー部 • E-mail:g-isid-ai@group.isid.co.jp 【参考】ISID、AIを搭載際した３製品を発表 https://www.isid.co.jp/news/release/2020/0423.html
- 58. CONFIDENTIAL