Submit Search
Upload
JaSST Kansai 2017 AIとテストパターン - AI and Testing Pattern-
•
Download as PPTX, PDF
•
4 likes
•
2,254 views
Takahiro Toku
Follow
JaSST 関西 2017 での AIとテストパターン、テスティングパターンセッションの配布用資料です。
Read less
Read more
Technology
Report
Share
Report
Share
1 of 27
Download now
Recommended
Androiとテスト
Androiとテスト
miyatay
データベース屋がHyperledger Fabricを検証してみた
データベース屋がHyperledger Fabricを検証してみた
Hyperleger Tokyo Meetup
Hyperledger Projectの概要
Hyperledger Projectの概要
Hyperleger Tokyo Meetup
ブロックチェーン実証実験から得られた知見
ブロックチェーン実証実験から得られた知見
Hyperleger Tokyo Meetup
Hyperledgerのチュートリアルで理解する基幹システム向けブロックチェーンハンズオン
Hyperledgerのチュートリアルで理解する基幹システム向けブロックチェーンハンズオン
健一 茂木
Ethereumホワイトペーパーざっくり解説
Ethereumホワイトペーパーざっくり解説
Tomohiro Matsuo
第1回キーワード駆動テスト勉強会
第1回キーワード駆動テスト勉強会
Kinji Akemine
Hyperledger Fabric 1.0 概要
Hyperledger Fabric 1.0 概要
Hyperleger Tokyo Meetup
Recommended
Androiとテスト
Androiとテスト
miyatay
データベース屋がHyperledger Fabricを検証してみた
データベース屋がHyperledger Fabricを検証してみた
Hyperleger Tokyo Meetup
Hyperledger Projectの概要
Hyperledger Projectの概要
Hyperleger Tokyo Meetup
ブロックチェーン実証実験から得られた知見
ブロックチェーン実証実験から得られた知見
Hyperleger Tokyo Meetup
Hyperledgerのチュートリアルで理解する基幹システム向けブロックチェーンハンズオン
Hyperledgerのチュートリアルで理解する基幹システム向けブロックチェーンハンズオン
健一 茂木
Ethereumホワイトペーパーざっくり解説
Ethereumホワイトペーパーざっくり解説
Tomohiro Matsuo
第1回キーワード駆動テスト勉強会
第1回キーワード駆動テスト勉強会
Kinji Akemine
Hyperledger Fabric 1.0 概要
Hyperledger Fabric 1.0 概要
Hyperleger Tokyo Meetup
JAWS FESTA 2018 OSAKA KCI SESSION
JAWS FESTA 2018 OSAKA KCI SESSION
陽平 山口
ESM Agile Studio DX and COVID
ESM Agile Studio DX and COVID
Kenji Hiranabe
杉並診断士会向けKintoneご紹介コンテンツr2
杉並診断士会向けKintoneご紹介コンテンツr2
junji kumooka
実践的! 人工知能X機械学習 〜iettyの場合〜
実践的! 人工知能X機械学習 〜iettyの場合〜
takemi.ohama
North Torch株式会社_社内の取組とチームで大切にしてきたこと
North Torch株式会社_社内の取組とチームで大切にしてきたこと
Yuji Naito
エンジニアのキャリアを考える
エンジニアのキャリアを考える
MKT International Inc.
Digital Innovation Leadership Panel Discussion
Digital Innovation Leadership Panel Discussion
Kenji Hiranabe
楽天技術研究所 Society 5.0 のクリエイティブ都市
楽天技術研究所 Society 5.0 のクリエイティブ都市
Rakuten Group, Inc.
JPC2016: PTN-02: 人工知能技術 (AI) で切り拓く新しいビジネス
JPC2016: PTN-02: 人工知能技術 (AI) で切り拓く新しいビジネス
MPN Japan
NRI事例に学ぶ、”検索”による大規模システム開発の生産性向上
NRI事例に学ぶ、”検索”による大規模システム開発の生産性向上
aslead
1on1 for LT
1on1 for LT
Tokyo, Japan
EWMグループ 会社説明資料
EWMグループ 会社説明資料
T.Yasuda (EWM Group)
NRI事例に学ぶ、”検索”による大規模システム開発の生産性向上
NRI事例に学ぶ、”検索”による大規模システム開発の生産性向上
aslead
Upwind Technology, Inc. Company Profile(Japanese)
Upwind Technology, Inc. Company Profile(Japanese)
Upwind Technology Inc.
110613 ブームリサーチご案内資料
110613 ブームリサーチご案内資料
Kohei Yoneda
110613 ブームリサーチご案内資料
110613 ブームリサーチご案内資料
Kohei Yoneda
情報システム部門の組織開発
情報システム部門の組織開発
Kazutaka Sankai
20121124 学生セミナー「基礎からわかる! IT業界とプログラミング」
20121124 学生セミナー「基礎からわかる! IT業界とプログラミング」
Takashi Uemura
ExcelからITそしてDXの世界へ
ExcelからITそしてDXの世界へ
Chuki ちゅき
2022 mrs company_brochure
2022 mrs company_brochure
ERIKOKURIHARA1
How to let them in house of quality
How to let them in house of quality
Takahiro Toku
Jasst実行委員ってなんなん JaSST nano 第4回発表
Jasst実行委員ってなんなん JaSST nano 第4回発表
Takahiro Toku
More Related Content
Similar to JaSST Kansai 2017 AIとテストパターン - AI and Testing Pattern-
JAWS FESTA 2018 OSAKA KCI SESSION
JAWS FESTA 2018 OSAKA KCI SESSION
陽平 山口
ESM Agile Studio DX and COVID
ESM Agile Studio DX and COVID
Kenji Hiranabe
杉並診断士会向けKintoneご紹介コンテンツr2
杉並診断士会向けKintoneご紹介コンテンツr2
junji kumooka
実践的! 人工知能X機械学習 〜iettyの場合〜
実践的! 人工知能X機械学習 〜iettyの場合〜
takemi.ohama
North Torch株式会社_社内の取組とチームで大切にしてきたこと
North Torch株式会社_社内の取組とチームで大切にしてきたこと
Yuji Naito
エンジニアのキャリアを考える
エンジニアのキャリアを考える
MKT International Inc.
Digital Innovation Leadership Panel Discussion
Digital Innovation Leadership Panel Discussion
Kenji Hiranabe
楽天技術研究所 Society 5.0 のクリエイティブ都市
楽天技術研究所 Society 5.0 のクリエイティブ都市
Rakuten Group, Inc.
JPC2016: PTN-02: 人工知能技術 (AI) で切り拓く新しいビジネス
JPC2016: PTN-02: 人工知能技術 (AI) で切り拓く新しいビジネス
MPN Japan
NRI事例に学ぶ、”検索”による大規模システム開発の生産性向上
NRI事例に学ぶ、”検索”による大規模システム開発の生産性向上
aslead
1on1 for LT
1on1 for LT
Tokyo, Japan
EWMグループ 会社説明資料
EWMグループ 会社説明資料
T.Yasuda (EWM Group)
NRI事例に学ぶ、”検索”による大規模システム開発の生産性向上
NRI事例に学ぶ、”検索”による大規模システム開発の生産性向上
aslead
Upwind Technology, Inc. Company Profile(Japanese)
Upwind Technology, Inc. Company Profile(Japanese)
Upwind Technology Inc.
110613 ブームリサーチご案内資料
110613 ブームリサーチご案内資料
Kohei Yoneda
110613 ブームリサーチご案内資料
110613 ブームリサーチご案内資料
Kohei Yoneda
情報システム部門の組織開発
情報システム部門の組織開発
Kazutaka Sankai
20121124 学生セミナー「基礎からわかる! IT業界とプログラミング」
20121124 学生セミナー「基礎からわかる! IT業界とプログラミング」
Takashi Uemura
ExcelからITそしてDXの世界へ
ExcelからITそしてDXの世界へ
Chuki ちゅき
2022 mrs company_brochure
2022 mrs company_brochure
ERIKOKURIHARA1
Similar to JaSST Kansai 2017 AIとテストパターン - AI and Testing Pattern-
(20)
JAWS FESTA 2018 OSAKA KCI SESSION
JAWS FESTA 2018 OSAKA KCI SESSION
ESM Agile Studio DX and COVID
ESM Agile Studio DX and COVID
杉並診断士会向けKintoneご紹介コンテンツr2
杉並診断士会向けKintoneご紹介コンテンツr2
実践的! 人工知能X機械学習 〜iettyの場合〜
実践的! 人工知能X機械学習 〜iettyの場合〜
North Torch株式会社_社内の取組とチームで大切にしてきたこと
North Torch株式会社_社内の取組とチームで大切にしてきたこと
エンジニアのキャリアを考える
エンジニアのキャリアを考える
Digital Innovation Leadership Panel Discussion
Digital Innovation Leadership Panel Discussion
楽天技術研究所 Society 5.0 のクリエイティブ都市
楽天技術研究所 Society 5.0 のクリエイティブ都市
JPC2016: PTN-02: 人工知能技術 (AI) で切り拓く新しいビジネス
JPC2016: PTN-02: 人工知能技術 (AI) で切り拓く新しいビジネス
NRI事例に学ぶ、”検索”による大規模システム開発の生産性向上
NRI事例に学ぶ、”検索”による大規模システム開発の生産性向上
1on1 for LT
1on1 for LT
EWMグループ 会社説明資料
EWMグループ 会社説明資料
NRI事例に学ぶ、”検索”による大規模システム開発の生産性向上
NRI事例に学ぶ、”検索”による大規模システム開発の生産性向上
Upwind Technology, Inc. Company Profile(Japanese)
Upwind Technology, Inc. Company Profile(Japanese)
110613 ブームリサーチご案内資料
110613 ブームリサーチご案内資料
110613 ブームリサーチご案内資料
110613 ブームリサーチご案内資料
情報システム部門の組織開発
情報システム部門の組織開発
20121124 学生セミナー「基礎からわかる! IT業界とプログラミング」
20121124 学生セミナー「基礎からわかる! IT業界とプログラミング」
ExcelからITそしてDXの世界へ
ExcelからITそしてDXの世界へ
2022 mrs company_brochure
2022 mrs company_brochure
More from Takahiro Toku
How to let them in house of quality
How to let them in house of quality
Takahiro Toku
Jasst実行委員ってなんなん JaSST nano 第4回発表
Jasst実行委員ってなんなん JaSST nano 第4回発表
Takahiro Toku
知らない国・プロダクトのQAを2週間で始めるこつ
知らない国・プロダクトのQAを2週間で始めるこつ
Takahiro Toku
ICLR'19 読み会 in 京都 [LT枠] AIプロダクト品質保証ガイドラインの紹介
ICLR'19 読み会 in 京都 [LT枠] AIプロダクト品質保証ガイドラインの紹介
Takahiro Toku
Asian Automation Alliance 自動化を進める・止めるにあたってのヒント
Asian Automation Alliance 自動化を進める・止めるにあたってのヒント
Takahiro Toku
読書感想文 20140615 医療機器ソフトウェア_検証・妥当性確認・およびコンプライアンス
読書感想文 20140615 医療機器ソフトウェア_検証・妥当性確認・およびコンプライアンス
Takahiro Toku
読書感想文 20140615 医療機器ソフトウェア_検証・妥当性確認・およびコンプライアンス
読書感想文 20140615 医療機器ソフトウェア_検証・妥当性確認・およびコンプライアンス
Takahiro Toku
More from Takahiro Toku
(7)
How to let them in house of quality
How to let them in house of quality
Jasst実行委員ってなんなん JaSST nano 第4回発表
Jasst実行委員ってなんなん JaSST nano 第4回発表
知らない国・プロダクトのQAを2週間で始めるこつ
知らない国・プロダクトのQAを2週間で始めるこつ
ICLR'19 読み会 in 京都 [LT枠] AIプロダクト品質保証ガイドラインの紹介
ICLR'19 読み会 in 京都 [LT枠] AIプロダクト品質保証ガイドラインの紹介
Asian Automation Alliance 自動化を進める・止めるにあたってのヒント
Asian Automation Alliance 自動化を進める・止めるにあたってのヒント
読書感想文 20140615 医療機器ソフトウェア_検証・妥当性確認・およびコンプライアンス
読書感想文 20140615 医療機器ソフトウェア_検証・妥当性確認・およびコンプライアンス
読書感想文 20140615 医療機器ソフトウェア_検証・妥当性確認・およびコンプライアンス
読書感想文 20140615 医療機器ソフトウェア_検証・妥当性確認・およびコンプライアンス
Recently uploaded
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
FumieNakayama
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
akihisamiyanaga1
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
sugiuralab
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
博三 太田
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
UEHARA, Tetsutaro
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
Yuki Kikuchi
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
FumieNakayama
Recently uploaded
(9)
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
JaSST Kansai 2017 AIとテストパターン - AI and Testing Pattern-
1.
0 © OMRON Corporation 徳
隆宏 OMRON株式会社 インダストリアルオートメーションビジネスカン パニー コントローラ事業部 第1開発部 第2開発課 AIとテスティングパターン ~AI技術を使った商品・サービスに対してどのようにテストを組み立てる か~
2.
1 はじめに • 本発表は、個人的見解であり、所属する組織 の意見・立場を代表するものではありません。
3.
2 自己紹介 • 徳 隆宏 –
36歳。妻と2児の父 • 出身 – 生まれ:和歌山。育ち:大阪 • 趣味 – サルサダンス、読書、ゲーム、テスティング、コーディング • 経歴 – 6年 IT業界でのSW品質改善等 – 6年 OMRON株式会社にて 制御機器の商品化に従事 • 所属 – テストコミュニティ( JaSST Kansai等) – 関西系の開発コミュニティ
4.
3 http://www.omron.co.jp/vg2020/
5.
4 AIとモノづくりの現場を融合 http://www.edge-link.omron.co.jp/news/140.html 分散処理 エッジコンピューティング “熟練技能者の知恵を、機械に学習させる”
6.
5 分散連携で学習進化する予兆管理システム <Edge:装置層> <Cloud/MES:工場層> コントローラ実現での課題 ・定周期プログラム形態では、周期を またがるデータを上手に扱えない ・異常検知で活用する情報処理機能 を標準で搭載していない(自作が必要) 機械学習による プログラムレス 異常監視・制御 各種センサデータ 脊髄反射的AI ・スモールデータの機械学習 ・レスポンス数ms 時系列蓄積と 特徴量による 情報圧縮 ライン全体の 製造条件、装置異常の因果分析 機械学習による装置間の プログラムレス異常監視・制御 大脳思考的AI ・ミドルデータのマイニング・機械学習 ・レスポンス数ms~数s <Fog:製造ライン層> 工場全体の 製造条件の因果分析 大脳思考的AI ・ビッグデータのマイニング ・レスポンス数s~数m 他 社 連 携
7.
6 本日のお持ち帰り事項 • 背景 – AIの技術を利用して製品・サービスを提供する立場として –
お客様に安心してお使いいただくためには – どのような取り組みが効果的だろうか • お話しする内容 × テストの技術・方法論・プロセス × 人工知能が作り出す社会 × 人工知能の定義と発展性 × 機械学習技術を利用したシステムの作り方 ○ 機械学習技術を利用したシステムに対するテスト • お持ち帰り事項 – パターンを中心としたテスト目的のロードマップ策定方法
8.
7 • 皆さん、テストしてますか?
9.
8 テスト目的 テスト観点 テスト計画 クロスバリデーション データベースのテスト クラウド AIサービス 負荷試験 推論 分類 χ2乗検定 クロスモデルバリデーション Deep Learning 音声認識 学習データ モデルデータ 知識ベース データベース ドメインモデル 精度・性能試験 クレンジング Online/offline 異常検知 GPU さまざまな品質特性派生開発 CI ペルソナ 組み合わせ FPGA ネットワーク 協調動作 Python,
R, 統計解析
10.
9 • 皆さん、テストしてますか?
11.
10 全てのバランスを取り、いち早く価値を届ける 安心して 使える 商品・サー ビス 技術 テスト 企画 開発 新しい技術に対して 企画・開発だけでなく テストの進化が必要
12.
11 論点 機械学習技術を利用した製品・サービスが 十分な 品質 であることを判断するために どんなテストをしますか? システム
利用環境 機械学習 データ
13.
12 進化する技術動向と、実際にテストできることの課題感 • An Approach
to Software Testing of Machine Learning Applications • A Framework for Quality Assurance of Machine Learning Applications • Agile Testing • Hidden Technical Debt in Machine Learning Systems • 「Software Test Challenges in IoT devices」IoTデバイスにおけるソフトウェアテストの課題」 • などなど 1) テスト対象が広がっている。どこから取り組むと効果的か? 2) 開発されるシステムの変化への追随性は? 3) 部分的な品質要求に対するテスト技術はあるが、どう位置付けるか? (セキュリティ要求や、機械学習のソフトウェアに対するテスト) 4) テストプロセスモデルは参考になるが、それは今の課題に効果的なのか? 各種の情報・標準が世間にあるが並行して時系列データや機械学習サービスが進化
14.
13 不確定要素の発生源 システム 利用環境 機械学習 データ 急速な進化 ・ 機械学習・データ処理 ・
拡張・強化・追加(HW、SW) ・ エコシステムの拡大(NW) 多様な利用環境 • アプリケーション • 利用者・スキル • シーン・デバイス • 進む自動化 • 変動する要求 (性能、目標精度) 決定性の低い データ • 学習データ • ノイズ • 変数の増大 システム データ 利用環境 • 問題領域の層的な分割 • 境界を設けることによるシステム責任の分割 当たり前のテスタビリティ
15.
14 本当にテスタブルですか? システム 利用環境 機械学習 データ 急速な進化 ・ 機械学習・データ処理 ・
拡張・強化・追加(HW、SW) ・ エコシステムの拡大(NW) 多様な利用環境 • アプリケーション • 利用者・スキル • シーン・デバイス • 進む自動化 • 変動する要求 (性能、目標精度) 決定性の低い データ • 学習データ • ノイズ • 変数の増大 システム データ 利用環境 • 問題領域の層的な分割 • 境界を設けることによるシステム責任の分割 当たり前だがまだ足りないテスタビリティ
16.
15 テスト組織への期待の大きさと本日のテーマ 妥当性に対する期待 ・ビジネスの目標 ・品質保証の役割 日々変化するテスト対象の確 認 ・バグ ・品質目標確認 ビジネスの変化 テスト対象の変化 アジャイル開発・アジャイル テスト の導入 (本発表のターゲット 外) 企業内でのテスト能力の向上 ・テストプロセス ・テスト技術 ・テストマネジメント ・テスト資産 テストエンジニアが活用でき る プラクティスは? ・
取組みのポイント ・取り組んだあとの考慮点 ・難度の高い領域への対処 ・品質構造の理解と分解 ・テストの具現化と構造化
17.
16 用語の整理 • テストパターン – 要求仕様と照らし合わせて動作できることを確か めるための、データおよびそのルール •
テスティングパターン – テストを進める際に直面する課題に対する とりくみかたの類型
18.
17 テストティングパターンの俯瞰図 何が したい のか 使い物 になる のか 構造に基づ くテスト データに基 づくテスト 構成管理 の強化 機能領域 は何か 利用す る技術 の実証 テスト資産の具現化・構造化 品 質 構 造 の 具 体 化 影響範 囲 利用者 の視点 実利の 確認 価値は 維持さ れるか
19.
18 パターンとは Pattern Canvasの記法を利用します。 https://www.slideshare.net/kkd/pattern-canvas パターン名 状況 問題
解決策 結果の 状態 制約条件や考慮点 「ある状況で、どんな問題があるのか。それを具体的に解決するとどのよう な状態になるのか」 に名前をつけたもの。
20.
19 テストティングパターンの俯瞰図 何が したい のか 使い物 になる のか 構造に基づ くテスト データに基 づくテスト 構成管理 の強化 機能領域 は何か 利用す る技術 の実証 テスト資産の具現化・構造化 品 質 構 造 の 具 体 化 影響範 囲 利用者 の視点 実利の 確認 価値は 維持さ れるか
21.
20 パターン: 何がしたいのか(=テストベースから開始できないテスト計画・テスト要求分析) 状況 新しい技術を 一定の目的で 利用することが決 まった 問題 テスト要求項目と目 標が不明確 解決策 実際に触る 結果の状況 テスト要求分析の一部とし て、テスト観点とテストフ レームを策定できる ・テスト構成 ・利用シーンが見える テスト観点とテストターゲッ トのフレームが見える 制約条件や考慮点 得たい効果に対して技術的な解決策 の適切さや効果を誰も知らない
22.
21 重要となるテストの役割 何が したい のか 使い物 になる のか 構造に基づ くテスト データに基 づくテスト 構成管理 の強化 機能領域 は何か 利用す る技術 の実証 テスト資産の具現化・構造化 品 質 構 造 の 具 体 化 影響範 囲 利用者 の視点 実利の 確認 価値の 維持
23.
22 利用者の視点のテスト 品 質 構 造 の 具 体 化 テスト資産の具現化・構造化 前提条 件は何 か 再現性 はある か 利便性 はある か 運用し 続けた いか 制御条 件が明 確か ペルソナ法と提供製品仕様をもとに、品質構造を探索し仕様・データ間の関係性を列挙 問題領 域デー タ収集 誤使用 試験 過学習 条件テ スト 性能試 験 予測精 度試験 誤パラメータ 気づきやすさ ダミー データ 精度予 測性 試験 構成に 基づく 試験へ利用環 境再現 試験 動作不 安定性 試験
24.
23 解決までに時間のかかるパターン 運用し続けたいか 状況 どのようなパラメータ を設定すると解決可 能な問題領域がわ かった。 問題領域を実運用ビ ジネスに展開してい きたい。 問題 ・仕様としての一貫 性の欠如や複雑な パラメータ ・実運用者スキルと の適合性 ・将来変化する可能 性のある機能仕様 解決策 ・テスト実行者を変え て予備知識を減らす ・個々の仕様による 影響の測定と、仕様 理解の容易性との 突合せ ・ターゲット利用者と の共同運用テスト 結果の状況 ある程度の運用イ メージができた。 しかし、多種の設定 やシステム構築上の 考慮点がある。 どのようにその問題 を実環境で制御でき るのか 制約条件や考慮点 製品・サービスの提供者に徹した結果、実 際の実運用環境がどの程度の要求になり えるか予想できていない 従来、妥当性テストなどと呼び、曖昧にしがちな領域 = 人や利用環境に深く依存するため、このパターンの解決時期にリスクあり = 技術の新規性により、さらにリスクは拡大
25.
24 データに基づくテスト テスト資産の具現化・構造化 品 質 構 造 の 具 体 化 データ フロー の整理 ノイズ の分類 境界ごと のSanity 基準 テストの目的、データフロー、データの性質での整理が多岐に。テスト管理ツール必須。 テストに利用するデータを「ドメイン」として扱うスキルが必要。 テスト サイク ルの DFD化 学習デー タと実環 境での効 果突合せ 実環境と ノイズ分 類の突合 せ パイプラ インの分 断 実験的 実装/デー タの再確認 学習デー タと対象 データの マトリク ス 設定項目 の分類 データ の復旧 性 学習デー タ妥当性 テスト 再現環境 のポリ シー 学習デー タの状態 分類 データ 品質の マッピ ング
26.
25 テスティングパターンの構築メリット • テストプロセスを遂行する上での問題点を語るベー スになる – テスト計画・テスト分析の目標が明確化。制御しやすい –
新たなテスト技法や従来のテスト組織のプロセス資産の 曖昧な言葉に振り回されない • テストエンジニアの目標、テスト設計で必要なスキル領域がわか る • 重要視したい品質要求に対する取組の流れが見える
27.
26 おわり • パターンを一緒に作り、テストを一緒に進化させませんか? 安心して 使える 商品・サー ビス 技術 テスト 企画 開発 新しい技術に対して 企画・開発だけでなく テストの進化が必要
Download now