鷲崎弘宜, SQuaRE に基づくソフトウェア品質評価枠組みと品質実態調査, SIGSE 産学連携フォーラム, 東京・品川, 2019年7月1日

1. SQuaRE に基づくソフトウェア品質評価枠組みと
品質実態調査
早稲田大学グローバルソフトウェアエンジニアリング研究所 所長
鷲崎 弘宜
研究チーム: 津田 直彦 助手、本田 澄 講師 他
協力: コンピュータソフトウェア協会、各ベンダ、
ISO/IEC/JTC1/SC7/WG6コンビーナ・プロジェクトエディタ他
http://www.washi.cs.waseda.ac.jp/wsqb/
2019年4月19日国際規格SQuaREに基づくソフトウェア品質の測定評価と認証セミナー

2. 組織を超えた調査: 欠陥傾向
2
ISBSG, Software Defect Density (August 2010)
• ISBSGデータベース、諸外国641プロジェクト ‘91-’09
– 銀行、金融、製造業で欠陥ゼロプロジェクト多い
– 新規開発と拡張開発とで顕著な相違なし
– 年代ごとの顕著な相違なし
• 欠陥以外の品質はどうなのか？

3. エグゼクティブサマリ＋拡張（’18-19）
3
• 21製品個別評価と業界実態分析
• 拡張: スコア化方式変更、製品追加
http://www.washi.cs.waseda.ac.jp/?page_id=3479
• 国際規格 ISO/IEC 25000
SQuaRE シリーズを具体化
• 製品品質、利用時品質の網羅
と関係分析
0
20
40
60
80
100
機能適合性
性能効率性
互換性
使用性
信頼性
セキュリティ
保守性
移植性
0
5
10
1 2 3 4 5 6
12ベンダ
21+製品
4評価機関
一部委託
一部結果
ISO/IEC JTC1/SC7/WG6
SQuaREエディタ
協力
評価結果

4. 落とし穴「負のホーソン効果」
nicolasdsampson.com, Observe And Learn: The Magic Of Paying Attention
http://nicolasdsampson.com/wp-content/uploads/2012/10/2010_12_06_observe-learn-magic-paying-attention.jpg
4
落とし穴「オレオレ品質」
• 組織内の品質評価・比較に終始し、業界にお
ける位置づけを把握していない
• 組織内で都度説明がつけばよいと考え、客観
的評価のためのデータを残していない
• 明確な目標なしに、データありきの評価や測るこ
との目的化
• 扱う品質が欠陥などごく限られた側面に偏って
いて、全体や品質特性間の関係を見ていない

5. ゴール指向のメトリクス定義＋多面的評価
• Goal-Question-Metric（GQM）パラダイム
楠本真二, 肥後芳樹, “GQMパラダイムを用いたソフトウェアメトリクスの活用”, コンピュータソフトウェア, 2012.
リンダ・M・ライルド, M・キャロル・ブレナン著, 野中誠, 鷲崎弘宜 訳 , "演習で学ぶソフトウエアメトリクスの", 日経BP社 , 2009.
V. Basili, et al.: Goal, Question, Metric Paradigm, Encycloperia of Software Engineering, Vol. 1(1994)
5
保守性
モジュール性 再利用性 修正性 ・・・
コールグラフ
階層の深さ
サイクロマテ
ィック複雑度
関数内の
戻り点の数
処理が複雑
すぎないか？
処理が構造化
されているか？
…… …
…… …
…… …
…… …
・・・
・・・ ・・・
G. 目標
対象
M. メトリクス
Q. 質問

6. 品質国際規格SQuaREシリーズに基づく
日本と諸外国のソフトウェア品質認証
• 日本: PSQ認証
– コンピュータソフトウェア協会（CSAJ）
– カタログ、マニュアル、仕様書、試験文書
– 全品質特性
• 韓国: GS (Good Software) Certification
– Telecommunications Technology Association
(TTA)
– プログラムのテスト結果
– 全品質特性
• スペイン: Software Product Quality
Certification
– AENOR
– 試験文書、ソースコード
– 機能適合性、保守性 6

7. SQuaREに基づく枠組みの全体
7
機能説明
、ソースコ
ードなど
製品説明、
不具合、テ
スト情報な
ど
内部品質
ISO/IEC
25010
外部品質
ISO/IEC
25010
利用時の
品質
ISO/IEC
25010
ISO/IEC
25022ベー
ス利用時の
品質測定
ISO/IEC
25023ベース
製品品質測
定（信頼性評
価含む）
利用時
の品質
スコア
ISO/IEC
25023
ベース製品品
質測定（コー
ド測定含む）
品質特性 測定法 評価
関係分析と
実態把握
対象・属性 実態
ユーザア
ンケート、
ユーザテ
ストなど
測定対応
製品
品質
スコア
スコア化と
集約
どのように
影響して
いるのか？
どのように測定
評価すればよいか？

8. 品質測定評価の枠組み
8
Q1. 社内サーバのみ使用する経路は？
Q2. 社外サーバも使用する経路は？
Q3. クライアント間直接通信(P2P等)は？
Q4. 申請者管理サーバ使用の経路は？
G.情報アクセスや情報伝達などの
行為とその内容が偽って否認され
ないようにシステムができている
M. 署名経路率 = 署名経路数
/ 各種別の経路数
例: 否認防止性
研究チーム 製品提供元
1 GQM法でSQuaREメ
トリクス具体化
2 測定ツール化（様
式、コード解析、アン
ケート・テスト）
3 コード解析実施、
ユーザテスト実施
様式記入、ア
ンケート回収
4 測定値・スコア計算、
診断、集計
パーセンタイルによるスコア化
（必ず0～1をとるように変更）
例: 全体のうち70%の製品群よりも上 = 0.7
対応言語
認証方式
配備形態
不具合情報
試験情報
機能情報※
DB情報※
NW情報※
コード※
運用情報※
（※任意）
高低
件
数
測定値

9. 記入様式（抜粋） http://www.washi.cs.waseda.ac.jp/wsqb/
9
使用性/運用操作性
使用性/ｱｸｾｼﾋﾞﾘﾃｨ

10. ユーザテスト測定 項目
• 製品の機能一覧の
うち、主要なものを
第三者機関が抽出
• 2名程度のテスタが
1～2時間で実施
10
有
効
性
効
率
性

11. ユーザアンケート(抜粋)
11http://www.washi.cs.waseda.ac.jp/wsqb/

12. 製品別の品質診断レポート
• 簡易：品質特性単位の傾向、ポジション、助言
• 詳細：信頼性、コード解析、ユーザテストの助言
0
20
40
60
80
100
機能適合性
性能効率性
互換性
使用性
信頼性
セキュリティ
保守性
移植性
12

13. 使用性
移植性
リスク回避性
互換性
保守性
満足性
13
機能適合性 性能効率性
信頼性 セキュリティ
• 使用性、保守性: 低いほうにやや集中
• 互換性: 2極化、データ交換を一部考慮せず
• セキュリティ: 2極化、暗号化や破損防止に差あり
• 有効性: 2極化、タスク実行に一部難あり
利用状況網羅性
有効性 効率性
中央値

14. 品質特性間の関係分析
14
製品品質
利用時の
品質
p値<0.1
使用性
移植性
互換性
保守性
機能適合
性
性能効率
性
信頼性
セキュリティ
有効性
効率性
移植性が高いほ
ど、使用性が高い
機能適合性が高いほど、使用性が低
い。副作用、使用性軽視の可能性。

15. 互換性性能効率性機能適合性
安定 漸増 爆発
信頼性 有効性
信頼性モデルで欠陥数・時間を予測
爆発（3）漸増（3）安定（3製品）
• 機能適合性、有効性:
安定で高品質
• 性能効率性、互換性:
爆発において低品質
• 他の特性: 信頼性タイプ
で相違無し
時間
総
欠
陥
数

16. コンテキスト別の分析
16
• 規模、期間、開発形態
– 顕著な相違無し
• ドメイン別
– 互換性、セキュリティ
に顕著な相違
• 製品形態
– パッケージ製品: セキ
ュリティ強化が課題
– クラウド製品: 移植性、
保守性、信頼性の測
定方法が不適当な可
能性
使用性
移植性
互換性
保守性
機能適合性
性能効率性
信頼性
セキュリティ有効性
効率性
満足性
リスク回避性
利用状況
網羅性
使用性
移植性
互換性
保守性
機能適合性
性能効率性
信頼性
セキュリティ有効性
効率性
満足性
リスク回避性
利用状況
網羅性
グループ支援(n=5)
データ集計(n=5)
会計(n=4)
セキュリティ(n=3)
シミュレー
ション(n=3)
エンドユーザ
向けサービス(n=1)
全て(n=21)
パッケージ
(n=17)
クラウド
(n=4)
全て(n=21)

17. 活用: 富士通グループの事例
17
有効性 効率性 満足性
リスク回避
性
利用状況
網羅性
機能適合
性
性能効率
性
互換性 使用性 信頼性 セキュリティ 保守性 移植性
データ処理能力重視 ○ ○ ○ ◎ ○ ○ △ ○
早期デリバリー △ △ △ × ×
利用時の品質 システム／ソフトウェア製品品質
プロジェクト要件
要件を満たすための品質特性 （最優先：◎→○→△→×：低優先）注力する品質特性を決定
時間効率性
の試験有無
応答時間平
均
応答時間実
測対目標
ターンアラウン
ドタイム平均
ターンアラウン
ドタイム実測
対目標
スループット目
標達成率
資源効率性
の試験有無
CPU使用率
最大値
メモリ使用率
最大値
容量満足性
の試験有無
ユーザ同時ア
クセス可能数
目標達成率
大or小が望ましい 大 小 小 小 小 大 大 小 小 大 大
メトリクス測定値 1 - - - - 2.08 1 0.03 NA 1 NA
-
ログイン画面
表示
- プロセス起動 - データ蓄積 - データ保存 データ保存 - ﾕｰｻﾞ数
- - -
データ検索
(500件)
- - - データ検索 データ検索 - -
RISEメトリクス（性能効率性）
測定条件
(サンプル)
メトリクスにより品質達成度評価
RISEベンチマークによるポジショニング評価
ベンチマークによりポジショニング確認でき
該当製品が目指した強みを実現できた
小島, 森田, 廣瀬, 若本, 菊池, 鷲崎, “ソフトウェア品質技術が品質特性に与える効果の見える化と活用の一考察”,SQiPシンポジウム’17
セキュリティ性能効率性

18. 公開パッケージと提言
18
Waseda Software Quality Benchmark
http://www.washi.cs.waseda.ac.jp/wsqb/
評価枠組み(信頼性予測含む)＋実態データセット
今後: 継続調査のための製品募集、枠組み改善
業界 ISO/IEC/JTC1 SC7/WG6
連携継続、PSQ認証
へ取り込み検討
SQuaRE改善
取り込み
提言4. 実現した枠組みを組み入れて実効性強化
提言5. アジャイル開発, クラウド対応強化の可能性
提言1. IoT時代重要セキュリティ, 互換性の低さ。要 意識改革
提言2. 使用性への悪影響注意。要 ユーザ中心の取組
提言3. データや目標希薄。要 記録＋ベンチマーキング
品質マネジメント
国際競争力強化
Naohiko Tsuda, Hironori Washizaki, Kiyoshi Honda, Hidenori Nakai, Yoshiaki Fukazawa, Motoei Azuma, Toshihiro Komiyama,
Tadashi Nakano, Hirotsugu Suzuki, Sumie Morita, Katsue Kojima, Akiyoshi Hando, “WSQF: Comprehensive Software Quality
Evaluation Framework and Benchmark based on the SQuaRE,” Proceedings of the 41st ACM/IEEE International Conference
on Software Engineering (ICSE 2019), SEIP Track, pp. 1-10, Montreal, QC, Canada, 25 May – 31 May 2019.
鷲崎弘宜，津田直彦，本田澄，中井秀矩，深澤良彰，東基衛, 込山俊博, 中野正，鈴木啓紹, “国際規格に基づく総合的なソフトウェア
品質評価枠組みとその実製品適用による品質ベンチマーク”, SEC journal, Vol. 14, No. 1, pp. 26-41, 2018.