ユーザーエクスペリエンスは計測可能なのか？〜UX計測に関する論文レビュー

Copyright © Masaya Ando
2017年6月14日

本日取り上げる論文
少し出版年は古いが、全体の傾向を捉えた重要な論文として
位置付けられる。
‒ Bargas-Avila, Javier A., ＆ Kasper Hornbæk : Old wine in new bottles
or novel challenges: a critical analysis of empirical studies of user
experience, Proceedings of the SIGCHI Conference on Human
Factors in Computing Systems, pp2689-2698, 2011.
‒ Lallemand, C., Gronier, G., & Koenig, V.: User experience: A concept
without consensus? Exploring practitioners’ perspectives through an
international survey, Computers in Human Behavior, 43, pp35-48,
2015.
‒ Law, E. L. C., van Schaik, P., & Roto, V.: Attitudes towards user
experience (UX) measurement, International Journal of Human-
Computer Studies, 72(6), pp526-541, 2014.
‒ Vermeeren, Arnold POS, et al.: User experience evaluation methods:
current state and development needs., Proceedings of the 6th
Nordic Conference on Human-Computer Interaction: Extending
Boundaries., pp.521-530, 2010.

UXの評価の議論
UXの評価は、積年の課題。問題を複雑にしている原因は、
人工物側の品質を人を測定器として見立てて測定するという
発想で良いのか、という根本的な構造がある。
ユーザビリティは
モノサイドの品質

UX評価の課題
従来のユーザビリティ評価は、ユーザー側がなるべくバラつ
かないように制御して測定しようとしているのに対し、UX
評価は何を把握したいのかすら、多様なまま。

UXは未だコンセンサスを得られてない？
Lallemandらによる実践家らへのアンケート調査によると、
UXの定義やUXの構成概念に対する実践家の考えは、部分的
にはコンセンサスを得たものもあるが、かなりバラついてい
ることが示された(Lallemand, et. al., 2015)。
UXの定義を5つ示しどれに賛同するかなどを把握（758件の研究者や実践
者が回答。約4割がフランス語圏の回答者という特徴あり）。
ユーザーの内部状態、過去の経験、目標およびニーズの重要性並びに
人工物が経験されている状況の重要性などは、UXと関連しているとほぼ
コンセンサが取れていると言える。
またUXはマーケティング、愛着とは違うということでもコンセンサスが
取れていると言える。
逆に、UXは人の認知の成果であり行動の成果ではない、すでにエンジニ
リングでカバーされている、製品利用で人々は独自の体験をする、経験
は個人的なものだ、と言ったことはかなり反応が違った。
5つのUXの定義への同意状況でも、結構バラついていることが示された。

研究におけるUX評価の変遷
UXに関する論文では、UXのどのような側面をどのように評
価しているのかについて、2つの論文がある。
2005 2009
51
Bargas-Avila, A. J. & Hornbæk, B., 2011
2010 2012
58
Law, E. L. C., van Schaik, P., &
Roto, V., 2014.
B-A. & H.がメタ分析のプロセスを明確化しておりLawら
はその方法を参照しつつ簡易に分析している。
両者は厳密さの面で異なるが、2010年ごろをまたいだ
UX評価の共通点・変遷をある程度辿れる

UXをどう測定しているか（Bargas-Avila, & Hornbæk, 2011）

SAM Scale

2005～2009年までのUXに関する研究を分析したB-A.&H.
によると、以下のような傾向があった。
使用された方法論は主に定性的であり、伝統的なユーザ
ビリティ研究、特にアンケートと尺度が採用されている。
とりわけ、感情、楽しさ、および美学は、最も頻繁に測
定される次元である。
調査された製品および使用状況は、仕事から余暇に、そ
して制御された仕事から消費者製品および芸術に移って
いる。

研究で用いられているUX評価の構成（Lawら, 2014）
Lawらは、2010-2012年の58件の研究でどんなUXの評価
がされているかを分析（B-A.&H.より限定的な範囲で分析）。
5

Lawらの指摘（Lawら, 2014）
Lawらは、UXがどのように測定されているかについて分析
する一方で、測定・評価後システムにいかにフィードバック
されているかを報告した論文がないことを指摘している。
また、UX専門家対するインタビューでは、Design
orientedな専門家は、UXの測定に懐疑的な傾向があった。
このことを、HCIの関係者（170件回答）に対して、「UX
測定態度調査」を実施し検証した。
その結果、アンケートでは評価できるという積極的態度だっ
たが、UX測定の詳細については微妙な見解があった。
全体として、UXの専門家が懸念するような、還元主義アプ
ローチを採用する限界があるので、総合的な方法でUXを評
価する困難性を妥協する方法が必要だ、としている。

UXの専門家はなんと言っているか？（Lawら, 2014）
Lawらは、UX測定における問題を理論的課題、方法論的課
題、実践的課題に分けて検討し、UX測定の哲学的検討をも
試みている。
‒ UX測定における現在の行われていることは、ホリスティックな理論
が欠如しているように見える。測定の重要な意味は、予測を可能にす
ることだ。しかし、UX尺度を設計結果を独立変数として結びつける
説得可能な理論は、今のところない。
‒ なぜ、それを測定したいのかを理解するまでは、何かを測定すること
に意味はない。
‒ 予測可能なものとするためには、理論が必要である。UX尺度は利用
可能な結果と相関しているが、妥当な理論的枠組みがなければ、結果
をもたらす経験因子を特定することはできない。UXの主な弱点は、
理論が欠如していることである。

Lawらの至った結論（Lawら, 2014）
Lawらは、以下のように議論をまとめている。
‒ 一般に、UXメトリクスは、製品を作って直すといった形成的評価に
役立つ。定性的なものよりも、定量的な評価は、そこに単純でわかり
やすく、意思決定には役立つだろう。
‒ しかし、UXの測定は、評価と再設計の相互作用を行う上で重要な役
割を果たすと結論付ける傾向があるが、数量的な評価が、質的フィー
ドバックよりも重要か否かの議論が残っている。

どんなUX評価を考えるべきか？（Vermeerenら,2010）
Vermeerenらは、96ものUX評価方法を収集し分析。その
上で、UX評価手法のニーズを整理した。
‒ 開発の初期段階の方法：概念やアイデアでのUXをどうやって評価す
るか？
‒ UXを構成する尺度の妥当性：尺度ベースの評価法は妥当性を改善す
るべき。異なる経験の焦点と領域だとか、異文化間などを測定するこ
とで妥当性を示すことはできないか？
‒ ソーシャル／コラボレーションUXの評価方法：オンラインソーシャ
ルなグループ経験における個人の評価の方法が必要。
‒ 手法の実用性の検討：製品開発に役立つ手法については、必要なスキ
ルやスキル、使いやすさ、データ分析の容易性、開発結果の適用性な
どを考慮する必要がある
‒ 効果的なマルチメソッドアプローチ：何と組み合わせて実施するのが
良いか？

まとめ～レビューのポイント
現時点では、UX評価（定性的なものを含む）は実践的には
行われている。その多くはアンケートや尺度によるもの。
尺度で評価する項目（構成概念）やその妥当性は大きな課題
がある。現状では、測れそうなものを測っているにすぎない。
何をどう測定すればいいかについて、ユーザーの利用経験を
どう捉え、何を計測すれば良いかについて、全体的な説明理
論がないことが原因。もっと言えば、”UXとは何か？”につ
いて、未だ議論があるため、学術界としての統一見解が持て
ずにいる。
特に定量的なUX評価を、どのタイミングで、どのように使
うかについても議論すべき。実践的なUX評価の多くは、シ
ステム等の改良に使うことが求められているはずで、どんな
“量”がわかる必要性があるかも検討が必要。

安藤が過去に取り組んできたUX評価の研究紹介
製品を購入し、長期にわたって利用することを前提とした
ユーザの、実利用環境における評価。
長期・実利用環境での実ユーザの製品評価は、どの程度ユー
ザの心理的要因の影響を受けているかを定量的に分析する

実利用環境における製品評価構造（安藤, 2009）

製品評価調査の実施概要
同一製品（iPod nano）の実ユーザに対して、製品評価を把
握する調査を実施。
3
(2008)
(2008)
→
ACSI
85

定性的モデルに基づいた定量モデルの検討（安藤, 2009）
0.951
0.889
0.385
0.089
2 61.38
df 20
p 0
111.38
113.38
200.59
AIC
Browne-Cudeck BCC
BIC
GFI
AGFI
RMR
2 RMSEA
2
このモデルの欠点（利用期間の影響がUXの個別評価に影響していない点）

SEPIA法の提案（安藤, 2009）
ユーザーの自己効力感および製品関与の得点であらかじめ分
類した上で、UX評価尺度の得点傾向を比較分析する方法。
UX評価尺度を全体平均で理解するよりも、より詳細に製品がどんな
ユーザーにどんな体験を提供しているか解釈しやすくなる

ＵＸデザインにおけるコンセプト評価法（登尾, 安藤, 2017）
コンセプトの表現方法ごとに、把握する評価項目を２段階を
分けて評価することで、評価の観点が具体化され、妥当な評
価ができる。

まとめ
UX評価、さらに言えば（定量的な）計測は、世界的にも手
探り状態。しかし、そもそもの課題があると指摘したい。
ユーザー側の特性を分けずに、評価尺度を用いても限界があ
る。全体平均モデルで考えるのではなく、対象ユーザーの心
理的背景を考慮して評価する評価方法論が必要。
評価尺度は、測定次元（因子分析的な次元）は重要だが、そ
れよりも評価するユーザーが何に・どこに基準をおいて評定
しているか（潜在因子という理論的なものではなく、実質的
に何を考えているかということ）を考慮することが重要。
ユーザーの評価は時間によって変化する。そのため、どの時
点で、どの範囲を評価するかを検討することが重要。

ユーザーエクスペリエンスは計測可能なのか？〜UX計測に関する論文レビュー

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

More from Masaya Ando

More from Masaya Ando (10)