実践 Amazon Mechanical Turk ※下記の注意点をご覧ください（回答の質の悪化・報酬額の相場の変化・仕様変更）

Copyright©2018 NTT corp. All Rights Reserved.
実践 Amazon Mechanical Turk
2018年3月
NTT セキュアプラットフォーム研究所
長谷川彩子

2
はじめに
 Amazon Mechanical Turk (MTurk) とは
 Amazon提供のクラウドソーシングサービス
 低コストで大量の参加者を調達可能
 学術研究におけるユーザスタディへの参加者募集のデファクト
スタンダードツール
本資料ではMTurkを用いてユーザスタディを実施する際に必要な
基礎知識・使い方・Tipsをまとめる

3
目次
1. MTurkを用いたユーザスタディ
1.1 MTurk概要（p5～）
1.2 セキュリティ研究での利用例（p7～）
1.3 HCI研究での利用例（p10～）
1.4 メリット（p12～）
2. 実践 MTurk
2.1 利用全般（p18～）
2.2 参加資格の設定（p19～）
2.3 利用料金（p26～）
2.4 STEP1：リクエスター登録（p30～）
2.5 STEP2：HITs作成（p34～）
2.6 STEP3：結果の閲覧（p48～）
2.7 Tips（p52～）

4
1. MTurkを用いたユーザスタディ

5
1.1 MTurk概要（1/2）
 Amazon Mechanical Turk (MTurk) とは
 Amazon社が提供する大規模クラウドソーシングサービス
 Amazon Web Service（AWS）の一つ
 2005年11月公開
 対応言語は英語のみ
 ワーカーは匿名でタスクを実施（ワーカーIDのみ表示）
 主な作業内容
 画像・音声・動画データの内容の文字起こし
 機械学習に用いる教師データ（画像など）へのラベル付け
 翻訳
 アンケート
 製品評価（ユーザインタフェースの評価）

6
1.1 MTurk概要（2/2）
 用語
 HITs (Human Intelligence Tasks)：タスク
 ワーカー：HITsを実施して報酬を受け取る人
 リクエスター：HITsを依頼して報酬を支払う人
 利用時の流れ
1. リクエスターがHITsを公開
2. ワーカーは受けたいHITsを選択して実施し、リクエスターへ提出
3. リクエスターはワーカーの回答を確認し、回答を承認または否認
4. 回答が承認されたワーカーに報酬が支払われる

7
1.2 セキュリティ研究での利用例（1/3）
 例１：ユーザが生成するパスワードの分析
Blase Ur et al., Design and Evaluation of a Data-Driven Password Meter
（CHI2017 Best Paper Award ）
 ユーザへのフィードバックを提示するパスワードメーターを提案
 提示するフィードバックの粒度を変え、MTurkで募集した合計4509人の参
加者にパスワードメーターを利用してパスワードを生成してもらう
 生成されたパスワードを分析した結果、より詳細なフィードバックを提示
するほどより強いパスワードが生成されていた
(図)提案されたパスワードメーター
「Mypassword123」というパスワード
が入力されると、フィードバックを提示
した上で、より強いパスワード
「My123passWoRzd」を推薦

8
 例２：IoTデータ収集に関するプライバシー意識の調査
Pardis Emami-Naeini et al., Privacy Expectations and Preferences in an IoT World
（ SOUPS2017 ）
 データ収集の8要素（取得場所・データタイプ・デバイスタイプ・受益者・
目的・保持期間・共有範囲・推測可能性）を変えたIoTデータ収集シナリオ
を多数用意
 MTurkで募集した1007人の参加者にシナリオを提示
 参加者は各々のシナリオについてデータ収集の好ましさを5段階で評価
(図)
参加者のプライバシー意識
の傾向（抜粋）

9
 難関国際会議採択論文におけるMTurkの利用状況
 USENIX SOUPS 2017：プライバシーとセキュリティのユーザビリ
ティに特化した難関国際会議
 ACM CHI 2017：HCI分野の最難関国際会議
ユーザスタディを実施 MTurkを利用
23/26 (88%) 9
セッション名ユーザスタディを実施 MTurkを利用
Passwords and Authentication 4/4 (100%) 2
Social Media Privacy 5/5 (100%) 5
Authentication and Access Control 2/4 (50%) 2
ユーザスタディ実施にあたってMTurkの利用がデファクトスタンダード

10
1.3 HCI研究での利用例（1/2）
 例１：チャットシステムのユーザインタフェースの評価
Matthew K. Miller et al., Conversational Chat Circles: Being All Here Without
Having to Hear It All
 大人数が参加するライブストリーミングで
も機能するチャットシステムを提案
 ユーザのグルーピング機能と投票機能によ
り、自身のグループのコメントと全体で投
票数の多いコメントを表示
 MTurkで募集した各180人の参加者に、表示
されるコメントの量が異なるチャットシス
テムを利用してもらう
 参加者は読みやすさや使いやすさなどの
ユーザインタフェースを評価
(図)グルーピング機能と投票機能
が備わるチャットシステム
（CHI2017 ）

11
1.3 HCI研究での利用例（2/2）
 参考：ACM CHIのクラウドソーシング関連セッション
 最難関国際会議であるACM CHI 2017ではクラウドソーシング関連
セッションが3つ
 Crowdwork
 Collaborative Crowdwork
 Crowdfunding and Crowdsourcing
 これらではクラウドソーシングサービスそのものが研究対象
 研究例）複数のクラウドワーカー間で回答が一致するかどうかを予測
 研究例）作業内容をウェブ上で再現するタスク生成支援ツールの提案
 クラウドソーシングサービスとしてMTurkを前提とする研究が多い
ユーザインタフェースの評価やクラウドソーシングの研究において
MTurkの利用がデファクトスタンダード

12
1.4 メリット（1/5）
① 低コスト
 $0.1/min 程度の報酬で十分な数の回答が集まる（Adam J.
Berinsky et al., 2012）
 時給にして$5 が妥当な報酬（Panos G. Ipeirotis, 2010）
MTurkのメリット（リクエスター）
①低コスト ②ワーカー数 ③インフラ ④匿名性
⑤参加者の選抜 ⑥長期観測可能 ⑦文化的多様性
③～⑦は Gabriele Paolacci et al., Running experiments on Amazon Mechanical Turk（2010）より

13
1.4 メリット（2/5）
② ワーカー数
 50万人以上のワーカーが登録（2015年時点での公式発表）
 1日で400人分の回答が集まる（Adam J. Berinsky et al., 2012）
 1000人分の回答を集めるのにも3週間程度（Gabriele Paolacci et
al., 2010）
③ インフラ
 HITs作成の雛形となるフォーマット有り
 外部の調査用サイトへのリンクも可能
 参加者にMTurk上で識別用番号を配布すると分析や承認の際に便利
 報酬の支払いがワンクリック

14
1.4 メリット（3/5）
④ 匿名性
 ワーカーから匿名で回答を集めることができ、IRB（研究倫理審査
委員会）の承認を得やすい
⑤ 参加者の選抜
 リクエスターは各HITsへの参加資格を設定可能
 （例）US在住のワーカーを対象
 （例）過去のHITs承認率が95%以上のワーカーを対象
 （例）Facebookアカウントを保有するワーカーを対象
 ワーカーは資格を随時申請可能

15
1.4 メリット（4/5）
⑥ 長期観測可能
 ワーカーに再度HITs参加の依頼ができ、長期観測が可能
 （例）1回目のアンケートに回答したワーカーに連絡をとりアンケート
への回答を依頼
 （例）1回目のアンケートに回答したワーカーのワーカーIDを、2回目
のアンケートの参加資格として設定
⑦ 文化的多様性
 参加資格設定を活用して文化的な違いを検証可能
 （例） HITsへの参加資格をA国とB国の住民に分割して公開し、結果
を比較

16
（参考）参加者募集方法の比較
引用：Gabriele Paolacci et al., Running experiments on Amazon Mechanical Turk
Laboratory
Traditional web
study
Web study with
purpose built
website
MTurk
Susceptibility to
coverage error
High Moderate Moderate Low
Heterogeneity of
samples across labs
Moderate High High Low
Non-response error Low High High Moderate
Subject Motivation Moderate / High Low Low Low
Risk of multiple
responses by one person
None Moderate Moderate Low
Risk of contaminated
subject pool
Moderate High Moderate Low
Risk of dishonest
responses
Moderate Low Low Low
Risk of experimenter
effects
Low None None None
1.4 メリット（5/5）

17
2. 実践 MTurk

18
2.1 利用全般
 リクエスター登録可能国
 2017年6月に日本を含め計43ヶ国からのリクエスター登録が可能に
 詳細： https://blog.mturk.com/mturk-is-now-available-to-requesters-
from-43-countries-77d16e6a164e
 以前はUSの住所や銀行口座が必要などの厳しい条件
 登録可能国増加により、学術研究におけるMTurkのデファクトスタ
ンダード化が一層進む可能性有
 主な禁止事項（リクエスター）
 ワーカーのプライバシー情報(メールアドレスや電話番号等)の収集
 MTurkを悪用した広告活動
 MTurkのサービスに危害を与える行動
 アダルト資格を付けずにアダルトコンテンツを含むHITsを公開

19
 HITsには参加資格を設定するのが一般的
 ①System Qualifications(無料)・②Premium Qualifications(有料)・
③Masters(有料)の3種の資格
 ①と②は合わせて5つまで設定可能
 学術研究における参加資格設定の例はp63～64に記載
参加資格の設定画面
2.2 参加資格の設定（1/7）

20
① System Qualifications（設定無料）
 ワーカーごとに自動的に算出される以下の３資格
１. HIT Approval Rate (%) for all Requesters’ HITs
 ワーカーが過去に回答したHITsの承認率
 新規登録ワーカーの初期値は100％
2. Location
 ワーカーの居住国
 国単位で設定。USのみ州単位での設定も可能
 ワーカー登録時にワーカーが申請した居住地が初期値
3. Number of HITs approved
 ワーカーが過去に回答したHITsの承認数
 新規登録ワーカーの初期値は0

21
② Premium Qualifications（設定有料）
 ワーカーが資格テストを受けることにより保持できる資格
 特定のワーカーを対象にしたHITsの際に設定
 10人以上を募集するHITsに設定可能
 約130種（以下）
Blogger: $0.25
Born 1918 to 1960 (Age 55 or older): $0.50
Born 1961 to 1971 (Age 45-55): $0.50
Born 1972 to 1981 (Age 35-45): $0.50
Born 1982 to 1986 (Age 30-35): $0.50
Born 1987 to 1991 (Age 25-30): $0.50
Born 1992 to 1999 (Age 18-25): $0.50
Borrower - Auto Loans: $0.40
Borrower - Business Loan: $0.40
Borrower - Credit Cards: $0.40
Borrower - Home Mortgage: $0.40
Borrower - Personal Loan: $0.40
Borrower - Student Loan: $0.40
Car Owner: $0.25
Current Residence - Owned: $0.40
Current Residence - Rented: $0.40
Daily Internet Usage - 1 to 4 hours: $0.30
Daily Internet Usage - 5 to 7 hours: $0.30
Daily Internet Usage - 7+ hours: $0.30
Employment Industry - Banking & Financial
Services: $0.40
Employment Industry - Education: $0.40
Employment Industry - Food & Beverage: $0.40
Employment Industry - Government & Non-Profit:
$0.40
Employment Industry - Healthcare: $0.40
Premium Qualificationsの種類と1ワーカーあたりの追加手数料
21

22
Financial Asset Owned - Exchange-Traded Fund
(ETF): $0.40
Financial Asset Owned - Money Market Account:
$0.40
Financial Asset Owned - Mutual Funds: $0.40
Financial Asset Owned - Real Estate Investment
Trusts (REITs): $0.40
Financial Asset Owned - Savings Account: $0.40
Financial Asset Owned - Stock Options: $0.40
Financial Asset Owned - U.S. Treasury
Bills/Government Debt: $0.40
Gender - Female: $0.50
Gender - Male: $0.50
Google Account Holder: $0.05
Handedness - Left: $0.15
Handedness - Right: $0.15
Household Income - $100,000 or more: $0.50
Household Income - $25,000 - $49,999: $0.50
Household Income - Less than $25,000: $0.50
Insurance Policyholder - Auto Insurance: $0.40
Insurance Policyholder - Healthcare Insurance:
$0.40
Insurance Policyholder - Life Insurance: $0.40
Employment Industry - Manufacturing: $0.40
Employment Industry - Media &
Entertainment: $0.40
Employment Industry - Retail, Wholesale &
Distribution: $0.40
Employment Industry - Software & IT
Services: $0.40
Employment Sector - Non-Profit: $0.30
Employment Status - Full time (35+ hours per
week): $0.35
Employment Status - Part time (1-34 hours
per week): $0.35
Employment Status - Unemployed: $0.35
Exercise - Every Day: $0.30
Exercise - Four Plus Times a Week: $0.30
Exercise - Not at All: $0.30
Exercise - Once a Week: $0.30
Exercise - Two to Three Times a Week: $0.30
Facebook Account Holder: $0.05
Financial Asset Owned - Certificate of Deposit
(CD): $0.40
Financial Asset Owned - Checking Account:
$0.40
Financial Asset Owned - Common Share
Stocks: $0.40
22

23
Online Purchase - Automotive Products: $0.40
Online Purchase - Baby & Kids: $0.40
Online Purchase - Books: $0.40
Online Purchase - Clothing & Shoes: $0.40
Online Purchase - Electronics & Computers: $0.40
Online Purchase - Groceries & Food: $0.40
Online Purchase - Handmade Products: $0.40
Online Purchase - Health & Beauty: $0.40
Online Purchase - Home & Garden: $0.40
Online Purchase - Jewelry: $0.40
Online Purchase - Movies: $0.40
Online Purchase - Music: $0.40
Online Purchase - Sports & Outdoor Equipment:
$0.40
Online Purchase - Toys: $0.40
Online Purchase - Videogames: $0.40
Parenthood Status: $0.50
Pinterest Account Holder: $0.05
Primary Internet Device - Desktop: $0.40
Primary Internet Device - Laptop: $0.40
Primary Internet Device - Smartphone or Tablet: $0.40
Primary Mobile Device - Android: $0.50
Primary Mobile Device - iPhone: $0.50
Primary News Source - Online News (News Websites,
News Apps): $0.30
Insurance Policyholder - Renters Insurance:
$0.40
Job Function - Accounting & Finance: $0.40
Job Function - Administrative: $0.40
Job Function - Arts & Design: $0.40
Job Function - Education & Training: $0.40
Job Function - Engineering: $0.40
Job Function - Information Technology: $0.40
Job Function - Management: $0.40
Job Function - Marketing, Sales & Business
Development: $0.40
Job Function - Operations: $0.40
Language Fluency (Basic) - Brazilian
Portuguese: $1.00
Language Fluency (Basic) - Chinese Mandarin:
$1.00
Language Fluency (Basic) - French: $1.00
Language Fluency (Basic) - German: $1.00
Language Fluency (Basic) - Spanish: $1.00
LinkedIn Account Holder: $0.05
Marital Status - Divorced: $0.50
Marital Status - Married: $0.50
Marital Status - Single: $0.50
Military experience: $0.30
Myspace Account Holder: $0.05
23

24
Tumblr Account Holder: $0.05
Twitter Account Holder: $0.05
US Bachelor's Degree: $0.50
US Graduate Degree: $0.65
US High School Graduate: $0.05
US Political Affiliation - Conservative: $0.40
US Political Affiliation - Liberal: $0.40
Vacation Frequency - Every Few Years: $0.30
Vacation Frequency - Every Month: $0.30
Vacation Frequency - Every Quarter: $0.30
Vacation Frequency - Every Year: $0.30
Vacation Frequency - Never: $0.30
Voted in 2012 US Presidential Election: $0.10
Voted in 2016 US Presidential Election: $0.10
YouTube Account Holder: $0.05
Primary News Source - Podcasts: $0.30
Primary News Source - Print (Newspapers &
Periodicals): $0.30
Primary News Source - Radio (AM/FM, Internet,
Satellite): $0.30
Primary News Source - Social Media: $0.30
Primary News Source - TV (Late Night Comedy,
Other): $0.30
Primary News Source - TV (Local/Cable News
Broadcast): $0.30
Primary News Source - Word of Mouth: $0.30
Reddit Account Holder: $0.05
Single Family Home Resident: $0.30
Smoker: $0.30
Tablet Owner: $0.20

25
③ Masters（設定有料）
 Masterとは特に質の高い回答を行うと認定されたワーカー
 Mastersに限定して募集をかけることができる（追加手数料として
報酬の5%）
Amazon Mechanical Turk (MTurk) has built technology which analyzes
Worker performance, identifies high performing Workers, and
monitors their performance over time. Workers who have
demonstrated excellence across a wide range of HITs are awarded the
Masters Qualification. Masters must continue to pass our statistical
monitoring to maintain the MTurk Masters Qualification.

26
 HITs公開にかかるコスト =
    
募集人数
料ワーカーあたりの手数＋額ワーカーあたりの報酬

11
2.3 利用料金（1/4）
① ②
① $0.01以上でリクエスターが設定
② 基本手数料と参加資格設定手数料の合計
 1ワーカーあたりの基本手数料
 募集人数9人以下の場合 ⇒ ワーカーへの報酬額の20%
 募集人数10人以上の場合 ⇒ ワーカーへの報酬額の40％
 上記の額が$0.01以下の場合 ⇒ $0.01
 1ワーカーあたりの参加資格設定手数料
 Premium Qualifications ⇒ p21～24に記載の個別料金
 Masters ⇒ 報酬額の5%
節約のために、同一のHITsを募集
人数9人以下に分割して複数回公
開するリクエスターも多い

27
(1) 1ワーカーあたり$0.1の報酬で3人募集
1ワーカーあたりの手数料=$0.10×0.2=$0.02 > $0.01
利用料金＝($0.1+$0.02)×3=$0.36
1ワーカーあたりのMTurk手数料=$0.10×0.4=$0.04 > $0.01
利用料金＝($0.1+$0.04)×30=$4.20
1ワーカーあたりのMTurk手数料=$0.01×0.2=$0.002 < $0.01
利用料金＝($0.01+$0.01)×3=$0.06
＜例＞
2.3 利用料金（2/4）

28
1ワーカーあたりのMTurk手数料=$0.08×0.4=$0.032 > $0.01
利用料金＝($0.08+$0.03)×30=$3.30
(5) 1ワーカーあたり$0.01の報酬でPremium資格者(Facebook Account Holder)
を10人募集
1ワーカーあたりのMTurk基本手数料=$0.01×0.4=$0.004 < $0.01
1ワーカーあたりの資格設定手数料=$0.05
利用料金＝($0.01+$0.01+$0.05)×10=$0.70
Facebook Account Holder: $0.05
2.3 利用料金（3/4）

29
（参考）プリペイドしたお金の返金
 システム上での自動返金の仕組みはなく、カスタマーサポート(mturk-
requester-support@amazon.com)への連絡が必要
 カスタマーサポートに連絡してから5営業日ほどで、プリペイドに用い
たクレジットカード/デビットカードに返金
 リクエスターとしての利用はプリペイド式
 クレジットカード/デビットカード払い
 一気にチャージしても良いし、HITs公開の都度プリペイドしても
良い
 HITs公開時には、募集人数分全て回答が集まると仮定した利用料
金の最高額をプリペイドする必要有
2.3 利用料金（4/4）

30
2.4 STEP1：リクエスター登録（1/4）
1. リクエスターホーム (https://requester.mturk.com/) >「create an account」から名
前・メールアドレス・住所・電話番号・勤務先を入力
2. メールアドレスに送られてくるコードを入力し登録完了

31
3. プリペイドしておく（HITsの公開直前でも可）
残高
↑ここから支払い
マイアカウントページ(https://requester.mturk.com/account)
>「Purchase Prepaid HITs」>「Proceed to purchase」

32
4. プリペイドする額とクレジットカード/デビットカードの情報を入力

33
5. プリペイド完了画面
プリペイド額
プリペイド履歴

34
1. HITsの新規作成画面
リクエスターホーム (https://requester.mturk.com/) >「Create」>「New Project」
↑過去に作成したHITsを複製したいときはこっち
2.5 STEP2：HITs作成（1/14）

35
16種類の雛形
• Survey Link
• Survey
• Tagging of an Image
• Moderation of an Image
• Choose image A or B
• Writing
• Collect data
• Collect data from a Website
• Transcription from A/V
• Transcription from a Receipt
• Transcription from an Image
• Sentiment Wizard
• Sentiment Project
• Sentiment of a Tweet
• Categorization Wizard
• Categorization Project
• Other
2. 作成するHITsのジャンル（フォーマットの雛形）を選択
HITsの雛形
を選択

36
（参考）16種類の雛形
Survey Link - 外部の調査用サイトへ誘導 Survey Link – アンケート調査
Tagging of an Image – 画像へのタグ付け Moderation of an Image
– 不適切画像の選択

37
Choose image A or B – 画像選択 Writing– 描写・要約
Collect data – データ収集 Collect data from a Website
– ウェブサイトの情報抽出

38
Transcription from A/V
– 音声/動画の文字起こし
Transcription from a Receipt
– レシート画像の文字起こし
Transcription from an Image
– 画像の文字起こし
Sentiment Wizard
– リッカート尺度を用いた心理アンケート

39
Sentiment Project – 感情分類 Sentiment of a Tweet
– ツイート内容の感情分類
Categorization Wizard – 画像分類 Categorization Project – 画像分類

40
2’. HITsの雛形として今回は「Survey」を選択し「Create Project」に進む
選択肢から1つ選択
(ラジオボタン)
自由記述
選択肢から1つ選択(プルダウン)
選択肢から複数選択可
今回は
これを
選択

41
3. 「Edit Project」>「①Enter Properties」に遷移。ここでHITsの基本情報を入力

42
 入力項目
・HITsのタイトル
・HITsの説明文
・キーワード
・報酬額
・募集数
・想定所要時間
・募集期限
・自動承認開始期間 ※1
・マスター資格の必要有無
・参加資格(5つまで)
・アダルトコンテンツの有無
・公開範囲 ※2
※1:ワーカーが回答してから回答が自動承認されるまでの日数
※2:
Public … 参加資格の有無に関わらず全ワーカーに基本情報からプレビューまで全て公開
Private … 参加資格が無いワーカーには基本情報のみ、参加資格が有るワーカーにはプレ
ビューまで公開
Hidden … 参加資格が有るワーカーのみにプレビューまで公開

43
4. 「Edit Project」>「②Design Layout」で雛形をもとにHITsをデザイン
これらを駆使して雛形をベタ打ちで編集するか、

44
「ソース」を押して
HTMLを編集
←この1行を挿入
すると

45
挿入前挿入後

46
4. 「Edit Project」>「③Preview and Finish」でデザインしたHITsの確認・保存
問題なければ「Finish」を押して保存
修正が必要なら「①Enter Properties」や「②Design Layout」に戻って編集
プレビュー
2.5 STEP2：ITs作成（13/14）

47
5. リクエスターホーム > 「Create」> 「New Batch with an Existing Project」
保存されたHITsを選択して「Publish Batch」
最終確認が表示されるので問題なければ「Publish」を押す ⇒ HITs公開開始
※プリペイドのチャージ金額が足りていない場合、支払い画面が表示される
保存されたHITsを選択

48
1. リクエスターホーム (https://requester.mturk.com/) >「Manage」>「Results」で
公開したHITsのステータス一覧を確認
回答募集中のHITs
回答が全て集まったHITs 回答結果
(次頁)
タイトル
タイトル
回答状況
2.6 STEP3：結果の閲覧（1/4）

49
2. 各HITsの「Results」を選択し、回答結果の詳細を確認
タイトル
回答したワーカー
のID
回答結果
(質問1,2,3…)
回答結果を
CSV形式で
ダウンロード

50
3. 回答内容を確認して承認/否認
タイトル
全ての回答
を一括承認
選択した回答
を承認/否認

51
4. 平均回答時間の確認とデータ除去（「Filter Results」）
タイトル
(例)平均回答時間は46秒
(例)回答時間が18秒以下ワーカー
のデータを除去できる

52
2.7 Tips（1/10）
Tips
① ページ上位に自身のHITsを表示させる
② タイトルに所要時間を記載
③ 無効回答データを削除
④ 参加資格に居住国を設定
⑤ Premium Qualificationsの設定は慎重に
⑥ 回答者と母集団のデモグラフィーを比較
⑦ パイロットスタディは必須

53
2.7 Tips（2/10）
① ページ上位に自身のHITsを表示させる
 MTurkでは公開されるHITsの数が非常に多いため、自身のHITsを
より多くのワーカーの目に留まらせるための一工夫が必要
ワーカーから見たHITs表示画面（デフォルト）
全部で1000件近くのHITsがあるため
自身のHITsが埋もれてしまいがち

54
2.7 Tips（3/10）
デフォルトは
募集人数順
報酬
額順新着順
 デフォルトは募集人数が多い順 ⇒ 募集人数を増やすのが手っ取り
早い（費用がかさむ）
 多くの（または目的の）ワーカーがMTurkを閲覧する時刻に新着順
で上に表示されるよう、ベストなタイミングで公開
 (例)多くのワーカーがMTurkを閲覧する休日日中(アメリカ時間)に
公開
 (例)主婦が対象のHITsの場合、平日日中(アメリカ時間)に公開

55
2.7 Tips（4/10）
② タイトルに所要時間を記載
 HITs一覧表示の画面には所要時間の記載がない
 タイトルに所要時間や、簡単な作業であることを表す単語
（short,easy等）を記載すると、閲覧数が増える傾向有
所要時間の欄がない

56
タイトルに所要時間を記載
2.7 Tips（5/10）

57
2.7 Tips（6/10）
③ 無効回答データを削除
 説明文をしっかりと読まずに適当に回答するワーカーが存在する可
能性を捨てきれない
 これらの無効回答を削除して質の高い回答データを作る
 削除方法1：IMCの導入（次頁）
 削除方法2：回答時間が短いワーカーを削除（p51）
 削除方法3：いつも一番上の選択肢を選択しているワーカーを削除
 適当に回答するワーカーを減らすためにも、全ての質問を選択式に
せず自由記述も盛り込む
 質の低い回答をすると判断したワーカーをブロックし、次回以降の
HITsへの参加を阻止（ブロック機能）

58
2.7 Tips（7/10）
Instructional manipulation check(IMC) （Oppenheimer et al., 2009）
IMCの例
長い説明文の中には「これはあなたが説明文をきちんと読んでいるか確認するための設問です。
選択肢から何も選択せずに次の設問に進んでください。」と書かれている。
⇒ 選択していた回答者の回答を削除

59
2.7 Tips（8/10）
④ 参加資格に居住国を設定
 190ヶ国以上のワーカーが登録（MTurkの公式発表）
 しかし割合としてはUS在住のワーカーが全体の約75%、インド在住
のワーカーが約20％を占めるとの調査結果
 HITsの参加資格に居住国を設定せずにUTC22時(NY17時・インド4
時)に公開⇒回答者ほぼ全員がUS在住のワーカー
 UTC9時(NY4時・インド15時)に公開⇒US在住のワーカーの割合は5
割まで低下
 「参加者はUS在住のワーカーに限定した」とする学術研究が非常に
多い
http://www.behind-the-enemy-lines.com/2015/04/demographics-of-mechanical-turk-
now.html

60
2.7 Tips（9/10）
⑤ Premium Qualificationsの設定は慎重に
 Premium Qualificationsを設定すべきか否かについては議論が多い
 ワーカーが受ける資格テストの質を疑問視する声も
Premium Qualificationsは設定せずに自身で参加資格調査を実施
（HITsの中に参加資格の有無を問う質問を入れる）するのが良いとの意
見もある
(参考) Premium qualifications - Is it worth it?
https://www.reddit.com/r/mturk/comments/7b9qpl/premium_qualifications_is
_it_worth_it/

61
2.7 Tips（10/10）
⑥ 回答者と母集団のデモグラフィーを比較
 回答者のデモグラフィーと、研究対象の母集団のデモグラフィーが
概ね一致していることを確認する必要有
 回答者の属性（性別・年代・職業etc…）を問う設問を必ず加える
 母集団のデモグラフィーは例えば以下のサイトなどを参照
USにおけるインターネットユーザのデモグラフィー
http://www.pewinternet.org/fact-sheet/internet-broadband/
⑦ パイロットスタディは必須
 実際に募集してみると、設問意図とは異なる回答が返ってくること
も多い
 まずは少人数で募集してパイロットスタディを行い、説明文や各設
問内容が適切であるか確認
 パイロットスタディの結果に問題がなければ本調査を実施

62
◆Panos Ipeirotis先生(NewYork大学)のブログ http://www.behind-the-enemy-lines.com/
- MTurkに関する記事が多数
- MTurkに関する論文を多数執筆 ⇒ http://www.ipeirotis.com/publications/
◆金岡先生(東邦大学)の発表資料 https://www.slideshare.net/akirakanaoka/usable-security-privacy
- 『Usable Security & Privacy研究でのクラウドソーシング利用の現状』（第23回セキュリティ心理学と
トラスト合同研究発表会企画セッション）
- 事例紹介・利用状況など（セキュリティ分野）
◆RedditのMTurkスレッド https://www.reddit.com/r/mturk/
- MTurkに関するQ&Aが盛んに投稿されている
◆伊藤言さん(東京大学)のブログ記事 http://genito.net/?p=652
-『オンラインでの実験参加者調達/実験や調査を可能にするために – Amazon Mechanical Turkやその他
ソフトウェアについて』
◆MTurkコミュニティのサイト http://www.mturkgrind.com/ や https://www.mturkcrowd.com/ 等
◆TurkPrime https://www.turkprime.com/
- MTurkのツールキットや統計情報を提供
（参考）関連サイト

63
（参考）SOUPS2017採択論文におけるMTurk利用の詳細（1/2）
タイトル Diversify to Survive: Making Passwords Stronger with Adaptive Policies
調査内容 12種のパスワードポリシの下で参加者にパスワードを設定してもらい、生成され
たパスワードの強度を調査
参加人数 2619人
参加資格 18歳以上、US在住
報酬ー
タイトル “better to use a lock screen than to worry about saving a few seconds of
time”…
調査内容参加者にスマホのスクリーンロックをかけないリスクを説明するビデオを見せ、
視聴前後での行動や意識の変化を調査
参加人数 228人
参加資格 18歳以上、US在住、1000以上のHITsの経験有り、HITsの承認率95％以上、
Androidスマホを持っている、スマホにスクリーンロックをかけたことがない
報酬 $2.5～$3.5

64
（参考）SOUPS2017採択論文におけるMTurk利用の詳細(2/2)
タイトル Impact of User Characteristics on Attitudes Towards Automatic Mobile
Application Updates
調査内容スマホアプリの自動アップデートに関するアンケート(15分程度)
参加人数 477人
参加資格 18歳以上、US在住、HITsの承認率95％以上、メインスマホがAndroid、Play
Storeを1ヶ月以上使ったことがある
報酬 $2.5
タイトル Can We Fight Social Engineering Attacks By Social Means? Assessing
Social Salience as a Means to Improve Phish Detection
調査内容 18通の受信メール(うち6通がフィッシングメール)を見せ、フィッシングメール
か正規のメールか判定してもらう
参加人数 279人
参加資格 18歳以上、HITsの承認数50以上、モバイルデバイスからの参加でない、英語に
問題がない(英語のメールを問題なく読める)
報酬 $0.45

実践 Amazon Mechanical Turk ※下記の注意点をご覧ください（回答の質の悪化・報酬額の相場の変化・仕様変更）

Recommended

More Related Content

What's hot

What's hot (20)

Similar to 実践 Amazon Mechanical Turk ※下記の注意点をご覧ください（回答の質の悪化・報酬額の相場の変化・仕様変更）

Similar to 実践 Amazon Mechanical Turk ※下記の注意点をご覧ください（回答の質の悪化・報酬額の相場の変化・仕様変更） (20)

Recently uploaded

Recently uploaded (7)

実践 Amazon Mechanical Turk ※下記の注意点をご覧ください（回答の質の悪化・報酬額の相場の変化・仕様変更）