1. 感情の「見える化」で心の豊かさを
育む
「自殺抑制・医療費削減」先進国フィンランド正
式採用
「キャタピラ/YAGI だけではない！日本オリジナル
の
工学技術が世界の心を紡いでゆきます」
博士（工学） 光吉俊二
株式会社AGI PST株式会社 代表取締役
3. EUが選んだ日本の工学技術を使った解決策
TEKESファンド（EU）
プロジェクト SEWEB シニッカ・サロ Maritta Perälä-Heape Satu Raappana-Jokinen Juuso Nissilä
VALKEE Juha Ala-Mursula
Aleksi Ukkola
Lewel
Ville Tapio Marko Kailasuo
Sensorfit
Petteri Lahtela
Anssi Ylimaula
Oulu市副市長 CHTプロデューサー FAMH MCC Mawell
Business Oulu代表
• 「うつ病・不安障害」などを簡単で正確に日常定量計測する音声分析技術ST/PST採
用
• これにより、薬剤消費抑制・多重検査の防止・終末医療費削減を実現
• いつまでも「若い肉体と心」で熟練を生かし、次世代を正しく育成する
「すべての病は気から」 （本来なら東洋思想ですが）
正しい心（脳神経・肉体・精神）のバランスを日常的に定量計測し、アルツハイマー・ストレ
ス・精神疾患の初期発見（ST）を促し、自動的にトリートメント（PST）する
それにより、「病気にさせない」、なっても「正しい治療」で薬剤消費抑制を実現させる。
そして、日常計測による多重検査の抑制、
日常的な心の状態の把握から、死生観の受け入れを正しく捉え、
人生劇場の最高の幕引きを整えられる。＜高額で苦しい延命措置を望まない場合＞
「食事と呼吸ができなくなれば、お迎えを受け入れる」自然な覚悟が家族にもできます。
すなわち、日本人でいえば
最後まで仕事や趣味ができて、ボケずに 「ピンピン
4. うつ病は気分障害と呼ばれる状態、だから気分（情動・感情）を正確に
音声だけからカンタンに定量計測することからスタートしました。
これをSTと呼びます。
そして、本年度からEUにおける医療認定を進めるため、脳活動や神経活動
ホルモンや伝達物質の影響をリアルタイムに音声から分析する研究が始まりました。
これをPSTと呼びます。
● 簡単に、 マイク一つで ＜携帯電話マイクでも＞
● だれでも、 年齢・性別・国籍に関係なく
● ストレス、抑うつ、感情、心理が脳活動から
● 科学として、リアルタイム計測（主観＋脳計測＋血液検査＋医師で確認
4
特許取得済み
5. ST/PSTとは
• ST = Sensibility Technology
• PST= Psychoanalysis System Technology
感情が見える技術 = ST
音声から感情がわかる 発話と同時に色と量で感情を瞬間計測
（９感情）
複雑な感情も簡単に見える 色（状態比率）と度合い（量）で感情を表
示します
ST Emotion SDK
（NEC 言花）
心や脳を知る技術 = PST
状態を知る 「心の体温計」ストレス・疲労などの定量計測
生理を知る 脳神経・伝達物質の様相を声から解析
心を知る うつ状態・そう状態/統合失調など
サポートする 障害者への認知機能の補完
改善する 認知行動療法への応用
PST Mind analyzer
5
特許取得済み
7. 導入実績：会話サービスでの利用＜2000年～2004年＞
ST Learning（ver.1.0）
日本大学
英会話教材の改善
学生 ST Learning Server
バーチャルロボット「んとと」
NTTサイバーソリューション研究所 • 気持ちを光で表現する
感情を捉える新インタフェースの模 「言花（KOTOHANA）ＮＥＣ」を
索 「CeBIT2006」に出展
携帯電話
ST 音声Server
■会期・会場
・2006年3月9日（木）～15日（水）７日間
「EZバーチャルトーク」ＫＤＤＩ ・ドイツ・ハノーバー国際見本市会場
「スタープライベートトーク」 ・出展社数：6,270社， ビジター数：48万人 （いずれも2005年
実績）
（ver.1.0） 7
仮想キャラクター，著名人との会話コンテンツ・サ
8. 感情・心理規格化のアウトライン
1. 感情表現の調査更新
2. 感情項目の確定 （同義語・同意語の収束）
3. 感情項目の生理反応調査、マトリックス更新 （心的身体的作用と生体物質
の関係マトリックス）
4. 感情項目の関係メカニズム更新
5. 感情項目の規格化
感情辞書 → 感情って幾つあるの？
感
情
の
感情項目 → どういう内容属性？ 工
業
規
生理とどう関係あるの？→ 感情マトリックス 格
化
へ
どういう構造しているの？→ 感情メカニズム
10. 生体物質
情動反応・身体反応と物質の関係調査 心的身体的作用と生体物質の関係マトリックス
脳内物質 興奮 ストレス 不安 嫌悪 闘争 恐怖 うつ 快不快 安定 陶酔 期待 心拍 瞳孔 交感神経 発汗 体温 血圧 周期 免疫
CRH 覚醒 ○ACTH○ ◎ ◎ ◎ ○ ◎ ◎ 日周
神経ペプチド 沈静 ○CRH ◎ ○× NA×
コルチゾール ○
パゾプレシン ○恒常性 ◎ ◎ 活性 ◎ 日周
ACTH ○ ◎× ×
CCK-4 前◎ ○ ◎強 ○ ◎強 ○ ○
CCK-8 全◎前× ○
メラトニン ○× 幸福 ○ × 忘却機能 日周季節 活性
オピオイドペプチ 沈静 NA× NA× 快感 ○ 運動快感 NK活性
ド
βエンドルフィン CRH× ◎ ◎
アセコルリン CRH◎ ◎
ノルアドレナリン ◎ CRH◎△ ◎ ◎ ◎ ◎ ◎ ◎ 拡大 緊張記憶
アドレナリン CRH◎△ ◎ ◎ J◎ ◎ 拡大 緊張
ドーパミン ◎ CRH◎ ◎ 低◎ 記憶
セロトニン CRH◎ ◎× 低◎ ◎ ◎
アンジオテシン CRH◎
ガラニン CRH◎ ×
ソトマスタチン CRH×
αーMSH CRH× ×
GABA CRH× NA× NA×
ベンゾジアゼピン × ◎
ジアゼパム NA× NA× ○
エタノール NA× NA×
エンケファミン
感情や精神状態（横軸）、および身体反応（縦軸）に影響するという確認が学会
βカルボリン ○◎
誌や論文などの治験にある、生体物質やホルモンなどを調べ、対批表マトリックスにした。
イソプレナリン ◎
ヨヒンビン ◎ 目的：脳の活動と伝達物質・ホルモンから導かれる情動の発生メカニズムの推定
フェンフラミン ◎
○は合成/分泌，○×は分泌して抑制，◎は促進，CRH ◎はCRH 合成・
乳酸ナトリウム ◎ 分泌促進，前◎は前頭葉皮質で促進，全◎は脳全体
CO２ ◎強 ◎強 で促進，前×は前頭葉皮質で抑制，低◎は低下したら促進，×は抑制，
カフェイン 覚醒 ◎
○恒常は分泌により恒常性を維持，CRH ×は，CRH
合成・分泌抑制，◎×で制御，△は調整，NK はナチュラルキラー細胞，
ガラニン ×？ 活性は免疫機能の活性，機能は免疫機能，日周はバイオリズム，
オキトシン × × ×？ ?は報告情報，- は文献[9] に記載なし 母性行動
FMRFアミド × ◎？
表を見てわかるように- が多く，心と感情と分泌物質の関係では不明な部分が多い．CCK 系統と5-HT, GABA, DA は複
テストロステン × ◎強 雑にお互い影響しあって情動に作用するようである．また，性ホルモンは闘争と深く結びついているようである．これらの分泌
物や物質は脳神経活動に制御され，大脳辺縁系と情動と記憶は密接に連携している
アンドロゲン × ◎
エストロゲン × ×
プロゲステロン ×
11. 感情モデルの推定
i. 目的：
生理・臨床系の論文を調べ、
感情反応と脳の関係から情動
や行動のメカニズムを再現す
る
i. 作業：
心的身体的作用と生体物質
の関係マトリックス(表１)から
脳の構造、伝達物質を対比軸
にして「目的」の構造化を行
う
i. モデル化：
「作業」から同じ物質や脳
機能から来る効果を対角線上
に配置して、円形のダイアグ
ラムに置き換えた
11
仮説図（博士論文・日本機械学会編集「感覚・感情とロボット」より）
12. 感情の規格化
この感情地図を英訳することは、対応する単語の不
足（日本語の心境単語４５００語に対して英語２２
①快活 ３語程度）からきわめて困難
④平静
③
落ち
込み
みんなで世界中の技術者が自由
②主張・不快 にemotionを扱えるようにしよ
う！
1st 2nd 3rd 4th
Regulation circle circle circle circle
5th 6th 7th 8th
感情のMIL規格 ① STY <P> -L -L
STE ② STR <N>-D -Ag
工業規格番号化
③ STB <N>-U -Ax and STB<N>-D-P
④ STG <P> -S
仮説図（光吉博士論文より）
13. 人体原理の工学発想
＜複雑な自律神経フィードバック影響下でも、
声は出力するだけでフィードバックしない＞
人は情動という強い感情の源泉があります。
情動
しかし、健常者は社会生活において、この情動を上手くコントロールして
おります。
情動を抑えようとする部位の影響
扁桃体 を受ける声道 ＝ コントロール状態
視床下部
中脳
フィルタリン 言語生成なので随意筋で 音声は
話者 グ（フォルマ 意図的に動く フィードバック
ント） 脳情動活動の不随意影響 しないで
で声が固まる、震える 出力だけ
声帯ひだの張力 緊張するなどの影響がでる 心のプリンタ
扁桃体⇔視床下部・中脳 意図的に言語を生成
の不随情動が出る するから嘘がつける
建前
本音
肺 声帯 声道 口 音声
13
特許取得済み
14. ST/PSTの構造と出力
情動と呼吸は密接な関係があるとされるため、発話単位（ブレスの間）で感情を分析す
STの内部構造 怒り度合い
話者
喜び度合い
悲しみ度合い
情動 意図的主観分析 平静度合い
興奮度合い
快不快度合い
情動 苦痛度合い
不安度合い
呼吸単位で感情を分析 安心度合い
呼吸と感情の関係レセプタ解明され、また
深呼吸では、ネガティヴ感情は想起できない 人の感じ方（主観）のパ
情動に関係する ターンを再現（パラメタ閾
音響パラメタ 値セット）
（周波数特性な 各感情判定ロジックがある
ど）
一番強い感情を第一候補に判定ロジックの多数決システムで選定し、その他の様
14
色や成分割合として表示する
特許取得済み
15. PST ver1.0
PST は感情や心も色と量で見えるようにしました。
感情分析出力 精神分析出力
哀しみ, 喜び, 怒り, 平静 躁鬱（双極性）
そして 興奮 (自律神経系) パーソナリティ障害
バ強 そ
自律神経作用 う
Speaker A ラさ
ンと (興奮) 状
入力 医師 ス パラメータ 態
うつ状態
Speaker B
入力 患者
リアルタイム処理（時間軸）
15
特許取得済み
16. ST/PST の構造特徴 2800名主観再現メカニズム
主観学習データ 解析パラメータ 解析結果 主観分析 主観再現ロジック
実はとても大変、普通の研究
者は気が変になります！
etc
学習データ（2800名の発話）固定された200 全員共通の主観分離 人の主観を
１００名の主観評価つき 以上のパラメー 判定ロジック
規則性を見つけ出す
タで解析する ルールに置き換える
学習データ
本人評価 他者評価
各種分析手法 （HMM / NN / SVM など） を試した
A A∩B B
が、手作業とルールベース分析で実用レベルまでに到
達した。
16
特許取得済み
17. STの主観再現性能試験
（オープンテスト１１００名の被験者）
IEEE2007NLP-KEで発表
縦軸・横軸は各種パラメータセット
Bならば、怒りと喜びを分離するセット構
ＳＴは人の主観でラベリングされた試験用サンプル音声（数万ファイル）
結果 を自動的に分離した.＜感情が出ているとされた音声を使用＞
17
＜実施＞日本ＳＧＩ社
光吉俊二 ＩＥＥＥ論文「Emotion Voice Analysis System Connected to the Human Brain」発表
18. STの主観一致率（直感テスト）
人の感情認識能力とSTの認識率の比較実験
評価限界
100% （主観限
本人でも 本人主張 (日本人・正解) vs
*ＳＴ SDK Ver2.0時のテスト結果 聞き手 (日本語を知らない外国
自分の
90% 界）
気持ちが 人・比較)
本人主張 (日本人・正解) vs
80% 解らない
聞き手 (日本人・比較)
70% 本人主張 (日本人・ 正解) vs
60% 本人
S T (機械・比較）
50% 本人 ST 正解 本人評価
ST 正解 86%
40% 70% 日本人
30% 日本人 考察： 外国人
情動は自動システムである
20% 外国人
と世界の科学者は考えてい
10% る.
＝ＳＴも人も人種を超えて
0% 一致率が高い（認知・文系
感情 情動 研究者の意見として、感情
怒り・喜び・悲しみ・平静 興奮 は文化や風俗・環境などの
認知影響を受け一致しにく
結果 科学的には人の主観の一致率が低すぎるため、認識率出せない
いので基準が低い可能性が
= 感情認識100％を標榜するのは嘘とわかる → ライバル技術壊滅(日本撤退)
ある）.
光吉俊二 ＩＥＥＥ論文「Emotion Voice Analysis System Connected to the Human Brain」発表 18
19. STは発話者のネガティヴ（怒り＋興奮） な
脳の情動活動をその時だけ、しっかり検出
した！
独立行政法人情報通信研究機構（NICT）での実験により、統計的有意水準0.1％で脳の情動活動を検出する研究
活動領域:
(t-test, p<0.001, 危険率0.1％で非修正)
3Tのシーメンス社製 fMRIを使用
R L L R
1．Left and right frontal BA44,45
＜L: 会話発言, R: 共感 ＞
2．Left dorsofrontal BA12
＜ホルモン制御, 抑圧情動＞
3．Left amygdalate complex R L
＜ネガティヴ情動＞
4．L/R inferotemporal
＜画像イメージング, 身体イメージ
＞
R L
なぜ、画像イメージが動いた?
被験者は相手の顔を思い出してい L R
たと供述していた.
19
By NICT + AGI (2005-2008)
20. ２０００～２００９
生理科学 統計学 人の主観
脳比較 主観比較 DB
etc
STにより脳の情動反応の検出に成功 ７０～８０％でSTと
ただし、被験者数がまだ尐ない 人の主観との一致を確認
また、MRIに疑問が残る 人の能力を超えている可能性がある
行動科学 しかし、音声パラメータ効果の詳細不明
事実比較
そこで、行動予測実験をした
最大手クレジット会社にある、＜支払い・滞納・自殺・入会＞
の有無
の事実確認ができる音声データとの比較により、行動予測をし
事故率50％（返済事故）のコールセンタにおいて、無作為に選択された音声２０００ファイルのST分析か
たら、音声内容を聞かないで、顧客の属性と顧客の行動を予測するアルゴリズムを構築して、事実確認比較
により、その正当を確認した。現在、８割の予測正当率である。（一週間後の確認では9割） 20
21. ストレス研究の成果
防衛省・防衛医科大学校東日本大震 国際軍医学会で受賞
災 ST/PST基本原理
防衛医科大学校
正式採用の根拠
対応発表
イスラエルなど他国の技術を制してST最終勝利
結果：PSTと以下のストレス指標との比較で
血液検査（ヘルペス菌痕跡）との一致
医師の診断結果との整合性
その後の病態度合との一致
被験者群 世界防衛科学研究会議（DSR）
国際軍医学会（受賞）
自衛隊・富士学校生徒 通常群
メディカルトレビューン（掲載）
日本トラウマティック・ストレス学会
自衛隊・レンジャー部隊 長期肉体的ストレス群 現在、
ネイチャー誌への投稿を準備
自衛隊・海外派遣隊員 長期精神的ストレス群
自衛隊・東日本震災派遣隊員 STによる分別に成功
長期過酷ストレス群
21
受賞者で共同研究者の徳野准教授（MD&PhD）はカロリンスカ医科学研究所（ノーベル医学賞選定機関）の出身
22. 世界が抱えるうつ病診断の問題
NIRS
心電など
ICD-10
真性「うつ」？
fMRI ≒「うつ」の真
値？
SCID
血液検査
BDNF
DSM-4
この現状では「うつ状態」の明確な指標が見えて来ない。
22
23. 日本の問題 技術がない！
「うつ」病が５大疾病に指定され、生活習慣病にされて
も
定量的に日常計測する手段がない！！
生活習慣病
今までここの定量化 ＝「維持する」と
は誰もできなかっ いう
た！ 視点が不可
欠！
「うつ」
診断 処置 維持
測定
フィードバック
オブザベーショ
ン
今までの問診アンケートでは 保険医療費
非科学 負担激増！
１：本当の「うつ」はわからない＝真性患者は「うつ」を隠そうとする
２：嘘が付ける＝仕事をサボりたい人は「うつ」を演出できる的な悪
社会問題化してる「幽霊社員・幽霊教師」など
企業社員
また、問題の多量投薬事件などの主たる原因であった 負担激増！
25. 脳外科手術臨床からの音響パラメタ取得②
MRI 和田テスト
患者
和田テスト
左右の脳を薬で交互に停止させ、発話してその影
響を分析する脳外科検査で音声分析する
SMC+KNI+PST倫理規定に
Copyright(c) 2012 The Smart Medical Co.,Ltd.and PST ,Inc all rights reserved. 従い、患者同意のもと実施 25
26. 解決策 音声から、脳を分析して、
簡単に病気を診断
作病もスクリーニング（抑止）
PST = Psychoanalysis System Technology
患者
病気の原因
マイク 一つで リアルタイムに脳と がわかります
情動エリア
扁桃体 一瞬に 情動の変化が見えて
視床下部
中脳
心因性の原因
環境状況の原因
認知性の原因
身体性の原因
脳神経音声パラメタ 神経性の原因
生体物質音声パラメタ
情動音声パラメタ
病気の状態
も見えます
特許出願中
27. フィンランド政府採用のシステム
時間圧縮と日常データ
による誤診予防 日常的に気分を
気楽にチェック
人(医師)に言いにくい
Inside ことも言えるよ
音声からの「心の体温計」
情動変動
分析アプリ
ＳＴセンサ ＋ケータイ
出力
＋自動アドバイスアプリ
主観以外の
問診基準
モニタ 臨床からの 「心のレントゲン」
PST
ビジネスモデル
医療用PST機器 ＋専用分析ソフト
心の可視化 ＋専門医の診
定量化
臨床心理分析
ＳＴ 臨床分析
生理 専用ソフト
サーバ 専用機器
指標 出力
Inside 27
特許取得済み
28. 治験 ＜個人差か？病理差か？＞
神経診断（NIRS・fMRI）確認された音声と健常音声比較 脳神経系パラメタ
面接診断（SCID）確認された音声と健常音声比較
ロジックセット
DSM-4/ICD-10確認された音声と健常音声比較
心電などにより確認された音声と健常音声比較 LF/HF?
血液検査BDNFにより確認された音声と健常音声比較
医師の診断
との比較
心因性比較
神経性比較
双方の病態で統合診断
投薬による確認
統合 表示
診断
比較 / 調整
28
特許出願中 特許取得済み
29. 心つなぐネットワーク新領域ビジネス
ユーザの本音をリアルタイムに 相手の気持ち
世界どこでも 自分の気持ち
心理予測
確実に把握している N S 行動予測
心（本音）を
知りたい
反応・対応型
市場分析
福祉健康医療
人工感性知能
による
心のネットワーク 行動予測を
心の機能を 使いたい
使いたい 感性分析型
S N
分析・治療型
広告代理
誘導型 声から心が見える
1
30. 極端な例ですが・・
1. 「いうことを聞かない」小学生や幼児に、いきなり向
精神薬で静かにさせることが、本当に正しいのでしょ
うか？
2. 子供のうちから、海外では使用を禁止されている心
（脳）を溶かすような薬を処方するモノ、それを要求
する教師や親を私は理解できません。
3. 「落ち着きがない」に病名をつけて高額な薬から逃れ
られなくなり生涯消費する費用を税金で賄えるので
しょうか？
大人の「狂い出した良識」の被害者が子供です。人間の大人が対処できないのであれば
機械に頼るしかないのも現実である。
鉄腕アトムは、欲望に身勝手な人間との関係に「うつ病」にまでなる感情（共感力）を
初めてのロボットの物語でしたが・・・まさか、アトムができないうちに人間がダメに
31. 心を育む仮想自我アプリケーション
1. メンタルビルドアップ
– のび太君を励まし、強くさせる「ドラえもん」超自
我機能
2. メンタルレゾナンス
– ジャイアンに他人の気持ちを共感させる超自我機能
3. メンタルダンス
– スネ夫君に「空気を読む」ことを教える超自我機能
4. 不安解消バイオフィードバックトリート
メント
A) 自分の声で自分を整える
子供のうちから、しっかりと心を育てれば、精神疾患の殆どがなくなります。
B) 相手の気持ちを知り、不安を解消する
これは、まだEUですら気が付いてない日本の工学「最後の砦」です。
32. 究極医療費削減のココロ特
区
職場のメンタルヘルス対策義務化＝臨時国会で法改正へ―厚労省
産業医・カウンセラーの全国的な供給不足
現状 ： 測定方法も分析手法もいい加減なアンケートしかなかった
最初に特区指定の保険点数化へ
医療技術の研究 AI の供給
基礎エンジンの供給
生理指標から求めた医療用
神経レベルの音声パラメタ
特許を申請中
の取得特許を使った人工知能開発
臨床 医療機器の開発供給 主観から求めた民生用
感情レベルの音声パラメタ
特許を取得済み
の特許出願を使った医療機器開発
の取得特許を使った健康機器開発 基礎エンジンの供給
この計画は、仙台市・神奈川県・フィンランド政府により実施予定である
