Neuroscience in User Research - Alexis Brantes - Interaction Design Foundation Madrid, España

NEUROSCIENCE IN USER RESEARCH
Understanding human with Facial Emotion
Recognition, Biosensors & EyeTracking
Alexis Brantes Rodríguez
DICIEMBRE 2016

Neuroscience in User Research Alexis Brantes Rodríguez
IDF Madrid, Diciembre 2016Understanding human with Facial Emotion Recognition, Biosensors & EyeTracking
ALEXIS BRANTES RODRÍGUEZ
· Continent Manager of South America en el Interaction Design Foundation
· UX Strategist & Emotion Researcher en Posmo CX Consulting & Research
· Profesor visitante HCI y Design for Emotion UAO, Colombia
· International Speaker Neurociencia y Diseño
· Máster de Especialista en Neurociencias, UEMC, España
· DpG IxD & Physical Computing, UDD, Chile
· Licenciado Diseño Integral, UDLA, Chile
Líder Área de Research en Conducta Humana con base en
Neurobiología de las emociones aplicado en UCD, CX, HCI,
HMI, IVR y Design for Emotion.
https://cl.linkedin.com/in/posmoalex @posmoalex

@interacting @IDFMadrid @idf_chile

Understanding human with Facial Emotion Recognition, Biosensors & EyeTracking

EEG EKG

Web IVR

Ejemplares
humanos

¿EL HOMBRE/MUJER DEBE SER COSIFICADO?
Img: Tetsuya Ishida

OBSERVARLO NOS PERMITE ESTABLECER PATRONES

¿ESTO ES IMPORTANTE?

ENFRENTAMOS LA
3RA OLA TECNOLÓGICA
Mark Weiser, Nomadic ’96 Conference, Marzo de 1996
Concepto introducido en 1988, trabajando en el Computer Science Laboratory at Xerox PARC

Mark Weiser, Nomadic ’96 Conference, Marzo de 1996
Sujeto
Cosiﬁcado
ENFRENTAMOS LA
3RA OLA TECNOLÓGICA

APROXIMACIÓN PSICOLÓGICA
APROXIMACIÓN
BIOLÓGICA
EXPLICACIONES DE
CONDUCTA ENFOCADAS
EN LO GENÉTICO,
HORMONAL Y
NEUROQUÍMICO
NATURALEZA EDUCACIÓN
PSICOANÁLISIS
IMPULSOS INNATOS DE
SEXO Y AGRESIÓN
(NATURALEZA).
CRIANZA SOCIAL
DURANTE LA INFANCIA
(EDUCACIÓN).
PSICOLOGÍA
COGNITIVA
ESTRUCTURAS MENTALES
INNATAS COMO
ESQUEMAS, PERCEPCIÓN
Y MEMORIA,
CONSTANTEMENTE
CAMBIADAS POR EL
AMBIENTE.
HUMANISMO
PIRÁMIDE DE LAS
NECESIDADES FÍSICAS
BÁSICAS DE MASLOW.
LA SOCIEDAD INFLUYE
EN LA PROPIA
CONCEPTUALIZACION
DE UNA PERSONA
CONDUCTIVISMO
TODAS LAS CONDUCTAS
SE APRENDEN DEL
AMBIENTE POR MEDIO
DEL
ACONDICIONAMIENTO.

APROXIMACIÓN PSICOLÓGICA
APROXIMACIÓN
BIOLÓGICA
EXPLICACIONES DE
CONDUCTA ENFOCADAS
EN LO GENÉTICO,
HORMONAL Y
NEUROQUÍMICO
NATURALEZA EDUCACIÓN
PSICOANÁLISIS
IMPULSOS INNATOS DE
SEXO Y AGRESIÓN
(NATURALEZA).
CRIANZA SOCIAL
DURANTE LA INFANCIA
(EDUCACIÓN).
PSICOLOGÍA
COGNITIVA
ESTRUCTURAS MENTALES
INNATAS COMO
ESQUEMAS, PERCEPCIÓN
Y MEMORIA,
CONSTANTEMENTE
CAMBIADAS POR EL
AMBIENTE.
HUMANISMO
PIRÁMIDE DE LAS
NECESIDADES FÍSICAS
BÁSICAS DE MASLOW.
LA SOCIEDAD INFLUYE
EN LA PROPIA
CONCEPTUALIZACION
DE UNA PERSONA
CONDUCTIVISMO
TODAS LAS CONDUCTAS
SE APRENDEN DEL
AMBIENTE POR MEDIO
DEL
ACONDICIONAMIENTO.
UXUCACX SD
HCI HRI HMIAC AI
1ER NIVEL 2DO NIVEL
C

¿Qué es la Conducta?
Img: unsplash.com

¿Qué es la Conducta?
Son acciones realizadas por el sujeto de
estudio al relacionarse con su entorno.
Al estudiarlas, podemos evidenciar sus
necesidades y sus posibilidades.
Img: unsplash.com

Conducta
Img: unsplash.com

La Conducta Humana
Es el proceder, la forma de
hacer las cosas condicionado
por reglas sociales o morales.
Img: unsplash.com

Las conductas no son evidentes
Poseen dos dimensiones: la exterior (conductas observables)
y la interior (acontecen, no son observables)
Se maniﬁesta en 3 áreas:
• En las expresiones del cuerpo
• En las relaciones sociales
• En las expresiones mentales

FACTORES COGNITIVOS
(FACTORES PERSONALES)
· CONOCIMIENTO
· EXPECTATIVAS
· ACTITUDES
FACTORES AMBIENTALES
· NORMAS SOCIALES
· ACCESO EN COMUNIDAD
· INFLUIR EN OTROS
(HABILIDAD PARA CAMBIAR
EL PROPIO ENTORNO)
FACTORES
CONDUCTUALES
· HABILIDADES
· PRACTICA
· AUTO-EFICACIA
DETERMINANTES
DE LA CONDUCTA
HUMANA

¿Para qué investigar la conducta humana?
URL

¿Para qué investigar la conducta humana?
Para encontrar patrones y entender lo que no es evidente
URL

¿Qué no es evidente?
URL

Los patrones de interacciones
URL

Las acciones inconscientes
URL

URL

Ira Miedo Disgusto Alegría Tristeza Sorpresa
Establecidas por Paul Ekman, como
un estudio en multiples culturas que
desarrollaron lenguaje escrito y otras
que no lo habían hecho. Estas
cubrieron Africa, América, Europa y
Asia, refutando la teoría aceptada de
la época planteada por Margaret
Mead y Emoción de origen social.
Puede ser analizada con Computer Vision y de forma análoga
Topografía
Corporal
¿Cómo funciona?
Emociones Universales
*Otros modelos de emociones en esta URL

El cerebro desarrolló una mejora constante que incorpora
funciones más complejas en cada iteración biológica.
Éstas no se integraban a las más primitivas dentro del
cerebro, ya que este estaba adaptado para gestionar
dichas funciones de una manera eﬁciente.
Esto obligó a que las nuevas funciones se aplicaran en
capas que complementaban las funciones anteriores,
provocando un sistema de conexión modular.
Sistema Instintivo Reptiliano Sistema Límbico Sistema Neocórtex
¿Cómo funciona?
Neurobiología de las Emociones
*Más sobre Neurobiología de las Emociones en esta URL

¿Cómo nos afecta?
Neurotransmisores en el SNC

Flujo de estado emocional
en un ambiente digital

¿Cómo nos afecta?
Emociones en la toma de decisiones

Flujo de estado emocional
en práctica

¿?
*¿Interesado en User-Emotion Analysis? Revisa la presentación en Interaction South America 2015: URL

Lógica de análisis de datos
Antes de Estímulo (-1 Seg.)
Respuesta Milisegundos (ms) Nº de cuadro
Inconsciente (micro) 125 ms 3
Consciente 500 ms 12
Racional 1000 ms 24
Después de Estímulo (1 Seg.)
Respuesta Milisegundos (ms) Nº de cuadro
Inconsciente (micro) 125 ms 3
Consciente 500 ms 12
Racional 1000 ms 24

La conducta observada en
neurociencia
Las neuroimágenes muestran procesos
cerebrales que intervienen en la imaginación, en
las emociones, y en la toma de decisiones.

Lo que recolectamos con EEG
Tipo de señal
Rango de
frecuencia
Condición y estado mental
Delta
0.1Hz a
3Hz
Profundo, sueño sin sueños, el
sueño no REM, inconsciente
Theta 4Hz a 7Hz
Intuitivo, creativo, memoria,
fantasía, imaginario, sueño
Alpha 8Hz a 12Hz
Relajado, pero no somnoliento,
tranquilo, consciente
Beta
Low
Beta
12Hz a
15Hz
Anteriormente SMR, centrado y
relajado, integrada
Mid Beta
16Hz a
20Hz
Pensando, consciente de sí
mismo y sus alrededores
High
Beta
21Hz a
30Hz
El estado de alerta, la agitación
Gamma
Low
Gamma
31Hz a
39.75Hz
Alta actividad física y mental
Mid
Gamma
41Hz a
49.75Hz
Enfoque y concentración durante
experiencias místicas o
trascendentes

HMD 1:
SAMSUNG GEAR VR
HMD 2:
HTC VIVE
URL
URL

Emotiv
EPOC
Emotiv
INSIGHT
Neurosky
Brainwave
Melon
Headband
14+2 canales
AF3, AF4, F3, F4, FC5, FC6, F7, F8, T7, T8,
P7, P8, O1, O2
5+2 canales
AF3, AF4, T7, T8, Pz
1 canal
FPz + eSense + TGAM
4 canales
AF3, AF4,FP1 y FP2 + TGAM
URL URL URL URL
*¿Interesado en User-Emotion Analysis en Realidad Virtual Inmersiva?
Revisa la presentación en Interaction South America 2016: URL

Juego HTC VIVE
Usuario
estudia
entorno
Procesa

Registro
Video y EEG

Registros
usuario #5

MUSE EEG by
InteraXion
URL

TRASTORNOS
AFECTIVOS Y
TECNOLOGÍA
SEGUIMIENTO DEL
IMPACTO DE LA
TECNOLOGÍA EN LA
CONDUCTA HUMANA
Se observa que entre los
usuarios de pruebas que
trabajan en el área de
comunicaciones, presentan
actividad oscilante entre los 0 a
20Hz (frecuencias Delta, Theta,
Alpha y Beta), donde además, en
casos de enfrentar un problema
nuevo, que los saca de su
estado “automático”, alcanzan
peaks en las frecuencias
Gamma (33+Hz). Estas
observaciones permiten
establecer el perﬁl de los
usuarios, describiéndolos como
personas con un cierto nivel de
ADD/ADHD, ya que estas
tienden a producir un exceso de
ondas cerebrales de alfa y theta,
las cuales son más lentas.
*Estudio privado. Uso ilustrativo
sobre investigación con EGG

ECG/EKG mide la capacidad del
corazón para acelerar y desacelerar
rápida y eﬁcientemente para satisfacer
las necesidades inmediatas del cuerpo.
1. Estrés
2. Estado de ánimo
3. Recuperación
4. Fatiga

KARDIA
Apple Watch
EKG for
Arduino
Tardía EKG
EKG
Tradicional
Medicina
URL
URL
URL
URL
URL

¿Por qué es importante estudiar
la toma de decisiones?
Para comprender qué áreas del cerebro se
maniﬁestan tras cada estimulo o presencia de
evidencia en el entorno.

Decisión basada en
Percepción
El objetivo de la decisión es
clasiﬁcar información
sensorial ambiguas o ruidosa

Auto
Realización
Estima
Éxito,
Respeto,
Conﬁanza.
Sociales
Amor, Afecto,
Amistad, etc…
Seguridad y
Protección
Seguridad Física,
Empleo, Recursos,
Hogar, etc…
Necesidades
Fisiológicas
Homeostasis, Respirar,
Comer, Beber, etc…
U
U Usuario, Cliente, Persona
(Primera Instancia: Visceral;
Apariencia (Aceptación o Rechazo)
(Segunda Instancia: Conductual;
Placer y Efectividad de Uso)
U
(Tercera Instancia: Reﬂexiva;
Auto-imagen, Satisfacción
Personal, Recuerdos.)
U
Don Norman:
3 leyes del
Diseño
Emocional
Superposición de los
principios de Norman
en Maslow
Aaron Walter: Pirámide de
necesidades de un producto/Servicio

Entender la habilidad
de procesar múltiples
alternativas
… y actuar en consecuencia
a un curso de acción.
Se trata de…

“Nos sentimos tristes porque lloramos, enfadados
porque golpeamos”
1884, William James

Estímulo 1ra Respuesta 2da Respuesta
Perro gruñendo Temor Consciente Sistema Nervioso
Autónomo (SNA)
Excitación
“Estoy temblando porque tengo miedo”

Alternativa 1
Alternativa 2
(a) Sensor de evidencia (b) Integración (c) Criterio de satisfacción
(a) Detección de evidencia sensorial para respaldar las
alternativas
(b)Integración de evidencia sensorial en el tiempo, debido a que
la evidencia recibida es incompleta, ruidosa o contaminada
(c) Revisa si determinado criterio ha sido alcanzado (Supera el
umbral). En caso de hacerlo, indica que la acción puede ser
ejecutada, de lo contrario, se debe esperar a que se supere el
umbral
Tiempo

Carrera:
Integradores
separados que
acumulan evidencia
para cada alternativa.
El que se cumple
primero, gana.
<— Integración —>
<— Difusores —>
Situación 1 Situación 2
Difusión:
Único integrador que
acumula la diferencia
entre evidencia de
ambas alternativas.
Debe superar el
umbral.

Evidencia
Sensorial
Acumulación Categorización
Evidencia
sensorial (FFA,
PPA)
Diﬁcultad/
incertidumbre
(aIns, iFG)
Monitoreo de
performance
(pmPFC)
Variables de
decisión (DLPFC)
Estructuras
promotoras y
motoras
FFA: Fusiform Face Area
PPA: Parahippocampal Place Area
DLPFC: Dorsolateral Prefrontal Cortex
aIns: Anterior Insula
iFG: Inferior Frontal Gyrus
pmPFC: Posterior Medial Prefrontal Cortex
The neural systems that mediate human perceptual decision making
Hauke R. Heekeren, Sean Marrett & Leslie G. Ungerleider
Nature Reviews Neuroscience 9, 467-479 (June 2008)
doi:10.1038/nrn2374

Carrera:
Integradores
separados que
acumulan evidencia
para cada alternativa.
El que se cumple
primero, gana.
<— Integración —>
<— Difusores —>
Situación 1 Situación 2
Difusión:
Único integrador que
acumula la diferencia
entre evidencia de
ambas alternativas.
Debe superar el
umbral.
El SNC lo ejecuta como un simple
cálculo matemático (es automático)

Computaciones
involucradas en la
toma de decisiones
Antonio Rangel
Decision basada en el valor. Ocurre
siempre que un organismo realiza una
elección entre múltiples alternativas,
basado en el valor subjetivo que ellos
le otorgan.
Representación: ¿La
acción es creíble? ¿Es un
estado interno o externo?
Valoración: ¿Cuál es el valor de
cada acción (entregado por un
estado interno o externo)?
Acción selectiva: Elige acciones
basado en valoración
Evaluación de salida: ¿Qué tan
deseables son las consecuencias y
estados resultantes de la acción?
Aprendizaje: Actualización de la
representación, valoración y
selección de proceso de acción
*Más sobre Decision-Maning Process aplicado en CX: URL

Web IVR
URL URL

EYE TRACKING SENSORS
Infrared eye tracking system x 2
Tracking accuracy: less than 1 degree
Frame rate: 120fps

EJEMPLOS DE CONDUCTAS
ESTOCÁSTICO
COHERENTE
CORRELACIONADO
FÍSICO BIOLÓGICO SOCIAL

Alexis Brantes y Pamela Donoso, UX y emoción en ambientes de realidad virtual, una vista a las
responsabilidades del futuro, presentado en Interaction South America 2016: URL (IXDA Santiago, Chile)
Alexis Brantes, User Emotion Analysis: Midiendo los estados emocionales biológicos y cognitivos de los
usuarios en ambientes controlados - Medición de la emoción en diseño para la experiencia del usuario,
presentación en Interaction South America 2015: URL (IXDA Cordoba, Argentina)
Alexis Brantes, Emotional Design + Neurociencias ¿Porqué nos enamoramos de un
producto, servicio y situaciones?, 2013 AE, Buenos Aires, Argentina. URL
Alexis Brantes, Design for Emotion | IDF Santiago + Sinergia UX, 2016 SINERGIA UX, URL
(Interaction Design Foundation + Telefónica I+D Chile, Santiago de Chile)
REFERENCIAS A OTROS TRABAJOS
Alexis Brantes, Emotion In Design - Patrones de Interacción: El Valor de la Emoción en la Toma
de Decisiones, CX DAY CHILE 2016, URL (Interaction Design Foundation + Telefónica I+D Chile +
Customer Experience Professional Association, Santiago de Chile)

MUCHAS GRACIAS

ALEXIS BRANTES RODRÍGUEZ
· Continent Manager of South America en el Interaction Design Foundation
· UX Strategist & Emotion Researcher en Posmo CX Consulting & Research.
· Profesor visitante HCI y Design for Emotion UAO, Colombia.
· International Speaker Neurociencia y Diseño
· Máster de Especialista en Neurociencias, UEMC, España
· DpG IxD & Physical Computing, UDD, Chile
· Licenciado Diseño Integral, UDLA, Chile
Líder Área de Research en Conducta Humana con base en
Neurobiología de las emociones aplicado en UCD, CX, HCI,
HMI, IVR y Design for Emotion.
https://cl.linkedin.com/in/posmoalex @posmoalex

Neuroscience in User Research - Alexis Brantes - Interaction Design Foundation Madrid, España

Recommended

Recommended

More Related Content

Similar to Neuroscience in User Research - Alexis Brantes - Interaction Design Foundation Madrid, España

Similar to Neuroscience in User Research - Alexis Brantes - Interaction Design Foundation Madrid, España (20)

More from Posmo: CX Consulting & Research

More from Posmo: CX Consulting & Research (20)

Recently uploaded

Recently uploaded (20)

Neuroscience in User Research - Alexis Brantes - Interaction Design Foundation Madrid, España