Diseñar con datos, más allá del A/B Testing

Resumen

Diseñar con datos parece sencillo: haces un test A/B y te quedas con la solución que más conversiones tenga ¿cierto? pero ¿somos conscientes de lo que nos dicen los datos? ¿cómo sabemos qué conviene evaluar? ¿qué hacemos si los resultados contradicen nuestras ideas originales?

¿Hay vida (y datos) más allá de los tests A/B? En esta charla me gustaría compartir algunas ideas y experiencias sobre cómo, cuándo, dónde y por qué podemos usar los datos a lo largo de un proceso de diseño para la Experiencia de Usuario, desde la investigación de usuarios (cuantitativa) hasta la toma de decisiones sobre un producto digital real.

Trataremos también de reflexionar (durante y después de la charla con un café) sobre cómo crear una cultura del diseño informado con datos, donde la experimentación y el desafío sean una constante.

Además, los datos están de moda, el diseño marca la moda, Netflix lo hace ¿qué puede salir mal?

Read more

Opensouthcode: resultados de la encuesta y datos de la experiencia

task performance opensouthcode survey

El pasado 1 de Junio mi colega Miguel Torres y yo hicimos una presentación en el evento sobre software libre Opensouthcode y hablamos sobre cómo podíamos analizar la Experiencia de Usuario (UX) con Javascript (JS). Durante nuestra charla presentamos un modelo con el que tomar métricas automáticas de usabilidad para poder conocer mejor a las personas que interactúan con nuestros productos digitales construidos con tecnologías web.

Al final de la presentación hicimos una demostración de cómo podía aplicarse a un caso real y para ellos utilizamos como excusa una encuesta que habíamos lanzado semanas antes. La encuesta no serviría más que a la presentación, sin embargo, ya que un buen número de personas se molestaron en contestarla, es nuestro deber compartir la información que recogimos.

Es importante aclarar que la forma en la que almacenamos los datos fue un poco peculiar, y por peculiar me refiero a que usamos el mismo Google Analytics, un servicio en principio destinado a analítica web. En cualquier caso, aquí están los resultados.

Resultados de la encuesta

La encuesta, lanzada el 10 de mayo de 2018 y activa hasta la fecha ha recibido 77 respuestas, y se dividió en tres pasos:

  1. Preguntas descriptivas sobre la persona.
  2. Preguntas sobre la profesión.
  3. Preguntas sobre los intereses.

Sólo el segundo de ellos era opcional y podían saltárselo, pero en todos ellos, todos los campos eran obligatorios. Éste hecho ha podido afectar a algunos datos ya que para ciertos perfiles había preguntas irrelevantes, por ejemplo diseñadora/es que no utilizan o no tienen preferencia por ninguna base de datos en concreto. Read more

Test de usabilidad automático

Estamos ante un panorama donde el desarrollo de aplicaciones con tecnologías web está creciendo muy rápidamente y esto merece una atención especial. En concreto lo que respecta a la tradicional analítica web no parece salir de los modelos de aplicaciones como los e-commerce o redes sociales a la hora de ofrecer herramientas que permitan entender e interpretar ‘lo que está pasando’ desde una perspectiva de usuario. Plantearnos cómo podemos mejorar estas herramientas de analítica para entender cómo se comportan nuestros usuarios al mismo tiempo que capturamos datos globales sobre su experiencia y su percepción de usabilidad nos ayudará a tomar mejores decisiones de diseño.

En este artículo busco describir un modelo de automatización de los tests de usabilidad con usuarios como continuación del trabajo anterior ‘Measuring UX with your own tools’ con el que poder:

  1. Medir y analizar grandes cantidades de datos generados por los usuarios.
  2. Hacer del diseño un proceso experimental y cuantificable.

Partimos de que la Experiencia de Usuario abarca muchas más cosas que la interacción del usuario con el producto digital a través de su interfaz, pero que esta interacción condiciona su experiencia y es una parte fundamental de la misma. Dejando un lado la visión holísitica del término, la teoría de la actividad vendría a describir el framework en el que se basa este modelo de representación, análisis e interpretación, aunque no está limitado al mismo. Este trabajo también se inspira en la metodología HEART de Google como método para medir la UX a gran escala para aplicaciones web.

Read more

Ciencia de Datos y Experiencia de Usuario

La ciencia de datos no es algo en lo que una persona pueda especializarse en poco tiempo y es, sin embargo, una de las carreras más tendenciosas de los últimos cinco años. Si éste es un perfil profesional único como el de Experiencia de Usuario (UX) el tiempo lo dirá. Han pasado ya veintiocho años desde que Don Norman se llamara a sí mismo ‘User Experience Architect’ y al menos cincuenta desde que se hablara de la Interacción Persona-Ordenador.

Pero ¿cuál es la relación entre estas dos profesiones? ¿debe un especialista en UX saber algo sobre ciencia de datos? ¿debe un diseñador aprender a programar?

En este artículo me gustaría explicar por qué creo que es importante entender qué es la ciencia de datos y cómo puede aprovecharse desde el diseño de experiencias.

Cuantificando la Experiencia de Usuario

Si ya es difícil diseñar experiencias más de uno pensará que es casi imposible cuantificarla. Si bien no todos los factores que influyen en la interacción y la experiencia con el producto final pueden ser medibles, existen multitud de datos relacionados con la misma que pueden recogerse y analizarse para guiar el proceso de diseño:

  • Datos descriptivos de los usuarios (datos demográficos o tecnología que usan).
  • Datos de actividad y comportamiento (contenido que visitan, búsquedas, interacciones, tiempo que dedican…).
  • Conversión de objetivos.
  • Datos sobre la ejecución de tareas específicas (éxito de la tarea, duración, eficiencia, errores, satisfacción, aprendizaje).

Hasta ahora, todos estos datos los hemos venido interpretando de forma puntual y aislada buscando dar respuesta a algunas de las preguntas más importantes que nos hacemos durante el proceso:

  • ¿Cómo son nuestros usuarios? ¿cómo han llegado hasta mi producto?
  • ¿Qué necesidades de información tienen? ¿cómo interactúan para conseguirla?
  • ¿Han realizado determinada acción?
  • ¿Qué contenido funciona mejor que otro?
  • ¿Consideran que el producto es usable?

Read more

Testear la Experiencia de Usuario

Hace más de un año de la publicación Measuring UX with your own tools en la revista nosolousabilidad.com, desde entonces he seguido trabajando y viendo el testing como una de las formas más prácticas para tomar decisiones en diseño. Me gustaría volver a reflexionar sobre algunas cosas que menciono en el artículo y ‘actualizar’ algunas ideas.

Aunque los datos no tienen todas las respuestas, es importante establecer ciertas métricas para medir de la forma más objetiva posible si el producto que estamos desarrollando va a funcionar para las personas que están destinado a usarlo.

Efectivamente los datos no nos cuentan todo, de hecho, el riesgo de ‘medir mal’ puede hacer incluso que nos desoriente a la hora de buscar una respuesta. Sin embargo, incluso cuando un dato parezca demostrarnos algo a lo que debemos prestar atención, seguimos teniendo la posibilidad de corroborarlo con más experimentos.

El proceso de Validación es contínuo, desde la generación de la idea inicial hasta las sucesivas mejoras e iteraciones que sobre el producto vivo se realizan.

Un enfoque de diseño guiado por datos no es más que asumir la experimentación como parte del proceso, que viene a ser el mismo principio fundamental que nos mueve a trabajar con prototipos antes de lanzarnos a desarrollar el producto final.

Los tests de usabilidad no consiste en testear a usuario. Es decir, no evaluamos cómo de buenos o malos son las personas usando nuestra solución, sino que medimos la calidad de producto en términos de una experiencia de usuario satisfactoria. También afirmábamos que hacer UX Testing es hacer User Research. Como proceso iterativo que es, los descubrimientos hechos deben ayudar a un mejor entendimiento de los usuarios, cómo son y cómo interactúan real y finalmente con nuestro producto a pesar de nuestras creencias.

Hay dos ideas fundamentales que me gustaría dejar claras:

  1. Los usuarios no siempre tienen la razón, pero debemos conocer cómo son y cómo se comportan. En ningún momento testear con usuarios debe suponer juzgarles o estereotiparles.
  2. Testing y Research son dos caras de la misma moneda

Los objetivos de la validación persiguen generalmente:

  • Reducir la incertidumbre
  • Validar hipótesis
  • Guiar el proceso
  • Facilitar la toma de decisiones informada
  • Identificar nuevos requisitos de producto
  • Entender mejor el modelo mental de los usuarios
  • Encontrar y resolver problemas de usabilidad

Las métricas de UX tienen algo de especial o diferenciador con el resto de métricas y es que revelan información no sólo del sistema sino de las personas, de su comportamiento y sus actitudes. Por eso cuando interpretemos las métricas debemos tener especial cuidado y calcular también intervalos de confianza, al igual que razonar sobre los principios de diseño las posibles conclusiones que se obtenga.

¿Cómo podemos cuantificar la Experiencia de Usuario? Métricas y Métodos

Para poder tener una idea del estado de usabilidad de un producto digital, es posible obtener información de tres formas diferentes:

  1. Basado en lo que los usuarios hacen
  2. Basado en lo que los usuarios dicen
  3. Basado en lo que nosotros (como testeadores) observamos

Estos tres puntos de vista son igualmente importantes y, aunque no todos ellos se pueden considerar cuantificables, hay una intención clara de analizarlos de forma combinada como parte de un indicador global de la UX.

¿Por qué es importante un score de UX global? Un score global de UX puede ser interesante en grandes empresas para tener una visión de aquello que afecta puramente a la experiencia donde múltiples procesos de desarrollo confluyan. Sin embargo, incluso en esos contextos donde es muy apetecible para los ‘managers’ demandar un indicador global, no es en absoluto recomendable y es, incluso, contraproducente. Los KPIs de UX deben ser accionables y ayudarnos a tomar decisiones, no a justificar diseños.

Midiendo la User Performance (lo que los usuarios hacen)

Las métricas de rendimiento serán calculadas basadas en comportamientos, escenarios y tareas concretas de los usuarios. Estas métricas nos hablarán de eficacia y eficiencia y nos servirán para entender la magnitud los problemas de usabilidad que encontremos. Eso sí, nos indicarán qué está yendo mal, no por qué está yendo mal.

Las métricas más comunes son:

  • Éxito de la tarea: cómo son de eficaces los usuarios a la hora de realizar las tareas planteadas en un test con usuarios. También se puede medir la tasa de errores.
  • Duración de la tarea: cuánto tiempo ha utilizado el usuario en realizar una tarea del test.
  • Errores: el número de errores que ha tenido un usuario al realizar una tarea.
  • Eficiencia: cantidad de esfuerzo que un usuario gasta en realizar una tarea, por ejemplo el número de clics.
  • Curva de aprendizaje: cómo el rendimiento mejora o empeora a lo largo del tiempo.

Me gustaría hacer especial hincapié en la forma en la que se expresan y se describen esas ‘tareas’ propuestas para los usuarios.

Las tareas propuestas deben tener sentido dentro de un escenario y contexto de uso específico. En lugar de pedir a nuestros usuarios ‘hace esto’ o ‘haz lo otro’ lo que tendemos a pedirles es que se imaginen en un determinado escenario y proponerles una serie de retos u objetivos para ver cómo podrían lograr hacerlos.

Algunas reglas que deben seguirse para estas tareas son

  1. Hacer la tarea realista
  2. Hacer la tarea accionable
  3. Evitar pistas o descripción de pasos

Independientemente de si estáis haciendo un test de usuario formal o de ‘guerrilla’, esto último es muy importante. Al fin y al cabo no sólo enlaza con la forma en la que describimos y entendemos el problema, sino que también es la mejor conversación que podemos tener con los usuarios, sentarnos junto a ellos, verlos interactuar en un contexto real, con unas necesidades reales y quizá con uno o varios prototipos que le permitan alcanzar sus objetivos. Éste es feedback es mucho más valioso que un simple ‘me gusta/no me gusta’.

Google Analytics al rescate

Una forma alternativa, que no sustituye a la anterior pero sí aporta información parecida (según queramos medirla) en un contexto diferente, es hacer uso de eventos y de Google Analytics para monitorizar en un producto online sin necesidad de organizar sesiones de tests de forma continuada.

Midiendo la Usabilidad Percibida (lo que los usuarios dicen)

No todas las personas sabemos expresar con palabras los problemas que encontramos. A veces simplemente reaccionamos con gestos, expresiones o guardamos silencio.

Nuestros usuarios no son menos, a pesar de que nuestra expectativa por conocer qué piensan y a veces nuestras críticas sobre cómo expresan los problemas nos lleva a creer que sólo lo que se dice es relevante, nos puede inducir a equivocaciones.

Sin embargo es importante escuchar y hacerles ver que son escuchados. Durante una sesión de test con usuarios una técnica muy efectiva es el think-aloud. A los usuarios se les pedirá que cuenten qué están intentando hacer durante la resolución de una tarea. Después de haber completado la tarea se les puede preguntar que califiquen el grado de complejidad percibida en la tarea, De esta forma podremos saber cómo varía su percepción a lo largo del tiempo. Si además les solicitamos esta información antes de realizar la tarea podríamos comparar sus expectativas con su experiencia final.

Finalmente, tras la realización de una sesión de test completa se les puede pasar una encuesta estándar conocida como Software Usability Survey para que puedan expresar con escalas de uno a cinco cuál es el grado de usabilidad general percibida en la solución.

En resumen, conseguiremos información mucho más valiosas si no hacemos preguntas directas a los usuarios sobre ‘gustos’ sino pidiéndoles que valoren soluciones específicas para tareas y problemas concretos expresándose como grados de satisfacción, al mismo tiempo que escuchamos y observamos sus comentarios y expresiones durante el intento de realización de dichas tareas.

Midiendo las Issues evaluadas (lo que observamos)

Cuando realizamos revisiones de experto o heurísticos de usabilidad iremos identificando una serie de issues que en principio nos darán una métrica puramente cualitativa. Normalmente, una issue viene descrita por un título y una descripción del problema, aunque es recomendable añadir también un grado de severidad del problema y relacionarla con la tarea específica que el usuario estaría intentando hacer en ese momento.

El grado de severidad y la frecuencia de aparición de las issues nos van a ayudar de nuevo a cuantificar esta métrica.

Hablábamos al principio de la sesión de los principios heurísticos de Nielsen, y son ciertamente estos principios los que se observan y evalúan siguiendo ciertos escenarios de tests donde los expertos nos ponemos en la piel del usuario y tratamos de analizar cómo está siendo la experiencia con la solución.

Estas revisiones de experto las podemos realizar con la frecuencia que queramos, generalmente de sprint a sprint, ayudan a cazar ciertas issues antes de que llegue a un cliente. No tiene ningún valor esperar a que un usuario se queje (ya que posiblemente no lo hará) de que algo está mal alineado o es inconsistente, sin embargo lo que sí hará será percibir desorden en la interfaz y notar cómo dificulta su aprendizaje.

Errores comunes

De entre los errores más comunes que me he encontrado cuando he realizado heurísticos se encuentran:

  • Mensajes de información y error
  • Formularios
  • Colocación de elementos en la pantalla, dificultad de escanear
  • No hay manera de encontrar o buscar
  • Inconsistencias en iconografía, verbos (acciones), patrones de navegación
  • La información está mal organizada
  • Demasiada densidad de información
  • Las llamadas a la acción no están claras
  • Los usuarios tardan en interpretar la información
  • Los usuarios tienen miedo a interactuar, si hay errores más

 

Conclusiones

Medir la Experiencia de Usuario no es una tarea imposible ni inabarcable, simplemente hay que tener claro qué preguntas queremos contestar en cada momento y una vez tengamos respuestas hacia dónde debemos explorar más. Ya sea para monitorizar la usabilidad de un software o como guía de un diseño informado, aplicar métricas cuantitativas aporta una visión única a la forma en la que desarrollamos software. En futuros artículos hablaré sobre cómo visualizar y analizar dichas métricas.

 

Photo by Dawid Małecki on Unsplash

Investigación de Usuarios ¿por dónde empezamos?

En mi opinión si hay algo que intenta resolver la Investigación de Usuarios es la falta de información sobre el problema específico para el cual la tecnología parece ser la solución o el medio para resolverlo.

Un buen researcher es como un buen periodista o, como sugiere este artículo, un buen detective.

Cuando hacemos investigación intentaremos:

  • Estudiar a los usuarios en su contexto habitual
    • Descubrir los pain points (necesidades)
    • Identificar nuevas oportunidades
  • Explorar no sólo sus comportamientos sino también el significado de los mismos (motivaciones o disparadores de la acción)
  • Usar y dar sentido a los datos a través de la inferencia, interpretación, análisis y síntesis
    • Refinar las hipótesis de diseño
  • Usar esa información para que apunten al diseño, servicio, producto o solución.

Entrevistar a stakeholders y SMEs

  • Conoce a tu empresa, tu entorno, pregunta de dónde sacar información
  • Braindump: haz que todo el mundo te cuente su visión sobre el producto, sobre la empresa, el proyecto, los usuarios, los clientes, etc.
  • Lee trabajos anteriores, los departamentos de ventas y márketing suelen tener mucha información
  • Pregunta y planifica cómo y cuándo puedes hablar con tus usuarios
  • Ve allá donde estén tus usuarios

Entrevistas con usuarios

  • Haz preguntas para las que crees que sabes la respuesta o que son obvias
  • El lenguaje corporal también comunica
  • Evita las distracciones
  • Prepárate las preguntas, pero escucha las respuestas y repreguntar sobre ellas
  • Pide que te expliquen el cómo, como si tuvieran que enseñarte
  • Utiliza el papel, dibuja, haced planos juntos o diagramas
  • Intercambio de roles, pídeles que simulen alguna situación

Haciendo preguntas tipo…

  • ¿Has hecho alguna vez … ?
  • ¿Con qué frecuencia haces…?
  • ¿Qué te hace decidir hacer …?
  • ¿Dirías que es algo que sueles hacer normalmente en casa, el trabajo, …?
  • ¿Cuándo fue la última vez que hiciste…?
  • Dime algo más sobre…
  • ¿Qué sientes cuando…?
  • ¿Cuando eso sucede cómo te sueles sentir…?

Otras formas de obtener información

Obviamente existen otras muchas formas de obtener información, tales como:

  1. Encuestas y cuestionarios
  2. Análisis de competidores
  3. Analítica de datos
  4. Customer Journey
  5. User Testing

Empezar cual periodista entrevistando a nuestros usuarios y a quienes están en contacto con ellos me ha resultado siempre una buena forma de conocer mejor el problema a resolver, y es un buen comienzo para nuestra investigación.

En futuros posts hablaré con más detalle de otras formas de recoger información.

Modelar la investigación de usuario con Patrones de Comportamiento

Cuando hablamos de Diseño Centrado en el Usuario siempre nos planteamos un proceso de investigación de usuarios desde donde descubrir sus características, sus circunstancias, sus expectativas y sus objetivos. Sin embargo, una vez que recogemos toda esta información debemos ser capaces de ‘traducirla’ de modo que nos permita tomar decisiones en base a ella en cualquier fase del ciclo de desarrollo.

A veces, el uso de determinados artefactos como las Personas nos ayudan a recordar qué datos son relevantes en nuestra investigación al mismo tiempo que nos ofrecen una guía sobre cómo comunicar dicha información.

Algo similar sucede con los Escenarios de uso. Una forma práctica de descubrir para quién diseñamos es identificando a todos los actores que estarían involucrados en escenarios o experiencias de uso habituales. Sería parecido como cuando estudiamos Casos de Uso pero en esta ocasión ampliaremos las miras más allá de la interacción directa con la tecnología e intentaremos analizar el contexto en el que sucede la acción.

Cuando partimos de roles que definen personas, por ejemplo, para una plataforma de aprendizaje tendríamos a estudiantes y a profesores, creemos que tenemos hecho el trabajo, asumimos los prejuicios que están asociados al rol, sin embargo no todos los roles se comportan, piensan y actúan necesariamente de la misma manera.

Siguiendo con el ejemplo, no se comporta igual un estudiante que cursa una asignatura por primera vez, que el estudiante que está cursando un grado desde hace varios años.

Considerar estos matices son los que a la hora de plantear la arquitectura de la información, la estrategia de contenidos y el diseño se tienen en cuenta en el desarrollo de la plataforma que dará soporte a la nueva herramienta.

Las investigación de usuario no debería estar basada en los prejuicios asociados al rol que se espera que cumplan en el contexto de uso de la tecnología.

Patrones de comportamiento

Una forma de modelar la información relacionada con los usuarios y sus experiencias de uso de una forma mucho más amplia y objetiva es estudiando sus modelos mentales y sus patrones de comportamiento.

En el libro Designing Interfaces nos presentan catorce patrones de comportamiento que se repiten en muchas ocasiones en las personas:

  1. Safe exploration (The user feels positive to explore and discover)
  2. Instant gratification (wants to accomplish something now)
  3. Satisfying (thinks good enough instead of best)
  4. Changes in midstream (stops in the middle)
  5. Deferred choices (skips questions and come back later)
  6. Incremental construction (performs creative activities)
  7. Habituation (use shortcuts or workarounds)
  8. Microbreaks (repeats short tasks frequently)
  9. Spatial memory (remembers things where they are)
  10. Prospective memory (wants to remember things for later)
  11. Streamlined repetition (repeats complex tasks frequently)
  12. Keyboard only (wants to use keyboard exclusively)
  13. Other people’s advice (wants the advice from others)
  14. Personal recommendations (wants to share recommendations and opinions)

Podemos usarlos como referencia a la hora de identificar de qué forma nuestra solución ayuda a estos usuarios (independientemente del rol que tengan) a usar la aplicación de una forma más eficiente.

En cuanto a los modelos mentales tomemos como el ejemplo el rol ‘Desarrollador’ en un escenario en el que esta persona accede a una web con información sobre una herramienta de desarrollo. Podríamos identificar distintos objetivos:

  • Desarrolladores que desconocen la herramienta y quieren ver si les resulta útil en sus procesos habituales de desarrollo
  • Desarrolladores que con cierta experiencia en la herramienta necesita extenderla y adaptarla a sus necesidades
  • Desarrolladores que quieren comparar esta herramienta con otras para saber si es mejor o peor opción
  • Desarrolladores que tienen muchísimas experiencia en automatización pero quieren utilizar una herramienta más mantenible, más estándar, más flexible…
  • Desarrolladores que quieren simplemente ser los primero en tuitear 🙂

Todos estos patrones no son más que arquetipos que nos ayudarán a entender mejor cuáles son las necesidades que hemos de satisfacer y dónde podríamos otorgar una oportunidad de cambio o mejora.

El rol Desarrollador ya no nos dice nada en sí mismo sin el contexto, el escenario y el objetivo. Si cambiáramos la palabra ‘desarrollador’ por ‘persona’, nos daríamos cuenta de que es prácticamente irrelevante el rol, las personas que han llegado a nuestra web ya sea porque han buscado por palabras clave o han leído un artículo que enlazaba nuestra web se comportan de un modo específico según sus objetivos y su experiencia previa, pudiendo estar en modo ‘descubrimiento’, modo ‘aprendizaje’, ‘experimentación’ o incluso en modo ‘desarrollo’.

En el libro Mental Models, la autora Indi Young nos muestra a través de un ejemplo práctico cómo llevar a cabo dicha investigación. Recomiendo su lectura para entender mejor dicho enfoque.