Sobre le tamaño de las muestras en los test

No tengo tiempo y no me importa mucho todo esto, dime el numero.

Empleando 10±2 usuarios parece que nos permiten detectar el 80% de los problemas de usabilidad.

Si tienes que justificar esta decisión o quieres entender las razones detras del numero magico… sigue leyendo. Se basa en la investigación de Hwang, W. and Salvendy, G. Que se titula Number of people required for usability evaluation: the 10±2 rule. Y se publico en Commun. ACM 53, 5 (may 2010), 130–133. al final del post tienes el link.

A partir de aquí el rollo.

Y como W. Hwang llego a esto. Partiendo de que existen 2 tipos de estudios de usabilidad.

1. Empírico, donde usuarios ”Representativos” realizan tareas identificadas como significativas para la prueba.

2. Test experto, donde “Expertos” analizan el sistema y tratan de identificar los problemas con los que se van a enfrentar los usuarios.

Sobre estos dos modelos hay muchas variantes, pero la discusión sobre el tamaño de la muestra es un clásico de la investigan con usuario y del mundo UX.

Algunas consideraciónes

Cuando en un proyecto la usabilidad es critica, un modelo estadístico extenso resulta de mayor utilidad que una muestra pequeña.

Puede parecer de sentido común, y ya sabes como es esta profesión con el sentido común, pero si incrementamos el numero de participantes el estudio será más efectivo hasta llegar a un numero en el cual la nueva unidad muestral no aporta significación.

Pero por otro lado están los costes y la viabilidad del proyecto. Ya que al incrementar el numero de participantes se incrementan los costes de tiempo, recursos, presupuesto…

Por eso, la literatura sobre user research y HCI ha tratado siempre de definir cual es el tamaño mínimo de la muestra que sea representativo a la hora de identificar y detectar problemas de usabilidad.

Sobre esta evaluación hay un post muy interesante de Jeff Sauro donde recorre y clasifica la evolución de esta discusión. Tienes la refencia al final del post.

Mi dos centavos

El problema de base que creo que se da en este tema, es la visión enfrentada de dos puntos de vista dentro de la profesión.

Por un lado están los defensores de los “números mágicos” cuyo máximo exponente es Formula5 de Nielsen.

Y por otro los defensores de la técnica de investigación y de los procesos estadisticos.

No hay que leer mucho entre líneas para ver de que pie cojeo yo.

Parece que no esta claro que podamos hablar de un numero mágico de usuarios. Pese a que hay una larga tradición, como se ve en el articulo de Sauro, el débete no esta cerrado, como se ve en el articulo de Schmettow entre otros.

Y a falta de una mejor solución, realiza un diseño de investigación que incluya el muestreo de los participantes.

Tu diseño de investigación debe tener en cuenta la idiosincrasia del proyecto, sus necesidades y objetivos.

Lo que nos lleva a tratar cada situación como algo único que debe ser pensado y definido.

♦Referencias

 

Entrevistas Vs. Focus Group

Como seguramente ya sabras la investiganción tambien se diseña. Y a la hora de plantear una investigación con usuarios nos podemos encontrar con que existen varias herramientas, o técnicas que tienen una finalidad similar, y que debemos elegir una.

Una de esas situaciones se da cuando debemos decidir si deseamos emplear entrevistas o queremos usar focus group.

Ambas son técnicas exploratorias y su empleo nos permite conocer las necesidades o impresiones de los usuarios sobre un producto.

De forma breve, una entrevista es una conversación que se lleva a cabo entre un entrevistador, el investigador, y un entrevistado, el usuario. Su duración media esta entorno a una hora, hora y poco y su finalidad es recabar los puntos de vista del entrevistado sobre un tema concreto.

Un focus group básicamente es una conversación de un grupo de usuarios, generalmente el numero de participantes suele estar entre 7 y 10 usuarios, a los que un moderador les plantea una cuestión en torno a la cual se desarrolla la conversación. La duración media suele ser dos horas.

Esto es una forma simplista de presentar las técnicas para ilustrar este post. Si deseas ampliar la información sobre la entrevista y sobre el focus group puedes seguir leyendo aquí.

En principio ambas técnicas parecen muy similares, y parece que no tenemos razones de peso para elegir una técnica frente a otra.

Uno de los aspectos que nos pueden ayudar a tomar una decisión es la eficacia de las técnicas a la hora de detectar necesidades de los usuarios.

Para responder esta pregunta necesitamos dados. Un articulo de de Griffin y Hauser en Marketing Science titulado The voice of the customer mostró que un focus group de 8 usuarios de dos horas de duración identificaba prácticamente el mismo numero de necesidades que dos entrevistas de una hora.

1 focus group de 8 personas = 1 entrevista de 1 persona + 1 entrevista de 1 persona.

En la mayoría de los casos la decisión sobre uso de una u otra técnica se toma en función del tiempo que cuesta aplicar la técnica, el coste económico que tiene, y las experiencias previas del equipo con una u otra técnica.

En nuestro caso, si al entrevistado le gratificamos con, por ejemplo, 50 euros por su colaboración de una hora y el coste en gratificaciones a los participantes de un focus group de 8 usuarios ronda los 400 euros, parece obvio que la técnica a emplear es la entrevista.

Con dos entrevistas hacemos un focus group, pero no cuestan lo mismo.

1 focus group de 8 personas 400 euros = 1entrevista de 1 persona 50 + 1 entrevista de 1 persona 50.

Por el coste de un focus group podríamos hacer 10 entrevistas. Además de ahorrar la mitad del tiempo.

Pero la proporción de necesidades descubiertas no se mantiene constante. A partir de 7 entrevistas, según el estudio de Griffin y Hauser el numero de necesidades descubiertas son el 80%, mientras que con 7 focus groups se llega al 90%.

El 80% de las necesidades con entrevista = 7 entrevistas x 50 euros = 350 euros y 7 horas de trabajo de campo.

El 80% de las necesidades con focus group= 7 focus group de 8 usuarios =2.800 euros y 14 horas de trabajo de campo.

Siguiendo los datos del estudios de Griffin y Hauser podemos decidir, que el focus group es aconsejable cuando nuestro proyecto requiere un nivel de certeza muy elevado, mientras que para la mayoría de los proyectos llevar a cabo de 3 (descubriremos 60%) a 7 entrevistas (descubriremos entorno al 80%) debería ser suficiente.

Bola extra
Un buen diseño de investigación con usuarios no se basará en una única técnica, ya que necesitamos contrastar los datos, lo más indicado es asociar técnicas, iniciando el proceso con un focus group que nos permita obtener una visión general y múltiples puntos de vista para a continuación entrevistar a un par de usuarios tipo de cada uno de los perfiles que nos permita contrastar y profundizar esa información.

♦ Referencias:

Focus groups versus individual interviews – Research Repository UCD

Si te estas iniciado en la investigación con usuarios como si buscas un manual general “Observing the User Experience” es una magnifica referencia.

Entrevista en profundidad

En determinadas investigaciones con usuarios se hace necesario indagar la opinión de nuestro usuario en un contexto en el que este se pueda manifestar de forma libre y nosotros, como investigadores, podamos profundizar en dichas opiniones.

¿Necesitas un ejemplo? Identificar necesidades de un producto en la fase de research, validar una solución durante la fase de prototype o definir features de un MVP.
En estas ocasiones, la observación se convierte en algo secundario, frente al análisis del discurso.
Y son estos casos en los que la entrevista en profundidad se demuestra cómo una técnica de gran utilidad, y básica para la investigación de experiencia de usuario.

Técnica de Entrevista en profundidad

La técnica consiste en una entrevista semi-estructurada, con un pequeño guión en el que se fijan los objetivos a tratar.
Prima el análisis del discurso, lo que se dice y como se dice.
Se realiza una entrevista con un único usuario por sesión.
La duración no debe exceder de las 2 horas. Lo ideal es de 40 min. a una hora y 20 minutos.
El entrevistador debe ser neutro respecto a las opiniones del usuario.
Se recomienda un entrevistador y un colaborador que ayude a recoger las notas que servirán de apoyo al análisis.

El laddering

Laddering es una técnica de entrevista que se utilizada para profundizar en las motivaciones de los usuarios.
Se basa en el empleo de una serie de sondas dirigidas, caracterizadas por preguntas del tipo “¿Por qué es tan importante para usted…?”
Y tiene como objetivo identificar los vínculos de percepción que el usuario muestra en su discurso, para lo cual se deben definir :

  • Atributos del producto
  • Consecuencias del uso
  • Valores asociados
  • Cuando emplear la entrevista en profundidad

Cuando se necesita conocer ampliamente la opinión del entrevistado (ya sea porque es un perfil muy particular, o un tema confidencial, o que por la naturaleza del tema, consideramos que otro tipo de prueba puede condicionar la opinión del entrevistado, o hace referencia a un comportamiento que presenta una alta complejidad).
No existe una fórmula mágica para las entrevistas en profundidad, la mejor entrevista, es aquella que te proporciona la información que necesitas cuando la necesitas. (Si, como consejo, no vale su peso en oro, pero cuando das con la pista la reconoceras…)

♦Referencias:

Grupo de discusión

Un grupo de discusión o “focus group” se define como “un grupo cuyo objetivo es hacer una confrontación de opiniones, de ideas o de sentimientos, con el fin de llegar a unas conclusiones, un acuerdo o unas decisiones” (Muchielli, 2003).
Es importante saber que un grupo de discusión no es un grupo de trabajo, y por lo tanto, su objetivo no es “producir soluciones”. El objetivo es que el investigador pueda documentar como los participantes intercambiar opiniones entre ellos, para obtener información acerca de percepciones, lenguaje, actitudes o motivaciones.

Se trata de que los miembros aporten ideas, pero no hay que confundir un “focus group” con un “brainstorming”. Tampoco hay que suponer que es una charla casual, se debe aplicar una metodología y fijar unos objetivos.

En teoría, los participantes del grupo de discusión deberían no conocerse entre sí. Sin embargo, en ocasiones se realizan grupos con miembros de una misma organización que si tienen relación, e incluso puede que formen parte de un mismo departamento.

Esta situación puede suponer un problema de cara a la investigación. Para neutralizarlo se debe hacer todo lo posible para eliminar las inhibiciones de los participantes. Dejando claro el objetivo de la investigación, recordando a los participantes que la intención del grupo es recoger información sobre distintos puntos de vista y haciendo que el grupo de discusión se desarrolle en un lugar neutro.

¿Cómo realizar un grupo de discusión?

El grupo de discusión debe ser representativo del colectivo que se quiere estudiar.

Para su creación se debe seleccionar individuos que nos permitan reproducir el discurso de la realidad investigada.

Hay que evitar la “heterogeneidad excluyente“: esto quiere decir, no incluir en un mismo grupo individuos con diferencias muy marcadas, clásicas heterogeneidades excluyentes son: individuos con una gran diferencia de edad pueden reproducir relaciones padre/hijo, o personas de clase social muy diferente, que pueden reproducir relaciones propietario/proletario.

Si por los objetivos de la investigación se requiere de este tipo de heterogeneidad, debemos forman grupos distintos, cada uno de ellos con miembros homogéneos entre si, y compararemos los resultados de los distintos grupos, por ejemplo, para conocer las percepciones sobre un site de telefonía quizás necesitemos usuarios de teléfono móvil Prepago vs usuarios de teléfono móvil Contrato.

La selección de los participantes también suele ser problemática, un buen método para determinar los participar es realizar una selección aleatoria.
Para ello creamos una lista de candidatos que cumplan con los objetivos de la investigación y seleccionamos 1 de cada X individuos, en función del tamaño de la lista y del tamaño deseado para el grupo de discusión.

El tamaño ideal para una discusión en grupo está entre 7 y 10 participantes. Por debajo de 7 se suelen monopolizar las opiniones y por encima de 10 resulta difícil de moderar por que los participantes pueden formar subgrupos y conversaciones paralelas.

El moderador del grupo o animador, es la persona encargada de coordinar y de facilitar el intercambio de opiniones entre los participantes. El moderador no puede aporta ni información ni ideas a la discusión.

El moderador debe velar para que se cumplan los objetivos de la investigación, redirigir el debate si se desvía, facilitar el intercambio de ideas entre los participantes, haciendo respetar el método que se establezca para el desarrollo de la reunión, y estableciendo la síntesis de la discusión.

Básicamente, el moderador debe reformular las aportaciones de los participantes cuando lo considere necesario, y hacer síntesis periódicas de las opiniones que van diciendo. Para lo cual puede utilizar diferentes técnicas:

Plantear preguntas que permitan encaminadas la discusión. Se usan preguntas abiertas en las que se exponen el tema de discusión o un punto sobre el que se quiere hacer girar la misma.
Reformular las preguntas. El moderador expone las ideas de los participantes con otras palabras, para asegurarse de que todo el mundo entiende lo mismo.
Sintetizar las respuestas. Cuando en el grupo se emiten diferentes ideas sobre un punto, el moderador debe confrontarlas y reagruparlas, haciendo una síntesis y recapitulando lo que se ha dicho para que todos los participantes sepan en todo momento en qué punto de la discusión están.
Hay otra figura que es conveniente en el grupo de discusión, es el ayudante de investigación, su función es tomar nota de lo que ocurre en el grupo, pero estas notas no deben ser una transcripción del debate, sino de los aspectos que no se pueden reflejar en la grabación. Se recomienda grabar el sonido del debate para evitar que se pierdan partes del discurso o se tomen notas sesgadas.

Trucos

Convocar a los participantes con tiempo suficiente. Parece obvio, pero muchas veces se olvida. La convocatoria debe informar del objetivo de la sesión, el lugar, la hora, y la duración aproximada (se recomienda que no dure más de una hora).
Las reuniones funcionan mejor por la mañana. Nadie tiene ganas de hablar a las 6 de la tarde mientras esta pensando en el atasco o en que llegará tarde.
Colocar a los participantes de forma circular u oval. La idea es los participantes se vean unos a otros, el contacto visual facilita las interacciones entre ellos.

♦Referencias:

Integración de la investigación en el desarrollo del producto

Las investigaciones se diseñan.

En los proyectos no se suele compartir las fases iniciales y exploratorias de esto por que se suele encontrar en un espacio aspiracional y poco definido, pero el proceso de desarrollo del producto necesita de técnicas de investigación en el proceso de diseño.

Diseñar un producto es detectar una necesidad y enamorarse del problema.

Hay una cosa en la que casi todos somos expertos. Construir producto que nadie quiere. O en terminos más de la industria, solemos ser buenos identificando necesidades y detectando oportunidades, pero no somos tan buenos capturando ese valor y no conseguimos transferir a mercado nuestra innovación. Y te tiras 6 meses programando para montar una cosa que ni tu utilizas. EPIC FAIL!

Como practitioner de la industria suele ser más o menos frecuente encontrarnos con proyectos en los que los promotores del proyecto tienen “la visión” del producto y eso les lleva a creer que no necesitan llevar a cabo la fase de investigación para acotar y definir el problema, a los usuarios y diseñar la solución.

La cura para esta enfermedad  son “las tecnicas de diseño centrado en el usuario”.

Lo que no suele ser tan frecuente y tambien es un pequeño problemilla en los proyectos, es que la finalidad de todos estos procesos de investigación de todas las disciplinas (Producto, Negocio, Marketing…) estén planeados hacia un único fin. Dando la sensación que las técnicas por las técnicas mismas son lo importante del proceso, cuando la técnica es un elemento puramente táctico, mientras que el diseño del producto, y ahí se incluye la investigación, es la estrategia.

Esto se suele enunciar como “Hacemos test A/B” y ahi el dialogo se acaba …

El proceso de desarrollo debe cubrir un amplio espectro, desde la idea al producto, o desde el concepto a la solución. Para lo cual, en la mayoría de proyectos nos vamos a encontrar con dos estados.

  1. Descubrimiento, este estado es inicial, tengo una idea, un proyecto, pero no se como enfocarlo, necesito una aproximación a la realidad, necesito conocimiento. Este tipo de investigación se conoce como investigación primaria y suele ser de tipo flexible.
  2. Confirmación, en este estado ya tenemos una opinión, pero no tenemos la certeza de que sea plenamente operativa. Deseamos contrastar nuestro enfoque con la realidad. A este tipo de investigación se la conoce como investigación secundaria o de contraste. (No confundir con investigación sobre fuentes secundarias).

Si desde el inicio del proceso tenemos en cuenta estos dos estados, los datos pueden ser acumulativos y pueden servir de brújula para la toma de decisiones de diseño.

 

♦ Referencias:

 

Project Survival Techniques: Draw

Whether you find yourself all alone or in a team of like-minded folks, we are all individuals with a unique voice, opinions, and diverse experiences that define us. We are all a UX Team of One. My challenge to you: Draw upon this diversity, magical things happen at the intersection of seemingly unrelated ideas. Don’t let a job title define you. Do what makes sense, not what process dictates. And most of all, never stop playing and learning. If we can all hang on for the ride, there is no limit to the places we‘ll go!

Stephen P. Anderson at The user experience team of one. A Research and Design Survival Guide