[Rant] 7 razones por las que he terminado de hablar sobre las pruebas divididas

Permítanme servirle algunas ‘bayas de miembros muy rápido y recordarle sobre la escena de las pruebas en 2010.

Este fue el comienzo de la prueba Blitzkrieg y el movimiento de optimización de la tasa de conversión (CRO). El tema de las pruebas A/B fue la siguiente “gran cosa”, y todos estaban interesados ??en los estudios de caso y las mejores formas de probar su sitio.
Desafortunadamente, esto condujo a resultados de pruebas muy hiperbólicos sin el procedimiento adecuado , que creó algunas expectativas muy inalcanzables.
Avancemos rápidamente hasta hoy y la gente ya no está hablando de resultados de pruebas divididas, están hablando de procesos de CRO. ¿Por qué?
En pocas palabras: todo lo que se puede decir sobre las pruebas divididas ha sido . PRUEBA dividida durante los últimos siete años . Aunque es un elemento necesario en el cinturón de herramientas de un vendedor, me niego a hablar o escribir sobre las pruebas nuevamente.
y aquí hay siete razones (una “por qué” por cada año que he hablado de eso) por qué. / P>

1. Se ha hecho … mucho.

Esto es lo que Google me muestra cuando busco “Guía de prueba dividida”.

Estos son los primeros 10 resultados, pero no se detiene allí. Verá algún tipo de “Guía definitiva” para probar a través de la página 20 (y probablemente más, aquí es donde me detuve).
He leído la mayoría de estas guías, y para ser honesto, ellos ‘ellos’ Realmente todos los mismos .
Cubrirán una estrategia de prueba previa, los requisitos mínimos para las pruebas y cómo saber si los resultados son válidos. Dependiendo del autor, se centrará más en una parte de la estrategia de prueba, por ejemplo, si está leyendo una agencia o tecnología de prueba, verá un aumento del enfoque en la velocidad de prueba.
En resumen, usted puede elegir cualquier artículo y obtener el alcance básico para el proceso de prueba.
enchufe desvergonzado: mi lista de verificación es un punto de partida bastante bueno.
El tema de prueba dividido está saturado, y no hay mucho punto en el punto ¡Por escribir una nueva publicación estratégica, que me lleva a mi siguiente punto!

2. Método científico + Math = no está cambiando

Se ha dicho que hay dos constantes en la vida: muerte e impuestos.
Bueno, voy a agregar dos más: el método científico y probado Matemáticas.
¡Dado que estas son constantes, no van a cambiar! Si comprende su método de prueba y comprende las matemáticas (¡solo centrémonos en las estadísticas aplicadas, no necesita ser un estadístico), entonces sabe todo lo que necesita saber sobre las pruebas divididas!
Me estoy preparando Up para actualizar mi certificación de optimización y prueba, y a medida que he estado pasando por el esquema, hay porciones masivas que son de hoja perenne (estrategias que no envejecen rápidamente); a saber, el proceso y las estadísticas de prueba.
Entonces, para ahorrarle algo de tiempo cavando en la cantidad de información aparentemente interminable que rodea las pruebas divididas, permítame darle todo lo que necesita saber aquí.

Proceso

1. Identifique sus KPI.
2. Cave en los datos de análisis para encontrar páginas de bajo rendimiento.
3. Investigación de usuarios para descubrir por qué la página tiene un rendimiento inferior.
4. Priorice qué prueba Debe ejecutar primero.
5. Desarrolle una hipótesis para el caso de prueba.
6. Programe el caso de prueba: si no se puede hacer dentro de las 4-6 semanas, no pruebe.
7. No acortes ni alargas el período de prueba.
8. Mire los resultados para ver si significativo: los técnicos de prueba harán esto, pero puedes calcularte a ti mismo).

<

< li> Identifique si los resultados son escalables: ¿es este un subconjunto preciso de todo su tráfico?

9. Variante ganadora de lanzamiento al segmento apropiado - puede ser todo tráfico.
10. Si está satisfecho con la elevación , pase a otras páginas. Si no está satisfecho, profundice en los resultados para encontrar más formas de mejorar la página.
11. Repita.

Math

1. El "porcentaje de elevación" que se hace referencia en estudios de caso es el cambio relativo entre variantes. Un aumento del 30% no es un aumento del 1% al 31%, es un aumento del 1% al 1.3%.
2. Intervalo de confianza: esta es la cantidad de error permitido en las pruebas; Desea que este intervalo sea lo más pequeño posible. Para tener un intervalo pequeño, necesita más casos probados.

3. Tasa de confianza: Esto solo le dice si hay una diferencia reconocida entre las dos versiones. Está respondiendo a la pregunta: "¿Suponiendo que no hay una diferencia subyacente entre A y B, ¿con qué frecuencia veremos una diferencia como nosotros en los datos, solo por casualidad?"
4. Período de tiempo: Pruebe durante semanas completas y durante un período que está en línea con el ciclo de su comprador (muy importante para B2B).
5. Tamaños de muestra: apunte, como mínimo, 100 conversiones por variación. Eso es mínimo, para las pruebas de riesgo más altas que recomiendo 200-250.

Si desea más información matemática, puede leerla aquí. Sin embargo, he visto a demasiados optimizadores bajar por la madriguera del conejo cuando se trata de entrar en las estadísticas (y en la mayoría de los casos estas personas no son estadísticas).
Recuerde, para monitorear siempre la tasa de conversión de la ganancia ganadora Variante posterior a la prueba para garantizar que el rango de elevación informado sea preciso. ¡Si ve un chapuzón, es posible que haya visto un levantamiento falso y tenga que volver al trabajo!
PROP: grandes elevaciones al principio de la prueba, dejará que se ejecute por el tiempo período que se le asignó para obtener resultados más precisos. Los elevadores grandes requieren tamaños de muestras más pequeños y, a su vez, requieren menos tiempo. Sin embargo, notará que esos grandes elevadores desaparecen a medida que pasa el tiempo.

3. Es una herramienta de validación, no de optimización

Si lo he dicho una vez, lo he dicho mil veces ...
Las pruebas divididas no son lo mismo que la optimización! < >
¡La prueba dividida es una herramienta que usa mientras está en el acto de optimizar! Esta es una forma de probar sus nuevas ideas y ver cuán efectivas (o ineficaces) son realmente.
No quiero perder el tiempo escribiendo más publicaciones de pruebas divididas porque hay innovaciones realmente geniales en la optimización ¡Espacio que merece mucha más atención y en realidad mejorará su resultado final más rápido!
Las pruebas también retrasan su capacidad para explotar el conocimiento que ha reunido.
Si tiene que esperar tres semanas para validar algo en lugar de rodar Es probable que te estés perdiendo. ¡Debe identificar el riesgo de no realizar pruebas y si las recompensas superan el riesgo de rodar con él!
Aquí hay un ejemplo:
En Digital Marketer, queríamos encontrar una manera de aumentar la cantidad de tiempo en una página después Alguien de un anuncio de Facebook se inscribió en uno de nuestros imanes principales. Hemos aprendido de las pruebas divididas anteriores que cuando agregamos un video a una página, la gente permanece mucho más tiempo.
Entonces lanzamos esta variante:

Vimos aumentar la profundidad de la página en 2 y el tiempo en el sitio aumentó en 2 minutos. Esto ayudó a mejorar nuestro puntaje de relevancia y también disminuyó nuestro costo publicitario. Según lo que Facebook estaba buscando, pudimos desarrollar una publicación de audiencia más comprometida y un clic en el anuncio, a su vez fuimos recompensados ??con anuncios más baratos que se consideraron más relevantes.

4. Número finito de pruebas

Solo hay tantas pruebas que puede ejecutar en un año.
Para el 1% de los sitios que pueden aislar su tráfico de casos de prueba mientras ejecutan pruebas concurrentes, ellas Definitivamente tiene la capacidad de ejecutar más pruebas. Sin embargo, si nos apegamos a la regla de "siempre completamos la semana", entonces solo hay 52 semanas para ejecutar pruebas potenciales.
Claro, los sitios de alto tráfico pueden ejecutar pruebas concurrentes en cualquier paso del embudo, pero por el resto De nosotros eso no es posible.
En tantas palabras, estoy tratando de decir que la velocidad de prueba es una mierda absoluta. Solo tenemos una cantidad finita de tiempo, un número limitado de páginas que realmente importan , y un número finito de recursos para lanzar pruebas significativas.
Veamos el proceso de prueba muy rápido para ver Cuánto tiempo puede ser un período de prueba de prueba ( nota : esto es conservador).

En este caso, me tomaría nueve días lanzar y QA una nueva prueba dividida. Este proceso se puede acortar si tiene un cambio de pequeña escala, pero seamos honestos, los cambios a pequeña escala proporcionan resultados de pequeña escala. Sí, los estudios de casos "aumenté las conversiones en un 400% simplemente cambiando mi CTA" son basura total.
suponiendo que tenga suficiente tráfico para ejecutar una prueba concluyente en dos semanas, pero no tiene suficiente tráfico para aislar probado El público, es decir, ejecuta pruebas concurrentes, luego tiene un total de 26 pruebas totales que puede ejecutar un año en su sitio web .
nota: pruebas de página de destino Don 'T cuenta ya que son más una "isla de ofertas" y no afectan la mayoría de las pruebas de sitio web (a menos que esté probando en la parte inferior del embudo).
Nuevamente, obtiene 26 pruebas de sitio web en total. Elegir sabiamente.

5. Las pruebas pueden ser cortas a la vista

Los resultados de las pruebas son solo una visión de un punto específico en el tiempo.
¡Las cosas cambian! El tipo de tráfico que golpea los cambios de su página, los esquemas de diseño preferidos cambian, su oferta podría estar cansada y menos atractiva, etc. ...
En general, los resultados de las pruebas son degenerativas con el tiempo (como cualquier cosa en su sitio). No puedes simplemente establecer un ganador y olvidarlo porque fue concluyente en marzo. Debe monitorear, volver a probar y, en algunos casos, explotar las páginas completas para mantenerse relevantes digitalmente.
Muchos procesos de prueba promueven un enfoque iterativo. Si bien no hay nada de malo en este enfoque en teoría, tengo que enfatizar que debe iterar responsablemente!
Los cambios de pequeña escala y la perpetuidad conducirá a un techo de elevación denominado "máximos locales". Lo golpeamos con nuestras largas cartas de ventas y no pudimos obtener un aumento concluyente mientras intentamos iterar.
¿Cuándo vimos el golpe? Cuando explotamos a ese chico malo.

Finalmente, no debe centrarse en los resultados individuales para tomar sus decisiones. Ejecuto pruebas en secuencias para mostrar que mis cambios son "Oferta agnóstica". Una sola prueba concluyente no cambiará su negocio. Una serie de pruebas bien organizadas será.

6. ¡Hay limitaciones de tráfico

No todos pueden o deben dividir la prueba!
Una de las principales razones por las que las personas no deberían probar se debe a las limitaciones del tráfico. Si ejecuta pruebas en pequeños tamaños de muestra, bueno, no tendrá datos precisos.
Si trabaja en datos inexactos, entonces pasará un mal momento ... y tomará malas decisiones comerciales.
He visto cientos de casos en los que alguien comparte un estudio de caso de prueba dividida y se sorprenden cuando los resultados no se mantienen después de que la prueba haya terminado. Cuando veo el tamaño de las muestras, ¡ya no estoy sorprendido!
¿Tendrías una decisión comercial basada en una diferencia de tres a cuatro conversiones? Entonces, ¿por qué diablos configurarías una prueba donde necesitas hacer esto? ON!

7. ¡Hay mejores cosas en las que centrarse!

Esta podría ser la razón más importante por qué ya no escribiré ni hablaré sobre las pruebas divididas!
¡Hay mucho cosas geniales de las que hablar; Le estaría haciendo un mal servicio discutiendo las mismas estrategias de pruebas que has escuchado sobre 10 millones de veces.
En realidad, ejecuté una serie de pruebas en las que me di cuenta de que las mejores prácticas son en realidad una herramienta de optimización útil, y tú puede aumentar las conversiones implementándolas en páginas donde faltaban anteriormente.
¡Esta fue una gran victoria para mí!
Probar si agregar "gratis" a mi CTA movería la aguja.
Del mismo modo, si dejo de charlar tanto sobre las pruebas divididas, entonces podré compartir nuevas tácticas y tecnologías que pueda usar para optimizar aún más su sitio. Genial, ¿verdad?
Aquí hay algunas cosas que he descubierto recientemente que no requirieron pruebas, pero movieron significativamente la aguja:

1. Agregar un "Compartir esta [Insertar oferta] e Obtenga [Insertar recompensa] ”para agradecer las páginas aumentan drásticamente el tráfico, los clientes potenciales y las ventas (el año pasado vimos 70k adicionales en la venta de entradas de la cumbre de tráfico y conversión al hacer esto).
2. Salir Pops no El trabajo de manera tan efectiva como el desplazamiento aparece en el contenido.
3. Cualquier tipo de estallido en su sitio debe ser relevante para el contenido actual en la página.
4. Los datos cualitativos son una de las formas más poderosas Para mejorar su sitio.
5. Las grabaciones de sesión, mientras que requieren mucho tiempo, son un conjunto valioso de datos debido a la naturaleza pasiva del participante, es decir, no saben que están en un entorno de prueba. /li>
6. Los videos aumentarán las métricas de compromiso en las páginas y esto puede ayudar a reducir los costos de anuncios.

Tengo muchos más, y probablemente debería convertirlos en publicaciones de blog ...
¡Bien, terminemos esto!
¡Todavía necesitas dividir la prueba !
¡Solo porque ya no estoy hablando de eso no significa que no tenga ninguno peso. Sin embargo, debe pensar en las pruebas como aritmética y optimización como cálculo. Para optimizar adecuadamente, necesita conocer las pruebas, al igual que para hacer el cálculo, necesita conocer la aritmética.
Las matemáticas no están cambiando y el proceso no está cambiando. Una vez que lo dominas, lo has dominado, y puedes pasar a aprender estrategias de optimización más útiles.
En cuanto a los estudios de casos y compartiendo las pruebas que estoy ejecutando aquí en DM, ¡definitivamente todavía las compartiré!
Dicho esto, las pruebas deberían convertirse en algo que haces, no algo de lo que hablas. Piense en ello como hacer ejercicio: cuando empiezas a hacerlo ... quieres que todos lo sepan (mirándolo Crossfit). En el momento en que se convierte en parte de su rutina, dejas de hablar de ella y comienzas a mostrar resultados.
¡Así que investiga, prueba tus ideas (donde sea posible) e implementa a los ganadores! Deje de perder el tiempo leyendo la publicación del blog de Procedimiento de prueba de Test 100 TH y ponga a trabajar :).