Pruebas Unitarias – Blip | Blip Help

Índice

Introducción

La funcionalidad de Pruebas Unitarias permite validar la precisión de las respuestas de tu flujo conversacional, ya sea determinista o basado en un agente de IA.

La prueba funciona configurando pares de interacción: defines el mensaje de entrada, que puede ser un texto o una URL pública, y la respuesta esperada, que puede ser un texto y/o la validación de archivos. Durante la ejecución, la prueba envía cada interacción y se detiene al detectar la primera falla.

Este proceso garantiza que el sistema responda correctamente y permite ajustes rápidos en caso de problemas, siendo una herramienta esencial para verificar si los comportamientos esperados son correctos antes de ser implementados en producción. La funcionalidad facilita el mantenimiento y la evolución continua de tu Contacto Inteligente.

Además de la creación y ejecución de las pruebas, ahora también es posible seguir el historial reciente de ejecuciones de cada prueba y visualizar el detalle de una ejecución específica.

Con esto, los builders pueden analizar mejor el ciclo de validación del flujo: ejecutar una prueba, identificar fallas, ajustar el flujo y ejecutar nuevamente, siguiendo los intentos recientes de forma más rastreable.

Cómo acceder a las Pruebas unitarias

Puedes abrir las Pruebas Unitarias de la siguiente manera:

1. En la pantalla Studio:

En la esquina superior derecha de la pantalla, haz clic en el ícono .
En el menú que se abrirá, selecciona Pruebas unitarias.

Se abrirá la siguiente pantalla:

Gestión de Pruebas Unitarias

La pantalla de gestión de pruebas unitarias es el punto de partida para visualizar, crear y ejecutar las pruebas de tu bot o agente de IA.

Crear prueba

Haz clic en el botón Crear prueba en la esquina superior derecha o, si no hay pruebas creadas, haz clic en el botón centralizado en la lista Crear nueva prueba. Es posible completar todos los parámetros para la prueba manualmente o importar un archivo de configuraciones haciendo clic en el botón:

Importar configuraciones: cargar un archivo en formato Blip con pruebas ya listas.

Otros recursos

Buscar: Campo para encontrar pruebas específicas por nombre.
Lista de pruebas: Muestra las pruebas unitarias creadas para el bot. En la lista, puedes seguir:
- Prueba: nombre de la prueba configurada.
- Versiones: cantidad de ejecuciones realizadas para esa prueba. Cada ejecución genera una nueva versión en el historial.
- Última actualización: fecha y hora de la última edición hecha en la prueba. Esta información no representa necesariamente la última ejecución.
- Estado: resultado resumido de la ejecución, indicando si hubo éxito, falla u otro estado relacionado con la prueba.
  - Esperando ejecución: La prueba fue creada, pero aún no se ha ejecutado.
  - Éxito: Todas las interacciones de la prueba pasaron con éxito (ej: "Éxito 18/18").
  - Falla en la métrica: La prueba se ejecutó, pero algunas interacciones fallaron (ej: el mensaje "Falla en la métrica 25/57" indica que 25 interacciones fallaron de un total de 57 configuradas).
  - Error al iniciar: La prueba no pudo ejecutarse debido a un error al inicio (ej: "Error al iniciar 2/3").
  - Interrumpido: La prueba puede ser interrumpida durante la ejecución.
- Para visualizar las ejecuciones recientes de una prueba, haz clic en la flecha de expansión junto al ítem deseado.
Eliminar pruebas: elimina una o más pruebas
Ejecutar pruebas: ejecuta una o más pruebas seleccionadas.

También es posible filtrar las pruebas por estado para localizar más rápidamente pruebas con éxito, falla o esperando ejecución.

Configuración de una Prueba Unitaria

Al crear o editar una prueba, tendrás acceso a tres pestañas de configuración: Definiciones, Variables e Interacciones.

Interacciones

Esta pestaña es donde defines la secuencia de preguntas y respuestas para validar el comportamiento de tu bot o agente de IA.

Orden: El orden en que se ejecutarán las interacciones. Puedes reordenarlas arrastrando los íconos de cuadrícula.
Descripción: La entrada de texto que será enviada al bot.
Resultado: El estado de la interacción tras la ejecución de la prueba, pudiendo ser:
- Esperando ejecución: La interacción aún no ha sido probada.
- Éxito: La respuesta del bot coincidió con la esperada.
- Error al iniciar: La interacción no pudo iniciarse.
- Falla en la métrica: La respuesta del bot no coincidió con la esperada.
- Interrumpido: La prueba fue interrumpida por el usuario durante la ejecución.

El orden de las interacciones define la secuencia en que la prueba será ejecutada. Si una interacción falla, la ejecución se detiene y las siguientes interacciones no se ejecutarán.

Configuración de una Interacción:

Al hacer clic en una interacción, puedes expandir la sección para configurarla en detalle.

Tipo de entrada: Define el tipo de entrada que estás enviando.
Mensaje de Entrada: La entrada del usuario puede ser un texto simple o una URL pública que apunte a un archivo.
Respuesta Esperada:
- Bloques de Texto: La respuesta esperada puede ser uno o más fragmentos de texto.

Cuando se trata de formatos estructurados, como menús en JSON, se recomienda incluir el JSON directamente, asegurando que el sistema comprenda y compare como se espera.

Tipo de Archivo: Además, la respuesta puede requerir la presencia de archivos específicos, como documentos, imágenes, audios o videos. La configuración debe especificar no solo el tipo, sino también la cantidad esperada. Por ejemplo, si la interacción debe devolver dos documentos, la configuración debe reflejar esto. La prueba fallará si la respuesta no coincide exactamente con el número y tipo de archivos esperados.
Texto: El texto que el bot recibirá (ej: "¿Cuál es el horario de atención?").

Métrica de Comparación Textual:

Similitud:

La métrica de similitud evalúa qué tan cercana está una respuesta generada a la respuesta esperada en términos de contenido y estructura. Permite variaciones mientras aún considera la respuesta válida.

Recomendación de Uso:

Ideal para sistemas flexibles, como agentes inteligentes, que pueden generar respuestas con alguna variación.
Define el punto límite de similitud para establecer el grado de variación aceptable. Por ejemplo, un límite de 6.5 indica que la respuesta debe tener al menos 65% de similitud con lo esperado.

Coincidencia Exacta:

Esta métrica requiere que la respuesta generada sea completamente idéntica a la respuesta esperada, sin ningún desvío o variación, incluyendo puntuación y caracteres especiales.

Recomendación de Uso:

Ideal para sistemas deterministas donde la precisión es crucial.
Garantiza que la respuesta sea exactamente como se espera, asegurando consistencia y precisión.
Considera diferencias de formato, como saltos de línea dentro de un bloque o separación en bloques distintos, indicando mensajes enviados por separado.

Variables

En esta pestaña, puedes gestionar las variables de contexto que serán usadas en el flujo de prueba. Agrega, edita o elimina las variables que tu bot o agente de IA pueda necesitar para iniciar el flujo correctamente.

Tipo: contexto o contacto
Nombre: Nombre de la variable (ej: numbercpf).
Valor: Valor que tendrá la variable (ej: 129.452.875-06).
Nueva variable: Agrega una nueva variable.

Definiciones

En esta pestaña, defines el tiempo de espera para que la prueba sea ejecutada.

Tiempo de espera de la respuesta: Usa el control deslizante para definir el tiempo límite para cada interacción de tu prueba. Si la respuesta del bot tarda más del tiempo estipulado, la interacción se considerará como una falla.

Ejecución y Análisis de las Pruebas

Después de configurar la prueba:

Haz clic en Guardar.
En la lista de pruebas, selecciona la prueba deseada.
Haz clic en Ejecutar pruebas.
Sigue el estado que se muestra en la lista.
Para ver el historial de ejecuciones, haz clic en la flecha de expansión de la prueba.
Para analizar una ejecución específica, haz clic en el ícono de visualización junto a la versión deseada.
En el panel lateral, consulta las interacciones ejecutadas, sus estados, el mensaje de entrada, la respuesta esperada, la respuesta recibida y el JSON devuelto.
Cuando una interacción falla, la ejecución se detiene. Por eso, las interacciones siguientes pueden aparecer como No ejecutado.

Cómo visualizar el consumo de tokens

Al ejecutar una prueba unitaria que utiliza agentes de IA, puedes visualizar el consumo de tokens generado en cada interacción. Esta información ayuda a entender cuánto contenido fue procesado por el modelo, identificar agentes que presentan mayor consumo y encontrar oportunidades para optimizar prompts, contextos y configuraciones.

En el historial de ejecución, la columna Consumo presenta el total de tokens utilizados en cada interacción. Este valor representa la suma del consumo de todas las llamadas realizadas por agentes de IA durante esa interacción.

Mientras los datos están siendo procesados, la interfaz puede mostrar el estado Calculando tokens. Si no es posible obtener la información, se mostrará el mensaje Datos no disponibles.

Para consultar la información detallada:

Ejecuta la prueba unitaria.
Abre el historial de ejecuciones.
Expande una interacción.
Haz clic en Ver resultados
Accede a la pestaña Tokens.

La pestaña se mostrará solo cuando la interacción tenga llamadas a modelos de lenguaje. En la parte superior de la pestaña, podrás visualizar el consumo consolidado de la interacción:

Input: tokens enviados al modelo;
Input cached: parte del contenido de entrada reutilizada en caché;
Output: tokens generados por el modelo;
Total: suma de los tokens procesados durante la interacción.

El consumo también se organizará por agente utilizado en el flujo. Para cada agente, se presentarán las siguientes informaciones:

nombre del agente;
modelo utilizado;
temperatura configurada;
límite máximo de tokens;
tokens de entrada;
tokens de entrada almacenados en caché;
tokens de salida;
total de tokens procesados.

Cuando el mismo agente realice más de una llamada al modelo durante la interacción, los valores se sumarán y presentarán de forma consolidada. Si el nombre del agente no está disponible, se usará el identificador técnico del bloque.

Sobre la interpretación de los datos, destaca que un consumo elevado puede estar relacionado con:

prompts muy extensos;
gran cantidad de instrucciones;
historial de conversación acumulado;
contexto o base de conocimiento extensa;
múltiples llamadas al modelo;
respuestas muy largas;
límite de tokens configurado por encima de lo necesario.

Compara diferentes ejecuciones de la misma prueba para entender cómo los cambios en el prompt, en el flujo o en las configuraciones del agente impactan el consumo.

Historial de ejecuciones

Cada vez que se ejecuta una Prueba Unitaria, se registra una nueva versión en el historial de esa prueba. En este contexto, versión significa una ejecución de la prueba. Por ejemplo: si una prueba muestra 3 versiones, significa que se ejecutó 3 veces.

Para visualizar el historial:

En la pantalla de Pruebas Unitarias, localiza la prueba deseada.
Haz clic en la flecha de expansión junto a la prueba.
Mira las ejecuciones recientes que se muestran debajo de la prueba.

Cada ejecución presenta información como versión, fecha y estado. Actualmente, la interfaz muestra las 5 ejecuciones más recientes de cada prueba.

Visualización de los detalles de una ejecución

Para analizar una ejecución específica, haz clic en el ícono de visualización junto a la versión deseada. Se abrirá un panel lateral con los detalles de esa ejecución. En él, puedes consultar:

las interacciones de la ejecución;
el estado de cada interacción;
el mensaje de entrada utilizado;
la respuesta esperada;
la respuesta recibida;
el JSON devuelto.

Para ver más información sobre una interacción, expande el ítem deseado dentro del panel. Esta visualización ayuda a identificar en qué punto el flujo se desvió del comportamiento esperado.

Uso de Pruebas Unitarias con Logs y Eventos

Las Pruebas Unitarias ayudan a validar si una entrada generó la respuesta esperada.

La pantalla de Logs y Eventos ayuda a investigar con más profundidad lo que ocurrió durante la ejecución del flujo, incluyendo mensajes intercambiados, eventos, contexto y detalles técnicos.

Las dos herramientas pueden usarse en conjunto durante el proceso de validación. Al ejecutar una Prueba Unitaria, las interacciones generadas por la prueba también pueden seguirse en Logs y Eventos, permitiendo investigar el camino recorrido por la conversación en el flujo.

Una forma recomendada de uso es:

Abrir la pantalla de Logs y Eventos.
En otra pestaña o ventana, abrir Pruebas Unitarias.
Ejecutar la prueba unitaria deseada.
Volver a Logs y Eventos para seguir los registros generados durante la ejecución.

Usa esta combinación cuando la Prueba Unitaria muestre que la respuesta recibida fue diferente a la esperada y necesitas entender qué ocurrió en el flujo hasta ese resultado. Para saber más, accede al artículo Logs y Eventos.

Limitaciones conocidas

Actualmente, las Pruebas Unitarias tienen algunas limitaciones importantes:

La interfaz muestra solo las 5 ejecuciones más recientes de cada prueba.
Las Pruebas Unitarias siguen funcionando en el contexto de chatbots individuales. Las pruebas unitarias en routers aún no son soportadas.
Las Pruebas Unitarias ayudan a validar comportamientos esperados, pero no sustituyen pruebas manuales y otras prácticas de validación.

¿Necesitas más ayuda? Explora nuestros contenidos en la Blip Academy o en la Blip Community, mira tutoriales en nuestro canal de YouTube o resuelve tus dudas en nuestro canal de atención 😃