Testes Unitários – Blip | Blip Help

Índice

Introdução

A funcionalidade de Testes Unitários permite validar a precisão das respostas do seu fluxo conversacional, seja ele determinístico ou baseado em um agente de IA.

O teste funciona configurando pares de interação: você define a mensagem de entrada, que pode ser um texto ou uma URL pública, e a resposta esperada, que pode ser um texto e/ou a validação de arquivos. Durante a execução, o teste envia cada interação e para ao detectar a primeira falha.

Este processo garante que o sistema responda corretamente e permite ajustes rápidos em caso de problemas, sendo uma ferramenta essencial para verificar se os comportamentos esperados estão corretos antes de serem implantados em produção. A funcionalidade facilita a manutenção e a evolução contínua do seu Contato Inteligente.

Além da criação e execução dos testes, agora também é possível acompanhar o histórico recente de execuções de cada teste e visualizar o detalhamento de uma execução específica.

Com isso, builders conseguem analisar melhor o ciclo de validação do fluxo: executar um teste, identificar falhas, ajustar o fluxo e executar novamente, acompanhando as tentativas recentes de forma mais rastreável.

Como acessar os Testes unitários

Você pode abrir os Testes Unitários da seguinte forma:

1. Na tela Studio:

No canto superior direito da tela, clique no ícone .
No menu que abrir, selecione Testes unitários.

A seguinte tela será aberta:

Gerenciando Testes Unitários

A tela de gerenciamento de testes unitários é o ponto de partida para visualizar, criar e executar os testes do seu bot ou agente de IA

Criar teste

Clique no botão Criar teste no canto superior direito ou caso não haja testes criados clicar no botão centralizado na lista Criar novo teste. É possível preencher todos os parâmetros para o teste manualmente ou importar um arquivo de configurações clicando no botão:

Importar configurações: carregar um arquivo no formato do Blip com testes já prontos.

Outros recursos

Pesquisar: Campo de busca para encontrar testes específicos pelo nome.
Lista de testes: Exibe os testes unitários criados para o bot. Na listagem, você pode acompanhar:
- Teste: nome do teste configurado.
- Versões: quantidade de execuções realizadas para aquele teste. Cada execução gera uma nova versão no histórico.
- Última atualização: data e hora da última edição feita no teste. Essa informação não representa necessariamente a última execução.
- Status: resultado resumido da execução, indicando se houve sucesso, falha ou outro estado relacionado ao teste.
  - Aguardando execução: O teste foi criado, mas ainda não foi executado.
  - Sucesso: Todas as interações do teste passaram com sucesso (ex: "Sucesso 18/18").
  - Falha na métrica: O teste foi executado, mas algumas interações falharam (ex: a mensagem "Falha na métrica 25/57" indica que 25 interações falharam de um total de 57 interações configuradas.).
  - Erro ao iniciar: O teste não pôde ser executado devido a um erro no início (ex: "Erro ao iniciar 2/3").
  - Interrompido: O teste pode ser interrompido durante a execução.
- Para visualizar as execuções recentes de um teste, clique na seta de expansão ao lado do item desejado.
Excluir testes: remove um ou mais testes
Executar testes: executa um ou mais testes selecionados.

Também é possível filtrar os testes por status para localizar mais rapidamente testes com sucesso, falha ou aguardando execução.

Configurando um Teste Unitário

Ao criar ou editar um teste, você terá acesso a três abas de configuração: Definições, Variáveis e Interações.

Interações

Está a aba é onde você define a sequência de perguntas e respostas para validar o comportamento do seu bot ou agente de IA

Ordem: A ordem em que as interações serão executadas. Você pode reordenar as interações arrastando os ícones de grade.
Descrição: A entrada de texto que será enviada para o bot.
Resultado: O status da interação após a execução do teste, podendo ser:
- Aguardando execução: A interação ainda não foi testada.
- Sucesso: A resposta do bot correspondeu ao esperado.
- Erro ao iniciar: A interação não pôde ser iniciada.
- Falha na métrica: A resposta do bot não correspondeu ao esperado.
- Interrompido: O teste foi interrompido pelo usuário durante a execução.

A ordem das interações define a sequência em que o teste será executado. Se uma interação falhar, a execução é interrompida e as próximas interações não serão executadas.

Configurando uma Interação:

Ao clicar em uma interação, você pode expandir a seção para configurá-la em detalhes.

Tipo de entrada: Define o tipo de entrada que você está enviando.
Mensagem de Entrada: A entrada do usuário pode ser um texto simples ou uma URL pública apontando para um arquivo.
Resposta Esperada:
- Blocos de Texto: A resposta esperada pode ser um ou mais trechos de texto.

Quando se trata de formatos estruturados, como menus em JSON, é aconselhável incluir o JSON diretamente, garantindo que o sistema compreenda e compare conforme esperado.

Tipo de Arquivo: Além disso, a resposta pode requerer a presença de arquivos específicos, como documentos, imagens, áudios ou vídeos. A configuração deve especificar não apenas o tipo, mas também a quantidade esperada. Por exemplo, se a interação deve retornar dois documentos, a configuração deve refletir isso. O teste falhará se a resposta não corresponder exatamente ao número e tipo de arquivos esperados.
Texto: O texto que o bot receberá (ex: "Qual horário de funcionamento?").

Métrica de Comparação Textual:

Similaridade:

A métrica de similaridade avalia o quanto uma resposta gerada se aproxima da resposta esperada em termos de conteúdo e estrutura. Ela permite variações enquanto ainda considera a resposta válida.

Recomendação de Uso:

Ideal para sistemas flexíveis, como agentes inteligentes, que podem gerar respostas com alguma variação.
Defina o ponto limite de similaridade para estabelecer o grau de variação aceitável. Por exemplo, um limite de 6.5 indica que a resposta deve ter pelo menos 65% de similaridade com o esperado.

Correspondência Exata:

Esta métrica requer que a resposta gerada seja completamente idêntica à resposta esperada, sem qualquer desvio ou variação, incluindo pontuação e caracteres especiais.

Recomendação de Uso:

Ideal para sistemas determinísticos onde a precisão é crucial.
Garante que a resposta seja exatamente como esperado, assegurando consistência e precisão.
Considera diferenças de formatação, como quebras de linha dentro de um bloco ou separação em blocos distintos, indicando mensagens enviadas separadamente.

Variáveis

Nesta aba, você pode gerenciar as variáveis de contexto que serão usadas no fluxo de teste. Adicione, edite ou remova as variáveis que seu bot ou agente de IA pode precisar para iniciar o fluxo corretamente.

Tipo: contexto ou contato
Nome: Nome da variável (ex: numbercpf).
Valor: Valor que a variável terá (ex: 129.452.875-06).
Nova variável: Adiciona uma nova variável.

Definições

Nesta aba, você define o tempo de espera para que o teste seja executado.

Tempo de espera da resposta: Use o controle deslizante para definir o tempo limite para cada interação do seu teste. Se a resposta do bot demorar mais do que o tempo estipulado, a interação será considerada uma falha.

Executando e Analisando os Testes

Após configurar o teste:

Clique em Salvar.
Na lista de testes, selecione o teste desejado.
Clique em Executar testes.
Acompanhe o status exibido na listagem.
Para ver o histórico de execuções, clique na seta de expansão do teste.
Para analisar uma execução específica, clique no ícone de visualização ao lado da versão desejada.
No painel lateral, consulte as interações executadas, seus status, a mensagem de entrada, a resposta esperada, a resposta recebida e o JSON retornado.
Quando uma interação falha, a execução é interrompida. Por isso, as interações seguintes podem aparecer como Não executado.

Histórico de execuções

Cada vez que um Teste Unitário é executado, uma nova versão é registrada no histórico daquele teste. Neste contexto, versão significa uma execução do teste. Por exemplo: se um teste mostra 3 versões, isso significa que ele foi executado 3 vezes.

Para visualizar o histórico:

Na tela de Testes Unitários, localize o teste desejado.
Clique na seta de expansão ao lado do teste.
Veja as execuções recentes exibidas abaixo do teste.

Cada execução apresenta informações como versão, data e status. No momento, a interface exibe as 5 execuções mais recentes de cada teste.

Visualizando os detalhes de uma execução

Para analisar uma execução específica, clique no ícone de visualização ao lado da versão desejada. Um painel lateral será aberto com os detalhes daquela execução. Nele, você pode consultar:

as interações da execução;
o status de cada interação;
a mensagem de entrada utilizada;
a resposta esperada;
a resposta recebida;
o JSON retornado.

Para ver mais informações sobre uma interação, expanda o item desejado dentro do painel. Essa visualização ajuda a identificar em qual ponto o fluxo divergiu do comportamento esperado.

Usando Testes Unitários com Logs e Eventos

Os Testes Unitários ajudam a validar se uma entrada gerou a resposta esperada.

Já a tela de Logs e Eventos ajuda a investigar com mais profundidade o que aconteceu durante a execução do fluxo, incluindo mensagens trafegadas, eventos, contexto e detalhes técnicos.

As duas ferramentas podem ser usadas em conjunto durante o processo de validação. Ao executar um Teste Unitário, as interações geradas pelo teste também podem ser acompanhadas em Logs e Eventos, permitindo investigar o caminho percorrido pela conversa no fluxo.

Uma forma recomendada de uso é:

Abrir a tela de Logs e Eventos.
Em outra aba ou janela, abrir Testes Unitários.
Executar o teste unitário desejado.
Voltar para Logs e Eventos para acompanhar os registros gerados durante a execução.

Use essa combinação quando o Teste Unitário mostrar que a resposta recebida foi diferente da esperada e você precisar entender o que aconteceu no fluxo até aquele resultado. Para saber mais, acesse o artigo Logs e Eventos.

Limitações conhecidas

Atualmente, os Testes Unitários possuem algumas limitações importantes:

A interface exibe somente as 5 execuções mais recentes de cada teste.
O consumo de tokens ainda não é exibido no histórico nem no detalhamento da execução, mas pode ser acompanhado pela tela de Logs e Eventos.
Os Testes Unitários continuam funcionando no contexto de bots individuais. Testes unitários em roteadores ainda não são suportados.
Os Testes Unitários ajudam a validar comportamentos esperados, mas não substituem testes manuais e outras práticas de validação.

Precisa de mais ajuda? Explore nossos conteúdos na Blip Academy ou Blip Community, assista a tutoriais no nosso canal do YouTube ou tire suas dúvidas em nosso canal de atendimento 😃