Análise de Assuntos – Blip | Blip Help

Melhore a resolução automática nas conversas conduzidas pelo seu Agente de IA

Índice:

Introdução

Gerenciar as conversas conduzidas pelo seu Agente de IA diariamente pode ser um desafio. Analisar todas as interações de forma manual é inviável, e a variedade de relatórios e métricas disponíveis pode gerar incertezas sobre quais focar.

Pensando nisso, criamos a funcionalidade Análise de Assuntos. Com essa ferramenta, é possível identificar os principais temas tratados nas conversas com seu Agente de IA, destacando aqueles que possuem maior volume de interações e que geram mais transbordo para atendimento humano ou onde o Agente falhou em responder adequadamente. Dessa forma, você saberá exatamente onde seu Agente não está performando bem e poderá ajustar a base de conhecimento ou aprimorar o prompt, dinamicamente, à medida que as conversas ocorrem.

Essa abordagem contribui para a melhoria contínua dos nossos Agentes de IA, reforçando a importância de ciclos curtos de feedback (short feedback loop) para aprimorar a performance do agente.

Como são gerados os assuntos

A funcionalidade de Análise de Assuntos utiliza um algoritmo de clusterização baseado em Machine Learning para analisar cada conversa conduzida pelo Agente de IA. O algoritmo considera a intenção do usuário e a resposta do Agente, levando em conta o contexto completo da sessão (dentro de um intervalo de 24 horas). A partir dessa análise, o sistema categoriza os temas encontrados na conversa, agrupando interações similares para facilitar a visualização e o entendimento dos assuntos abordados. Uma conversa pode conter mais de um assunto.

Nota: Uma conversa é definida como uma sessão de até 24 horas.

Acesso à Análise de Assuntos

Para acessar a Análise de Assuntos das conversas, siga o caminho:

Navegação (em Agente de IA): Análises de Conversas > Assuntos.

Filtros de Assuntos

Filtrar Assuntos por Data

Clique no menu suspenso de data.
Defina o intervalo de datas desejado ou insira manualmente a data de início e término.
Clique em Aplicar.

Esse filtro permite a personalização da análise com um intervalo de tempo customizado, utilizando um seletor de calendário. Por default o filtro vem sempre selecionado nos últimos 7 dias.

Filtrar Assuntos por Período

Clique no menu suspenso de período.
Selecione um intervalo predefinido (ex.: Últimos 7 dias, 15 dias ou 30 dias).
Por default o filtro vem sempre selecionado nos últimos 7 dias.

Utilização da Análise de Assuntos

Na tela principal, você verá uma lista com os principais assuntos tratados nas conversas com seu Agente de IA. Esses assuntos são classificados com base em:

Volume de conversas: Número total de interações sobre determinado assunto.
Transbordo para atendimento humano: Sessões que precisaram de intervenção humana.
Conversas não resolvidas pela IA: Sessões em que a IA não conseguiu fornecer uma resposta válida (Invalid Answer).

Essa visualização permite identificar rapidamente os tópicos onde o desempenho do Agente está abaixo do esperado, permitindo que você tome ações para melhorá-lo, como adicionar novos conteúdos à base de conhecimento ou ajustar os prompts do Agente.

Definições Importantes

Assuntos: Classificação automatizada dos temas das interações que aconteceram nas conversas, feita por modelo de Machine Learning.

Exemplo de Aplicação

Imagine que o assunto “Material produtos” esteja no topo da sua lista de assuntos, com um alto volume conversas relacionadas e um alto volume de transbordo para atendimento humano. Isso pode indicar três possíveis cenários:

Falta de conteúdo na base de conhecimento: Seu Agente de IA pode não ter informações suficientes na base de conhecimento para lidar com esse tipo de solicitação. Nesse caso, é necessário inserir ou atualizar o conteúdo relacionado a "Material produtos" para que o Agente possa responder adequadamente no futuro.
Assunto inadequado para a IA: É possível que "Material produtos" seja um tema complexo, mais adequado para atendimento humano. Nesse caso, você deve ajustar as configurações do Agente para que, sempre que uma intenção relacionada a esse assunto for detectada, o redirecionamento automático para um atendente humano seja acionado. Isso garante que a experiência do cliente não seja prejudicada por respostas inadequadas da IA.
Função do Agente: O Agente pode não estar desempenhando corretamente seu papel, possivelmente devido ao direcionamento de suas funções. Nesse caso, é importante revisar e aprimorar o prompt e as diretrizes (guidelines) do Agente, garantindo que ele entenda claramente suas responsabilidades e forneça respostas mais alinhadas com o objetivo do atendimento.

Ordenação da Lista

Você pode organizar a lista de assuntos de acordo com as colunas disponíveis, facilitando a análise de dados. Siga os passos abaixo para ordenar a lista:

Identifique a coluna que deseja ordenar: As colunas podem incluir informações como volume de conversas, transbordo humano, entre outras.
Clique no ícone de seta ao lado do título da coluna: Cada título de coluna possui um ícone de seta que permite alternar entre ordenação crescente ou decrescente.
Ajuste a ordenação conforme necessário: Ao clicar uma vez, a lista será ordenada de forma crescente (A-Z ou menor para maior). Clicando novamente, a lista será ordenada de forma decrescente (Z-A ou maior para menor).
Navegue pelas páginas da lista: Se houver mais itens do que podem ser exibidos em uma única página, utilize os controles de paginação na parte inferior para navegar entre as páginas da lista.

Detalhamento dos Assuntos

Ao clicar em qualquer assunto da lista, você será redirecionado para uma tela de detalhamento. Nesta página, é possível:

Ver um resumo do assunto: Compreender o que os usuários estão perguntando sobre aquele tema.

Analisar métricas relacionadas:
- Conversas sobre o assunto: Volume total de interações sobre o tema.
- Não resolvidas pela IA: Proporção de interações que a IA não respondeu adequadamente.
- Contenção: Porcentagem de sessões em que a IA conseguiu resolver a solicitação do usuário sem intervenção humana.
- Transbordo Humano: Percentual de sessões que precisaram de redirecionamento para humanos.

Exportação de Relatórios

Os relatórios podem ser exportados para análise offline em formato .xls:

Clique no botão de exportação no canto superior direito da tela.
O tempo de processamento dependerá do volume de dados.

Contatos

É possível visualizar a lista de todos os contatos que conversaram sobre um determinado assunto, com as seguintes informações disponíveis para cada sessão:

Transbordo: Indicação de se a conversa resultou em um transbordo para o atendimento humano.

Sentimento: O sentimento identificado no contato durante a sessão. O sentimento possui as classificações de: Positivo, Negativo, Neutro e Indefinido.

Os contatos são exibidos em uma lista ordenada pela data da sessão de conversa mais recente, considerando a janela de 24 horas para cada sessão.

Filtros de Contatos

A lista de contatos pode ser refinada utilizando filtros específicos para:

Tipo de canal: Permite segmentar contatos com base no canal de comunicação utilizado (ex.: WhatsApp, Blip chat, Telegram, Messenger etc.).
Sentimento: Filtra contatos de acordo com o sentimento predominante identificado durante a sessão (ex.: positivo, neutro, negativo e indefinido).
Tipo de Atendimento: Filtra pelo tipo de automação usada na conversa. (ex.: atendimento humano)
Ordenação: Ajusta a ordem de exibição conforme critérios específicos. (ex.: mais recente, menos recente)

Histórico de Conversas

Para aprofundar a análise de um determinado assunto, é possível clicar na seta lateral ao lado em cada card de contato e acessar o nível de conversa correspondente ao momento em que o assunto foi originado. Ao clicar na seta, uma aba lateral será aberta exibindo o histórico de conversa ancorado na sessão exata em que o assunto foi abordado.

Navegação no Histórico de Conversas

O histórico permite entender todo o contexto da interação entre o contato e a sua empresa no momento em que o assunto foi tratado.
Você pode rolar o mouse para cima ou para baixo para visualizar interações anteriores ou posteriores dessa mesma sessão.
Caso existam, também será possível acessar conversas anteriores desse mesmo contato com a sua marca, formando um histórico infinito das interações do cliente. A aba “Resumo” está relacionada com a sessão de conversa que ocorreu naquele assunto.

Identificação de Interações

No histórico de conversas, é possível identificar a origem de cada interação, permitindo diferenciar entre os tipos de ações realizadas. As interações são categorizadas da seguinte forma:

Interações IA Automated Skills:
- Representam respostas geradas pelo agente de Inteligência Artificial.
- São identificadas pelo botão “Fonte”.
Interações Flow Automated Skills:
- Referem-se a ações determinísticas, configuradas nos fluxos de conversa.
Interações Human Automated Skills:
- Indicam ações realizadas por atendentes humanos.
- Essas interações ocorrem após o transbordo da conversa e a geração de um ticket de atendimento.

Essa funcionalidade proporciona uma análise completa do contexto de cada interação, oferecendo uma visão detalhada da jornada do contato com a sua marca, desde respostas automatizadas até ações humanas.

Resumo

Ao lado do histórico de conversa, é exibido um resumo sobre a sessão de conversa que está sendo visualizada no momento. Caso você navegue para uma sessão anterior ou posterior, o resumo é automaticamente atualizado para refletir as informações correspondentes à nova sessão.

Sentimento

No resumo, é possível visualizar o sentimento do contato durante aquela sessão de conversa. Essa informação ajuda a compreender como o consumidor estava se sentindo em relação à experiência conversacional com a sua marca naquele momento.

Os sentimentos são classificados em quatro categorias: positivo, negativo, neutro e indefinido, conforme os critérios abaixo:

Positivo: Indica que o contato teve uma experiência satisfatória ou positiva. Exemplos de expressões:

Palavras de Agradecimento e Gratidão:
- "Muito obrigado", "Agradeço a ajuda".
Elogios Diretos:
- "Excelente serviço", "Vocês são ótimos".
Comentários que Destacam Aspectos Positivos:
- "Resposta rápida", "Atendimento eficiente".
Expressões de Satisfação Geral:
- "Estou muito satisfeito", "Isso foi ótimo".
Feedback Positivo Detalhado:

Negativo: Indica que o contato teve uma experiência insatisfatória ou frustrante . Exemplos de expressões:

Uso de Palavras Ofensivas ou de Baixo Calão:
- "Isso é muito ruim", "Que porcaria".
Frases que Indicam Insatisfação Clara:
- "Isso é inaceitável", "Estou muito decepcionado".
Expressões de Frustração:
- "Isso é muito frustrante", "Não aguento mais isso".
Reclamações Específicas:
- "O serviço foi péssimo", "Não gostei do atendimento".
Feedback Negativo Detalhado:
- "A solução foi demorada e ineficaz, estou extremamente insatisfeito com o atendimento".

Neutro: Indica que o contato não demonstrou emoções claras de satisfação ou insatisfação. Exemplos de expressões:

Comunicação Objetiva ou Factual:
- "Entendi", "Certo", "Ok".
Perguntas ou Solicitações Simples:
- "Qual o próximo passo?", "Como faço para acessar?".
Comentários Gerais sem Emoções Evidentes:
- "Recebi as informações", "Tudo está em ordem".

Indefinido: Indica que o sistema não conseguiu processar o sentimento por algum dos seguintes motivos:

Indisponibilidade do sistema no momento da análise.
Histórico de conversa insuficiente para determinar o sentimento.

Resumo da Conversa

Logo abaixo da informação sobre o sentimento, é exibido um resumo inteligente da sessão de conversa que está sendo visualizada no momento. Caso você navegue para uma sessão anterior ou posterior, o resumo será automaticamente atualizado, refletindo os dados e o contexto da nova sessão.

Esse resumo é gerado de forma inteligente por um modelo de Inteligência Artificial, proporcionando uma análise contextual clara e objetiva, facilitando a compreensão dos principais pontos da interação.

Base de Conhecimento

Não resolvidas por IA

Na aba Resumo, é possível visualizar informações consolidadas sobre o volume de interações que a IA não conseguiu resolver durante uma sessão de conversa de 24 horas. Essas métricas são contabilizadas pelo evento de Invalid Answer, indicando sessões em que a IA não conseguiu fornecer uma resposta válida.

Conversas Não Resolvidas pela IA:
Refere-se às sessões em que a IA não foi capaz de gerar uma resposta válida, resultando em falhas na resolução do contato (eventos de Invalid Answer).

Respondidas por IA

Essa métrica apresenta o total consolidado de interações nas quais a IA foi capaz de fornecer respostas e conduzir a conversa com o contato de maneira automática e eficiente, alinhada aos objetivos do consumidor.

Arquivos

Ainda na aba Resumo, estão disponíveis informações sobre as Bases de Conhecimento utilizadas durante a sessão de conversa de 24 horas. Esse consolidado identifica:

Quais bases de conhecimento foram acionadas para gerar as respostas fornecidas pelo agente de IA nas interações realizadas.

Ações

Se, durante a interação, o agente de IA utilizou uma skill customizada em vez de uma base de conhecimento, a aba Resumo exibe um consolidado das Actions acionadas na sessão. Essas informações mostram:

Volume de actions executadas;
Quais Actions foram executadas pelo agente para conduzir a experiência conversacional de maneira coerente com os objetivos do consumidor.

Fonte

Na aba Fonte, é possível visualizar as fontes que o agente utilizou para gerar a resposta. Para isso, basta clicar em uma interação de resposta e, em seguida, no botão “Fonte”. Ao realizar essa ação, as fontes relacionadas serão exibidas na lateral da tela.

Para cada interação de resposta, são apresentadas até três fontes distintas. Isso ocorre porque, ao gerar uma resposta, a IA valida a informação considerando três conteúdos diferentes como base. Essa técnica é chamada de chunks. Esses fragmentos de conteúdo podem pertencer ao mesmo arquivo da base de conhecimento ou a diferentes arquivos, dependendo do contexto da pergunta formulada.

Se nenhuma interação de resposta for selecionada e você estiver na aba Fonte, a tela exibirá uma mensagem informando que é necessário realizar a seleção de uma interação.

Dados do contato

Na aba Dados do Contato, é possível visualizar informações como nome, telefone, e-mail e o ID do usuário.

Caso o contato não seja encontrado, o nome será substituído por uma chave sistêmica de identificação.

Informações Adicionais

Os dados dos relatórios são atualizados com um atraso de D-1 (ex.: um relatório exportado em 17/10/2024 conterá dados até 16/10/2024).
O fuso horário dos relatórios segue o configurado no seu perfil.

Para mais informações, acesse a discussão sobre o assunto em nossa comunidade ou os vídeos no nosso canal. 😃