Qualidade das conversas

Introdução

No dia a dia, muitas empresas encontram um grande desafio: como saber se as conversas com seus clientes estão sendo realmente práticas e resolutivas? Com milhões de interações, é difícil entender o que está funcionando bem e onde é preciso melhorar. A falta de visibilidade sobre a qualidade das interações pode dificultar a identificação de onde agir para aprimorar a experiência do cliente e otimizar os fluxos conversacionais.

Pensando nisso, a Blip desenvolveu um score de Qualidade das Conversas. Essa é uma métrica exclusiva que avalia as suas interações com base em critérios claros, práticos e com diferentes níveis de importância. A Qualidade das Conversas oferece um diagnóstico preciso sobre como as suas conversas estão se saindo, incentivando uma melhoria contínua na experiência dos seus usuários e fortalecendo a confiança na jornada automatizada.

A análise da Qualidade das Conversas traz uma visão unificada, considerando o nível do contrato da marca (Workspace) ou pode ser realizada a partir de um conjunto de roteadores ou de forma individual. Isso permite que a marca tenha visibilidade da qualidade do Contato Inteligente como um todo, ou aprofunde a análise em pontos específicos da jornada do usuário por caso de uso.

Por que a Qualidade das Conversas é Importante para seu Negócio?

Investir na Qualidade das Conversas traz uma série de benefícios que impactam diretamente a satisfação dos seus clientes e a eficiência das suas operações:

Melhore a experiência do usuário: Ao otimizar a qualidade das interações, garantimos que as necessidades dos seus usuários sejam atendidas de forma mais eficaz e agradável.

Aumente a confiança: Conversas de alta qualidade, que são relevantes, seguras e precisas, constroem a confiança do seu usuário com o uso da automação.

Otimize seus processos: A avaliação da qualidade das conversas permite identificar falhas no seu atendimento, como informações repetidas, falta de entendimento ou problemas na escrita. Assim, você pode fazer ajustes que tornam a jornada do seu usuário mais fluida e eficiente.

Tome decisões com dados reais: Com a Qualidade das Conversas, você terá um diagnóstico claro e dados objetivos sobre o desempenho das suas conversas. Isso te ajuda a tomar decisões estratégicas para aprimorar continuamente o seu atendimento.

Identifique oportunidades de melhoria: A análise detalhada dos critérios que compõem a qualidade da conversa (como Fluência, Integridade, Resolução e Relevância) revela exatamente onde você precisa focar seus esforços para otimizar suas interações.

Em resumo, a Qualidade das Conversas te dá o controle de volta. Ela permite que você promova interações mais eficientes, satisfatórias e confiáveis, proporcionando uma experiência superior para o seu usuário e gerando resultados significativos para a sua marca.

Como o score da qualidade das conversas é gerado

Para que a Qualidade das Conversas seja uma ferramenta eficaz e confiável, é essencial entender como a sua pontuação é calculada. Nosso objetivo é oferecer um diagnóstico preciso que ajude você a aprimorar a experiência dos seus clientes.

Critérios de avaliação

A pontuação da Qualidade das Conversas é baseada em um conjunto de critérios cuidadosamente selecionados, que avaliam diferentes aspectos das interações. Cada critério possui um peso diferente, refletindo sua importância para a experiência geral:

Fluência (Peso 1): Este critério identifica se a automação consegue dar sequência à conversa, sem interrupções. Ele verifica a presença de mensagens como "desculpe, não entendi" (fallbacks), repetições (redundâncias), erros de português ou inadequações na escrita que possam dificultar a compreensão. Subcritérios: Entendimento, Concisão e, Qualidade da Escrita.

Integridade (Peso 2): Nesta versão inicial, este critério avalia a ausência de conteúdo ofensivo ou inadequado nas mensagens enviadas.Subcritérios: Não-toxicidade.

Resolução (Peso 3): Este critério busca determinar se a interação foi capaz de resolver a necessidade do usuário. Para isso, analisamos o sentimento predominante expresso pelo usuário ao longo da conversa e a eficácia da interação, validando se o objetivo do usuário foi, de fato, cumprido.Subcritérios: Análise de Sentimento e Eficácia.

Relevância (Peso 4): Este critério avalia se as mensagens enviadas foram aderentes à intenção ou aos motivos de contato do usuário na conversa.Subcritérios: Aderência.

Como a pontuação é calculada

A geração da pontuação da Qualidade das Conversas segue um processo estruturado:

Avaliação dos subcritérios: Para cada conversa, nossos modelos de inteligência artificial avaliam individualmente os 8 subcritérios definidos (como Qualidade da Escrita, Entendimento, Não-toxicidade, Análise de Sentimento, Eficácia, Aderência e Concisão). Cada subcritério recebe uma nota de 1 (subcritério atendido), 0 (parcialmente atendido ou não se aplica) ou -1 (subcritério não atendido).

Normalização das notas: Em critérios que possuem mais de um subcritério (como Fluência), as notas individuais são combinadas e normalizadas em uma única nota. Essa normalização garante que o peso de cada subcritério seja corretamente considerado no cálculo final do critério.

Cálculo da pontuação final: Com as notas normalizadas de cada um dos quatro critérios principais (Fluência, Integridade, Resolução e Relevância), e considerando seus respectivos pesos, aplicamos uma função matemática (função Sigmoid) que transforma o resultado em um valor entre 0 e 100. Esse é o valor da sua Qualidade das Conversas.
 

Pontuação geral

Para facilitar a sua compreensão, a pontuação da Qualidade das Conversas é classificada em quatro níveis:

Excelente: Pontuação entre 75 e 100

Bom: Pontuação entre 50 e 74

Regular: Pontuação entre 25 e 49

Crítico: Pontuação entre 0 e 24

Pontuação individual por critério

Além da pontuação geral, você também terá a classificação individual de cada critério:

1: Ótimo

0: Bom

-1: Precisa de atenção

Aprimoramento contínuo

É importante ressaltar que a metodologia por trás da Qualidade das Conversas está em constante aprimoramento. Nossos times de inteligência artificial e dados trabalham para refinar os critérios, os prompts de avaliação e a seleção da amostra, garantindo que as análises sejam cada vez mais precisas e representativas da realidade das suas conversas.

Compreender como a pontuação é gerada permite que você utilize a Qualidade das Conversas de forma mais estratégica, focando nas áreas que mais precisam de atenção para otimizar suas interações e a experiência do seu cliente.

Acesso à Qualidade das Conversas

Para acessar a Qualidade das conversas do seu Contrato siga o caminho:

Navegação: Conversas > Performance

Roteadores: Seleção para Análise

Caso queria analisar por Roteador, siga os passos abaixo:

Clique no menu suspenso "Roteadores".

Selecione o(s) roteador(es) que deseja analisar.

Observação: Caso haja múltiplos roteadores, todos virão previamente selecionados por padrão.

Filtrar Qualidade das Conversas por Período ou Data

Para analisar a qualidade das conversas, você pode usar os filtros de Período ou Data.

Filtrar por Período

Clique no menu suspenso de período.

Selecione um intervalo predefinido (ex.: Últimos 7 dias, 15 dias ou 30 dias).

Observação: Por padrão, ambos os filtros vêm sempre selecionados nos últimos 7 dias.
 

Filtrar por Data

Clique no menu suspenso de data.

Defina o intervalo de datas desejado usando o seletor de calendário ou insira manualmente a data de início e término.

Clique em Aplicar.

Observação: Este filtro permite uma análise personalizada em um intervalo de tempo customizado.

 

Como Analisar a Qualidade das suas Conversas: O que observar, Priorizar e Otimizar

A Qualidade das Conversas é uma ferramenta poderosa para entender o que está realmente acontecendo nas interações com seus clientes. Para tirar o máximo proveito dessa métrica e melhorar a experiência do usuário, você precisa saber como analisar os dados e onde concentrar seus esforços.

O que observar na análise

Ao verificar a pontuação da Qualidade das Conversas, preste atenção aos seguintes pontos:

Visão geral da pontuação: Comece olhando a pontuação geral da Qualidade das Conversas. Isso te dará uma ideia inicial de como o seu contato inteligente (seja ele composto por chatbot, agente de IA ou o atendimento humano) está se saindo.

Desempenho por critério: Aprofunde sua análise observando as notas individuais de cada critério: Fluência, Integridade, Resolução e Relevância.
 

Fluência: Veja se há muitas mensagens como "desculpe, não entendi" (os "fallbacks"), textos repetidos ou erros de escrita. Uma fluência baixa pode causar frustração e fazer o cliente abandonar a conversa.
 

Integridade: Verifique a ausência de conteúdos que possam ser considerados tóxicos. Qualquer deslize aqui é prejudicial para a imagem da sua marca.
 

Resolução: Avalie se os clientes estão conseguindo resolver o que precisam e qual o sentimento deles ao final das conversas. Clientes que não têm seus problemas resolvidos tendem a ficar insatisfeitos.
 

Relevância: Observe se as respostas dadas estão de acordo com o que o cliente perguntou ou procurou. Respostas irrelevantes geram retrabalho e desconfiança.

Desempenho por subcritério: Para um diagnóstico ainda mais detalhado, analise as notas dos subcritérios (como Entendimento, Concisão, Qualidade da Escrita, Cordialidade, Não-toxicidade, Análise de Sentimento, Eficácia e Aderência).Exemplo: Se a nota de Fluência está baixa, investigue qual subcritério está causando isso. É o "Entendimento" por causa de muitos fallbacks, ou a "Qualidade da Escrita" por erros de português?

Análise por roteador ou individual: Use a funcionalidade de analisar a Qualidade das Conversas por conjuntos de roteadores ou individualmente.

Por roteador: Entenda o desempenho geral de um fluxo específico, de um departamento ou de um tipo de atendimento.

Individual: Analise conversas específicas para encontrar padrões nas falhas, exemplos de sucesso e oportunidades de aprendizado.

Evolução da pontuação ao longo do tempo: Monitore como a pontuação da Qualidade das Conversas e de seus critérios mudam ao longo do tempo. Uma queda pode indicar que algo precisa ser revisado nos fluxos ou conteúdos, enquanto uma melhora valida as ações que você implementou.
 

O que priorizar nas suas melhorias

Ao identificar pontos de melhoria, priorize suas ações com base nos seguintes fatores:

Impacto nos critérios de maior peso: Dê prioridade a melhorias nos critérios de Relevância (peso 4) e Resolução (peso 3), já que eles têm o maior impacto na pontuação final e, consequentemente, na experiência do seu cliente.Exemplo: Se a Relevância está baixa, isso significa que o cliente não está recebendo informações úteis. Corrigir isso terá um impacto maior do que apenas otimizar a concisão, por exemplo.

Problemas críticos (Integridade): Qualquer problema relacionado ao critério de Integridade (como toxicidade) deve ser tratado com a máxima urgência, não importa o peso. A reputação da sua marca e a segurança do cliente estão em jogo.

Volume de ocorrências: Priorize os problemas que afetam um grande número de conversas ou clientes. Resolver uma falha que acontece com frequência trará um benefício mais amplo.

Facilidade de implementação: Considere a complexidade e o tempo que levará para implementar as melhorias. Algumas otimizações podem ser mais rápidas de aplicar e trazer resultados imediatos, mesmo que o impacto inicial seja menor. Procure equilibrar as melhorias de alto impacto com aquelas que são mais fáceis de implementar.

Feedback qualitativo: Combine os dados da Qualidade das Conversas com o que seus clientes estão dizendo (pesquisas de satisfação, comentários, etc.). Isso te dará uma visão mais completa e humana do que precisa ser ajustado.
 

O que otimizar para aprimorar continuamente

A otimização é um processo contínuo que visa refinar suas estratégias e garantir que as melhorias implementadas mantenham seus resultados. Para otimizar a Qualidade das Conversas:

Itere e teste: Após implementar uma melhoria, monitore a pontuação da Qualidade das Conversas para ver o impacto. Use testes A/B para comparar diferentes abordagens e identificar a mais eficaz.

Refine seus conteúdos e fluxos: Com base nos insights da análise, revise e aprimore os textos, as respostas padrão e os caminhos que o usuário percorre nas conversas. Certifique-se de que a linguagem é clara, concisa e aderente ao tom da sua marca.

Treine seus agentes (se aplicável): Se houver interação humana, utilize os dados da Qualidade das Conversas para identificar áreas de treinamento para seus agentes. Eles podem precisar de orientações sobre Resolução ou Aderência.

Mantenha-se atualizado: A tecnologia e o comportamento do usuário estão em constante mudança. Fique de olho nas tendências e nas novas funcionalidades da plataforma Blip para continuar otimizando a qualidade das suas conversas.

Ao seguir essas diretrizes de observação, priorização e otimização, você poderá não só medir a Qualidade das Conversas, mas também transformá-la em um motor contínuo de aprimoramento da experiência do cliente e da eficiência dos seus contatos inteligentes.

Para mais informações, acesse a discussão sobre o assunto em nossa comunidade ou os vídeos no nosso canal. 😃