Qualidade das conversas – Blip | Blip Help

Índice:

Introdução

No dia a dia, muitas empresas encontram um grande desafio: como saber se as conversas com seus clientes estão sendo realmente práticas e resolutivas? Com milhões de interações, é difícil entender o que está funcionando bem e onde é preciso melhorar. A falta de visibilidade sobre a qualidade das interações pode dificultar a identificação de onde agir para aprimorar a experiência do cliente e otimizar os fluxos conversacionais.

Pensando nisso, a Blip desenvolveu um score de Qualidade das Conversas. Essa é uma métrica exclusiva que avalia as suas interações com base em critérios claros, práticos e com diferentes níveis de importância. A Qualidade das Conversas oferece um diagnóstico preciso sobre como as suas conversas estão se saindo, incentivando uma melhoria contínua na experiência dos seus usuários e fortalecendo a confiança na jornada automatizada.

A avaliação da qualidade é feita a partir de amostras de conversas dos roteadores associados ao contrato da marca, selecionadas de forma estatisticamente representativa. Isso significa que não é necessário avaliar 100% das conversas: a amostra já reflete o comportamento real das interações e permite tirar conclusões confiáveis sobre a experiência como um todo.

A análise da Qualidade das Conversas traz uma visão unificada, considerando o nível do contrato da marca (Workspace) ou pode ser realizada a partir de um conjunto de roteadores ou de forma individual. Isso permite que a marca tenha visibilidade da qualidade do Contato Inteligente como um todo, ou aprofunde a análise em pontos específicos da jornada do usuário por caso de uso.

Por que a Qualidade das Conversas é Importante para seu Negócio?

Investir na Qualidade das Conversas traz uma série de benefícios que impactam diretamente a satisfação dos seus clientes e a eficiência das suas operações:

Melhore a experiência do usuário: Ao otimizar a qualidade das interações, garantimos que as necessidades dos seus usuários sejam atendidas de forma mais eficaz e agradável.
Aumente a confiança: Conversas de alta qualidade, que são relevantes, seguras e precisas, constroem a confiança do seu usuário com o uso da automação.
Otimize seus processos: A avaliação da qualidade das conversas permite identificar falhas no seu atendimento, como informações repetidas, falta de entendimento ou problemas na escrita. Assim, você pode fazer ajustes que tornam a jornada do seu usuário mais fluida e eficiente.
Tome decisões com dados reais: Com a Qualidade das Conversas, você terá um diagnóstico claro e dados objetivos sobre o desempenho das suas conversas. Isso te ajuda a tomar decisões estratégicas para aprimorar continuamente o seu atendimento.
Identifique oportunidades de melhoria: A análise detalhada dos critérios que compõem a qualidade da conversa (como Fluência, Integridade, Resolução e Relevância) revela exatamente onde você precisa focar seus esforços para otimizar suas interações.

Em resumo, a Qualidade das Conversas te dá o controle de volta. Ela permite que você promova interações mais eficientes, satisfatórias e confiáveis, proporcionando uma experiência superior para o seu usuário e gerando resultados significativos para a sua marca.

Como o score da qualidade das conversas é gerado

Para que a Qualidade das Conversas seja uma ferramenta eficaz e confiável, é essencial entender como a sua pontuação é calculada. Nosso objetivo é oferecer um diagnóstico preciso que ajude você a aprimorar a experiência dos seus clientes.

Critérios de avaliação

A pontuação da Qualidade das Conversas é baseada em um conjunto de critérios cuidadosamente selecionados, que avaliam diferentes aspectos das interações. Cada critério possui um peso diferente, refletindo sua importância para a experiência geral:

Fluência (Peso 1): Este critério identifica se o contato inteligente como um todo (agents, builder, atendimento humano, etc.) consegue dar sequência à conversa, sem interrupções. Ele verifica a presença de: mensagens de fallback como "desculpe, não entendi", redundâncias (repetições), e erros de português ou outras inadequações na escrita que possam dificultar a compreensão.
Subcritérios: Entendimento, Concisão e Qualidade da Escrita.
Integridade (Peso 2): Nesta versão inicial, este critério avalia a ausência de conteúdo ofensivo ou inadequado nas mensagens enviadas.
Subcritérios: Não-toxicidade.
Resolução (Peso 3): Este critério busca determinar se a interação foi capaz de resolver a necessidade do usuário. Para isso, analisamos o sentimento predominante expresso pelo usuário ao longo da conversa e a eficácia da interação, validando se o objetivo do usuário foi, de fato, cumprido.
Subcritérios: Análise de Sentimento e Eficácia.
Relevância (Peso 4): Este critério avalia se as mensagens enviadas foram aderentes à intenção ou aos motivos de contato do usuário na conversa.
Subcritérios: Aderência.

Como a pontuação é calculada

A geração da pontuação da Qualidade das Conversas segue um processo estruturado:

Avaliação dos subcritérios: Para cada conversa, nossos modelos de inteligência artificial avaliam individualmente os 7 subcritérios definidos (como Qualidade da Escrita, Entendimento, Não-toxicidade, Análise de Sentimento, Eficácia, Aderência e Concisão). Cada subcritério recebe uma nota de 1 (subcritério atendido), 0 (parcialmente atendido ou não se aplica) ou -1 (subcritério não atendido).
Normalização das notas: Em critérios que possuem mais de um subcritério (como Fluência), as notas individuais são combinadas e normalizadas em uma única nota. Essa normalização garante que o peso de cada subcritério seja corretamente considerado no cálculo final do critério.
Cálculo da pontuação final: Com as notas normalizadas de cada um dos quatro critérios principais (Fluência, Integridade, Resolução e Relevância), e considerando seus respectivos pesos, aplicamos uma função matemática (função Sigmoid) que transforma o resultado em um valor entre 0 e 100. Esse é o valor da sua Qualidade das Conversas.

Pontuação geral

Para facilitar a sua compreensão, a pontuação da Qualidade das Conversas é classificada em quatro níveis:

Excelente: Pontuação entre 75 e 100

Bom: Pontuação entre 50 e 74

Regular: Pontuação entre 25 e 49

Crítico: Pontuação entre 0 e 24

Pontuação individual por critério

Além da pontuação geral, você também terá a classificação individual de cada critério:

1: Ótimo

0: Bom

-1: Precisa de atenção

Aprimoramento contínuo

É importante ressaltar que a metodologia por trás da Qualidade das Conversas está em constante aprimoramento. Nossos times de inteligência artificial e dados trabalham para refinar os critérios, os prompts de avaliação e a seleção da amostra, garantindo que as análises sejam cada vez mais precisas e representativas da realidade das suas conversas.

Compreender como a pontuação é gerada permite que você utilize a Qualidade das Conversas de forma mais estratégica, focando nas áreas que mais precisam de atenção para otimizar suas interações e a experiência do seu cliente.

Acesso à Qualidade das Conversas

Para acessar a Qualidade das conversas do seu Contrato siga o caminho:

Navegação: Conversas > Performance

Roteadores: Seleção para Análise

Caso queria analisar por Roteador, siga os passos abaixo:

Clique no menu suspenso "Roteadores".

Selecione o(s) roteador(es) que deseja analisar.

Observação: Caso haja múltiplos roteadores, todos virão previamente selecionados por padrão.

Filtrar Qualidade das Conversas por Período ou Data

Para analisar a qualidade das conversas, você pode usar os filtros de Período ou Data.

Filtrar por Período

Clique no menu suspenso de período.

Selecione um intervalo predefinido (ex.: Últimos 7 dias, 15 dias ou 30 dias).

Observação: Por padrão, ambos os filtros vêm sempre selecionados nos últimos 7 dias.

Filtrar por Data

Clique no menu suspenso de data.

Defina o intervalo de datas desejado usando o seletor de calendário ou insira manualmente a data de início e término.

Clique em Aplicar.

Observação: Este filtro permite uma análise personalizada em um intervalo de tempo customizado.

Como Analisar a Qualidade das suas Conversas: O que observar, Priorizar e Otimizar

A Qualidade das Conversas é uma ferramenta poderosa para entender o que está realmente acontecendo nas interações com seus clientes. Para tirar o máximo proveito dessa métrica e melhorar a experiência do usuário, você precisa saber como analisar os dados e onde concentrar seus esforços.

O que observar na análise

Ao verificar a pontuação da Qualidade das Conversas, preste atenção aos seguintes pontos:

Visão geral da pontuação: Comece olhando a pontuação geral da Qualidade das Conversas. Isso te dará uma ideia inicial de como o seu contato inteligente (seja ele composto por chatbot, agente de IA ou o atendimento humano) está se saindo.

Desempenho por critério: Aprofunde sua análise observando as notas individuais de cada critério: Fluência, Integridade, Resolução e Relevância.

Fluência: Veja se há muitas mensagens como "desculpe, não entendi" (os "fallbacks"), textos repetidos ou erros de escrita. Uma fluência baixa pode causar frustração e fazer o cliente abandonar a conversa.

Integridade: Verifique a ausência de conteúdos que possam ser considerados tóxicos. Qualquer deslize aqui é prejudicial para a imagem da sua marca.

Resolução: Avalie se os clientes estão conseguindo resolver o que precisam e qual o sentimento deles ao final das conversas. Clientes que não têm seus problemas resolvidos tendem a ficar insatisfeitos.

Relevância: Observe se as respostas dadas estão de acordo com o que o cliente perguntou ou procurou. Respostas irrelevantes geram retrabalho e desconfiança.

Desempenho por subcritério: Por trás da pontuação geral de Qualidade das Conversas, o modelo avalia cada diálogo em diversos subcritérios (como Entendimento, Concisão, Qualidade da Escrita, Não-toxicidade, Análise de Sentimento, Eficácia e Aderência). Esses números não aparecem individualmente na tela, mas são usados para montar o score geral e a mensagem de legenda que você vê ao lado do indicador de qualidade.

Em vez de olhar para cada subcritério separadamente, você deve se orientar pela legenda: ela já traduz o diagnóstico técnico em uma recomendação prática, apontando o que precisa de atenção, por exemplo, se é necessário melhorar a clareza das respostas, reduzir fallbacks, ajustar o tom de voz ou revisar a base de conhecimento.

Exemplo: se o score geral estiver baixo e a legenda indicar que “as conversas oferecem pouca ajuda e os contatos não atingem seus objetivos”, o foco deve ser revisar fluxos e conteúdos para aumentar a resolutividade, priorizando os tópicos que mais aparecem nas conversas.

Análise por roteador ou individual: Use a funcionalidade de analisar a Qualidade das Conversas por conjuntos de roteadores ou individualmente.
Por roteador: Entenda o desempenho geral de um fluxo específico, de um departamento ou de um tipo de atendimento.
Individual: Analise conversas específicas para encontrar padrões nas falhas, exemplos de sucesso e oportunidades de aprendizado.
Evolução da pontuação ao longo do tempo: Monitore como a pontuação da Qualidade das Conversas e de seus critérios mudam ao longo do tempo. Uma queda pode indicar que algo precisa ser revisado nos fluxos ou conteúdos, enquanto uma melhora valida as ações que você implementou.

O que priorizar nas suas melhorias

Ao identificar pontos de melhoria, priorize suas ações com base nos seguintes fatores:

Impacto nos critérios de maior peso: Dê prioridade a melhorias nos critérios de Relevância (peso 4) e Resolução (peso 3), já que eles têm o maior impacto na pontuação final e, consequentemente, na experiência do seu cliente.
Exemplo: Se a Relevância está baixa, isso significa que o cliente não está recebendo informações úteis. Corrigir isso terá um impacto maior do que apenas otimizar a concisão, por exemplo.
Problemas críticos (Integridade): Qualquer problema relacionado ao critério de Integridade (como toxicidade) deve ser tratado com a máxima urgência, não importa o peso. A reputação da sua marca e a segurança do cliente estão em jogo.
Volume de ocorrências: Priorize os problemas que afetam um grande número de conversas ou clientes. Resolver uma falha que acontece com frequência trará um benefício mais amplo.
Facilidade de implementação: Considere a complexidade e o tempo que levará para implementar as melhorias. Algumas otimizações podem ser mais rápidas de aplicar e trazer resultados imediatos, mesmo que o impacto inicial seja menor. Procure equilibrar as melhorias de alto impacto com aquelas que são mais fáceis de implementar.
Feedback qualitativo: Combine os dados da Qualidade das Conversas com o que seus clientes estão dizendo (pesquisas de satisfação, comentários, etc.). Isso te dará uma visão mais completa e humana do que precisa ser ajustado.

O que otimizar para aprimorar continuamente

A otimização é um processo contínuo que visa refinar suas estratégias e garantir que as melhorias implementadas mantenham seus resultados. Para otimizar a Qualidade das Conversas:

Itere e teste: Após implementar uma melhoria, monitore a pontuação da Qualidade das Conversas para ver o impacto. Use testes A/B para comparar diferentes abordagens e identificar a mais eficaz.
Refine seus conteúdos e fluxos: Com base nos insights da análise, revise e aprimore os textos, as respostas padrão e os caminhos que o usuário percorre nas conversas. Certifique-se de que a linguagem é clara, concisa e aderente ao tom da sua marca.
Treine seus agentes (se aplicável): Se houver interação humana, utilize os dados da Qualidade das Conversas para identificar áreas de treinamento para seus agentes. Eles podem precisar de orientações sobre, Resolução ou Aderência.
Mantenha-se atualizado: A tecnologia e o comportamento do usuário estão em constante mudança. Fique de olho nas tendências e nas novas funcionalidades da plataforma Blip para continuar otimizando a qualidade das suas conversas.

Ao seguir essas diretrizes de observação, priorização e otimização, você poderá não só medir a Qualidade das Conversas, mas também transformá-la em um motor contínuo de aprimoramento da experiência do cliente e da eficiência dos seus contatos inteligentes.