Como eu audito se a IA está classificando certo o orçamento de particular e convênio, sem eu ter que checar tudo manualmente?

"Como eu audito se a IA está classificando certo o orçamento de particular e convênio, sem eu ter que checar tudo manualmente?"

Você não tem um problema de confiança na IA. Tem um problema de medição.

Enquanto ninguém mede, a resposta para "a IA está classificando certo?" é sempre a mesma: depende de qual conversa você abriu hoje. Abriu uma boa, está ótimo. Abriu a reclamação da recepção, está péssimo.

O erro de classificação aqui não é abstrato. Rotular como convênio quem pagaria particular tira o ticket cheio da fila. Rotular como particular quem só vem se o plano cobrir queima cadeira e tempo de CRC.

E os dois erros somem no mesmo lugar: em uma taxa de acerto alta que ninguém questiona.

A boa notícia é que auditoria de classificação é um problema resolvido há décadas fora da odontologia. Você não precisa inventar método: precisa importar o método certo e traduzir para o seu funil.

Neste guia você vai ver:

• Como escrever o gabarito (o que é particular, o que é convênio, e os casos de borda que decidem tudo)
• A matriz de confusão traduzida pro caixa da clínica, com o custo assimétrico de cada erro
• Por que taxa de acerto engana e o que olhar no lugar dela
• Quantas conversas reler por mês e como escolher quais (amostra por risco, não por conveniência)
• Como usar um segundo modelo para varrer 100% das conversas sem virar refém dele
• O painel mensal, os gatilhos de alarme e o rastro de auditoria que a LGPD pede

O que é auditar a classificação da IA (e por que ler algumas conversas no fim do dia não conta)

Auditar a classificação é verificar se o rótulo que a IA atribuiu ao lead bate com a realidade, em uma amostra escolhida por regra, contra um gabarito definido antes.

Repare nos três elementos: rótulo, regra de amostra e gabarito escrito antes. Se faltar qualquer um, você não tem auditoria.

Ler algumas conversas no fim do dia falha nos três. O rótulo você avalia de cabeça, a escolha da conversa segue o que chamou atenção, e o critério muda conforme o seu humor no dia.

O resultado é impressão, não medida. Impressão não se compara com o mês passado, não aponta onde corrigir e não sobrevive a uma discussão com a equipe.

Lembre: auditoria é uma medida repetível. Se dois auditores diferentes não chegam ao mesmo número olhando a mesma amostra, o que você tem é opinião com aparência de dado.

Passo 1: escreva o gabarito antes de abrir qualquer conversa

O gabarito (o "ground truth", na literatura de aprendizado de máquina) é o documento que diz qual é a classificação correta em cada situação. Ele vem primeiro. Sempre.

Escrever depois de olhar as conversas contamina tudo, porque você acaba escrevendo a regra que justifica o que a IA fez.

O gabarito precisa responder três perguntas com frases curtas e testáveis:

1. Quando o lead é particular? Não tem plano, tem plano mas quer o procedimento fora da cobertura, ou declara que vai pagar do bolso independentemente do plano.
2. Quando o lead é convênio? Tem plano ativo, o procedimento pedido está na cobertura, e a intenção declarada é usar o plano.
3. Quando o rótulo é "não sei"? Faltou informação essencial e o lead não respondeu. Essa terceira caixa é obrigatória, e já explico por quê.

A caixa do "não sei" é o que separa uma IA honesta de uma IA que chuta. Sem ela, o modelo é forçado a escolher um lado e o erro entra silencioso na sua base.

Os casos de borda que decidem a sua taxa de erro

O grosso do erro não está no lead óbvio. Está na minoria ambígua que ninguém combinou como tratar.

Escreva cada caso de borda no gabarito, com o rótulo correto ao lado. Esta é a lista que costuma cobrir a maior parte da confusão em clínica de alto ticket:

Caso de borda	Rótulo correto no gabarito	Por que confunde a IA
Tem plano, mas o procedimento não é coberto (implante, protocolo, lente)	Particular	O lead diz "tenho plano" e a IA para de investigar
Estética com plano ativo (clareamento, faceta)	Particular	Menciona convênio na mesma frase que o procedimento estético
Plano empresarial que o paciente não conhece a fundo	Depende da cobertura, apurar antes de rotular	O lead responde "acho que cobre" e a IA aceita o "acho"
Reembolso (paga primeiro e pede de volta ao plano)	Particular no caixa, marcado como reembolso	Financeiramente é particular, mas o lead se descreve como convênio
Coparticipação	Convênio com coparticipação, nunca particular puro	Mistura pagamento direto com cobertura
Parte do plano de tratamento coberta e parte não	Misto, com regra explícita de qual etapa manda	A conversa tem os dois sinais ao mesmo tempo
Titular quer o plano para o filho e particular para si	Dois rótulos, um por paciente	A IA classifica a conversa, não a pessoa

Repare no padrão: quase todo caso de borda nasce quando a palavra "convênio" aparece em uma conversa que é financeiramente particular. Sua auditoria vai viver em cima dessa fronteira.

Se você ainda está decidindo o peso do convênio na operação, veja se aceitar convênio odontológico vale a pena antes de calibrar o gabarito.

A matriz de confusão traduzida pro caixa da clínica

A matriz de confusão é a ferramenta padrão para auditar classificação. Ela cruza o que a IA disse com o que era verdade, e separa o erro em dois tipos que não custam a mesma coisa.

Trate "particular" como a classe positiva (é o rótulo que você mais quer acertar, porque carrega o ticket).

	Era particular de verdade	Era convênio de verdade
IA disse particular	Acerto (verdadeiro particular)	Falso particular
IA disse convênio	Falso convênio	Acerto (verdadeiro convênio)

Agora traduza cada erro para o que acontece na sua clínica:

Tipo de erro	O que a IA fez	O que acontece na operação	Onde o custo aparece
Falso convênio	Marcou como convênio quem pagaria particular	O lead entra na fila de menor valor, recebe abordagem de cobertura e às vezes ouve promessa de cobertura que o plano não paga	Ticket perdido e desgaste na recepção. É invisível: ninguém reclama de um orçamento que não foi feito
Falso particular	Marcou como particular quem só vem se o plano cobrir	A CRC monta orçamento cheio, o paciente some ou remarca, a cadeira fica ociosa	Tempo de CRC e no-show. É visível, e por isso costuma ser o único erro que a clínica corrige

Essa assimetria é o coração da auditoria. O erro que você enxerga é o barato. O erro que some é o caro.

Lembre: a clínica só reclama do falso particular, porque ele gera atrito na recepção. O falso convênio some no silêncio e leva o ticket junto. Auditar existe justamente para achar o erro que ninguém reclama.

Por que a taxa de acerto engana quando quase todo lead é particular

Aqui está o número que mais engana dono de clínica: a taxa de acerto geral, também chamada de acurácia.

O Google, no Machine Learning Crash Course, alerta que em bases muito desequilibradas, nas quais uma classe aparece muito raramente (o exemplo do material usa 1% das vezes), um modelo que responde negativo em 100% dos casos marcaria 99% de acurácia, apesar de inútil.

Traduzindo para a triagem de orçamento: suponha, apenas como exemplo aritmético, uma clínica em que 8 em cada 10 leads sejam particular.

Nesse exemplo hipotético, uma IA que classificasse todo mundo como particular, sem ler nada, entregaria 80% de acerto. O painel ficaria verde. E ela estaria errando todos os leads de convênio.

O que fazer no lugar:

• Olhe o acerto por classe, não o geral. Acerto em particular e acerto em convênio, separados.
• Publique o mix junto do acerto. Um número sem o outro não significa nada.
• Compare com a linha de base burra. Pergunte sempre: qual seria o acerto se a IA chutasse a classe majoritária em tudo? Se ela não bate isso com folga, ela não está classificando, está chutando com estilo.

Precisão e recall: os dois erros não custam a mesma coisa

Se acurácia engana, o par que resolve é precisão e recall, calculados para a classe particular.

Na definição do Google Machine Learning Crash Course, precisão é a proporção das classificações positivas do modelo que são de fato positivas, e recall é a proporção de todos os positivos reais que foram classificados corretamente como positivos.

Traduzindo com a classe particular no papel de positivo:

• Precisão de particular: dos leads que a IA chamou de particular, quantos eram mesmo. Precisão baixa significa CRC montando orçamento cheio para quem não vai pagar.
• Recall de particular: de todos os leads que eram particular, quantos a IA encontrou. Recall baixo significa ticket vazando para a fila de convênio.

Os dois puxam em direções opostas. Apertar o critério de particular aumenta a precisão e derruba o recall; afrouxar faz o contrário.

Como o custo é assimétrico, a decisão é de negócio, não técnica: em clínica de alto ticket, perder um caso particular costuma doer mais do que gastar meia hora de CRC com um lead que não fecha. Isso empurra a calibragem para priorizar recall de particular, aceitando alguma perda de precisão.

Mas existe um limite claro: nada disso autoriza a IA a prometer cobertura que o convênio não paga. Esse erro específico não é só custo de funil, é problema de confiança e de reclamação. Ele entra na auditoria como falha crítica, contada à parte, com meta de zero.

Quantas conversas reler por mês para o número valer alguma coisa

A pergunta certa não é "quantas conversas dá para reler". É "quantas conversas fazem o número parar de oscilar por sorte".

Estudos de concordância entre avaliadores dão a referência de rigor. Em um tutorial de cálculo amostral para estudos de concordância publicado no Indian Journal of Psychological Medicine (2026), o exemplo com desfecho binário chega a cerca de 177 casos para detectar um kappa de 0,75 contra um kappa de referência de 0,60, com 85% de poder, alfa unilateral de 0,05 e prevalência de 40% do diagnóstico positivo.

O recado prático para a clínica é direto:

1. Defina o tamanho da amostra antes de olhar, e mantenha o mesmo todo mês. Amostra que muda de tamanho conforme o resultado é auditoria que se ajusta para dar certo.
2. Trate amostra pequena como sinal, não como veredito. Uma dúzia de conversas pode acender um alarme, jamais aprovar o sistema.
3. Some a amostra ao longo dos meses. O acumulado de vários ciclos é o que dá confiança para afirmar tendência, e é de graça: você já releu.
4. Reserve parte da amostra para o caso de borda, que é onde a taxa de erro real mora.

Amostra estratificada e por risco: onde o erro se esconde

Amostra por conveniência (as primeiras conversas da lista, ou as que a recepção mandou) é o defeito mais comum e o mais fatal. Ela mede exatamente a fatia que você já conhece.

Estratifique. Divida a base em blocos e sorteie dentro de cada bloco, garantindo que os blocos de risco apareçam mesmo sendo minoria:

• Casos de borda declarados (plano sem cobertura, estética com plano, empresarial, reembolso, coparticipação). Sobre-represente de propósito: é lá que a IA erra.
• Horário e dia. Nas clínicas atendidas pela Odonto Results, no recorte de WhatsApp / IA in-channel, 43,8% dos leads chegam fora do horário comercial, dados internos da Odonto Results, e o fim de semana concentra uma fatia relevante do volume. Auditar só o horário comercial deixa quase metade das conversas sem exame.
• Canal de origem. Lead de formulário, de clique para WhatsApp e orgânico chegam com contextos diferentes, e a conversa que a IA recebe muda de forma junto.
• Procedimento e ticket. Implante, protocolo e lente merecem fatia própria, porque o erro ali é o mais caro.
• Conversas curtas. Onde o lead respondeu pouco, a IA tem menos evidência e a chance de chute sobe.

Um detalhe que quase ninguém faz: audite também as conversas em que a IA respondeu "não sei". Elas não geram reclamação, então nunca entram na revisão. Mas é nelas que você descobre se a IA está abstendo demais (empurrando trabalho para a equipe) ou de menos (chutando com confiança).

Lembre: amostra por conveniência mede a sua zona de conforto. Amostra estratificada mede o sistema. A diferença entre as duas é justamente o erro que você ainda não conhece.

Dois auditores, um gabarito: concordância, kappa e o desempate

Antes de cobrar consistência da IA, prove que os humanos são consistentes. Se dois auditores olham a mesma conversa e discordam do rótulo, o problema não é o modelo: é o gabarito.

Peça que dois avaliadores classifiquem a mesma sub-amostra, sem se falar, e compare. A porcentagem bruta de concordância é o começo, mas ela superestima o acerto, porque parte da concordância acontece por acaso.

É exatamente essa a crítica registrada na literatura: no artigo de McHugh sobre o coeficiente kappa (Biochemia Medica, 2012), o texto lembra que, em 1960, Jacob Cohen criticou o uso da simples porcentagem de concordância por não descontar a concordância obtida por acaso.

O kappa corrige isso. Na escala reproduzida no mesmo artigo:

Faixa de kappa	Interpretação
≤ 0	Nenhuma concordância
0,01 a 0,20	Nenhuma a leve
0,21 a 0,40	Razoável
0,41 a 0,60	Moderada
0,61 a 0,80	Substancial
0,81 a 1,00	Quase perfeita

O que fazer quando os dois discordam do mesmo caso:

1. Não vote. Maioria simples esconde a ambiguidade em vez de resolver.
2. Leve o caso para o gabarito. Discordância humana é sintoma de regra mal escrita, quase sempre em caso de borda.
3. Escreva a regra nova com data, e marque quais casos anteriores precisam ser reclassificados.
4. Só então reavalie a IA. Cobrar do modelo uma distinção que dois humanos não fazem é injusto e gera correção errada de prompt.

LLM como juiz: varrer 100% das conversas com a amostra humana calibrando o juiz

Aqui está a resposta para o "sem eu ter que checar tudo manualmente".

Você usa um segundo modelo como juiz: ele lê 100% das conversas, aplica o gabarito e devolve o rótulo que considera correto, junto da justificativa. A divergência entre o juiz e a IA de atendimento vira a fila de revisão humana.

O método tem lastro acadêmico. No trabalho que popularizou a abordagem (Zheng et al., 2023, com o MT-Bench e o Chatbot Arena), juízes fortes como o GPT-4 alcançaram mais de 80% de concordância com as preferências humanas, o mesmo nível de concordância observado entre humanos.

Mas repare na inversão que faz o método funcionar de verdade:

A amostra humana não serve mais para auditar a IA de atendimento. Ela serve para auditar o juiz.

O fluxo fica assim:

1. O juiz varre 100% das conversas do período e classifica cada uma contra o gabarito.
2. Você sorteia a amostra estratificada e os dois auditores humanos classificam as mesmas conversas.
3. Você mede a concordância juiz x humano (com kappa, igual ao passo anterior).
4. Se a concordância está alta, o número do juiz vale para a base inteira. Se está baixa, o juiz está desalinhado do seu gabarito e precisa de ajuste antes de qualquer conclusão sobre a IA de atendimento.
5. Toda divergência entre juiz e IA de atendimento entra na fila humana, priorizada por ticket.

Três cuidados obrigatórios:

• Juiz e atendente não podem ser o mesmo prompt. Modelo avaliando a própria saída com o mesmo critério concorda consigo mesmo com facilidade.
• O juiz também tem direito ao "não sei". Juiz obrigado a decidir vira gerador de falso consenso.
• Recalibre o juiz a cada mudança de gabarito. Gabarito novo com juiz antigo mede a régua velha.

O mesmo raciocínio vale para revisar o atendimento humano da equipe, tema que detalhamos em como usar IA para auditar as conversas da CRC no WhatsApp.

Amostra manual x auditoria de 100%: o que cada uma resolve

Monitoria de qualidade por amostra manual pequena é o padrão herdado do call center. Ela continua útil, mas resolve outro problema.

Critério	Monitoria manual por amostra	Auditoria automatizada de 100%
Cobertura	Fração pequena do volume	Toda conversa do período
Custo por conversa revisada	Alto (tempo de gente)	Baixo depois de montado
Detecta erro raro e caro	Mal (o caso de borda quase não cai na amostra)	Bem, porque nada fica de fora
Julga nuance e intenção	Muito bem	Bem, com gabarito claro
Serve como prova para a equipe	Sim, o caso concreto convence	Sim, mas precisa do exemplo humano junto
Risco principal	Amostra por conveniência e critério que muda	Juiz desalinhado do gabarito
Papel certo	Calibrar o gabarito e o juiz	Vigiar a base inteira e disparar alarme

A conclusão não é escolher uma. É empilhar: o humano define e calibra a régua, a máquina aplica a régua na base toda.

Falha silenciosa: o painel continua verde enquanto o dado de entrada apodrece

Este é o risco que pega quem montou a auditoria certa e parou de olhar.

Falha silenciosa é quando o sistema continua parecendo bom enquanto a realidade por baixo muda. Nada quebra, nenhum erro aparece no log, e a qualidade cai devagar.

Na triagem de orçamento, ela costuma entrar por quatro portas:

1. A tabela de convênios envelheceu. O plano deixou de cobrir um procedimento, a IA continua com a regra antiga e passa a errar sistematicamente uma classe inteira.
2. O mix de leads mudou. Campanha nova trouxe outro perfil, a distribuição particular/convênio virou, e a taxa de acerto histórica deixou de ser comparável.
3. A conversa mudou de forma. Um canal novo entrega menos contexto, o lead responde menos, e a IA passa a decidir com menos evidência.
4. Alguém mexeu no prompt. Ajuste feito para resolver outra coisa alterou a fronteira da classificação sem que ninguém medisse o efeito colateral.

A defesa contra falha silenciosa é monitoramento contínuo, não auditoria anual. E o que se monitora não é só o acerto: é o comportamento da entrada (mix, canal, tamanho da conversa, taxa de "não sei"), que se move antes do resultado.

Os 4 gatilhos que abrem auditoria fora do calendário

Auditoria mensal é o piso. Estes quatro sinais furam a fila e abrem revisão imediata:

Gatilho	O que provavelmente quebrou	Ação imediata
Queda de acerto em uma classe específica (não no geral)	Regra de borda desatualizada ou tabela de convênios vencida	Puxe amostra só daquela classe e revise o gabarito
Aumento da taxa de "não sei"	A IA parou de receber a informação de que precisa (pergunta sumiu do fluxo ou o lead responde menos)	Cheque o roteiro de perguntas antes de mexer no prompt
Mudança de mix de leads (a proporção particular/convênio virou)	Campanha, canal ou público novo	Recalcule a linha de base antes de comparar com o histórico
Prompt novo em produção	Qualquer coisa	Auditoria obrigatória na primeira semana, com amostra reforçada nos casos de borda

O quarto gatilho é o mais desrespeitado. Toda alteração de prompt é uma versão nova do classificador e merece medição própria, com o número de antes ao lado do número de depois.

O painel mensal de qualidade da IA: o que você olha sem abrir conversa

O dono não deve abrir conversa para saber se a triagem está saudável. Ele deve olhar uma página. Estes são os números que cabem nela:

Indicador	O que responde	Sinal de alerta
Acerto em particular	A IA encontra o ticket?	Cai enquanto o acerto geral fica estável
Acerto em convênio	A IA respeita a cobertura?	Qualquer queda, porque a classe é minoritária e some no geral
Precisão e recall de particular	Qual erro estamos escolhendo pagar	Recall caindo em clínica de alto ticket
Mix de leads (% particular)	A base mudou?	Variação forte contra o mês anterior
Taxa de "não sei"	A IA está com informação suficiente?	Subida rápida, ou queda para perto de zero (chute)
Falha crítica (promessa de cobertura indevida)	Risco de reclamação	Meta zero, contagem absoluta
Concordância juiz x humano (kappa)	O número automatizado é confiável?	Sair da faixa substancial
Concordância entre auditores (kappa)	O gabarito está claro?	Queda indica regra ambígua
Versão do prompt em produção	O que está rodando agora	Mudança sem auditoria associada

Isso conversa direto com a priorização do funil: se você já cruza triagem com agenda e com o financeiro, veja como priorizar o paciente de alto ticket na triagem de orçamento.

Ciclo de correção: prompt, pergunta feita ao paciente ou tabela de convênios

Achar o erro é metade. A outra metade é acertar onde corrigir, porque mexer no lugar errado é o jeito mais rápido de piorar.

Toda vez que a auditoria apontar um erro, passe por esta sequência, nesta ordem:

1. A informação estava na conversa? Se não estava, o problema não é classificação: é coleta. A IA não perguntou, ou perguntou de um jeito que o paciente não respondeu. Corrija o roteiro de perguntas, não o prompt de classificação.
2. A informação estava, mas a regra de negócio mudou? Se sim, o problema é dado de apoio: tabela de convênios, lista de procedimentos cobertos, regra de coparticipação. Atualize a tabela e reprocese os casos afetados.
3. A informação estava e a regra estava certa, mas a IA decidiu errado? Aí sim é prompt. Ajuste a instrução, e trate como versão nova (medição antes e depois, obrigatória).
4. Ninguém sabia qual era o rótulo certo? O problema é gabarito. Escreva a regra, com data, e reclassifique o histórico afetado antes de comparar números.

Essa disciplina evita o ciclo mais comum de todos: mexer no prompt toda semana, nunca medir o efeito, e concluir depois de três meses que "a IA piorou".

O mesmo método vale para qualquer outra classificação que a IA faça no funil (motivo de não conversão, urgência, procedimento de interesse). Muda o gabarito, não o ciclo.

Rastro de auditoria e LGPD: dado de saúde é dado sensível

Conversa de triagem carrega informação de saúde, e dado referente à saúde é dado pessoal sensível na LGPD. Isso muda como você audita.

O que registrar em cada ciclo de auditoria (o rastro, que é o que prova diligência depois):

• Data e período auditado.
• Versão do prompt e versão do gabarito que estavam em produção naquele período.
• Quem auditou cada conversa (auditor humano identificado, e qual juiz automatizado rodou).
• O rótulo da IA, o rótulo do gabarito e a decisão final, com a justificativa quando houve divergência.
• O que foi alterado depois (prompt, roteiro, tabela) e a data da alteração.

E o que evitar:

• Exportar conversa para planilha solta, compartilhada por link, fora do ambiente que já trata o dado.
• Dar acesso amplo ao histórico quando a auditoria precisa apenas do trecho relevante.
• Guardar o dado da auditoria para sempre, sem prazo definido de descarte.

O rastro serve a três finalidades ao mesmo tempo: prova de conformidade, reconstrução de decisão ("por que esse lead foi marcado assim em maio?") e comparação honesta entre versões. Para o enquadramento completo, veja LGPD na clínica odontológica.

7 erros que invalidam a auditoria inteira

Cada um destes transforma o trabalho de auditar em teatro. Todos são comuns:

1. Auditar só reclamação. A base de reclamação é enviesada por construção: ela contém o erro visível (falso particular) e quase nada do erro caro (falso convênio).
2. Mudar o gabarito no meio do ciclo. Régua que muda durante a medição impede qualquer comparação. Mude entre ciclos, com data, e reclassifique o histórico.
3. Auditar só horário comercial. Nas clínicas atendidas pela Odonto Results, no recorte de WhatsApp / IA in-channel, 43,8% dos leads chegam fora do horário comercial, dados internos da Odonto Results, e parte relevante do volume cai no fim de semana. Auditar apenas o expediente é auditar a metade mais fácil.
4. Olhar só a taxa de acerto geral. Já vimos por quê: com mix desequilibrado, ela premia o chute na classe majoritária.
5. Deixar quem escreveu o prompt ser o único auditor. Ninguém audita bem o próprio trabalho, e o viés aqui é involuntário.
6. Não registrar a versão do prompt. Sem versão, você compara números de sistemas diferentes achando que é o mesmo.
7. Tratar "não sei" como erro sem regra. Se abster corretamente é acerto, não falha. Contar abstenção como erro empurra a IA para o chute, que é exatamente o comportamento que a auditoria deveria eliminar.

Seu próximo passo

1. Escreva o gabarito esta semana, em uma página. Regra de particular, regra de convênio, regra do "não sei" e a lista de casos de borda com o rótulo correto ao lado. Sem isso, nada mais funciona.
2. Rode o primeiro ciclo com amostra estratificada e dois auditores. Sorteie por caso de borda, horário (incluindo madrugada e fim de semana), canal e ticket. Meça o acerto por classe, não o geral, e a concordância entre os dois auditores.
3. Coloque o juiz automatizado para varrer 100% e use a amostra humana só para calibrá-lo. A partir daí, o dono acompanha o painel mensal e só abre conversa quando um dos quatro gatilhos dispara.

Quer montar essa auditoria em cima de uma operação de atendimento que já responde o lead em segundos, 24 horas por dia, e medir o que chega na cadeira? Agende uma apresentação.