Falso negativo na triagem de orçamento com IA: quantos casos bons foram pro fim da fila e quanto isso custou?

"Como eu sei quantos casos bons a IA de triagem de orçamento jogou pro fim da fila e quanto isso me custou?"

Você abre o painel da IA e ele mostra acerto. Fila organizada, casos prioritários no topo, CRC trabalhando o que o sistema mandou trabalhar.

O painel não mostra o que interessa.

Ele não mostra o paciente que mandou uma mensagem curta tarde da noite, foi pro fim da fila, e fechou um protocolo em outra clínica na semana seguinte. Esse caso não vira linha de relatório em lugar nenhum.

O falso negativo é o único erro da triagem que se apaga sozinho. Ele não gera reclamação, não gera no-show, não gera custo visível. Gera silêncio.

E silêncio, no seu caixa, custa margem.

A boa notícia: dá para medir. Não pelo relatório da IA, que é justamente a fonte contaminada, e sim por um desenho de auditoria que produz o contrafactual à força.

Neste guia você vai ver:

• A definição operacional de falso negativo na fila de orçamento (e por que não é "lead ruim")
• Por que o relatório da IA nunca acusa esse erro, e o nome técnico disso
• Como montar o holdout de resgate, dimensionar a amostra e fechar a janela de observação
• A fórmula que transforma casos despriorizados em reais de margem perdida
• Como calibrar o corte pelo custo real, não pelo padrão de fábrica
• O painel mensal e a cláusula de contrato que travam isso com a agência

O que é falso negativo na triagem de orçamento (definição operacional)

Comece pela definição que dá para auditar, não pela definição de dicionário.

Falso negativo é o caso que a IA despriorizou e que teria fechado se tivesse recebido tratamento de fila alta. O paciente tinha intenção, tinha capacidade de pagar e cabia na sua agenda.

Repare no que está fora dessa definição:

• Não é lead ruim. Lead ruim despriorizado é acerto, não erro.
• Não é caso que fechou mais devagar. Se fechou, o custo foi de latência, não de ordenação.
• Não é caso fora do perfil clínico. Quem procura um procedimento que você não faz é descarte correto.

É erro de ordenação, e ordenação é uma decisão econômica: você está escolhendo em quem a equipe gasta a próxima hora.

Lembre: o falso negativo não aparece como problema porque ele não gera evento. Ninguém abre chamado por um paciente que não voltou. O erro que não gera evento é o erro que mais custa, porque escapa de todo painel.

A matriz de confusão da sua fila, em linguagem de clínica

Antes de medir, nomeie os quatro quadrantes. Sem isso a conversa com a agência vira opinião.

A IA decidiu	O caso era bom (fecharia)	O caso era ruim (não fecharia)
Priorizou	Verdadeiro positivo: caso bom no topo, CRC trabalhou, fechou	Falso positivo: CRC gastou hora e agenda com quem não fecharia
Despriorizou	Falso negativo: caso bom morreu no fim da fila	Verdadeiro negativo: fila baixa correta, equipe poupada

Os dois erros têm custo, mas custos de natureza diferente.

O falso positivo custa tempo de CRC e slot de agenda. Você vê acontecer: a cadeira ficou vazia, o retorno não veio.

O falso negativo custa margem que nunca entrou. Você não vê nada.

Por isso a clínica média fica cega para um lado só. O erro visível vira pauta de reunião; o invisível vira teto de faturamento sem explicação.

Recall x precisão: por que otimizar precisão empurra caso bom pro fim da fila

Aqui está a raiz técnica do problema, em duas linhas.

Precisão responde: dos casos que a IA priorizou, quantos eram mesmo bons? Recall (ou sensibilidade) responde: dos casos bons que existiam, quantos a IA conseguiu priorizar?

O estudo publicado na PeerJ Computer Science em 2022, com dados de uma clínica odontológica de Riade, na Arábia Saudita, define recall exatamente assim: a fração dos agendamentos corretamente previstos como falta sobre o total de faltas reais, e o F1 como a média harmônica entre precisão e recall.

Traduzindo para a sua fila: recall é a métrica do dono. É ela que mede quantos casos verdadeiros o modelo deixou passar.

E existe um trade-off duro entre as duas. Subir o corte para "só priorizar quem é muito provável" aumenta a precisão e derruba o recall. Sobra fila baixa cheia de caso bom.

Quem vende a ferramenta costuma mostrar precisão. Precisão alta é o número bonito: "quando a IA aponta, ela acerta". Só que precisão alta com recall baixo descreve um sistema que acerta pouco e fala pouco.

Pensa assim: um instrumento que só levanta a mão quando tem certeza absoluta nunca erra em público. E deixa a maior parte do dinheiro na mesa.

O problema dos rótulos seletivos: por que a IA "acerta" sozinha

Esta é a parte que quase ninguém explica na apresentação da ferramenta.

Você só observa o desfecho de quem foi atendido. O caso que foi pro fim da fila não recebeu ligação, não recebeu follow-up estruturado, não recebeu proposta revisada. Ele não converteu.

E aí a IA olha o histórico e conclui: eu estava certa.

Esse defeito tem nome na literatura. O NBER Working Paper 23180, "Human Decisions and Machine Predictions", de Kleinberg, Lakkaraju, Leskovec, Ludwig e Mullainathan, descreve o problema dos rótulos seletivos: os dados são gerados pelas decisões anteriores de quem decidiu, e só se observa o desfecho de quem foi liberado, não de quem foi barrado.

O que isso significa na prática, na sua clínica:

1. A taxa de acerto reportada é inflada por construção. Ela mede o modelo no subconjunto que o próprio modelo escolheu.
2. O recall é impossível de calcular sem intervenção. Você não conhece o denominador (o total de casos bons), só o numerador parcial.
3. Comparar versões do modelo pelo histórico não resolve. As duas versões herdam o mesmo recorte enviesado.

Nenhuma quantidade de dado histórico conserta isso. Só um desenho experimental conserta.

Feedback loop: quando a fila vira profecia auto-realizável

O rótulo seletivo é o retrato. O feedback loop é o filme, e ele piora com o tempo.

Ciclo em quatro passos:

1. O modelo despriorizou um perfil de caso.
2. Esse perfil não foi trabalhado com prioridade e converteu pouco.
3. Essa conversão baixa entrou na base de treino como evidência.
4. A próxima versão do modelo despriorizou esse perfil com mais convicção.

A cada rodada o viés fica mais forte e mais confiante. O intervalo de erro do modelo encolhe em cima de uma realidade que ele mesmo fabricou.

É por isso que "a IA está aprendendo com os nossos dados" pode ser um problema, não um argumento de venda. Aprender com dados que ela gerou é reforçar a própria hipótese.

O único jeito de quebrar o loop é injetar aleatoriedade de propósito. É o que o holdout faz.

Holdout de resgate: o desenho que produz o contrafactual

Este é o coração da auditoria, e ele é operacionalmente simples.

Reserve uma amostra aleatória da fila baixa que a IA não reordena. Esses casos entram no atendimento normal, na mesma ordem e com o mesmo esforço da fila alta.

Regras que fazem o holdout valer:

• Sorteio aleatório, não escolha do CRC. Se a equipe escolhe quais casos resgatar, você mede o faro da equipe, não o erro do modelo.
• Mesmo padrão de esforço. Mesma cadência de follow-up, mesmo script, mesma pessoa se possível. Esforço diferente contamina a comparação.
• Cego para a nota da IA. Quem atende não deve ver o score, ou vai tratar o caso como fila baixa sem perceber.
• Registro do sorteio antes do atendimento. Marque o caso como holdout no momento do sorteio, não depois do desfecho.

O que você vai comparar no fim:

• Taxa de conversão do holdout de resgate (a fila baixa trabalhada de verdade).
• Taxa de conversão da fila alta no mesmo período.
• Taxa de conversão da fila baixa que seguiu o fluxo normal (o grupo de controle real).

Se o holdout converte perto da fila alta, sua IA está ordenando quase no aleatório e queimando margem. Se converte perto de zero, a ordenação está fazendo o trabalho dela.

Para calibrar a régua de comparação, use uma referência do próprio canal. Segundo dados internos da Odonto Results (2026), 12% dos leads viram agendamento dentro do WhatsApp (faixa 9% a 15%), sem contar telefone. Base: 21.433 leads. Janela: 25 de março a 25 de agosto de 2026.

Lembre: o holdout custa dinheiro no curto prazo, porque você trabalha casos que o modelo mandou ignorar. É o preço de saber. Auditoria sem contrafactual é opinião com planilha.

Tamanho da amostra e janela mínima de auditoria

A pergunta que sempre vem depois: quantos casos por mês, e por quanto tempo?

Comece pela célula mínima. Cada célula do recorte (canal, faixa de valor, período) precisa de casos suficientes para que a taxa não oscile por acaso. Nos próprios recortes, a Odonto Results trabalha com célula mínima de pelo menos 30 casos por célula (dados internos da Odonto Results).

Três decisões práticas de dimensionamento:

1. Quanto menor a diferença que você quer detectar, maior a amostra. Detectar uma diferença larga entre holdout e fila baixa exige muito menos caso do que detectar uma diferença estreita.
2. Se o volume mensal não fecha a célula mínima, acumule. Dois ou três meses de sorteio somados valem mais que uma leitura mensal com punhado de casos.
3. Não fatie o resultado além do que a amostra aguenta. Uma auditoria pequena não sustenta seis recortes cruzados. Ela sustenta um.

O erro clássico aqui é ler a primeira rodada com um punhado de casos e concluir que "a fila baixa não converte mesmo". Com amostra pequena, um fechamento a mais ou a menos vira uma conclusão oposta.

Trate a auditoria como um instrumento de medição, não como um placar semanal.

Janela de observação: quanto tempo esperar antes de contar o desfecho

Fechar a janela cedo demais fabrica falso negativo no papel. O caso ainda estava vivo, você contou como perdido, e o número saiu errado nos dois sentidos.

Fechar tarde demais tem outro custo: a auditoria vira arqueologia e você decide com informação velha.

O jeito certo é medir a distribuição real do seu ciclo, não chutar um prazo redondo.

Dois relógios diferentes, que muita clínica confunde:

O relógio da conversa. Segundo dados internos da Odonto Results (2026), entre os leads que agendam, metade fecha em até 34 minutos e 53,6% em menos de 1 hora. Base: 3.148 agendamentos. Janela: 25 de março a 25 de agosto de 2026. Esse número mede o ritmo de decisão de quem já recebeu resposta imediata dentro do WhatsApp e agendou.

O relógio do orçamento apresentado. É outro bicho. O caso de reabilitação passa por família, orçamento paralelo e financiamento. Não existe atalho: você precisa medir a sua própria distribuição entre apresentação do orçamento e fechamento.

A regra prática de janela: use um percentil alto da sua distribuição, não a média. A média é puxada para baixo pelos casos rápidos e corta a cauda longa, que é exatamente onde o caso de alto ticket vive.

E documente a janela escolhida antes de começar. Janela decidida depois de ver o resultado não é janela, é escolha de resultado.

A fórmula do custo: de casos despriorizados para reais de margem

Agora a conta que responde a segunda metade da sua pergunta.

Receita perdida = volume despriorizado x taxa de conversão do holdout de resgate x ticket médio x margem de contribuição.

Cada termo tem uma armadilha:

• Volume despriorizado: conte só o que foi de fato despriorizado no período, não a fila inteira.
• Taxa do holdout: use a do resgate, nunca a da fila alta (que já é selecionada).
• Ticket médio: o do caso despriorizado, não o da clínica. Costumam ser diferentes.
• Margem de contribuição: margem, não faturamento. Caso fechado com margem baixa vale menos do que parece.

Exemplo hipotético, com números ilustrativos que não são benchmark de mercado:

• Suponha 600 orçamentos apresentados no mês, com 240 (40%) empurrados para o fim da fila pela IA.
• Digamos que você sorteie 10% dessa fila baixa para o holdout, ou seja, 24 casos, atendidos com esforço de fila alta.
• Suponha que 3 desses 24 fechem, o que dá 12,5% de conversão no resgate.
• Extrapolando: 240 x 12,5% = 30 casos que teriam fechado e não foram trabalhados.
• Digamos ticket médio de R$4.000 e margem de contribuição de 55%: 30 x R$4.000 x 0,55 = R$66.000 de margem por mês deixados na fila.

Repare no que a conta faz com a conversa interna. "A IA está classificando mal" é uma reclamação. "A ordenação está custando R$66 mil de margem por mês no cenário do exemplo acima" é uma decisão de investimento.

E ela se compara com o custo de resolver: mais uma pessoa no CRC, uma mudança de threshold, uma regra de override. Todos custam menos que o número acima na maioria dos cenários.

O custo de mídia embutido: verba que virou fila parada

Tem uma segunda camada de custo que quase ninguém soma: o lead despriorizado foi comprado.

Segundo dados internos da Odonto Results (2026), o lead de clínica odontológica custa de R$12 a R$14 no Meta Ads. Base: cerca de 94,6 mil leads. Janela: agosto de 2023 a agosto de 2026.

Aplicando ao exemplo hipotético acima: 240 leads despriorizados no mês representam entre R$2.880 e R$3.360 de mídia que virou fila parada, usando essa faixa de custo por lead.

O valor absoluto é pequeno perto da margem perdida. O que ele muda é a leitura de eficiência da campanha:

• Seu custo por lead continua ótimo no relatório de mídia.
• Seu custo por paciente que compareceu e fechou está sendo diluído por leads que nunca foram trabalhados.
• Você olha o CPL, comemora, e o gargalo está três etapas depois.

Lead comprado e não trabalhado não é economia de verba. É verba gasta duas vezes, uma para comprar e outra para recomprar o mesmo perfil no mês seguinte.

Se você quer a leitura de funil inteira, vale ver como medir e automatizar o relatório de orçamentos em aberto.

O outro lado da conta: quanto custa o falso positivo

Auditar só o falso negativo produz uma correção burra: baixar o corte até o modelo priorizar todo mundo. Aí você não tem triagem, tem uma lista.

O falso positivo cobra em três moedas:

• Hora de CRC. Cada caso priorizado por engano consome tentativa de contato, follow-up e atenção que iria para outro caso.
• Slot de agenda. Avaliação marcada para quem não fecha ocupa cadeira que o caso bom queria.
• No-show. Caso priorizado por engano tende a faltar mais, e a falta tem custo próprio, de estrutura e de equipe parada.

Sobre o tamanho do problema de falta, o estudo da PeerJ Computer Science (2022) dá uma referência: na clínica odontológica de Riade estudada, com consultas de 1 de janeiro a 31 de dezembro de 2019, a base final teve 196.018 agendamentos, dos quais 42,68% (83.663) foram faltas. É um contexto de outro país e de outro sistema de atendimento, não uma taxa transferível para a sua operação privada, mas serve para dimensionar por que agenda ocupada por engano dói.

A pergunta certa não é "qual erro evitar". É qual erro custa mais por unidade na sua operação. E isso depende do seu ticket, da sua margem e de quão folgada está a agenda.

Calibrar o corte pelo custo, não pelo padrão de fábrica

O threshold que veio configurado na ferramenta foi escolhido por alguém que não conhece a sua margem.

Calibrar é achar o ponto onde o custo marginal do falso negativo iguala o custo marginal do falso positivo. É uma conta de negócio, não de engenharia.

Direção do corte	O que acontece com o recall	O que acontece com a fila	Quando faz sentido
Corte mais baixo (prioriza mais)	Sobe: pega mais caso bom	Fila alta engorda, CRC sobrecarrega	Ticket alto, margem gorda, agenda com folga
Corte de fábrica	Desconhecido na sua realidade	Ordenação padrão do fornecedor	Nunca, sem auditar
Corte mais alto (prioriza menos)	Cai: mais caso bom no fim da fila	Fila alta enxuta, CRC folgado	Agenda lotada e equipe no limite

Três perguntas que resolvem a calibração:

1. Quanto vale uma hora de CRC na sua clínica, em casos trabalhados por hora?
2. Quanto vale um caso fechado, em margem de contribuição?
3. Quantos falsos positivos você aceita pagar para recuperar um falso negativo?

A terceira pergunta é a decisão. Se um caso fechado devolve muito mais margem do que custa uma hora de CRC, o corte deve ser agressivamente baixo, e você aceita trabalhar muito caso ruim para não perder caso bom.

Sobre o limite de valor que justifica escalar o caso para o dono, vale ler a partir de que valor a IA deve escalar o orçamento.

Os sinais que mais produzem falso negativo

Nem todo perfil erra igual. Alguns sinais são notoriamente enganosos porque medem contexto do lead, não intenção do paciente.

• Canal com resposta lenta. Se um canal demora a responder, os leads dele convertem menos, e o modelo aprende que o canal é ruim. O ruim é a operação, não o paciente.
• Lead fora do horário comercial. Segundo dados internos da Odonto Results (2026), 46,0% dos leads de clínica odontológica chegam fora do horário comercial. Base: 16.719 leads na primeira mensagem do WhatsApp. Janela: 25 de março a 25 de agosto de 2026. Penalizar horário atípico é penalizar quase metade da demanda.
• Lead sem histórico. Paciente novo não tem passado na base. Ausência de dado vira nota baixa em muitos modelos, o que confunde "desconhecido" com "ruim".
• Mensagem curta. Quem escreve "quanto custa protocolo?" pode ser o caso mais decidido da fila. Extensão de texto não é intenção.
• Menção a convênio. Perguntar sobre convênio não significa que o paciente não fecha particular. Muitas vezes é a primeira pergunta de quem está checando se cabe no bolso.
• Faixa de preço declarada. Paciente que fala de preço no primeiro contato costuma ser marcado como sensível a preço, quando muitas vezes é o que está mais perto de decidir.

O estudo da PeerJ Computer Science (2022) ilustra bem como uma variável de contexto pode dominar um modelo: naquela clínica de Riade, a antecedência do agendamento foi a variável mais significativa, e removê-la derrubou o AUC em 7,5%, 7,8% e 7,9% conforme o algoritmo (regressão logística, random forest e gradient boosting).

Uma variável temporal carregando quase todo o poder preditivo é sinal de alerta. Se na sua triagem um único sinal de contexto domina a nota, ele provavelmente está classificando circunstância e não paciente.

Sobre a diferença entre erro de classificação e erro de ordenação, veja como auditar o erro de classificação da IA entre particular e convênio.

Qualidade do input: nenhum instrumento supera o dado que recebe

Tem um limite que threshold nenhum resolve.

O paciente omite. Distorce. Minimiza o problema por vergonha, exagera a urgência para conseguir horário, ou responde com pressa no meio de outra coisa.

Quando a informação de entrada é ruim, a sensibilidade de qualquer instrumento cai. Isso vale para questionário clínico e vale para triagem de orçamento.

O que dá para fazer:

• Reduza a dependência de texto livre. Pergunta objetiva no fluxo inicial produz sinal mais estável que interpretação de mensagem solta.
• Trate ausência de dado como ausência, não como resposta negativa. É uma decisão de configuração e muda o resultado.
• Meça a taxa de campo vazio por canal. Canal que produz muito campo vazio produz muito falso negativo.

Lembre: você não está auditando só o modelo. Está auditando o par formado pelo modelo e pelo formulário que alimenta o modelo. Trocar de IA sem arrumar o input reproduz o mesmo erro com outra marca.

Acurácia realista: o que esperar de um modelo de previsão em odontologia

Ajuste a expectativa antes de exigir da ferramenta o que ela não pode entregar.

Modelo de previsão aplicado a comportamento de paciente não chega perto de certeza. No estudo da PeerJ Computer Science (2022), com dados de 2019 de uma clínica odontológica de Riade, na Arábia Saudita, o melhor modelo para prever falta atingiu AUC de 0,718 e F1 de 66,5%.

É um modelo de outro problema (falta em consulta, não conversão de orçamento) e de outro contexto (uma clínica na Arábia Saudita, com 196.018 agendamentos). Não use o número como meta da sua triagem.

Use como calibração de expectativa: previsão de comportamento humano em clínica opera longe da perfeição, mesmo com base grande e time acadêmico.

O que isso implica na sua decisão:

1. Não confie em ordenação como veredito. Ordenação é sugestão de prioridade, não sentença.
2. Reserve capacidade para o erro. Se o instrumento erra bastante, o desenho tem que ter válvula de escape (o holdout é uma delas, o override é outra).
3. Exija a métrica certa do fornecedor. Precisão sozinha não diz nada sobre o que você está perdendo.

Drift e composição: quando a série agregada mente

Você fez tudo certo e o número piorou de um mês para o outro. Antes de culpar o modelo, olhe a composição.

Três causas comuns de série enganosa:

• Troca de versão do modelo no meio da janela. A série passa a misturar duas populações e a média agregada se move sem que nada tenha piorado de fato.
• Sazonalidade. Dezembro e janeiro não se comparam com março. Mix de procedimento muda, urgência muda, poder de compra muda.
• Mudança de mix de campanha. Ligar uma campanha nova de outro procedimento troca a população que entra na fila. A taxa cai e a culpa vai para a IA.

Isso não é hipótese. Nos próprios recortes da Odonto Results, a mediana de tempo da primeira resposta subiu de um snapshot para o seguinte sem que nada tivesse piorado: a versão do modelo da IA foi trocada no meio do período e a série agregada passou a misturar duas populações. Cada versão isolada estava estável ou melhorando (dados internos da Odonto Results).

A defesa é simples e chata: quebre a série pela dimensão que mudou antes de ler o agregado. Por versão do modelo, por canal, por campanha, por mês.

Pareamento só controla a dimensão que você pareia. Se você não quebrou por versão, o número agregado não sabe do que está falando.

Sete erros que invalidam a auditoria inteira

Cada um destes já transformou uma auditoria bem intencionada em número inútil.

1. Mudar o corte no meio da janela. Você passa a comparar dois sistemas diferentes sob o mesmo rótulo. Congele o threshold durante a auditoria.
2. Comparar períodos diferentes. Fila baixa de julho contra fila alta de agosto mistura sazonalidade com efeito de ordenação.
3. Misturar canais. Canal com resposta lenta e canal com resposta imediata têm conversões estruturalmente diferentes. Compare dentro do canal.
4. Contar só quem respondeu. É o denominador errado. Segundo dados internos da Odonto Results (2026), entre os leads que respondem à clínica no WhatsApp, a mediana entre clínicas é de 21% que viram agendamento na conversa (faixa típica de 16% a 28%), sem contar telefone. Base: 21.433 leads. Janela: 25 de março a 25 de agosto de 2026. É outro número e outra pergunta: quem não respondeu é justamente onde o falso negativo se esconde.
5. Deixar o CRC escolher o resgate. Vira medição do faro da equipe, não do erro do modelo.
6. Fechar a janela de observação quando o resultado agrada. Decida a janela antes, registre, e cumpra.
7. Ler recorte fatiado demais. Seis cruzamentos em cima de uma amostra pequena produzem seis conclusões, todas ruído.

Se qualquer um desses aconteceu, o resultado não é "menos preciso". Ele é não interpretável, e a decisão que sai dele é pior que não decidir.

O painel mínimo mensal de governança da triagem

Auditoria de uma vez só não governa nada. O que governa é cadência.

Linha do painel	O que mostra	Cadência
Volume total na fila e % despriorizado	Tamanho da exposição ao erro	Mensal
Conversão da fila alta	Referência de topo	Mensal
Conversão do holdout de resgate	O contrafactual, a linha que revela falso negativo	Mensal, com n acumulado
Gap entre holdout e fila baixa normal	O custo direto da ordenação	Mensal
Receita e margem estimadas perdidas	A conta em reais	Mensal
Overrides humanos e desfecho deles	Se a equipe está corrigindo o modelo ou o contrário	Mensal
Distribuição de score por canal	Detector de drift e de viés de canal	Mensal
Versão do modelo em produção e data da troca	Sem isso, nenhuma série é comparável	A cada troca

Cadência recomendada de reauditoria completa: a cada troca de versão do modelo, a cada mudança relevante de mix de campanha, e no mínimo em ciclo fixo definido em contrato. Entre uma e outra, o painel mensal segura o bastão.

Uma dica de leitura: a linha que mais avisa cedo é a distribuição de score por canal. Quando um canal começa a receber score sistematicamente mais baixo, você tem drift ou tem operação quebrada nesse canal, e nos dois casos o falso negativo vai subir.

Aversão a algoritmo e o desenho do override humano

Tem um detalhe humano que estraga auditoria boa: depois que a equipe vê a IA errar uma vez, ela tende a desconfiar do sistema inteiro, mesmo quando ele está certo na média.

O inverso também acontece: equipe que trata o score como verdade absoluta e para de olhar o caso.

Os dois extremos custam. A solução não é convencer ninguém, é desenhar o override.

Quatro regras que funcionam:

1. Quem pode puxar caso de volta: defina o papel (coordenação de CRC, por exemplo), não a pessoa. Papel sobrevive a troca de time.
2. Com que registro: todo override grava quem puxou, quando, e o motivo em campo estruturado, não em texto livre.
3. Com que teto: limite o volume de override por período. Sem teto, o override vira reordenação paralela e você perde os dois sistemas.
4. Com que revisão: o desfecho de cada override entra no painel mensal. Override que converte acima da fila alta é sinal de que o modelo está errando naquele perfil.

O override bem registrado não é uma exceção ao sistema. É a fonte de dado mais barata que você tem sobre onde a IA erra, porque a equipe já detecta o padrão antes de qualquer auditoria.

Como escrever isso no contrato com a agência ou no SLA interno

Se não estiver escrito, não vai ser medido. Cláusula curta, cinco elementos.

1. Quem mede. Nomeie o responsável pela auditoria e por publicar o resultado. Se quem opera a IA é quem audita a IA, você não tem auditoria.
2. Com que amostra. Percentual da fila baixa sorteado para holdout, célula mínima e regra de acúmulo quando o volume não fecha.
3. Com que frequência. Painel mensal e reauditoria completa em ciclo fixo, mais gatilho obrigatório a cada troca de versão do modelo.
4. Com que definição de desfecho. Janela de observação em dias, registrada antes do período, e o que conta como fechamento.
5. O que acontece se o recall cair. Gatilho objetivo: queda além de X pontos em relação à leitura anterior obriga recalibração de threshold em prazo definido, com nova auditoria depois.

Ponha também a obrigação de entregar a série bruta, não só o gráfico. Série bruta permite quebrar por versão, canal e período. Gráfico pronto não permite nada.

E amarre o incentivo à métrica certa. Contrato que remunera volume de lead priorizado empurra o modelo para precisão. Contrato que olha paciente na cadeira e margem fechada empurra para recall.

Quando o problema não é a IA e sim a capacidade da agenda

Antes de mexer no threshold, faça o teste de sanidade.

Fila cheia legítima é quando não há cadeira para atender mais ninguém. Nesse caso a ordenação está fazendo exatamente o que deve: escolher quem entra primeiro num recurso escasso.

Fila cheia por erro de ordenação é quando existe capacidade ociosa, ou existe folga de CRC, e mesmo assim caso bom não é trabalhado.

O teste é direto: se o holdout de resgate converte perto da fila alta, sua ordenação está próxima do aleatório e o problema é o modelo. Se converte muito abaixo, a ordenação está funcionando e o gargalo é outro.

E se o gargalo for capacidade, o cálculo muda de lugar. Segundo dados internos da Odonto Results, no funil completo (IA, equipe e telefone) 20% a 40% dos leads viram agendamento e 20% a 50% dos agendados comparecem. É uma faixa da operação, não uma medição de recorte datado: o fechamento por ligação não fica registrado na conversa.

Com faixas dessa largura, a alavanca de comparecimento costuma render mais que a alavanca de ordenação. Um ponto de comparecimento recuperado vale mais do que reordenar uma fila que ninguém tem mão de obra para atender.

Sobre proteger a agenda desde a entrada, veja como automatizar a triagem entre urgência e eletivo.

Seu próximo passo

1. Ligue o holdout esta semana. Escolha um percentual da fila baixa, sorteie de forma aleatória, marque no sistema antes do atendimento e mande o CRC tratar com esforço de fila alta. Sem isso, nenhuma outra medida tem denominador.
2. Registre a janela de observação e o threshold atual, por escrito, antes de contar qualquer desfecho. Janela e corte definidos depois do resultado invalidam a auditoria inteira, e você vai ter gasto o mês à toa.
3. Rode a conta em reais e leve para a reunião de gestão. Volume despriorizado vezes conversão do resgate vezes ticket vezes margem. Transformar erro de ordenação em número de margem é o que faz a decisão sair do campo da opinião.

Quer auditar a triagem da sua clínica com contrafactual de verdade e transformar fila mal ordenada em paciente na cadeira? Agende uma apresentação.