Como eu sei se o painel preditivo de no-show da minha clínica está certo, ou é só estatística chutada?

"Como eu sei se o painel preditivo de no-show da minha clínica está certo, ou é só estatística chutada?"

A pergunta certa não é "o painel funciona?". É "quem mediu, contra o quê, e com que dado que o modelo nunca tinha visto?".

Porque um painel de risco de falta é fácil de fazer parecer genial. Basta escolher a métrica que fica bonita no slide e o limiar de corte que favorece o número escolhido.

E é fácil de fazer parecer genial exatamente porque a falta é um evento minoritário. Um painel que nunca prevê falta nenhuma já acerta a maioria dos agendamentos.

A boa notícia: existe um protocolo público, usado na literatura clínica, para separar previsão de chute. Ele cabe numa reunião com o fornecedor e num relatório de trinta linhas.

E ele começa com um número que não é do painel, é seu: a taxa de falta que a sua clínica já tinha antes de qualquer modelo entrar em cena.

Neste guia você vai ver:

• O que um painel preditivo de fato entrega (e o que ele nunca entrega)
• Por que acurácia é a métrica que mais engana quando o assunto é falta
• Como ler AUC, calibração, precisão e recall sem cair no slide bonito
• O protocolo de auditoria cega para testar o painel na sua própria base
• Do score à decisão: escolher o corte pelo custo da cadeira, não pela nota do modelo
• O que exigir por escrito do fornecedor antes de assinar

O que um painel preditivo de no-show realmente entrega

Antes de julgar, alinhe o produto. Um painel preditivo não diz quem vai faltar. Ele atribui uma probabilidade a cada agendamento.

Isso muda tudo na hora de avaliar. Exemplo: quando a tela exibe "risco alto para o paciente da terça à tarde", ela não está dando uma sentença sobre aquele paciente. Está fazendo uma afirmação estatística sobre o grupo de agendamentos parecidos com aquele.

Se você trata a probabilidade como sentença, qualquer paciente de alto risco que comparece vira "o painel errou". E não errou: risco alto quer dizer que, dentro daquele grupo, a falta é mais provável, não certa. Uma parte relevante comparece.

O que você pode cobrar do painel é outra coisa, e é bem mais dura:

• Ordenar direito. Quem faltou precisa, em média, ter recebido score maior que quem compareceu.
• Bater o número prometido. Se o painel diz 70%, o grupo marcado com 70% precisa faltar perto de 70%.
• Sobreviver fora da amostra. O acerto precisa se manter em agendamentos que o modelo nunca viu.

Essas três exigências têm nome técnico: discriminação, calibração e validação fora da amostra. O resto deste guia é como testar cada uma sem depender da boa vontade do fornecedor.

Lembre: painel preditivo não é adivinho, é priorizador. O trabalho dele é dizer onde vale gastar a ligação da recepção primeiro, não profetizar o comportamento de um paciente específico.

Comece pela sua taxa base de falta, não pelo número do painel

Esse é o passo que quase ninguém dá, e sem ele nenhuma métrica do painel significa nada.

Taxa base é a proporção de agendamentos que viram falta na sua clínica, sem nenhum modelo, no período que você vai usar como referência. É a régua contra a qual todo o resto é comparado.

Repare como ela muda a leitura. Em estudo publicado na PeerJ Computer Science (Alabdulkarim et al., 2022) e disponível no PMC / National Library of Medicine (NIH), com 196.018 agendamentos odontológicos utilizáveis de uma clínica em Riade (Arábia Saudita), 42,68% dos agendamentos (83.663 casos) viraram falta. Numa base assim, prever falta é quase jogar cara ou coroa: metade do trabalho já vem do acaso.

Numa clínica onde a falta é muito menos frequente, o desafio é o oposto: o evento é raro, e o modelo tem pouquíssimos exemplos para aprender.

Por isso, três perguntas antes de qualquer reunião de demonstração:

1. Qual é a minha taxa base de falta no período de referência?
2. Quantas faltas, em número absoluto, aconteceram nesse período?
3. Essa taxa é a mesma por turno, por especialidade e por canal de origem, ou existem bolsões muito diferentes?

Se você ainda não tem esse número separado por recorte, comece por aí. O indicador de no-show por procedimento e especialista é a base sobre a qual qualquer painel vai ser julgado.

Por que acurácia é a métrica que mais engana (paradoxo da acurácia)

Aqui está a armadilha mais comum de todas, e ela aparece em quase toda apresentação comercial.

Acurácia é a proporção de previsões certas sobre o total. Parece a métrica mais natural do mundo. E é justamente por isso que ela engana quando o evento é minoritário.

Exemplo: suponha que 15 de cada 100 agendamentos da sua clínica virem falta. Um painel preguiçoso, que simplesmente responde "ninguém vai faltar" em todos os casos, acerta 85 dos 100.

Nesse exemplo hipotético, ele exibe 85% de acurácia. E não previu absolutamente nada.

Isso tem nome: paradoxo da acurácia. Quanto mais rara a falta, mais alta fica a acurácia de um modelo que ignora a falta por completo.

O que fazer com isso na prática:

• Nunca aceite acurácia sozinha. Peça sempre as métricas que separam os dois erros (prever falta em quem compareceu, e não prever falta em quem faltou).
• Compare com o modelo burro. Pergunte: qual seria a acurácia se o painel dissesse sempre "não falta"? Se o painel não bate isso com folga, ele não está entregando informação.
• Desconfie de acurácia muito alta. Em previsão de falta, acurácia alta costuma ser sintoma de taxa base baixa, não de modelo bom.

Discriminação (AUC): o que é um valor honesto

Agora a métrica que de fato mede ordenação de risco.

AUC (área sob a curva ROC) responde a uma pergunta específica: se eu pegar ao acaso um agendamento que faltou e um que compareceu, qual a chance de o modelo ter dado score maior para quem faltou?

Traduzindo a escala:

• AUC 0,50 é moeda jogada para cima. O modelo não distingue nada.
• AUC 1,00 é ordenação perfeita, algo que não existe em comportamento humano.
• Tudo que interessa está no meio, e o meio é mais modesto do que a propaganda sugere.

O parâmetro público mais próximo da sua realidade vem da odontologia. No estudo publicado na PeerJ Computer Science (Alabdulkarim et al., 2022), disponível no PMC / National Library of Medicine (NIH), com 196.018 agendamentos odontológicos utilizáveis de uma clínica em Riade (Arábia Saudita), o melhor modelo alcançou AUC de 0,718 e F1 de 66,5%, usando 90% dos dados para treino e 10% reservados para teste.

Guarde esse número. Ele é o seu detector de exagero.

Se um fornecedor apresenta um painel de no-show com desempenho muito acima disso, existem duas hipóteses: ou ele fez algo notável e vai conseguir provar com validação fora da amostra, ou ele mediu o modelo no mesmo dado em que treinou.

E tem um detalhe que quase ninguém conta: AUC não é comparável entre bases diferentes. Uma clínica com falta muito frequente, outra com falta rara, populações distintas, políticas de confirmação distintas. O mesmo algoritmo produz AUCs diferentes em cada uma.

Por isso a exigência é sempre a mesma: AUC medida na sua base, no seu período, com dado que o modelo não viu no treino. AUC do material de vendas não vale como evidência sobre a sua clínica.

Calibração: o teste de que "risco 70%" significa 7 faltas a cada 10

Se você só puder cobrar uma coisa do fornecedor, cobre esta.

Calibração é a correspondência entre o número que o painel exibe e o que acontece de verdade. Um painel bem calibrado que marca um grupo com 70% de risco vê, naquele grupo, algo perto de 70% de faltas.

Exemplo: pegue todos os agendamentos que o painel marcou com risco de 70% ao longo de um trimestre. Se cerca de 7 em cada 10 faltaram, a calibração está boa. Se faltaram 3 em cada 10, o painel está inflando risco, e você vai fazer overbooking em horário que não precisava.

Por que isso importa mais que a AUC? Porque a AUC só olha a ordem, e a decisão que você toma olha o número.

O artigo "Calibration: the Achilles heel of predictive analytics" (BMC Medicine, 2019, grupo STRATOS) é explícito: calibração ruim pode tornar um modelo de previsão clinicamente inútil ou até prejudicial, e um modelo com AUC menor, porém bem calibrado, pode ser mais útil que um concorrente mal calibrado com AUC maior.

Leia essa frase de novo com a sua agenda na cabeça. Um painel que ordena bem mas exagera o risco leva você a encaixar paciente em horário que ia acontecer normalmente. O paciente pontual espera, a recepção apanha, e a culpa vai cair na "IA".

Calibração no agregado (calibration-in-the-large)

É o teste mais fácil, e é o primeiro que você deve pedir.

Some todas as probabilidades previstas no período e compare com o número total de faltas observadas. É uma única conta:

• Previsto acima do observado: o painel infla risco. Você vai fazer overbooking demais.
• Previsto abaixo do observado: o painel subestima risco. Você vai perder cadeira achando que a agenda estava segura.
• Previsto perto do observado: a calibração no agregado está saudável, e você pode passar para o teste seguinte.

Esse teste é obrigatório porque é barato e porque pega o erro mais grosseiro. Mas ele não é suficiente, e a razão é boa: um painel pode acertar o total e errar feio faixa por faixa, superestimando o risco baixo e subestimando o alto, com os dois erros se cancelando na soma.

Curva de calibração por faixa de risco

É aqui que a auditoria fica séria.

O artigo do grupo STRATOS (BMC Medicine, 2019) define a curva de calibração como a relação entre o risco estimado (eixo x) e a proporção observada de eventos (eixo y), tendo a diagonal perfeita como referência.

Na prática de clínica, você não precisa do gráfico para começar. Precisa de uma tabela:

1. Ordene todos os agendamentos do período pelo score do painel.
2. Divida em faixas (por exemplo, cinco grupos do menor para o maior risco).
3. Em cada faixa, calcule o risco médio previsto e a proporção de faltas que realmente aconteceu.
4. Compare coluna com coluna.

Se as faixas de risco alto faltam mais que as de risco baixo, você tem discriminação. Se, além disso, o previsto bate com o observado dentro de cada faixa, você tem calibração. As duas coisas juntas é que autorizam o painel a mexer na sua agenda.

Precisão, recall e o limiar de corte: onde mora o slide bonito

Esse é o ponto que mais gera discussão inútil entre clínica e fornecedor, e ele se resolve com uma frase.

Nenhuma dessas métricas existe sem um limiar de corte. O painel produz probabilidade contínua; alguém precisa decidir a partir de qual valor o agendamento entra na fila de alto risco.

• Precisão responde: dos agendamentos que o painel marcou como alto risco, quantos de fato faltaram?
• Recall (sensibilidade) responde: de todas as faltas que aconteceram, quantas o painel tinha marcado como alto risco?

E aqui está o truque: os dois se movem em direções opostas quando você mexe no corte.

Suba o corte e só os casos mais extremos entram. A precisão sobe (quase todo mundo que você marca de fato falta), o recall despenca (você deixa passar a maioria das faltas).

Baixe o corte e acontece o inverso. Você captura quase toda falta, mas enche a fila da recepção com paciente que ia comparecer de qualquer jeito.

O fornecedor conhece essa mecânica melhor que você. Por isso, no slide, ele mostra o corte que faz a métrica escolhida brilhar.

A defesa é simples: peça a tabela inteira de cortes, não um ponto. Precisão, recall, número de agendamentos sinalizados e faltas capturadas, para vários limiares. Quem tem modelo bom entrega essa tabela sem reclamar.

Métrica	O que ela responde	Armadilha comum
Acurácia	Quantas previsões, no total, estavam certas	Fica alta sozinha quando a falta é minoritária (paradoxo da acurácia)
AUC / ROC	O modelo ordena o risco corretamente?	Não é comparável entre bases com taxas de falta e populações diferentes
Calibração no agregado	O total previsto bate com o total observado?	Erros opostos entre faixas se cancelam na soma
Curva de calibração	O previsto bate com o observado em cada faixa?	Costuma ser omitida na apresentação comercial
Precisão	Quem foi marcado de alto risco realmente faltou?	Sobe artificialmente quando o corte é apertado
Recall	Quantas faltas reais o painel capturou?	Sobe artificialmente quando o corte é frouxo
F1	Equilíbrio entre precisão e recall	Esconde qual das duas foi sacrificada

Validação fora da amostra: holdout temporal x sorteio aleatório

Chegamos ao teste que separa medição de encenação.

Um modelo avaliado no mesmo dado em que aprendeu sempre parece excelente. É como corrigir a prova com o gabarito que o aluno escreveu. Por isso toda avaliação séria reserva uma parte dos dados que o modelo nunca viu.

No estudo odontológico de Riade (PeerJ Computer Science, 2022), disponível no PMC / NIH, 90% dos dados foram usados para treinar os modelos e 10% ficaram reservados para teste.

Mas existe uma diferença crucial em como você separa esses dados, e ela decide a validade do teste inteiro.

Sorteio aleatório embaralha todos os agendamentos e separa uma fatia. Simples, e perigoso em dados de agenda: o mesmo paciente pode aparecer no treino e no teste, e informação do futuro pode vazar para o passado. O modelo aprende padrões que não vai ter disponíveis na hora real da previsão.

Holdout temporal faz o corte pelo calendário: treina com os meses antigos e testa nos meses mais recentes, que ficam intocados. É exatamente o que acontece na vida real, onde você prevê o futuro com o passado.

Para painel de agenda, holdout temporal é o padrão mínimo aceitável. Pergunte ao fornecedor qual dos dois ele usou. Se a resposta for vaga, você já sabe o valor do número que ele apresentou.

E tem um efeito colateral útil: como o holdout temporal reserva os meses recentes, ele já mede de quebra se o modelo aguenta a passagem do tempo.

Validação externa: por que o modelo do fornecedor cai na sua base

Esse é o ponto que mais surpreende dono de clínica, e existe evidência publicada dele.

Um modelo treinado numa população costuma perder desempenho quando aplicado a outra. Não porque foi mal feito, mas porque a população mudou: outro perfil de paciente, outro mix de procedimento, outra política de confirmação, outra origem de agendamento.

Em estudo de validação externa publicado no Journal of Medical Internet Research em 2023 e disponível no PMC / NIH, o modelo preditivo de no-show do prontuário eletrônico Epic foi aplicado a 674 pessoas vivendo com HIV (1.406 agendamentos). O resultado: AUC de 0,65 em todas as consultas ambulatoriais e 0,63 nas consultas de HIV, desempenho significativamente abaixo do reportado pelo próprio fornecedor.

O detalhe que fecha o argumento: no mesmo estudo, um modelo desenvolvido localmente para aquela população alcançou AUC de 0,78.

Traduzindo para a sua realidade: o modelo genérico do fornecedor pode até funcionar, mas ele precisa ser medido na sua base antes de você confiar. E um modelo ajustado aos seus dados tende a superar o modelo de prateleira.

Lembre: número de material de vendas é validação interna do fornecedor. O único número que decide se você assina é o medido nos SEUS agendamentos, com holdout temporal, na sua janela.

Tamanho mínimo de amostra: o que faz o teste valer

Muita clínica quer validar o painel com um mês de agenda. Não dá, e o motivo é aritmético.

O que sustenta a estatística não é o número de agendamentos. É o número de faltas observadas na janela de teste. Se aconteceram poucas faltas, cada uma delas pesa demais, e a métrica balança por acaso.

A régua prática, sem números mágicos:

• Conte eventos, não linhas. Pergunte quantas faltas existiram na janela de teste, não quantos agendamentos.
• Teste a fragilidade. Se mudar o desfecho de um punhado de pacientes já move a métrica de forma visível, a amostra é pequena demais para decidir contrato.
• Cuidado com o recorte fino. Métrica por especialista, por turno ou por canal exige ainda mais eventos, porque cada célula fica com uma fração dos dados. É comum a base geral bastar e o recorte por dentista não bastar.
• Escale pela referência publicada. No estudo odontológico da clínica em Riade (Arábia Saudita), publicado na PeerJ Computer Science (2022) e disponível no PMC / NIH, a janela de teste saiu de uma base de 196.018 agendamentos utilizáveis com 42,68% de faltas. Não é o seu volume, e por isso a sua validação precisa de mais tempo de calendário, não de menos.

Isso responde a pergunta prática "quantos dias eu preciso rodar?". A resposta correta é: o suficiente para acumular faltas em quantidade que sustente a conclusão. O calendário é consequência, não critério.

Quais variáveis um modelo de no-show odontológico precisa ter

Você não precisa auditar o código. Precisa auditar a lista de variáveis, e ela diz muito sobre a seriedade do painel.

A evidência aponta duas variáveis como centrais. No estudo odontológico da PeerJ Computer Science (2022), disponível no PMC / NIH, o lead time (tempo entre a marcação e a consulta) foi a variável mais significativa do modelo: removê-la derrubou a AUC em 7,5%, 7,8% e 7,9% conforme o algoritmo (regressão logística, random forest e gradient boosting). O mesmo artigo aponta o histórico prévio de falta como um dos preditores mais significativos de falta futura.

Traduzindo: consulta marcada com muita antecedência falta mais, e quem já faltou tende a faltar de novo.

A partir daí, o mínimo que um painel odontológico deve olhar:

• Lead time, em dias, entre a marcação e a data da consulta.
• Histórico de comparecimento e falta do paciente na clínica.
• Resposta à confirmação: confirmou, não respondeu, pediu remarcação. Silêncio é sinal, não é ausência de dado.
• Dia da semana e turno do agendamento.
• Tipo de procedimento (avaliação, retorno, manutenção, tratamento em curso).
• Canal de origem do paciente, porque a origem muda o comportamento.
• Histórico de remarcação e antecedência dos cancelamentos anteriores.

Se o painel não usa lead time nem histórico de falta, você já sabe o que ele é. E se ele usa dezenas de variáveis exóticas mas nenhuma dessas duas, o problema é pior: alguém montou complexidade sem sinal.

Vale cruzar com o painel preditivo de no-show com score de risco de falta para ver como esses campos entram na montagem.

Correção de desbalanceamento: por que o risco previsto sai inflado

Esse é um detalhe técnico com consequência direta na sua agenda, e quase nunca aparece na conversa comercial.

Quando a falta é minoritária, é comum o time de dados aplicar técnicas de balanceamento (oversampling da classe minoritária, SMOTE, geração de casos sintéticos, reponderação). O objetivo é legítimo: dar ao algoritmo exemplos suficientes de falta para aprender.

O efeito colateral também é conhecido: o modelo passa a enxergar um mundo onde faltar é muito mais comum do que na sua clínica. Resultado: as probabilidades saem sistematicamente infladas.

Repare no que isso provoca. A ordenação pode continuar boa (discriminação preservada), mas o número exibido deixa de significar o que diz. "Risco 70%" pode corresponder a uma taxa de falta observada bem menor.

O que fazer:

1. Pergunte se houve balanceamento. É uma pergunta direta e a resposta precisa ser direta.
2. Se houve, exija recalibração do score de volta para a prevalência real da sua clínica.
3. Confirme pelo teste, não pela promessa. A calibração no agregado pega esse erro na hora: previsto muito acima do observado é a assinatura clássica de balanceamento não corrigido.

Registro de previsões: sem log, não existe auditoria depois

Antes do protocolo de auditoria, o pré-requisito que decide se ela é possível.

O painel precisa gravar cada previsão, no momento em que ela foi feita, junto com o agendamento a que se refere. Sem isso, três meses depois você tem apenas telas atualizadas e nenhuma forma de reconstruir o que o painel dizia antes de os fatos acontecerem.

O registro mínimo, por agendamento:

• Identificador do agendamento e data/hora da consulta.
• Score previsto e a faixa de risco atribuída.
• Data e hora em que a previsão foi feita (previsão feita na véspera não vale o mesmo que a feita na marcação).
• Versão do modelo que gerou aquele score.
• Desfecho observado: compareceu, faltou, cancelou com antecedência, remarcou.
• Ação tomada sobre aquele agendamento (ligação, mensagem, encaixe, overbooking, nada).

Esses dois últimos campos são o que permite responder a pergunta que realmente importa, mais adiante: o painel mudou o resultado, ou só descreveu o que ia acontecer?

E o campo de versão do modelo evita a discussão mais chata de todas. Sem ele, o fornecedor pode trocar o modelo no meio da avaliação e você compara maçã com laranja sem saber.

Auditoria cega (silent run): o protocolo que decide

Agora o teste definitivo, e ele é mais simples do que parece.

Auditoria cega é rodar o painel gravando as previsões sem agir sobre elas. A recepção segue a rotina normal de confirmação, ninguém prioriza ligação por score, ninguém faz overbooking pelo painel. No fim da janela, você compara previsto contra observado.

Por que a cegueira é obrigatória? Porque a ação contamina a medição.

Pensa assim: o painel marca um agendamento como alto risco, a recepção liga três vezes, o paciente comparece. O painel "errou"? Ou acertou e a sua ação evitou a falta? Sem período cego, essa pergunta não tem resposta, e ela é justamente a pergunta que decide se o painel se paga.

O protocolo, em sete passos:

1. Congele a versão do modelo e registre qual é.
2. Defina a janela pelo número de faltas que você precisa acumular, não pelo calendário. Alguns meses de agenda, não algumas semanas.
3. Mantenha a rotina de confirmação inalterada. Nada de melhorar o processo no meio, ou você mede duas mudanças ao mesmo tempo.
4. Grave todas as previsões com os campos da seção anterior.
5. Feche a janela e cruze previsto contra observado: calibração no agregado primeiro, curva por faixa depois, AUC por último.
6. Repita o cruzamento por recorte (turno, especialidade, canal, faixa de lead time) apenas onde houver eventos suficientes.
7. Só então escolha o limiar de corte e ligue a ação.

Tem um custo nesse protocolo, e é honesto reconhecer: durante a auditoria cega você abre mão de agir sobre o score. Em troca, você ganha a única medição limpa que vai ter. Depois que a ação começa, ela nunca mais sai da conta.

Do score à decisão: escolha o corte pelo custo, não pela "precisão"

Aqui está o erro conceitual mais caro, e ele acontece depois que o painel já passou nos testes.

O limiar de corte não é uma questão estatística. É uma decisão econômica, e a resposta muda de clínica para clínica.

Você está sempre escolhendo entre dois erros de naturezas diferentes:

• Falso negativo: o painel não sinalizou e o paciente faltou. Custo: cadeira vazia, hora do especialista perdida, receita que não entra.
• Falso positivo: o painel sinalizou e o paciente compareceu. Custo: ligação a mais da recepção, e, se você fez overbooking em cima do sinal, sala cheia e espera para quem sempre comparece.

Esses dois custos não são iguais, e a proporção entre eles é que define o corte.

A conta, em palavras e sem números mágicos:

Corte mais frouxo se o custo da cadeira vazia for muito maior que o custo de uma ligação extra. Corte mais apertado se a sua ação de resposta for cara, incômoda ou arriscada para a experiência do paciente.

Traduzindo por tipo de ação:

• Ação barata e discreta (mensagem de confirmação a mais, ligação da recepção): pode usar corte mais frouxo, porque errar custa pouco.
• Ação cara ou visível (overbooking, encaixe, deslocamento de equipe): exige corte mais apertado, porque o falso positivo tem custo real na sala de espera.

Isso também explica por que não existe "limiar recomendado" universal. Quem oferece um número pronto sem perguntar o valor da sua hora de cadeira está chutando. Para calibrar a parte de overbooking com critério, veja como calibrar a taxa de overbooking por no-show.

Meça o efeito da AÇÃO, não só a nota do modelo

Esse é o ponto onde a maioria dos projetos de painel morre sem que ninguém perceba.

Um painel pode ter AUC excelente, calibração impecável e não mudar nada no seu faturamento. Porque previsão não recupera cadeira. Ação recupera.

A pergunta que fecha o ciclo é outra: entre os agendamentos sinalizados, a ação que você tomou reduziu a falta em relação aos que não receberam ação?

Para responder isso você precisa comparar comparáveis. Duas formas práticas:

• Alternância controlada: dentro da faixa de alto risco, alterne quais agendamentos recebem a ação intensiva (por exemplo, por dia da semana ou por bloco de agenda). Compare a taxa de falta entre os dois grupos, dentro da MESMA faixa de risco.
• Antes e depois com faixa fixa: compare a mesma faixa de risco antes e depois de ligar a ação, garantindo que nada mais mudou no período. É mais fraco, porque sazonalidade e mix de procedimento se misturam, mas serve como leitura inicial.

Sem esse teste, você acaba pagando por um painel que descreve o que ia acontecer de qualquer jeito. A comparação certa não é "previsto contra observado", é "com ação contra sem ação, dentro da mesma faixa de risco".

E é aí que o painel se conecta com a operação. Score alto sem uma rotina que dispare confirmação ativa, contato humano e encaixe é relatório caro. O caminho de acionar o CRC quando o no-show é previsto é o que transforma o número em cadeira ocupada.

Drift: por que o painel que acertava em janeiro erra em julho

Modelo preditivo não é obra pronta. Ele envelhece, e envelhece sem avisar.

Drift é a perda de desempenho ao longo do tempo porque o mundo que gerou os dados mudou. Na clínica, ele tem causas bem concretas:

• Mudou o mix de pacientes (nova campanha, novo canal, nova região atendida).
• Mudou o processo de confirmação (a clínica passou a confirmar por outro canal, ou com outra antecedência).
• Mudou a agenda (mais horários noturnos, mais encaixe, agenda mais cheia ou mais vazia).
• Mudou a política (sinal, multa, regra de remarcação).
• O próprio painel mudou o comportamento que ele tinha aprendido a prever.

Esse último merece atenção: quando você age sobre o score, você quebra a relação estatística que o modelo usava. O modelo aprendeu num mundo sem intervenção e passou a operar num mundo com intervenção.

Como monitorar sem virar cientista de dados:

1. Acompanhe a calibração no agregado todo mês. Previsto contra observado, uma linha. É o alarme mais barato que existe.
2. Reveja a curva de calibração por faixa a cada trimestre. É onde o desvio aparece antes de estourar.
3. Refaça a validação completa quando algo estrutural mudar, sem esperar o calendário. Nova campanha grande, nova unidade, nova política de confirmação: revalide.

Recalibração e reciclo com os dados da própria clínica

Quando o desvio aparece, existem duas respostas de tamanhos diferentes.

Recalibração ajusta apenas a escala das probabilidades para bater com a prevalência atual, mantendo a ordenação. É a intervenção leve, indicada quando o painel continua ordenando bem (AUC estável) mas o número exibido descolou.

Reciclo (retreino) refaz o modelo com dados recentes da sua clínica. É a intervenção pesada, indicada quando a própria ordenação piorou.

Duas exigências contratuais nascem daqui:

• O fornecedor precisa dizer com que frequência recalibra e retreina, e com quais dados.
• Toda troca de modelo precisa vir com nova validação fora da amostra e registro de versão. Modelo novo é modelo não testado até prova em contrário.

Viés: quando o painel vira profecia autorrealizável

Esse risco não é técnico, é de negócio e de reputação, e ele merece um olhar frio.

Um modelo aprende com o passado. Se, no passado, um perfil de paciente faltou mais por razões que não são "descaso" (horário difícil, deslocamento, tipo de convênio, procedimento longo), o modelo vai marcar sistematicamente esse perfil como alto risco.

Aí entra o círculo vicioso. O painel marca o perfil como alto risco, a clínica passa a oferecer horários piores, faz overbooking em cima dele, ou trata o paciente com menos atenção. O paciente falta mais. O modelo se confirma.

Isso é profecia autorrealizável, e ela destrói tanto o paciente quanto a validade do painel.

Três salvaguardas práticas:

• Audite o score por perfil. Compare a taxa de sinalização entre grupos e pergunte se a diferença tem explicação operacional legítima.
• Nunca use o score para negar ou piorar atendimento. Score de risco serve para aumentar cuidado (mais confirmação, melhor horário, lembrete extra), nunca para punir.
• Preserve a experiência de quem sempre comparece. Se o overbooking guiado pelo painel gera espera para o paciente pontual, o custo aparece na sua reputação antes de aparecer na planilha.

Lembre: o score existe para direcionar esforço, não para classificar gente. No dia em que ele começa a decidir quem merece bom horário, o painel deixou de ser ferramenta de gestão e virou um problema.

O que exigir por escrito do fornecedor antes de assinar

Toda a discussão acima cabe numa lista de exigências contratuais. Se o fornecedor entrega os sete itens, você tem um painel auditável. Se recusa qualquer um, você já tem a resposta.

O que exigir	Por que importa	Resposta que acende alerta
Taxa base de falta usada na validação	Sem ela, nenhuma métrica tem significado	"Depende da clínica" sem apresentar o número
AUC medida na sua base, fora da amostra	É o teste de ordenação de risco	Só AUC do material comercial
Método de separação treino/teste	Holdout temporal evita vazamento	"Foi aleatório" ou resposta vaga
Curva de calibração por faixa	É o teste de que o número exibido é verdadeiro	Oferecer só acurácia ou só AUC
Tabela de precisão e recall por limiar	Mostra o trade-off inteiro, não um ponto escolhido	Apresentar um único corte "recomendado"
Log de previsões exportável	Sem ele não existe auditoria posterior	Painel que só mostra a tela atualizada
Política de recalibração e retreino	Modelo envelhece e precisa de manutenção	"O modelo já vem treinado"

E o critério de fechamento: a auditoria cega antes do contrato longo. Um fornecedor confiante em modelo aceita ser medido na sua base antes de você se comprometer.

Quanto o painel precisa evitar para se pagar

A conta de retorno é mais simples do que a estatística, e vale fazer antes de qualquer decisão.

O painel só se paga se as faltas evitadas cobrirem o custo dele, mais o custo das ações extras que ele dispara. Em palavras:

Faltas evitadas por mês, multiplicadas pela receita média de uma cadeira ocupada naquela hora, menos o custo do painel, menos o custo do esforço extra da equipe e do overbooking que deu errado.

Vire isso num número prático: divida o custo mensal do painel pela receita média de uma cadeira ocupada e você tem quantas faltas ele precisa evitar por mês só para empatar. Se esse número já parecer alto perto do volume de faltas que a sua clínica tem hoje, o painel não é o investimento certo agora.

Duas correções importantes na conta:

• Falta evitada não é agendamento sinalizado. O que entra na conta é o efeito medido da ação, aquele teste de "com ação contra sem ação" dentro da mesma faixa.
• Cadeira vazia não custa só a receita perdida. Custa a hora do especialista, o custo fixo da estrutura e a fila de espera que poderia ter ocupado o horário. Para dimensionar isso na sua clínica, veja quanto a clínica perde com cadeira vazia e faltas.

Quando o problema não é o modelo, é o processo

Antes de trocar de painel, faça uma checagem que economiza dinheiro.

Boa parte da falta que a clínica atribui a "falha de previsão" é falha de contato. Não adianta prever com precisão cirúrgica quem vai faltar se ninguém consegue falar com o paciente antes da consulta.

Três sinais de que o gargalo está no processo, não no modelo:

1. A confirmação não alcança o paciente. Mensagem enviada não é mensagem lida, e lida não é respondida. Se a taxa de resposta à confirmação é baixa, nenhum score resolve.
2. A janela de confirmação está errada. Confirmação cedo demais é esquecida, tarde demais não dá tempo de preencher o horário. A cadência de confirmação pré-consulta resolve mais falta que qualquer modelo.
3. Ninguém responde fora do horário comercial. Nos dados internos da Odonto Results, 43,8% dos leads chegam fora do horário comercial, e nas clínicas atendidas a IA responde em mediana 4,4 segundos. Paciente que tenta confirmar às 21h e não recebe resposta não é caso de previsão, é caso de atendimento.

O painel preditivo é uma camada de priorização em cima de um processo que funciona. Se o processo não funciona, o painel só vai te dizer com mais elegância quais cadeiras você vai perder. Vale revisar primeiro o básico de como reduzir o no-show na clínica.

Painel confiável x estatística chutada: os sinais

Um resumo operacional para levar para a próxima reunião.

Sinal	Painel auditável	Estatística chutada
Métrica apresentada	AUC, calibração, precisão e recall por limiar	Só "acurácia" ou "assertividade"
Base de validação	Sua clínica, holdout temporal	Base do fornecedor, período não informado
Calibração	Curva por faixa disponível	Nunca mencionada
Limiar	Tabela completa de cortes	Um corte único, já escolhido
Log de previsões	Exportável, com versão do modelo	Só a tela atual
Manutenção	Política de recalibração e retreino escrita	"Já vem treinado"
Prova de efeito	Comparação com ação e sem ação	Depoimento e antes/depois solto

Seu próximo passo

1. Levante a sua taxa base de falta antes de qualquer reunião. Total, por turno, por especialidade e por canal de origem, na janela que você vai usar como referência. Sem esse número, você não tem como julgar nenhuma proposta.
2. Rode uma auditoria cega antes de assinar contrato longo. Congele a versão do modelo, grave todas as previsões, mantenha a rotina de confirmação inalterada e só depois cruze previsto contra observado: calibração no agregado, curva por faixa e AUC, nessa ordem.
3. Escolha o corte pelo custo da sua cadeira e meça o efeito da ação. Defina o limiar pela relação entre o custo da cadeira vazia e o custo do falso positivo, ligue a ação e compare a falta entre agendamentos com ação e sem ação dentro da mesma faixa de risco.

Quer um painel que mostra o funil inteiro, do anúncio ao comparecimento, com o número que você consegue auditar? Agende uma apresentação.