PLATFORM / OPERATE / EVALUATIONS
A confiança é conquistada com evidência.
Não pergunte se a IA parece boa. Prove que o trabalho está certo — antes de publicar, a cada versão e continuamente em produção. Evaluations transformam qualidade de opinião em número.
EVALUATION RUN · PROPOSAL ANALYST V2.4 Exemplo ilustrativo
TEST CASES
312 scenariosWHY EVALUATIONS
Uma demo bonita não é um Worker confiável.
Qualquer agente parece impressionante em cinco exemplos escolhidos. A pergunta enterprise é outra: como ele se comporta em trezentos cenários reais — incluindo os difíceis? Evaluations respondem isso antes que o cliente descubra.
SEM EVALUATIONS
"Testei umas conversas e pareceu bom." · Qualidade é opinião. Regressões passam despercebidas. Autonomia é um ato de fé.COM EVALUATIONS
96.7% em 312 cenários, 100% de compliance, zero regressões vs v2.3. Qualidade é número. Autonomia é conquistada com evidência.A avaliação é contínua — não um checklist de lançamento.
WHAT GETS EVALUATED
Muito além de "a resposta soou bem".
A NEXO avalia o trabalho, não a prosa. Cada dimensão tem rubrica própria, exemplos aprovados e threshold configurável:
OUTCOME ACHIEVEMENT
o objetivo foi atingido? O ticket foi resolvido, a evidência coletada, a recomendação correta?FACTUAL ACCURACY
cada claim tem fonte? Números batem com os documentos? Nada inventado?POLICY COMPLIANCE
limites respeitados, termos proibidos ausentes, disclosure presente, consent honrado.EVIDENCE COLLECTION
em entrevistas e análises: cobertura dos critérios e profundidade suficiente.TOOL USE CORRECTNESS
a tool certa, com os parâmetros certos, no momento certo — sem chamadas desnecessárias.REASONING QUALITY
o Planner escolheu bem? Esperou quando devia? Escalou quando precisava?TONE & EMPATHY
voz de marca, vocabulário aprovado, empatia em situações sensíveis.ESCALATION CORRECTNESS
casos que deviam ir ao humano foram? Casos autônomos ficaram autônomos?Uma mensagem que gera resposta mas prejudica a marca não é sucesso. Uma resposta fluente sem fonte não é qualidade.
COMO É MEDIDO
Métodos combinados. Calibrados por humanos.
TEST SUITES
golden datasets: cenários reais com resultado esperado — o "contrato de qualidade" do Worker.DETERMINISTIC CHECKS
números, campos obrigatórios, compliance de política, formato — verificados por regra, não por opinião.LLM-AS-JUDGE
rubricas para dimensões qualitativas (tom, empatia, raciocínio) — com juiz avaliado também.HUMAN CALIBRATION
amostras revisadas por especialistas ancoram o juiz — quando divergem, a rubrica melhora.REGRESSION TESTS
cada versão roda a suite completa: nada que funcionava pode quebrar em silêncio.COMO É MEDIDO
TEST CASE · #148 Exemplo ilustrativo
SCENARIO
Proposal missing mandatory SLA · supplier evasive on first replyEXPECTED BEHAVIOR
Detect gap → request clarification → create commitment → WAIT (not guess, not proceed)RESULT · V2.4 Exemplo ilustrativo
RESULT · V2.3 (PREVIOUS) Exemplo ilustrativo
COMO É MEDIDO
Assumed SLA 99% from similar contract — FAILED
Esse caso nasceu de uma edição humana na Review Queue — e virou teste permanente.
SIMULATION · CUSTOMER SERVICE WORKER Exemplo ilustrativo
SCENARIO
Delayed order · refund requestPOLICY UNDER TEST
Refund ≤ R$ 500 autonomousCOMO É MEDIDO
SIMULATION · CUSTOMER SERVICE WORKER Exemplo ilustrativo
SIMULATION & RED TEAM
Erre no ensaio. Não na produção.
Simule personas, cenários e políticas antes de publicar — incluindo trabalhos que terminam em WAIT, porque esperar certo também é comportamento testável. E ataque o próprio Worker:
RED TEAM
jailbreak, prompt injection, engenharia social, usuário agressivo, pedidos de dados sensíveis, manipulação de desconto.EDGE CASES
anexos corrompidos, respostas ambíguas, contradições entre fontes, silêncio prolongado.ADVERSARIAL SUPPLIERS
"o outro fornecedor ofereceu 20% a menos" — o Worker revela pricing de terceiros? (Nunca deveria.)Injection attemptPolicy holdsRELEASE GATES
Nenhuma versão publica abaixo do threshold.
Evaluations não são um relatório — são um portão. Cada mudança de Worker, procedure, policy ou modelo passa pela suite antes de chegar à produção. E os mesmos scores governam a autonomia: promover para Autonomous exige evidência; queda de qualidade sugere voltar para Supervised.
≥ threshold?
PUBLISHBLOCKEDRELEASE GATE · PROPOSAL ANALYSTV2.5 CANDIDATERELEASE GATES
Outcome achievement 97.8% (↑ 0.6)
Policy compliance 100%
Factual accuracy 93.1% — below threshold 95%
VERDICT
✕ PUBLISH BLOCKED — regression in 9 test casesPRODUCTION STAYS ON
v2.4 · score 96.7% · unchangedAUTONOMY GATE
Request clarification: 184 approvals · 97.1% → eligible for AutonomousExternal offers: empathy trend ↓ 3pts → keep Supervised
CONTINUOUS EVALUATION
A produção também é avaliada. Sempre.
Amostragem contínua do trabalho real, detecção de drift e alertas de qualidade — porque modelos mudam, dados mudam e o mundo muda.
PRODUCTION SAMPLING — 30 DAYS Exemplo ilustrativo
CONTINUOUS EVALUATION
QUALITY BY DIMENSION — TREND Exemplo ilustrativo
Outcome achievement↑ 97.1%Factual accuracy→ 97.9%Tone & empathy↓ 90.4%DRIFT ALERT
SIGNAL
⚠ Empathy score down 3.2 pts over 14 days · Collections WorkerSUSPECTED CAUSE
New objection pattern not covered by procedureSUGGESTED ACTIONS
Add 12 sampled cases to eval suiteUpdate procedure v3.1 with new guidanceRe-run gate before autonomy change
Human review feedback (edits · rejections) flui para cá automaticamente — cada correção vira um caso de teste.
COMO SE ENCAIXA
O ciclo de confiança da Digital Workforce.
BUILD worker · procedure · policy
EVALUATE suite · simulation · red team
↓ gate ≥ threshold
DEPLOY
OBSERVE sampling · drift · review feedbackIMPROVE new cases · procedures · thresholds ↺EARNED AUTONOMY
As Evaluations controlam os lançamentos, calibram a autonomia e alimentam a melhoria. A confiança se acumula.NEXO WORKS / EVALUATIONS
Publique com base em evidência. Não por impressão.
Teste, simule, ataque e monitore seus Digital Workers — para que cada versão publicada, cada nível de autonomia e cada resultado entregue tenham prova por trás.