Custo
Agentes enxutos, ~6× mais barato.
Cada papel roda num agente que só lê e grava arquivos.
Tokens por julgamento completo. Num caso real, os subagentes custaram cerca de US$ 1; a conversa principal, de US$ 0,60 a US$ 4.
Consistência
Cinco julgamentos, o mesmo veredito.
O mesmo caso, julgado cinco vezes, inclusive com um júri inteiramente novo. Entre duas rodadas, 84% dos jurados repetiram o próprio voto.
✓✓✓✓✓
Contra um torneio de 16 agentes
85% da nota com 4% do custo.
Mesma pergunta sobre um SaaS real, avaliada por dois juízes cegos com a rubrica do próprio torneio. O torneio escreve um plano mais longo; o Tribunal traz o que ele não traz: como pessoas reais reagiriam e quanto confiar no resultado.
Tribunal · tokens~260 mil
O que o júri não mede
Ele não prevê se um produto vai dar certo.
Medimos de duas formas, e a segunda desmentiu a primeira. No piloto, as descrições foram escritas por quem já sabia o desfecho. No teste cego, um agente separado escreveu com regras contra pistas.
Piloto · 12 casos famosos8 de 9Inflado pela redação e pela fama dos casos.
Teste cego · 30 casos18 de 30p = 0,18: não se distingue do acaso. Brier 0,227 (chute = 0,25).
O júri mostra como pessoas comuns reagem, grupo por grupo. O valor do Tribunal está no processo: provas com fonte, ataques checados, juiz independente e um plano com critério de abandono que testa a ideia no mundo real. Um jurado de fora do Claude (Qwen 3, local) votou diferente em 38% dos votos e também ficou perto do acaso. Ver o kit para repetir o teste.