Como fazer um teste de IA que vale alguma coisa.
Um roteiro para comparar respostas sem confundir impressão com evidência.
Uma resposta impressionante é um exemplo, não uma conclusão. Para descobrir se um modelo ajuda no seu trabalho, prepare uma comparação que outra pessoa consiga entender e repetir.
Defina o sucesso antes da resposta
Escolha de cinco a dez tarefas parecidas com o seu uso. Em cada uma, escreva o que seria uma resposta aceitável: preservar os fatos de um parágrafo, seguir um formato ou resolver uma questão com uma solução verificável.
Inclua pelo menos um caso difícil e um caso em que a resposta correta seja reconhecer falta de informação. Evite mudar a régua depois de ver qual modelo foi melhor.
Mantenha as condições registradas
- Modelo e variante exatos.
- Aplicativo, versão e configuração relevante.
- Equipamento e memória disponível.
- Prompt completo e texto de entrada.
- Resposta original, sem correções silenciosas.
Separe qualidade de velocidade
Avalie primeiro a utilidade: há erros, omissões ou informações inventadas? Depois registre tempo de espera e consumo observado. Uma resposta rápida que exige reescrita pode economizar menos tempo do que parece.
Repita as tarefas e preserve todas as tentativas, inclusive as ruins. Se você alterar o prompt para um participante, repita a mudança para os demais ou deixe claro que a comparação passou a medir outro cenário.
Publique uma conclusão proporcional
Prefira “foi melhor nestas tarefas, com esta configuração” a “é o melhor modelo”. Mostre os exemplos que sustentam a decisão e os que a contradizem.