Versão exata
Verifique o identificador do modelo, a data e se o alias pode mudar.
Resultados publicados e condições declaradas pelas fontes. Os números só são comparáveis quando versão, configuração, métrica e data coincidem.
| Modelo | Organização | Resultado | Métrica | Condições |
|---|---|---|---|---|
| OpenAI CSAM Image Classifier | OpenAI | 80,2% | Recall · limiar 0,996324 | Amostra do fabricante: 6.849 positivos e 40.000 negativos; precisão de 99,1%. Apenas likely-csam no limiar indicado, sem reproduzir a avaliação nem extrapolar para outros domínios. |
Verifique o identificador do modelo, a data e se o alias pode mudar.
Verifique ferramentas, esforço, número de tentativas, prompt e orçamento de inferência.
Valide o resultado com tarefas, idiomas, formatos e erros representativos do seu produto.
Um benchmark público orienta, mas não substitui uma avaliação com os teus dados, ferramentas, orçamento e tolerância ao erro.
Um alias móvel e um snapshot podem produzir resultados diferentes. Regista o modelo, a data e o fornecedor.
O prompt, o raciocínio, as ferramentas, o número de tentativas e o orçamento devem ser equivalentes para comparar.
Uma diferença pequena pode desaparecer entre execuções. Conserva amostras, dispersão e falhas, não apenas a média.
Valida se a melhoria se mantém em idiomas, formatos e casos reais próximos do teu produto.
Uma métrica só é útil quando conhecemos a tarefa, as condições e o erro que importa. O resultado começa com o desenho do teste.