Banco de Provas do Analista

A fronteira de Pareto

A linha pontilhada é a fronteira de Pareto: os modelos que não podem ser superados em inteligência e custo ao mesmo tempo. Claude Opus 5.5 obteve a maior pontuação, mas Point11 Alpha ficou dentro da margem de erro por menos da metade do preço. Isso porque o Alpha não depende de um único modelo; ele entrega cada etapa do trabalho ao modelo que a executa melhor. Depois do Alpha, a linha se achata, e gastar mais quase não traz ganho.

Inteligência dos modelos

As pontuações variaram muito. Os modelos mais fracos cometeram cerca de cinco vezes mais erros factuais do que os mais fortes, como um produto errado ou um mercado esquecido, e Point11 Alpha foi o que menos errou. Cada pontuação combina dois fatores: a qualidade, avaliada às cegas pelos modelos de ponta de Anthropic, OpenAI, Google e xAI, e a precisão em relação aos relatórios anuais de empresas de capital aberto.

Velocidade do fluxo de trabalho

Os modelos individuais mais fortes também estavam entre os mais lentos. Point11 Alpha terminou bem à frente deles, e os únicos modelos ainda mais rápidos eram modelos mais leves, com pontuações visivelmente mais baixas. Medimos a velocidade de ponta a ponta, incluindo o próprio processamento do Point11.

Custo do fluxo de trabalho

O custo variou ainda mais do que a qualidade: o modelo mais caro custou cerca de 36 vezes mais por perfil do que o mais barato. Gastar mais só trouxe mais inteligência até certo ponto, o mesmo achatamento que se vê na fronteira. Estes são os custos reais de produzir cada perfil, não preços de tabela, divididos entre as cinco etapas do pipeline.

Metodologia

Todos os modelos executaram o pipeline do Point11 sem alterações, com os mesmos prompts e as configurações padrão do seu laboratório. Point11 Alpha executou esse mesmo pipeline, com cada etapa atribuída ao modelo mais adequado a ela, e enfrentou os mesmos juízes e gabaritos. Os juízes nunca souberam qual modelo escreveu cada perfil, e nenhum modelo de um único laboratório avaliou sozinho. Tenha em mente que esses resultados medem o desempenho dos modelos neste fluxo de trabalho, não sua capacidade em geral. Vamos refazer o benchmark à medida que novos modelos forem lançados.

Se você tiver dúvidas sobre nossa metodologia ou quiser que façamos o benchmark dos fluxos de trabalho da sua própria empresa, fale com nossa equipe de vendas.