Banco de pruebas de analistas

La frontera de Pareto

La línea punteada es la frontera de Pareto: los modelos que no se pueden superar en inteligencia y costo a la vez. Claude Opus 5.5 obtuvo la puntuación más alta, pero Point11 Alpha quedó dentro del margen de error por menos de la mitad del precio. Esto se debe a que Alpha no depende de un solo modelo: asigna cada paso del trabajo al modelo que mejor lo hace. Más allá de Alpha, la línea se aplana, así que gastar más no aporta casi nada.

Inteligencia de los modelos

Las puntuaciones variaron mucho. Los modelos más débiles cometieron aproximadamente cinco veces más errores factuales que los más sólidos, como un producto equivocado o un mercado omitido, y Point11 Alpha fue el que menos cometió. Cada puntuación combina dos cosas: la calidad, evaluada a ciegas por el mejor modelo de Anthropic, OpenAI, Google y xAI, y la precisión frente a los informes anuales de empresas cotizadas.

Velocidad del flujo de trabajo

Los modelos individuales más sólidos también estuvieron entre los más lentos. Point11 Alpha terminó muy por delante de ellos, y los únicos modelos aún más rápidos fueron otros más ligeros que obtuvieron puntuaciones notablemente más bajas. Medimos la velocidad de principio a fin, incluido el procesamiento propio de Point11.

Costo del flujo de trabajo

El costo varió todavía más que la calidad: el modelo más caro costó unas 36 veces más por perfil que el más barato. Gastar más solo compraba más inteligencia hasta cierto punto, el mismo aplanamiento que se ve en la frontera. Son los costos reales de producir cada perfil, no precios de lista, repartidos entre las cinco etapas del pipeline.

Metodología

Cada modelo ejecutó el pipeline de Point11 sin cambios, con los mismos prompts y la configuración predeterminada de su laboratorio. Point11 Alpha ejecutó ese mismo pipeline, con cada etapa asignada al modelo más adecuado para ella, y se enfrentó a los mismos jueces y a las mismas claves de respuestas. Los jueces nunca supieron qué modelo había escrito cada perfil, y ningún modelo de un solo laboratorio evaluó por sí solo. Ten en cuenta que estos resultados miden cómo rinden los modelos en este flujo de trabajo, no lo capaces que son en general. Volveremos a ejecutar el benchmark a medida que salgan nuevos modelos.

Si tienes preguntas sobre nuestra metodología o quieres que evaluemos tus propios flujos de trabajo empresariales, ponte en contacto con nuestro equipo de ventas.