Banc d’essai des analystes

La frontière de Pareto

La ligne pointillée représente la frontière de Pareto : les modèles impossibles à battre à la fois sur l’intelligence et sur le coût. Claude Opus 5.5 a obtenu le meilleur score, mais Point11 Alpha s’est situé dans la marge d’erreur pour moins de la moitié du prix. C’est parce qu’Alpha ne repose pas sur un seul modèle : il confie chaque étape du travail au modèle qui l’exécute le mieux. Au-delà d’Alpha, la ligne s’aplatit : dépenser plus n’apporte presque rien.

Intelligence des modèles

Les scores ont beaucoup varié. Les modèles les plus faibles ont commis environ cinq fois plus d’erreurs factuelles que les plus solides, comme un mauvais produit ou un marché oublié, et Point11 Alpha en a commis le moins de tous. Chaque score combine deux éléments : la qualité, évaluée à l’aveugle par le meilleur modèle de Anthropic, OpenAI, Google et xAI, et l’exactitude par rapport aux rapports annuels des sociétés cotées.

Vitesse du workflow

Les modèles individuels les plus performants comptaient aussi parmi les plus lents. Point11 Alpha a terminé bien avant eux, et les seuls modèles encore plus rapides étaient des modèles plus légers aux scores nettement inférieurs. Nous avons mesuré la vitesse de bout en bout, y compris le traitement propre à Point11.

Coût du workflow

Le coût a varié encore plus que la qualité : le modèle le plus cher a coûté environ 36 fois plus par profil que le moins cher. Dépenser davantage n’a apporté plus d’intelligence que jusqu’à un certain point, le même aplatissement que l’on observe sur la frontière. Il s’agit des coûts réels de production de chaque profil, et non des prix catalogue, répartis entre les cinq étapes du pipeline.

Méthodologie

Chaque modèle a exécuté le pipeline de Point11 sans modification, avec les mêmes prompts et les paramètres par défaut de son laboratoire. Point11 Alpha a exécuté ce même pipeline, chaque étape étant confiée au modèle le plus adapté, et a affronté les mêmes juges et les mêmes corrigés. Les juges ne savaient jamais quel modèle avait rédigé quel profil, et aucun modèle d’un seul laboratoire n’a jugé seul. Gardez à l’esprit que ces résultats mesurent la performance des modèles sur ce workflow, et non leurs capacités en général. Nous relancerons le benchmark à mesure que de nouveaux modèles sortiront.

Si vous avez des questions sur notre méthodologie, ou si vous souhaitez que nous évaluions vos propres workflows d’entreprise, contactez notre équipe commerciale.