アナリスト・ベンチマーク

パレートフロンティア

点線はパレートフロンティアです。知能とコストの両方で同時に上回ることのできないモデルを示しています。最高スコアはClaude Opus 5.5でしたが、Point11 Alphaは半分以下の価格で誤差の範囲内に入りました。Alphaは1つのモデルに頼らず、作業の各ステップをそれを最も得意とするモデルに任せているからです。Alphaより先では線が平らになり、支出を増やしてもほとんど何も得られません。

モデルの知能

スコアには大きな差がありました。最も弱いモデルは、誤った製品や見落とした市場といった事実誤認を、最も強いモデルの約5倍も犯し、Point11 Alphaの誤りは全モデルの中で最も少なくなりました。各スコアは2つの要素を組み合わせたものです。Anthropic, OpenAI, GoogleとxAIのトップモデルがブラインドで採点した品質と、上場企業の年次報告書に照らした正確性です。

ワークフローの速度

単体で最も強力なモデルは、最も遅いモデルの一角でもありました。Point11 Alphaはそれらを大きく引き離して完了し、それより速かったのは、スコアが明らかに低い軽量モデルだけでした。速度は、Point11自体の処理を含めてエンドツーエンドで測定しました。

ワークフローのコスト

コストのばらつきは品質以上に大きく、最も高価なモデルはプロファイル1件あたり、最も安価なモデルの約36倍のコストがかかりました。支出を増やしても知能が向上するのはある程度までで、フロンティアに見られるのと同じ頭打ちが起きています。これらは定価ではなく、各プロファイルの作成に実際にかかったコストで、パイプラインの5つのステージ別に示しています。

評価方法

すべてのモデルは、同じプロンプトと各ラボのデフォルト設定で、Point11のパイプラインを変更せずに実行しました。Point11 Alphaも同じパイプラインを実行し、各ステージをそれに最も適したモデルに割り当てたうえで、同じ審査員と正解データで評価を受けました。審査員はどのモデルがどのプロファイルを書いたかを知らされず、単一のラボのモデルだけで採点することもありませんでした。なお、これらの結果はこのワークフローにおけるモデルの成果を測ったものであり、モデルの一般的な能力を測ったものではありません。新しいモデルが登場したら、ベンチマークを再実施します。

評価方法についてご質問がある場合や、貴社独自のエンタープライズワークフローのベンチマークをご希望の場合は、営業チームにお問い合わせください。