Analysten-Benchmark

Welches Modell ist der beste Analyst?

Adam FishCo-Founder & CEO

26. Sept. 2026

Point11 hilft Marken, ihren Markt zu gewinnen, indem sie ihre Kunden verstehen, und der erste Schritt ist, die Marke selbst zu verstehen. In diesem Beitrag teilen wir, was wir herausfanden, als wir ein Dutzend Modelle mit der Arbeit eines Senior-Analysten beauftragten: Profile von 25 Unternehmen zu erstellen, von ihrer Größe und ihrem Tätigkeitsfeld bis zu ihren Märkten und Wettbewerbern. Wir haben jedes Modell nach Qualität, Geschwindigkeit und Kosten bewertet.

Die Pareto-Grenze

Die gepunktete Linie ist die Pareto-Grenze: die Modelle, die sich bei Intelligenz und Kosten nicht gleichzeitig übertreffen lassen. Claude Opus 5.5 erzielte die höchste Punktzahl, doch Point11 Alpha lag für weniger als die Hälfte des Preises innerhalb der Fehlermarge. Das liegt daran, dass Alpha sich nicht auf ein einzelnes Modell verlässt, sondern jeden Arbeitsschritt dem Modell übergibt, das ihn am besten erledigt. Jenseits von Alpha flacht die Linie ab, sodass höhere Ausgaben fast nichts mehr bringen.

Intelligenz vs. Kosten

Attraktivster QuadrantPareto-Linie

Modellintelligenz

Die Punktzahlen gingen weit auseinander. Die schwächsten Modelle machten etwa fünf Mal so viele Faktenfehler wie die stärksten, zum Beispiel ein falsches Produkt oder einen übersehenen Markt, und Point11 Alpha machte die wenigsten von allen. Jede Punktzahl vereint zwei Dinge: Qualität, blind bewertet von den Spitzenmodellen von Anthropic, OpenAI, Google und xAI, und Genauigkeit gemessen an den Geschäftsberichten börsennotierter Unternehmen.

Intelligenz

Punktzahl von 100, mit 95-%-Konfidenzintervallen

Workflow-Geschwindigkeit

Die stärksten Einzelmodelle gehörten auch zu den langsamsten. Point11 Alpha war deutlich vor ihnen fertig, und schneller waren nur noch leichtere Modelle, die spürbar schlechter abschnitten. Wir haben die Geschwindigkeit von Anfang bis Ende gemessen, einschließlich der eigenen Verarbeitung von Point11.

Geschwindigkeit

Minuten pro Unternehmensprofil, von Anfang bis Ende

Workflow-Kosten

Die Kosten schwankten noch stärker als die Qualität: Das teuerste Modell kostete pro Profil etwa 36-mal so viel wie das günstigste. Höhere Ausgaben brachten nur bis zu einem gewissen Punkt mehr Intelligenz, dieselbe Abflachung, die Sie auch an der Pareto-Grenze sehen. Dies sind die tatsächlichen Kosten für die Erstellung jedes Profils, keine Listenpreise, aufgeteilt auf die fünf Stufen der Pipeline.

Kosten pro Aufgabe

USD pro Unternehmensprofil, gestapelt nach Pipeline-Stufe

Methodik

Jedes Modell durchlief die Pipeline von Point11 unverändert, mit denselben Prompts und den Standardeinstellungen seines Labs. Point11 Alpha durchlief dieselbe Pipeline, wobei jede Stufe dem dafür am besten geeigneten Modell zugewiesen war, und stellte sich denselben Juroren und Musterlösungen. Die Juroren wussten nie, welches Modell welches Profil geschrieben hatte, und kein Modell eines einzelnen Labs bewertete allein. Beachten Sie, dass diese Ergebnisse messen, wie Modelle bei diesem Workflow abschneiden, nicht wie leistungsfähig sie im Allgemeinen sind. Wir werden den Benchmark wiederholen, sobald neue Modelle erscheinen.

Wenn Sie Fragen zu unserer Methodik haben oder möchten, dass wir Ihre eigenen Unternehmens-Workflows einem Benchmark unterziehen, wenden Sie sich an unser Vertriebsteam.