Benchmark analytika

Který model je nejlepším analytikem?

Adam Fish

Adam FishCo-Founder & CEO

26. 9. 2026

Point11 pomáhá značkám uspět na trhu díky porozumění zákazníkům a prvním krokem je porozumět samotné značce. V tomto článku se dělíme o to, co jsme zjistili, když jsme dvanácti modelům svěřili práci seniorního analytika: vytvořit profily 25 firem, od jejich velikosti a záběru až po jejich trhy a konkurenci. Každý model jsme hodnotili podle kvality, rychlosti a ceny.

Paretova hranice

Tečkovaná čára je Paretova hranice: modely, které nelze překonat v inteligenci a ceně zároveň. Claude Opus 5.5 dosáhl nejvyššího skóre, ale Point11 Alpha zůstal v rámci statistické chyby za méně než poloviční cenu. Je to proto, že Alpha nespoléhá na jeden model: každý krok práce svěří modelu, který ho zvládá nejlépe. Za Alpha se čára zplošťuje, takže vyšší výdaje už nepřinášejí téměř nic.

Inteligence vs. cena

Nejatraktivnější kvadrantParetova linie

Počet variant na Paretově linii: 7 (Muse Glimmer, Gemini 3.5 Flash-Lite, GPT-6 Luna, Gemini 3.8 Flash, Muse Spark 1.3, Point11 Alpha, Claude Opus 5.5). Point11 Alpha na ní leží.

Inteligence modelů

Skóre se výrazně lišila. Nejslabší modely udělaly zhruba pětkrát více věcných chyb než ty nejsilnější, například špatný produkt nebo opomenutý trh, a Point11 Alpha jich udělal nejméně ze všech. Každé skóre kombinuje dvě věci: kvalitu, kterou naslepo hodnotil nejlepší model každé z laboratoří Anthropic, OpenAI, Google a xAI, a přesnost oproti výročním zprávám veřejně obchodovaných společností.

Inteligence

Skóre ze 100 s 95% intervaly spolehlivosti

  1. Claude Opus 5.5: 75.8
  2. Point11 Alpha: 75.1
  3. Claude Fable 5.1: 70.4
  4. GPT-6 Astra: 70.1
  5. Muse Spark 1.3: 66.3
  6. Grok 4.7: 64.8
  7. Grok 4.6: 62.9
  8. Gemini 3.8 Flash: 62.4
  9. Claude Sonnet 5: 58.4
  10. GPT-6 Luna: 57.6
  11. Gemini 3.5 Flash-Lite: 49.0
  12. Claude Haiku 4.5: 43.2
  13. Muse Glimmer: 41.8

Seřazeno podle indexu. Point11 Alpha dosahuje skóre 75.1 (95% interval spolehlivosti 72.7–77.5); nejlepší samostatný model, Claude Opus 5.5, dosahuje 75.8. Chybové úsečky znázorňují 95% intervaly.

Rychlost pracovního postupu

Nejsilnější samostatné modely patřily zároveň k nejpomalejším. Point11 Alpha skončil výrazně před nimi a ještě rychlejší byly jen lehčí modely, které dosáhly znatelně nižšího skóre. Rychlost jsme měřili od začátku do konce, včetně zpracování na straně Point11.

Rychlost

Minuty na profil, od začátku do konce

  1. Gemini 3.5 Flash-Lite: 12
  2. Gemini 3.8 Flash: 15
  3. Muse Glimmer: 16
  4. Claude Sonnet 5: 20
  5. GPT-6 Luna: 21
  6. Claude Haiku 4.5: 22
  7. Point11 Alpha: 23
  8. Muse Spark 1.3: 24
  9. Claude Opus 5.5: 38
  10. Grok 4.6: 40
  11. Grok 4.7: 44
  12. Claude Fable 5.1: 52
  13. GPT-6 Astra: 57

Od nejrychlejšího. Point11 Alpha dokončí profil za 23 min; nejrychlejší samostatný model, Gemini 3.5 Flash-Lite, potřebuje 12 min. Nejpomalejší: GPT-6 Astra. Chybové úsečky sahají k 90. percentilu.

Náklady pracovního postupu

Náklady se lišily ještě víc než kvalita: nejdražší model stál zhruba 36krát víc za profil než nejlevnější. Vyšší výdaje přinášely vyšší inteligenci jen do určité míry, se stejným zploštěním, jaké vidíte na hranici. Jde o skutečné náklady na vytvoření každého profilu, nikoli o ceníkové ceny, rozdělené do pěti fází pipeline.

Cena za úlohu

USD na profil, rozděleno podle fází pipeline

  1. Muse Glimmer: $0.27
  2. Gemini 3.5 Flash-Lite: $0.40
  3. Claude Haiku 4.5: $0.55
  4. GPT-6 Luna: $0.66
  5. Gemini 3.8 Flash: $1.05
  6. Muse Spark 1.3: $1.60
  7. Claude Sonnet 5: $2.40
  8. Point11 Alpha: $3.40
  9. Grok 4.6: $3.90
  10. GPT-6 Astra: $5.10
  11. Claude Opus 5.5: $7.40
  12. Grok 4.7: $7.90
  13. Claude Fable 5.1: $9.60

Od nejlevnějšího na profil. Muse Glimmer stojí $0.27; Point11 Alpha stojí $3.40.

Metodika

Každý model spouštěl pipeline Point11 beze změn, se stejnými prompty a výchozím nastavením své laboratoře. Point11 Alpha spouštěl tutéž pipeline, přičemž každá fáze byla přidělena modelu, který se pro ni nejlépe hodí, a čelil stejným hodnotitelům i klíčům správných odpovědí. Hodnotitelé nikdy nevěděli, který model napsal který profil, a model žádné laboratoře nehodnotil sám. Mějte na paměti, že tyto výsledky měří, jak si modely vedou v tomto pracovním postupu, nikoli jak schopné jsou obecně. Benchmark zopakujeme, jakmile vyjdou nové modely.

Pokud máte dotazy k naší metodice nebo chcete, abychom otestovali vaše vlastní podnikové pracovní postupy, obraťte se na náš obchodní tým.