Benchmark analityka

Front Pareto

Linia kropkowana to front Pareto: modele, których nie da się jednocześnie pokonać pod względem inteligencji i kosztu. Claude Opus 5.5 uzyskał najwyższy wynik, ale Point11 Alpha zmieścił się w granicach błędu za mniej niż połowę ceny. Dzieje się tak, ponieważ Alpha nie polega na jednym modelu: każdy etap pracy przekazuje temu modelowi, który wykonuje go najlepiej. Za Alpha linia się wypłaszcza, więc większe wydatki nie dają już prawie nic.

Inteligencja modeli

Wyniki znacznie się różniły. Najsłabsze modele popełniały około pięć razy więcej błędów merytorycznych niż najsilniejsze, takich jak błędnie wskazany produkt czy pominięty rynek, a Point11 Alpha popełnił ich najmniej ze wszystkich. Każdy wynik łączy dwa elementy: jakość, ocenianą na ślepo przez najlepszy model każdego z laboratoriów Anthropic, OpenAI, Google i xAI, oraz zgodność z raportami rocznymi spółek giełdowych.

Szybkość procesu

Najsilniejsze pojedyncze modele należały też do najwolniejszych. Point11 Alpha ukończył pracę wyraźnie przed nimi, a szybsze były jedynie lżejsze modele, które uzyskały zauważalnie niższe wyniki. Szybkość mierzyliśmy od początku do końca, łącznie z przetwarzaniem po stronie Point11.

Koszt procesu

Koszty różniły się jeszcze bardziej niż jakość: najdroższy model kosztował około 36 razy więcej za profil niż najtańszy. Większe wydatki dawały większą inteligencję tylko do pewnego momentu; to samo wypłaszczenie widać na froncie Pareto. Są to rzeczywiste koszty sporządzenia każdego profilu, a nie ceny katalogowe, rozbite na pięć etapów pipeline’u.

Metodologia

Każdy model uruchamiał pipeline Point11 bez zmian, z tymi samymi promptami i domyślnymi ustawieniami swojego laboratorium. Point11 Alpha korzystał z tego samego pipeline’u, przy czym każdy etap przypisano najlepiej do niego dopasowanemu modelowi, i mierzył się z tymi samymi sędziami i kluczami odpowiedzi. Sędziowie nigdy nie wiedzieli, który model napisał który profil, a model żadnego laboratorium nie oceniał w pojedynkę. Pamiętaj, że te wyniki pokazują, jak modele radzą sobie w tym konkretnym procesie, a nie jakie mają ogólne możliwości. Powtórzymy benchmark, gdy pojawią się nowe modele.

Jeśli masz pytania dotyczące naszej metodologii lub chcesz, abyśmy przeprowadzili benchmark procesów biznesowych Twojej firmy, skontaktuj się z naszym zespołem sprzedaży.