애널리스트 벤치마크

파레토 프런티어

점선은 파레토 프런티어로, 지능과 비용 두 측면에서 동시에 앞설 수 없는 모델들을 나타냅니다. Claude Opus 5.5의 점수가 가장 높았지만, Point11 Alpha는 절반도 안 되는 가격으로 오차 범위 안에 들었습니다. Alpha는 하나의 모델에 의존하지 않고, 작업의 각 단계를 그 단계를 가장 잘 수행하는 모델에 맡기기 때문입니다. Alpha를 지나면 선이 평평해지므로, 더 많이 지출해도 얻는 것이 거의 없습니다.

모델 지능

점수 차이는 컸습니다. 가장 약한 모델은 잘못된 제품이나 놓친 시장 같은 사실 오류를 가장 강한 모델보다 약 5배 많이 냈고, Point11 Alpha의 오류는 모든 모델 중 가장 적었습니다. 각 점수는 두 가지를 결합한 것입니다. Anthropic, OpenAI, Google 및 xAI의 최상위 모델이 블라인드로 평가한 품질, 그리고 상장 기업의 연례 보고서와 대조한 정확성입니다.

워크플로 속도

가장 강력한 단일 모델들은 가장 느린 모델에 속하기도 했습니다. Point11 Alpha는 이들보다 훨씬 빠르게 완료했으며, 이보다 더 빠른 모델은 점수가 눈에 띄게 낮은 경량 모델뿐이었습니다. 속도는 Point11 자체 처리를 포함해 처음부터 끝까지 측정했습니다.

워크플로 비용

비용은 품질보다 훨씬 더 큰 차이를 보였습니다. 가장 비싼 모델은 프로필 1건당 가장 저렴한 모델의 약 36배 비용이 들었습니다. 더 많이 지출해도 지능은 일정 수준까지만 높아졌으며, 이는 프런티어에서 볼 수 있는 것과 같은 평탄화입니다. 이 수치는 정가가 아니라 각 프로필을 만드는 데 실제로 든 비용이며, 파이프라인의 5개 단계별로 나누어 표시했습니다.

방법론

모든 모델은 동일한 프롬프트와 각 연구소의 기본 설정으로 Point11의 파이프라인을 그대로 실행했습니다. Point11 Alpha도 같은 파이프라인을 실행하되 각 단계를 가장 적합한 모델에 배정했으며, 동일한 심사자와 정답 기준으로 평가받았습니다. 심사자는 어떤 모델이 어떤 프로필을 작성했는지 알지 못했으며, 어느 한 연구소의 모델이 단독으로 평가하지도 않았습니다. 이 결과는 모델의 전반적인 역량이 아니라 이 워크플로에서의 성과를 측정한 것이라는 점에 유의하세요. 새로운 모델이 출시되면 벤치마크를 다시 실행할 예정입니다.

방법론에 대해 궁금한 점이 있거나 귀사의 엔터프라이즈 워크플로 벤치마크를 원하시면 영업팀에 문의하세요.