Banco di prova dell'analista

La frontiera di Pareto

La linea punteggiata è la frontiera di Pareto: i modelli che non si possono battere contemporaneamente su intelligenza e costo. Claude Opus 5.5 ha ottenuto il punteggio più alto, ma Point11 Alpha è rientrato nel margine di errore a meno della metà del prezzo. Questo perché Alpha non si affida a un solo modello: assegna ogni fase del lavoro al modello che la svolge meglio. Oltre Alpha la linea si appiattisce, quindi spendere di più non porta quasi nulla.

Intelligenza dei modelli

I punteggi sono variati molto. I modelli più deboli hanno commesso circa cinque volte più errori fattuali dei più forti, come un prodotto sbagliato o un mercato trascurato, e Point11 Alpha ne ha commessi meno di tutti. Ogni punteggio combina due elementi: la qualità, valutata alla cieca dai modelli di punta di Anthropic, OpenAI, Google e xAI, e l'accuratezza rispetto alle relazioni annuali delle società quotate.

Velocità del flusso di lavoro

I modelli singoli più forti erano anche tra i più lenti. Point11 Alpha ha concluso con largo anticipo su di loro, e gli unici modelli ancora più veloci erano modelli più leggeri con punteggi sensibilmente inferiori. Abbiamo misurato la velocità end-to-end, compresa l'elaborazione svolta da Point11 stessa.

Costo del flusso di lavoro

Il costo è variato ancora più della qualità: per ogni profilo, il modello più caro costava circa 36 volte il più economico. Spendere di più ha portato più intelligenza solo fino a un certo punto, lo stesso appiattimento che si vede sulla frontiera. Questi sono i costi effettivi per produrre ciascun profilo, non prezzi di listino, suddivisi tra le cinque fasi della pipeline.

Metodologia

Ogni modello ha eseguito la pipeline di Point11 senza modifiche, con gli stessi prompt e le impostazioni predefinite del proprio laboratorio. Point11 Alpha ha eseguito la stessa pipeline, con ogni fase assegnata al modello più adatto, e ha affrontato gli stessi giudici e le stesse risposte di riferimento. I giudici non hanno mai saputo quale modello avesse scritto quale profilo, e nessun modello di un singolo laboratorio ha valutato da solo. Tieni presente che questi risultati misurano il rendimento dei modelli su questo flusso di lavoro, non le loro capacità in generale. Ripeteremo il benchmark man mano che usciranno nuovi modelli.

Se hai domande sulla nostra metodologia o vuoi che effettuiamo il benchmark dei flussi di lavoro della tua azienda, contatta il nostro team commerciale.