evals/stream Benchmark LLMs in italiano
← tutti gli eval

Magazzino PMI, errori muti: niente feedback sui tool (italiano)

8 domande · scoring agentic · contaminazione none

Caso d'uso: Lo stesso gestionale di magazzino-it, ma con API che rifiutano senza spiegare (come tanti gestionali veri): l'agente deve capire da solo perche' una chiamata e' stata respinta e correggersi.

Cosa misura

Il gemello muto di magazzino-it: stessi 8 task, stesso magazzino, stessi check binari sullo stato finale. L'unica differenza è nel contratto dei tool: nella variante base una chiamata invalida risponde ok: false con un errore esplicativo (quale sku esiste, qual è il lotto minimo, quanta giacenza manca); qui risponde {"ok": false} secco — come tanti gestionali veri.

È un A/B controllato sul feedback correttivo: il delta tra le due colonne, a parità di tutto il resto, misura quanto un modello dipende dall'ambiente che gli spiega gli errori, e quanto invece sa diagnosticare da solo — rileggere i dati, ricostruire il vincolo violato, correggere la chiamata.

L'ipotesi da verificare: sui task dove la prima mossa "ingenua" viene respinta (la copertura M2, il lotto M5 se si parte dal fornitore sbagliato, l'evasione con giacenza insufficiente), i modelli piccoli senza feedback girano a vuoto o si arrendono; i grandi ricostruiscono il motivo dai dati che hanno già letto.

Com'è andata

Tredici modelli cloud (due ripetizioni su Haiku/mini/nano): al 100% Opus 4.8, Fable 5, GPT-5.5, Sonnet 5 e GLM 5.2 — i cinque che saturano l'intera matrice PMI, muto compreso (GLM a $0.22 il giro completo, Fable a $3.57: stesso 32/32 a un sedicesimo del prezzo). GPT-5.4 75: oltre all'M2 canonico cade sulla trappola M5 (ImportSud, prezzo unitario minimo ma lotto 50 → 500 € contro i 440 di TorrefazioneNord), che in base aveva superato — errore di pianificazione, nessun ko coinvolto. Sonnet 87.5 contro il suo 100% in base: cade su M2, ordina 10 pezzi di CF-02 da CaffeItalia (92 €) invece dei 4 mancanti da GrossMarket (40 €) — nella base è l'errore esplicativo di evadi_ordine ("servono 10, disponibili 6") a dargli il fabbisogno, qui deve calcolarselo e sbaglia interpretazione. Haiku 93.75 (87.5–100): rep 1 identica alla base, ma in rep 2 azzecca proprio M2 con GrossMarket ×4. DeepSeek Pro 87.5: anche lui risolve M2 nel muto (e lo sbaglia in base!), ma butta via M1 — il task più facile — col suo vizio del narratore: annuncia "recupero l'ordine e la situazione di magazzino", fa due letture e chiude il turno senza mai chiamare evadi_ordine. qwen3-235b e Flash 87.5 (M2 canonico, delta zero), mini 75 (stabile), Kimi 62.5 — il crollo più netto dal suo 100% in base: oltre all'M2 canonico fa il narratore su M5 (stampa la tabella comparativa dei fornitori e chiude senza ordinare) e butta M1 con un turno vuoto dopo una richiesta OpenRouter rimasta appesa (artefatto di rete più che diagnosi, da rigirare) — nano 56.25 (50–62.5).

Il quadro dopo 2 rep: sul magazzino il muto non produce il crollo visto in agenda-muto, perché gli errori tipici qui sono di pianificazione — quantità sbagliate, catene che si spezzano — con chiamate sintatticamente valide: il ko (e quindi il feedback) spesso non scatta proprio. Dove invece i ko silenziosi arrivano, fanno danni veri: nano in rep 2 su M3 infila dieci ordina_fornitore consecutivi respinti o sbagliati, accumulando ordini errati fino al 50% complessivo.

Nota metodologica confermata: il delta base/muto per-modello su questi campioni oscilla (Haiku ha fatto meglio nel muto), quindi i confronti seri vanno fatti sul come falliscono e con più ripetizioni; il segnale robusto resta M2 — 15 successi su 38 run tra base e muto, e solo i cinque saturatori lo tengono in entrambe le varianti.

Note di metodo