evals/stream Benchmark LLMs in italiano
← tutti gli eval

Traduzione sindarin → italiano (frasi attestate)

20 domande · scoring mcq · contaminazione public

Caso d'uso: Come klingon-it, su frasi attestate di una lingua costruita: misura quanto il modello ragiona su materiale linguistico raro invece di ripescare traduzioni memorizzate.
Com'è andata

20 frasi in sindarin (l'elfico grigio di Tolkien) da tradurre in italiano, in scelta multipla. Regola ferrea: solo frasi attestate — scritte e tradotte da Tolkien — prese da Eldamo, che cita la fonte di ogni voce. Niente neo-sindarin, niente sindarin dei film (di David Salo, che non è canon).

Spread netto: DeepSeek, gpt-5.4, GLM e Sonnet fanno 100%, poi si scende fino a gpt-5.4-nano al 60% e mini al 75%. Come nel klingon, i modelli grandi reggono e i piccoli scivolano.

Cosa separa i modelli

Note di metodo

Aggiornare quando si aggiungono modelli, ripetizioni o item.