Traduzione klingon → italiano (proverbi)
20 domande · scoring mcq · contaminazione public
Caso d'uso: Lavorare su una lingua quasi assente dal training: proxy pulito (niente contaminazione) della capacita' di generalizzare a lingue a bassissime risorse, gerghi o nomenclature interne.
Com'è andata
20 proverbi klingon di Marc Okrand (The Klingon Way, canon) da tradurre in italiano, in scelta multipla. La verità di riferimento è la traduzione inglese di Okrand → italiano verificato: nessun giudice LLM, voto esatto. Ogni distrattore corrisponde a un errore klingon reale (comparativo invertito, negazione persa, soggetto/oggetto scambiati, aspetto, omonimia).
Spread netto: gpt-5.4, Sonnet 4.6 e GLM 5.2 fanno 100%, poi si scende fino a gpt-5.4-nano al 65% e mini al 75%. I modelli grandi riconoscono i proverbi e reggono la grammatica; i piccoli scivolano.
Cosa separa i modelli
- L'omonimo
ramè il miglior discriminatore:ramsignifica "essere insignificante" ma anche "notte". Suram meqmey("le motivazioni sono insignificanti") metà dei modelli sbaglia, tirati dal distrattore "le ragioni della notte". Un modello che parsa il klingon lo evita; uno che indovina ci casca. - Cadono anche su negazione (
lumbe'= "non procrastinano": il suffisso-be'va perso), ordine OVS/lessico (batlh ghob= "virtù con onore", con onore e virtù scambiati) e possessivo/lessico (DujlIj). - Nessun item è sbagliato da tutti: la gold è sempre raggiungibile (segno che il riferimento è sano).
Note di metodo
- Contaminazione alta (dichiarata): i proverbi sono famosi — "Heghlu'meH QaQ jajvam" ("è un buon giorno per morire") lo prendono tutti per riconoscimento, non per traduzione. La parte discriminante sono gli item con trappola grammaticale, dove il recall non basta.
- Fonte: Marc Okrand, The Klingon Way (1996), via klingonska.org. Il klingon è canon; l'italiano deriva dalla glossa inglese di Okrand.
- Formato MCQ: verificabile ed economico; misura la comprensione della frase, non la qualità della prosa generata (per quella servirebbe una metrica su reference o un giudice, più fragili).
Aggiornare quando si aggiungono modelli, ripetizioni o item.