IA promossa in grammatica ma sbaglia le citazioni: lo studio

Quasi tutti gli studenti, sia a scuola che all’università, ormai usano l’intelligenza artificiale per farsi aiutare con i compiti o per prepararsi agli esami. Ma ci i può davvero fidare delle risposte date da questa tecnologia? Uno studio ha verificato quanto siano attendibili le informazioni dell’IA su quesiti relativi a determinate materie scolastiche. Il risultato è una promozione solo in grammatica.

Lo studio su IA e grammatica

Libreriamo ha realizzato uno studio basato sull’analisi di quasi 1.500 interazioni con sistemi di intelligenza artificiale generativa, condotte nell’arco di circa un anno.

Le richieste sono state costruite per simulare l’utilizzo reale che solitamente viene fatto da studenti, lettori e divulgatori. La ricerca ha riguardato sette ambiti: letteratura, poesia, libri, citazioni d’autore, massime filosofiche, opere d’arte, grammatica italiana (categoria di controllo).

Ogni categoria è stata analizzata su 200 interazioni, con verifica sistematica delle risposte rispetto alle fonti originali. Le risposte sono state classificate in tre categorie: corrette e verificabili; plausibili ma non verificabili; errate o con attribuzioni scorrette.

Il risultato è stato che, nella maggior parte dei casi, ChatGPT, Gemini e Claude hanno dato risposte con contenuti che appaiono coerenti e credibili, ma che non trovano riscontro nei testi originali.

La pagella dell’IA

Nello studio, l’intelligenza artificiale risulta promossa solo in grammatica.

In particolare, dai dati dell’analisi, come riporta Agi che ha avuto accesso al report, emerge che in media circa il 38% delle risposte è corretto e verificabile, ben il 44% rientra nella categoria dei contenuti plausibili e il 19% presenta errori evidenti o attribuzioni chiaramente false.

Si salva solo la grammatica italiana, per il resto è tutto plausibile o falso. In letteratura, solo il 35% delle risposte risulta pienamente corretto, mentre il 45% è costituito da contenuti plausibili e il 20% da errori.

Ancora peggio se si interroga l’IA sulla poesia, dove la correttezza scende al 30% e la plausibilità raggiunge il 50%.

Nel caso dei libri, il 25% delle risposte è corretto e un ulteriore 59% plausibile. Gli errori si attestano al 16%. Tuttavia, questa apparente affidabilità nasconde un processo di semplificazione. La correttezza riguarda spesso la struttura generale, mentre la profondità e la complessità dell’opera vengono ridotte.

Gli errori nelle citazioni

L’intelligenza artificiale potrebbe vincere un premio nella generazione di contenuti "falsi d’autore".

Nelle citazioni e nelle massime filosofiche, infatti, la plausibilità supera sistematicamente il 60% – raggiungendo il 62% nelle citazioni e il 65% nella filosofia – mentre la correttezza si ferma rispettivamente al 15% e al 13%. Le attribuzioni false sono rispettivamente 23% e 22%.

Dallo studio emerge quindi che, nella maggior parte dei casi, l’intelligenza artificiale non restituisce ciò che è stato scritto, ma ciò che potrebbe essere stato scritto. Il pensiero viene ricostruito, adattato, reso coerente con un’immagine dell’autore, ma perde il legame con il testo. Le opere d’arte si collocano in una posizione intermedia, con il 38% di correttezza e il 42% di plausibilità. Il "falso d’autore" è il 20%.

L’IA tende inoltre a proporre in modo ricorrente un numero limitato di autori, associandoli a specifici temi e riducendone la complessità.

I dieci letterati e pensatori più frequentemente suggeriti, trasversalmente alle categorie analizzate sono:

• Friedrich Nietzsche
• Seneca
• Socrate
• Platone
• Søren Kierkegaard
• William Shakespeare
• Dante Alighieri
• Charles Bukowski
• Emily Dickinson
• Albert Camus