La ricerca su Intelligenza Artificiale Generativa e valutazione della produzione scritta in lingua straniera è un campo in espansione, in particolar modo nell’ambito dell’assegnazione di un punteggio o livello a testi di apprendenti, il cosiddetto automated essay scoring. La ricerca illustrata in questo saggio si inserisce in tale ambito e indaga la capacità di un large language model di valutare coerenza e coesione, in ottica sommativa e formativa. Nella sperimentazione 98 testi di apprendenti di italiano, scritti a partire da un compito di livello B1, sono stati sottoposti al modello gpt-4 perché ne valutasse coerenza e coesione. I risultati mostrano che l’accordo con i valutatori umani è moderato, tuttavia il LLM mostra una coerenza interna nell’associare numero di errori e livello di coerenza e coesione; inoltre, il LLM è in grado di fornire una valutazione potenzialmente formativa. Il saggio discute implicazioni per la valutazione e per future ricerche.
Intelligenza artificiale generativa e valutazioneIntelligenza artificiale generativa e valutazione di coerenza e coesione in Italiano LSdi coerenza e coesione in Italiano LS
Torsani Simone
2025-01-01
Abstract
La ricerca su Intelligenza Artificiale Generativa e valutazione della produzione scritta in lingua straniera è un campo in espansione, in particolar modo nell’ambito dell’assegnazione di un punteggio o livello a testi di apprendenti, il cosiddetto automated essay scoring. La ricerca illustrata in questo saggio si inserisce in tale ambito e indaga la capacità di un large language model di valutare coerenza e coesione, in ottica sommativa e formativa. Nella sperimentazione 98 testi di apprendenti di italiano, scritti a partire da un compito di livello B1, sono stati sottoposti al modello gpt-4 perché ne valutasse coerenza e coesione. I risultati mostrano che l’accordo con i valutatori umani è moderato, tuttavia il LLM mostra una coerenza interna nell’associare numero di errori e livello di coerenza e coesione; inoltre, il LLM è in grado di fornire una valutazione potenzialmente formativa. Il saggio discute implicazioni per la valutazione e per future ricerche.
I documenti in IRIS sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.
