ChatGPT e altri modelli linguistici spingono la produzione di articoli scientifici: soprattutto tra i ricercatori non madrelingua inglese. Ma molti lavori scritti con l'IA faticano a superare la peer review.
Man mano che gli scienziati si affidano sempre più all'intelligenza artificiale per scrivere, programmare e persino generare idee, un nuovo studio esamina come l'IA stia trasformando la ricerca accademica.
Ciò che un tempo sembrava pettegolezzo accademico oggi riflette un cambiamento reale e misurabile nell'editoria scientifica.
I ricercatori della Cornell University, negli Stati Uniti, hanno riscontrato che i modelli linguistici di grandi dimensioni (LLM) come ChatGPT stanno aumentando la produzione di articoli, soprattutto tra gli scienziati che non sono madrelingua inglese.
Lo studio avverte però che l'aumento di articoli assistiti dall'IA rende più difficile, per revisori, finanziatori e decisori pubblici, distinguere i contributi scientifici significativi dai lavori di bassa qualità.
"È un modello molto diffuso, in diversi ambiti della scienza: dalla fisica e informatica alle scienze biologiche e sociali", ha detto Yian Yin, autore corrispondente dello studio e professore assistente di scienze dell'informazione alla Cornell Ann S. Bowers College of Computing and Information Science.
"C'è un grande cambiamento nel nostro ecosistema attuale che merita un esame molto serio, soprattutto da parte di chi decide quale scienza dovremmo sostenere e finanziare", ha aggiunto Yin.
Come i ricercatori hanno studiato l'emergere degli articoli scientifici assistiti dall'IA
Lo studio, pubblicato sulla rivista Science, ha analizzato oltre due milioni di articoli di ricerca caricati tra il 2018 e il 2024 su tre grandi piattaforme di preprint online.
Queste piattaforme ospitano le versioni iniziali degli articoli scientifici prima della revisione tra pari formale, offrendo uno sguardo in tempo reale su come lavorano i ricercatori.
Per valutare l'impatto dell'IA sulla scrittura scientifica, i ricercatori hanno addestrato un sistema di intelligenza artificiale a rilevare testi probabilmente generati da LLM. Hanno confrontato gli articoli scritti prima del 2023, quando strumenti come ChatGPT sono diventati di uso comune, con quelli successivi che mostravano chiari segnali di assistenza dell'IA.
Con questo approccio, il team ha identificato i ricercatori che con ogni probabilità usavano strumenti di IA, ha misurato come cambiava la loro produzione e ha monitorato se quegli articoli venivano poi accettati dalle riviste scientifiche.
L'assistenza dell'IA fa impennare la produttività
La loro analisi ha mostrato un forte aumento della produttività grazie all'IA.
Gli scienziati che sembravano usare strumenti di IA hanno pubblicato molti più articoli rispetto a chi non li usava.
Su una delle principali piattaforme di preprint dedicata a fisica e informatica, gli utenti dell'IA hanno prodotto circa un terzo di articoli in più. In biologia e nelle scienze sociali, l'aumento è stato ancora maggiore: oltre il 50 per cento.
I maggiori incrementi si sono visti tra i ricercatori la cui lingua madre non è l'inglese.
In alcune istituzioni asiatiche, gli scienziati hanno pubblicato tra il 40 per cento e quasi il 90 per cento di articoli in più dopo l'adozione di strumenti di scrittura basati sull'IA, a seconda della disciplina.
Gli strumenti di IA sembrano anche aiutare i ricercatori a trovare riferimenti migliori. Lo studio ha rilevato che i motori di ricerca basati sull'IA tendono a far emergere articoli più recenti e libri pertinenti, invece dei lavori più datati e frequentemente citati privilegiati dai metodi di ricerca tradizionali.
"Le persone che usano gli LLM si collegano a una conoscenza più diversificata, il che potrebbe favorire idee più creative", ha detto Keigo Kusumegi, primo autore dello studio e dottorando al Dipartimento di Scienze dell'Informazione della Cornell University.
Dubbi sulla qualità degli articoli scritti con l'IA
Ma il balzo di produttività ha anche un rovescio della medaglia. Molti articoli scritti con l'IA sono apparsi convincenti in superficie, ma avevano minori probabilità di superare la revisione tra pari.
Su tutte e tre le piattaforme di preprint, gli articoli probabilmente scritti da esseri umani che ottenevano punteggi alti in un test sulla complessità della scrittura erano i più propensi a essere accettati da una rivista scientifica.
Al contrario, gli articoli con punteggi elevati ma probabilmente scritti da LLM avevano minori probabilità di essere accettati, il che suggerisce che, nonostante un linguaggio convincente, molti di questi lavori siano stati giudicati dai revisori di scarso valore scientifico.
Secondo gli autori dello studio, l'impatto della crescente dipendenza dall'IA è destinato ad ampliarsi e i decisori pubblici dovrebbero fissare nuove regole per regolamentare un panorama tecnologico in rapida evoluzione.
"Già ora, la domanda non è, 'Hai usato l'IA?' La domanda è, 'Come esattamente hai usato l'IA e se è utile oppure no'", ha detto Yin.