giovedì 27 luglio 2023
Le capacità matematiche di ChatGpt stanno crollando. È questa la tesi, in controtendenza, contenuta in uno studio della Stanford University e dell’Università della California, Berkeley. L’obiettivo è quello di mostrare i cambiamenti del software d’Intelligenza artificiale. La ricerca s’intitola Come cambia il comportamento di ChatGpt nel tempo? Ed è pubblicata su arXiv (quindi in attesa di revisione da parte della comunità scientifica). È stata condotta da Lingjiao Chen, Matei Zaharia e James Zou. I tre ricercatori hanno messo in dubbio le prestazioni costanti dei modelli di linguaggio di grandi dimensioni (Llm) di OpenAi, in particolare Gpt-3.5 e Gpt-4. Hanno testato le versioni di marzo e giugno 2023 su attività come la risoluzione di problemi matematici, la risposta a domande sensibili, la generazione di codice e il ragionamento visivo. In particolare, la capacità di Gpt-4 di identificare i numeri primi è precipitata drasticamente – secondo lo studio – da una precisione del 97,6 per cento di marzo a solo il 2,4 per cento di giugno. Gpt-3.5, invece, ha mostrato prestazioni migliorate.
Questa ricerca – spiega la testata specializzata ArsTechnica – arriva in scia delle lamentele di alcuni utenti sulle prestazioni del chatbot. Tra le teorie del calo, il tentativo di risparmiare energie computazionali per accelerare le risposte del software, ma anche una mossa dell’azienda per far pagare agli utenti capacità aggiuntive. “Non abbiamo reso Gpt-4 più stupido, quando si usa in maniera più intensiva si iniziano a notare problemi che non si vedevano prima”, ha scritto in un tweet Peter Welinde, vicepresidente prodotto di OpenAi. Arvind Narayanan, professore di informatica all’Università di Princeton, ritiene che “i risultati dello studio non dimostrino in modo definitivo un calo delle prestazioni di Gpt-4”.
di Redazione