scenario AI, alla ricerca di alternative al transformer: a che punto siamo Commenta l’articolo Indirizzo copiato Il transformer domina i modelli linguistici dal 2017, ma costi, cache in crescita e contesti sempre più lunghi ne mostrano i limiti. Startup e laboratori sperimentano attenzione sparsa, power retention, modelli ibridi, diffusione e architetture per trovare alternative più efficienti e flessibili Pubblicato il 30 set 2026 Riccardo Petricca Esperto Industria 4.0 Innovation Manager Chiedi all’AI Riassumi questo articolo Approfondisci con altre fonti Aggiungi tra i preferiti su Google Nel giugno del 2017 un gruppo di ricercatori di Google pubblicò su arXiv un lavoro dal titolo poco solenne, “ Attention Is All You Need ”, in cui veniva descritta una rete neurale battezzata transformer. Chi allora lavorava sull’elaborazione del linguaggio naturale usava reti ricorrenti che masticavano le sequenze un passo alla volta e sulle GPU rendevano male, perché il calcolo era seriale. Il transformer risolse il problema in modo brutalmente elegante, sostituendo la ricorrenza con un meccanismo di attenzione che confronta ogni token con tutti gli altri in una moltiplicazione di matrici, quindi parallelizzabile. Nove anni dopo quel blocco è ancora il cuore di ogni modello linguistico commerciale , ed è la sua onnipresenza a renderne evidenti i limiti. Indice degli argomenti Perché servono alternative al transformer Il punto debole lo conosce chiunque abbia profilato l’inferenza di un m
🇬🇧 Summary in English
scenario AI, alla ricerca di alternative al transformer: a che punto siamo Commenta l’articolo Indirizzo copiato Il transformer domina i modelli linguistici dal 2017, ma costi, cache in crescita e contesti sempre più lunghi ne mostrano i limiti. Startup e laboratori sperimentano attenzione sparsa, power retention, modelli ibridi, diffusione e architetture per trovare alternative più efficienti e flessibili Pubblicato il 30 set 2026 Riccardo Petricca Esperto Industria 4.0 Innovation Manager Chiedi all’AI Riassumi questo articolo Approfondisci con altre fonti Aggiungi tra i preferiti su Google Nel giugno del 2017 un gruppo di ricercatori di Google pubblicò su arXiv un lavoro dal titolo poco solenne, “ Attention Is All You Need ”, in cui veniva descritta una rete neurale battezzata transformer. Chi allora lavorava sull’elaborazione del linguaggio naturale usava reti ricorrenti che masticavano le sequenze un passo alla volta e sulle GPU rendevano male, perché il calcolo era seriale. Il transformer risolse il problema in modo brutalmente elegante, sostituendo la ricorrenza con un meccanismo di attenzione che confronta ogni token con tutti gli altri in una moltiplicazione di matrici, quindi parallelizzabile. Nove anni dopo quel blocco è ancora il cuore di ogni modello linguistico commerciale , ed è la sua onnipresenza a renderne evidenti i limiti. Indice degli argomenti Perché servono alternative al transformer Il punto debole lo conosce chiunque abbia profilato l’inferenza di un m
Leggi l’articolo originale su Agenda Digitale →
Fonte: Agenda Digitale | Argomento: Tech News
#tecnologia #innovazione #technews