Sembra che l’era del Transformer, l’architettura che ha dominato il panorama dell’IA moderna, possa essere di fronte a una sfidante rivoluzione. Secondo nuove ricerche, tre dei modelli linguistici più avanzati—Claude Opus 5.5, GPT-6.1 Sol e GPT-6 Astra—hanno ricevuto un compito intrigante: progettare un’architettura neurale da zero, senza poter ricorrere al tradizionale ‘gradient descent’ per l’addestramento. I risultati sono stati sorprendenti. I tre giganti dell’IA hanno convergiato su un’unica soluzione: le ‘sparse lookup tables’ (tabelle di ricerca sparse). Queste strutture, fondamentalmente database di fatti, hanno permesso di superare i blocchi Transformer convenzionali. Il design più promettente, proveniente da Claude Opus 5.5, ha raggiunto un’accuratezza del 54.4% sul benchmark ARC, battendo nettamente un Transformer di pari dimensione addestrato con il metodo classico, che ha fatto flop al 29.8%. Il bello è il rapporto di potenza: la nuova architettura è stima di essere 1.800 volte più piccola e opera fino a 17 volte più velocemente su GPU. Inoltre, offre una trasparenza impareggiabile, poiché ogni previsione può essere tracciata direttamente a una specifica riga di fatto modificabile. Sebbene gli scienziati abbiano messo in guardia sul fatto che il test è molto specifico e i punteggi su altri benchmark (come MMLU) siano ancora mediocri, questa scoperta solleva una domanda profonda: se i modelli LLM scrivono i pesi a mano, perché avrebbero bisogno di gradient descent? Sembra che l’industria stia per rivedere le fondamenta su cui poggia la nostra attuale corsa all’Intelligenza Artificiale.
🇬🇧 Summary in English
The Transformer architecture, the reigning champion of modern AI, might just be facing its biggest rival yet. According to new research, three of the most sophisticated LLMs—Claude Opus 5.5, GPT-6.1 Sol, and GPT-6 Astra—were given a unique challenge: design a neural network from scratch without relying on the traditional, heavy-duty ‘gradient descent’ training process. What they came up with was far from expecting: all three converged on ‘sparse lookup tables.’ Essentially, they designed structures that operate like highly efficient, fact-based databases. This novel approach outperformed conventional Transformer blocks. The best design, achieved by Claude Opus 5.5, hit 54.4% accuracy on the ARC benchmark, significantly eclipsing a similarly sized Transformer trained with the classic method, which scored a paltry 29.8%. The real mind-blowing metrics are the savings: the new tables are estimated to be 1,800 times smaller and run up to 17 times faster on GPUs. Plus, they offer amazing transparency—every single prediction can be traced back to an editable fact row. While the researchers cautioned that the test scope is narrow and the models still lag far behind pre-trained baselines, the implications are massive. It suggests that if LLMs are capable of designing weights manually, they might not need the foundational machinery (like gradient descent) that has defined AI for the past decade. The field may need a total rethink.
Leggi l’articolo originale su Reddit →
Fonte: Reddit | Argomento: Intelligenza Artificiale
#tecnologia #innovazione #technews