Sembra la fine dei modelli AI giganteschi ed esigenti. Thinking Machines, lo studio guidato da Mira Murati e ex CTO di OpenAI, ha fatto un colpo con il lancio di Inkling-Small. Non solo è l’evoluzione open source del suo primo modello, ma sembra anche una risposta al problema della potenza incontrollata. Inkling-Small si presenta come un modello multimodale da 276 miliardi di parametri, con una licenza Apache 2.0 che lo rende super accessibile per tutti i programmatori curiosi. Il bello è che riesce a mantenere prestazioni quasi pari al suo predecessore gigante (Inkling), ma riducendo drasticamente il consumo di risorse. Mentre l’originale Inkling contava internamente per circa 975 miliardi di parametri e richiedeva un sacco di potenza, la nuova versione lavora con soli 12 miliardi di parametri attivi per token. Questo significa che i developer guadagnano meno capacità perdendo tanto in termini di costo computazionale e impronta operativa. Anche se non è pensata per il tuo laptop da scrivania (attenzione!), si rivela perfetta per le aziende dotate di GPU dedicate, rendendo l’integrazione molto più digeribile. Inoltre, Inkling-Small non solo approccia lo score dell’indice Artificial Analysis del precedente con un punteggio altissimo; su specifiche sfide come il coding o i sistemi di ragionamento, addirittura supera la bestia originaria. Grazie a una struttura sofisticata nota come Mixture-of-Experts (MoE), che permette al modello di attivare solo ‘un pezzo’ della sua conoscenza quando ne ha bisogno, l’AI rimane potente ma efficiente. È multimodale fin dalla nascita: gestisce testo, immagini e audio insieme in un unico flusso. Sebbene per i compiti fattuali ad alto rischio ci sia ancora bisogno del controllo umano (ricordiamoci che non è perfetto su tutto!), Inkling-Small si preannuncia come una bomba per gli assistenti di codice, i sistemi RAG e le applicazioni agentiche.
🇬🇧 Summary in English
Say hello to AI that doesn’t require a dedicated data center just to start up. Two weeks after unveiling the initial open-source model, Thinking Machines—the highly touted startup led by former OpenAI CTO Mira Murati—has dropped Inkling-Small, and it might be the answer to the ‘power vs. practicality’ conundrum in AI. This new model is a 276-billion-parameter multimodal powerhouse, wrapped up in a permissive Apache 2.0 license, making it ridiculously attractive for developers everywhere. The real magic? It maintains performance levels almost identical to its colossal predecessor (Inkling) while significantly gutting the computational overhead. Where the original Inkling required an internal scale of roughly 975 billion parameters and was pure brute force, Inkling-Small operates using only 12 billion active parameters per token. For enterprise developers, this isn’t just about being smaller; it’s about keeping capability high while slashing compute requirements and deployment footprints. While admitting that it won’t run on your cute little laptop, it’s significantly more manageable than the flagship for companies with some dedicated GPU resources. Furthermore, Inkling-Small doesn’t just match its predecessor’s impressive score on the Artificial Analysis Index; on several specific benchmarks—like coding and reasoning tasks—it actually edges it out. Its secret sauce is a sparse Mixture-of-Experts (MoE) architecture. Instead of using all its learned capacity every time, it strategically routes input tokens through only a fraction of its specialized knowledge ‘experts.’ This allows the AI to remain robust yet efficient. Plus, it’s natively multimodal, handling text, images, and audio seamlessly within a single framework. Thinkling-Small looks set to dominate coding assistants, RAG systems, and agentic workflows, solidifying its place as one of the most exciting developments in tech hardware for years to come.
Leggi l’articolo originale su VentureBeat →
Fonte: VentureBeat | Argomento: Intelligenza Artificiale
#tecnologia #innovazione #technews