Nell’ambito dell’Intelligenza Artificiale, spesso si assiste a un comportamento che ricorda l’uso inappropriato di una supercar per una semplice commissione: si utilizzano i modelli linguistici più potenti e costosi, anche quando è sufficiente uno strumento molto più semplice o un’opzione che gira localmente sul proprio hardware. Questo approccio, più che una scelta mirata, sembra un mix di abitudine e, diciamocelo, pigrizia. Il risultato? Costi astronomici e spreco di potenza di calcolo. I ricercatori hanno già evidenziato questa inefficienza, notando che assegnare un modello di punta a un compito banale significa tempo e risorse buttati via. Guardando i dati, si vedono differenze lampanti: dei modelli ‘open-weight’ come Kimi K3 costano significativamente meno dei loro controparti ‘premium’ come Claude Opus 5, sia in ingresso che in uscita. Eppure, molte aziende tendono a instradare ogni singola richiesta sul modello più caro. Questo accade perché, per impostazione predefinita, i prodotti AI sono spesso configurati per scegliere il motore più potente e costoso. La soluzione, che non è altro che un buon piano di ingegneria, è ottimizzare: scegliere il modello più leggero per compiti semplici e riservare il top di gamma solo per problemi veramente complessi o che richiedono profonda ragionamento. L’andamento dei costi fa sì che l’inferenza (il semplice uso del modello) sia ormai più costosa del training. Per ottimizzare il conto, è necessario misurare il costo non in base al singolo token, ma in base all’attività completata. Stando attenti, non bisogna solo usare strumenti plug-and-play, ma creare un vero sistema di ‘routing’ che smista intelligentemente ogni richiesta tra diversi modelli, sfruttando anche l’opzione di spostare l’elaborazione dal cloud al dispositivo stesso.

🇬🇧 Summary in English

In the realm of Artificial Intelligence, a common tendency is to treat every simple task as if it were a complex one, akin to driving a super-car to the corner store. We tend to overuse the most powerful and expensive Large Language Models (LLMs) even when a much simpler tool or a lightweight local model would suffice. This habit, rather than a calculated choice, often leads to astronomical costs and wasted computational power. Researchers point out that assigning a top-tier model to a mundane task is simply wasting time and resources. For instance, cost comparisons are stark: open-weight models like Kimi K3 are significantly cheaper than premium competitors such as Claude Opus 5, both for input and output tokens. Despite this, many companies default to routing every single request through the most expensive model available. The fix, and it’s really just smart engineering, is optimization. One must carefully select the simplest model for basic tasks and reserve the top-tier performance only for truly complex problems or those requiring deep reasoning. The cost landscape has shifted, making inference (the act of using the model) more expensive than training. To keep the budget in check, the focus must shift from the cost per single token to the cost per completed task. To achieve this efficiency, companies need a true ‘routing’ system—a sophisticated mechanism that intelligently directs every query to the right model. This process requires careful management: dedicated teams, a budget, and clear rules for when a task demands a super-car engine versus when a simple commuter car will do the job. Furthermore, technology is moving toward running these light inferences directly on devices, rather than solely relying on expensive cloud data centers.

Leggi l’articolo originale su Tom’s Hardware IT →

Fonte: Tom’s Hardware IT | Argomento: Tech News

#tecnologia #innovazione #technews