Business Nvidia risponde ai costi dell’AI aziendale con … un router… In Cina la carenza di chip è diventata un’opportunità per … Fine-tuning più rapido con meno dati, ecco come riuscirci CluSTER, metodo di KAIST, taglia fino al 69,6% il tempo di fine-tuning addestrando su circa il 31% dei dati, con benchmark quasi invariati. a cura di Valerio Porcu Senior Editor @Tom’s Hardware Italia Pubblicato il 03/11/2026 alle 14:30 Quando si fa fine-tuning su più GPU, campioni distribuiti a caso fanno arrivare gruppi di esempi simili su tutte le schede, e ognuna ripete calcoli che le altre hanno già fatto. Un metodo di KAIST presentato a EMNLP 2026, CluSTER , prova quindi a evitarlo: raggruppa gli esempi per gradiente e assegna un gruppo a ciascuna GPU. Gli autori lo descrivono in un articolo scientifico pubblicato a settembre. Sul dataset medico il tempo di addestramento scende del 69,6% addestrando su circa il 31% dei dati, con punteggi quasi invariati (media 48,0 contro 48,5). Conviene però leggere la cifra con le condizioni del test: un solo modello da 7 miliardi di parametri , quattro GPU H100 e il tempo di selezione dei dati escluso. Il risparmio viene dal ridurre i dati. Il metodo procede in tre passi. Per prima cosa stima un gradiente approssimato per ogni esempio, poi raggruppa gli esempi con un K-means a capacità limitata, con tanti gruppi quante sono le GPU. Infine prende in modo bilanciato quelli più lontani dal centro di ogni gruppo, cioè i più diversi. Così ogni sched
🇬🇧 Summary in English
Business Nvidia risponde ai costi dell’AI aziendale con … un router… In Cina la carenza di chip è diventata un’opportunità per … Fine-tuning più rapido con meno dati, ecco come riuscirci CluSTER, metodo di KAIST, taglia fino al 69,6% il tempo di fine-tuning addestrando su circa il 31% dei dati, con benchmark quasi invariati. a cura di Valerio Porcu Senior Editor @Tom’s Hardware Italia Pubblicato il 03/11/2026 alle 14:30 Quando si fa fine-tuning su più GPU, campioni distribuiti a caso fanno arrivare gruppi di esempi simili su tutte le schede, e ognuna ripete calcoli che le altre hanno già fatto. Un metodo di KAIST presentato a EMNLP 2026, CluSTER , prova quindi a evitarlo: raggruppa gli esempi per gradiente e assegna un gruppo a ciascuna GPU. Gli autori lo descrivono in un articolo scientifico pubblicato a settembre. Sul dataset medico il tempo di addestramento scende del 69,6% addestrando su circa il 31% dei dati, con punteggi quasi invariati (media 48,0 contro 48,5). Conviene però leggere la cifra con le condizioni del test: un solo modello da 7 miliardi di parametri , quattro GPU H100 e il tempo di selezione dei dati escluso. Il risparmio viene dal ridurre i dati. Il metodo procede in tre passi. Per prima cosa stima un gradiente approssimato per ogni esempio, poi raggruppa gli esempi con un K-means a capacità limitata, con tanti gruppi quante sono le GPU. Infine prende in modo bilanciato quelli più lontani dal centro di ogni gruppo, cioè i più diversi. Così ogni sched
Leggi l’articolo originale su Tom’s Hardware IT →
Fonte: Tom’s Hardware IT | Argomento: Software & Dev
#tecnologia #innovazione #technews