I modelli linguistici a 1 bit potrebbero risolvere le esigenze energetiche dell'IA

Questa pagina contiene un riassunto del seguente articolo: ieee.org (eng)

Riassunto

I modelli linguistici di grandi dimensioni (LLM), i sistemi di intelligenza artificiale che alimentano chatbot come ChatGPT, stanno diventando sempre più esigenti a livello di energia e potenza computazionale.

Per renderli economici, veloci e rispettosi dell'ambiente, è necessario ottimizzarli in modo che possano essere eseguiti direttamente su dispositivi come i cellulari. I ricercatori stanno trovando modi per farlo, arrotondando drasticamente i molti numeri ad alta precisione che memorizzano le loro informazioni per renderli pari a 1 o -1.

Ci sono due approcci generali per creare un LLM a 1 bit: la quantizzazione post-training (PTQ) e l'addestramento consapevole della quantizzazione (QAT). Il PTQ è stata la via più popolare tra i ricercatori fino ad ora.