Questa pagina contiene un riassunto del seguente articolo: ieee.org (eng)
Riassunto
I modelli linguistici di grandi dimensioni (LLM), i sistemi di intelligenza artificiale che alimentano chatbot come ChatGPT, stanno diventando sempre più esigenti a livello di energia e potenza computazionale.
Per renderli economici, veloci e rispettosi dell'ambiente, è necessario ottimizzarli in modo che possano essere eseguiti direttamente su dispositivi come i cellulari. I ricercatori stanno trovando modi per farlo, arrotondando drasticamente i molti numeri ad alta precisione che memorizzano le loro informazioni per renderli pari a 1 o -1.
Ci sono due approcci generali per creare un LLM a 1 bit: la quantizzazione post-training (PTQ) e l'addestramento consapevole della quantizzazione (QAT). Il PTQ è stata la via più popolare tra i ricercatori fino ad ora.
Il riassunto completo è solo per i sostenitori
Per il costo di pochi caffè al mese puoi rimanere sempre aggiornato e allo stesso tempo
contribuire alla crescita di un prodotto che vuole fare la differenza nel panorama tech italiano.
Aiutaci a crescere e rimani sempre aggiornato leggendo le fonti più autorevoli del globo.
Hai già un account? Accedi e poi fai l'upgrade
