Character.ai Presenta Tecniche Efficienti per il Pretraining su Larga Scala

Tony Kim
23 dic 2025 21:56

Character.ai rivela metodi innovativi per ottimizzare il pretraining su larga scala, concentrandosi su tecniche come Squinch, dynamic clamping e Gumbel Softmax, per migliorare l'efficienza nell'addestramento dei modelli basati su IA.

Character.ai, un attore importante nel settore dell'IA, ha recentemente condiviso approfondimenti sui suoi primi sforzi per ottimizzare l'addestramento di transformer su larga scala. L'azienda, che ha poi spostato la sua attenzione sulle fondamenta dei modelli open-source, ha originariamente esplorato varie tecniche per migliorare l'efficienza e la velocità dell'addestramento, secondo il Blog di Character.AI.

Compressione del gradiente: Squinch

Una delle innovazioni chiave evidenziate negli sforzi di Character.ai è un algoritmo di compressione del gradiente noto come Squinch. Sviluppato dal co-fondatore Noam Shazeer, questa tecnica di compressione a 6 bit è stata progettata per ridurre significativamente la larghezza di banda di comunicazione durante l'addestramento distribuito, mantenendo l'accuratezza del modello. L'algoritmo comprime efficacemente i gradienti a 6 bit per elemento, ottimizzando l'utilizzo della larghezza di banda dei cluster di addestramento.

Regolarizzazione della precisione: Attention Z-Reg

Character.ai ha anche sviluppato Attention Z-Reg, un metodo di regolarizzazione applicato ai logit di attenzione per garantire la stabilità numerica. Questa tecnica aiuta a mantenere la precisione delle rappresentazioni bfloat16, fondamentale per ottimizzare l'addestramento di modelli di grandi dimensioni.

Stabilità di quantizzazione: Dynamic Clamping

Il Dynamic Clamping è un'altra tecnica impiegata per migliorare la stabilità della quantizzazione. Impedisce ai piccoli valori di attivazione di collassare a zero calcolando dinamicamente l'intervallo di clamping in base alla radice quadratica media dei pesi di input. Questo metodo migliora la stabilità dell'addestramento riducendo gli errori di quantizzazione.

API di attenzione efficiente: Visibility Mask

L'introduzione della Visibility Mask, uno strumento per rappresentare le relazioni inter-token durante l'addestramento e l'inferenza, ha migliorato l'efficienza dei sistemi di addestramento. Questa API aiuta a gestire gli intervalli di attenzione all'interno dei batch, supportando relazioni di documenti con struttura ad albero e attenzione bidirezionale.

Ottimizzazione della distillazione: Gumbel Softmax

Nel campo della distillazione del modello, Character.ai ha sfruttato la tecnica Gumbel Softmax per ridurre i costi di archiviazione e larghezza di banda, mantenendo la fedeltà dei modelli insegnanti. Questo approccio prevede il campionamento di sottoinsiemi di output del modello insegnante, preservando i valori target soft per un addestramento più efficiente del modello studente.

Gli sforzi di Character.ai nell'ottimizzazione del pretraining hanno aperto la strada a un addestramento dei modelli basati su IA più efficiente, anche mentre l'azienda si sposta verso l'apprendimento per rinforzo post-addestramento per i modelli open-source. Queste tecniche, tra cui Squinch e Gumbel Softmax, sottolineano l'impegno dell'azienda nel far progredire l'efficienza e la scalabilità dell'IA.

Fonte immagine: Shutterstock