Machina sapiens (Contemporanea) (Italian Edition) by Nello Cristianini

autore:Nello Cristianini
La lingua: ita
Format: mobi, epub, azw3
editore: Società editrice il Mulino, Spa
pubblicato: 2024-03-15T00:00:00+00:00

In quel momento, tutte le aziende lavoravano già sui Large Language Models, ma solo nei gruppi di ricerca, che si occupano da sempre di scienza e pubblicano negli stessi congressi dei colleghi universitari. L’uscita di ChatGPT aveva spostato la competizione nel campo dei prodotti, e delle quote di mercato, delle quotazioni in borsa e dell’immagine stessa delle aziende. Il rischio era quello di perdere rapidamente utenti, o investitori, come si è visto più volte nella Silicon Valley.

Per mantenere la guida in questa tecnologia, la strada era chiara a tutti: la serie dei GPT aveva mostrato che quello che conta sono le dimensioni, quelle dei dati di addestramento, misurate in «token» (ovvero parole o parti di parola), e quelle del modello stesso, misurate in «parametri» (ovvero i valori numerici che ne controllano il comportamento, e che sono «accordati» usando i dati di addestramento). In altre parole, i parametri sono la parte del modello che è regolabile, e in cui vengono riposte tutte le conoscenze estratte dai dati: il loro numero dice quanto complesse possono essere tali conoscenze. Possiamo provare a visualizzarli immaginando un’enorme tabella di Excel piena di numeri. Più grande è un modello, più lunghe e costose sono le computazioni necessarie per addestrarlo. Per loro fortuna, le principali aziende avevano accesso a capacità di calcolo e raccolte di dati enormi, e quindi avevano un vantaggio.

La gara per la costruzione del modello più potente era iniziata.

* * *

OpenAI aprì questa specie di corsa nel 2020 con GPT-3, che aveva 175 miliardi di parametri ed era stato addestrato con 300 miliardi di token. Nel 2022 Google rispose con LaMDA, che aveva 137 miliardi di parametri, ed era stato addestrato con 168 miliardi di token. Meta (l’azienda che possiede Facebook, Instagram e WhatsApp) seguì con Llama e Llama2, annunciati rispettivamente nel 2022 e 2023, che contavano rispettivamente 65 miliardi e 70 miliardi di parametri, ma erano stati addestrati su 1,5 mila miliardi e 2 mila miliardi di token. Google rilanciò allora con altri due modelli chiamati PaLM, che sostituirono LaMDA come modello interno di Bard. Il primo PaLM aveva 540 miliardi di parametri, ed era stato addestrato con 768 miliardi di token, il secondo aveva probabilmente superato i 1.000 miliardi di parametri, ed era stato addestrato con 3,6 mila miliardi di token. OpenAI rispose con GPT-4 di cui non divulgò le dimensioni, scatenando speculazioni di ogni tipo, tra cui che avesse superato i mille miliardi di parametri, una soglia psicologica che tutti tenevano d’occhio. E prima ancora del lancio di ChatGPT, un consorzio di NVIDIA e Microsoft aveva annunciato la creazione di Megatron-Turing NLG, con 538 miliardi di parametri, e addestrato con 338 miliardi di token.

Anche se OpenAI non ha mai pubblicato i dettagli, dalle voci sui forum di Internet, pare che GPT-4 si basi su una combinazione di 8 modelli molto simili a GPT-3, ciascuno con 220 miliardi di parametri, per un totale di 1,7 mila miliardi di parametri. Se confermato, avrebbe superato quel limite. Lo stesso vale per Gemini, annunciato nel dicembre 2023 da Google DeepMind come il successore di PaLM2, il modello che animava Bard.

scaricare

Disconoscimento:
Questo sito non memorizza alcun file sul suo server. Abbiamo solo indice e link                                                  contenuto fornito da altri siti. Contatta i fornitori di contenuti per rimuovere eventuali contenuti di copyright e inviaci un'email. Cancelleremo immediatamente i collegamenti o il contenuto pertinenti.