Tutti sembrano parlare di ChatGPT in questi giorni grazie a Microsoft Bing, ma data la natura dei Large Language Models (LLM), un giocatore sarebbe perdonato per aver provato un po' di déjà vu.
Vedete, anche se gli LLM vengono eseguiti su enormi server cloud, utilizzano GPU speciali per eseguire tutta la formazione necessaria per l'esecuzione. In genere, ciò significa alimentare una quantità decisamente oscena di dati attraverso reti neurali in esecuzione su un array GPU con core tensoriali fantasiosi, e non è solo molta potenza, sono anche molte GPU effettive per farlo su larga scala.
Sembra molto simile al cryptomining, ma non lo è. Il cryptomining non ha nulla a che fare con gli algoritmi di apprendimento automatico e, a differenza dell'apprendimento automatico, l'unico valore del cryptomining è produrre un prodotto digitale altamente speculativo chiamato token che alcune persone credono valga qualcosa e quindi sono disposte a spendere soldi veri per esso.
Ciò ha dato origine a una bolla crittografica che ha portato alla carenza di GPU negli ultimi due anni, quando i minatori di criptovalute hanno acquistato tutte le schede grafiche Nvidia Ampere dal 2020 al 2022, lasciando i giocatori indifferenti. Questa bolla è ora scoppiata e lo stock di GPU si è ora stabilizzato.
Ma con l'ascesa di ChatGPT, stiamo per assistere a una ripetizione degli ultimi due anni? È improbabile, ma non è nemmeno escluso.
La tua scheda grafica non controllerà i principali LLM
Mentre potresti pensare che la migliore scheda grafica che puoi acquistare sia il tipo di cosa che i tipi di machine learning potrebbero desiderare per le loro configurazioni, ti sbaglieresti. A meno che tu non sia in un'università alla ricerca di algoritmi di apprendimento automatico, una scheda grafica consumer non sarà sufficiente per guidare il tipo di algoritmo di cui hai bisogno.
La maggior parte degli LLM e altri modelli di intelligenza artificiale generativa che producono immagini o musica sottolineano davvero la prima L: grande. ChatGPT ha elaborato una quantità insondabile di testo e una GPU consumer non è adatta a questo compito come GPU di livello industriale in esecuzione su un'infrastruttura server.
Queste sono le GPU che saranno molto richieste, ed è ciò che rende Nvidia così entusiasta di ChatGPT: non è che ChatGPT aiuterà le persone, ma che richiederà praticamente tutte le GPU di livello server di Nvidia per funzionare, il che significa che Nvidia sta per sfruttare l'entusiasmo di ChatGPT.
Il prossimo ChatGPT verrà eseguito nel cloud, non su hardware locale
A meno che tu non sia Google o Microsoft, non gestisci la tua infrastruttura LLM. Usi qualcun altro sotto forma di servizi cloud. Ciò significa che non avrai un gruppo di startup che acquistano tutte le schede grafiche per sviluppare i propri LLM.
Molto probabilmente vedremo modelli LLMaaS, o Large Language as a Service. Avrai data center Microsoft Azure o Amazon Web Services con enormi server farm piene di GPU pronte per il noleggio per i tuoi algoritmi di machine learning. Questo è il genere di cose che le startup amano. Odiano comprare attrezzature diverse da un tavolo da ping pong o una sedia a sacco.
Ciò significa che, man mano che ChatGPT e altri modelli di intelligenza artificiale proliferano, non funzioneranno localmente su hardware consumer, anche quando le persone che lo gestiscono sono un piccolo team di sviluppatori. Funzioneranno su hardware di livello server, quindi nessuno verrà a cercare la tua scheda grafica.
I giocatori non sono ancora fuori pericolo
Quindi niente da temere? Bene...
Il fatto è che, mentre il tuo RTX 4090 potrebbe essere sicuro, la domanda è quanti RTX 5090 realizzerà Nvidia quando ha solo una quantità limitata di silicio e l'utilizzo di quel silicio per GPU di livello server può essere significativamente più redditizio. che usarlo per una scheda grafica GeForce?
Se c'è qualcosa da temere dal boom di ChatGPT, è davvero la possibilità che vengano prodotte meno GPU consumer perché gli azionisti richiedono più GPU server per massimizzare i profitti. Non è nemmeno una minaccia inutile, poiché il modo in cui sono attualmente scritte le regole del capitalismo, le aziende sono spesso tenute a fare qualsiasi cosa che massimizzi il profitto degli azionisti, e il cloud sarà sempre più redditizio della vendita di schede grafiche ai giocatori.
D'altra parte, è davvero una cosa Nvidia. Il Team Green potrebbe fare di tutto per le GPU dei server con uno stock ridotto di schede grafiche di consumo, ma non sono gli unici a produrre schede grafiche.
Le schede grafiche AMD RDNA 3 hanno appena introdotto l'IA hardware, ma non si avvicinano ai tensor core delle schede Nvidia, rendendo Nvidia la scelta de facto per l'apprendimento automatico. Ciò significa che AMD potrebbe diventare il produttore di carte predefinito per i giocatori mentre Nvidia va avanti.
È del tutto possibile e, a differenza delle criptovalute, AMD probabilmente non è una carta LLM di seconda categoria che va ancora bene per gli LLM se non riesci a ottenere una carta Nvidia. AMD non è affatto attrezzata per l'apprendimento automatico, soprattutto non al livello richiesto dagli LLM, quindi AMD non è un fattore qui. Ciò significa che ci saranno sempre schede grafiche convenzionali per i giocatori, e anche buone, potrebbero non esserci così tante schede Nvidia come prima.
Ai sostenitori della squadra verde potrebbe non piacere questo futuro, ma molto probabilmente è dovuto all'ascesa di ChatGPT.