TPU v5 de la Google: cipurile personalizate care alimentează Gemini

2025

Google își proiectează propriile cipuri acceleratoare AI, Tensor Processing Units (TPU), încă din 2016. Până la TPU v5, aceste cipuri personalizate i-au oferit lui Google un avantaj semnificativ în antrenarea și operarea Gemini.

TPU-urile sunt proiectate special pentru operațiile de înmulțire a matricilor care domină sarcinile de lucru AI. Ele sacrifică flexibilitatea calculului de uz general în favoarea unui debit brut exact pe operațiile de care are nevoie AI-ul.

Avantajul este dublu: cost și acces. În timp ce competitorii se înghesuie să cumpere GPU-uri NVIDIA H100 (scumpe și cu ofertă limitată), Google își fabrică propriile cipuri. Nu sunt supuse blocajelor din lanțul de aprovizionare sau prețurilor NVIDIA.

Pod-urile TPU v5 (clustere de mii de cipuri) pot antrena în câteva săptămâni modele care ar dura luni pe clustere GPU echivalente. Acest avantaj de viteză înseamnă că Google poate itera mai rapid: să încerce mai multe arhitecturi, să ruleze mai multe experimente și să ajungă mai devreme la modele mai bune.

Cipurile optimizează și inferența: operarea modelului antrenat pentru utilizatori. Un cost de operare mai mic per interogare înseamnă că Google poate oferi niveluri gratuite mai generoase, poate implementa AI în mai multe produse și poate experimenta cu aplicații în care marjele ar fi prea mici cu putere de calcul GPU închiriată.

Jeff Dean, omul de știință șef al Google, l-a numit „cel mai mare avantaj strategic individual în infrastructura AI.”