Contextul de 1 milion de tokeni al Gemini: citirea unor biblioteci întregi

2025

La începutul anului 2024, Google a anunțat Gemini 1.5 Pro cu o fereastră de context de 1 milion de tokeni, aproximativ 700.000 de cuvinte sau 30.000 de linii de cod. Versiunile ulterioare au împins limita și mai departe.

Ca să punem asta în perspectivă: puteai să-i dai lui Gemini întreaga serie Harry Potter (1.084.000 de cuvinte) și el putea răspunde la întrebări despre orice detaliu din orice carte. Sau puteai încărca un proiect software întreg (sute de fișiere) și să-i ceri să găsească o eroare.

Google a demonstrat acest lucru cu exemple impresionante: încărcarea a 402 pagini de documentație tehnică și punerea unor întrebări specifice, sau alimentarea cu un videoclip de o oră și întrebarea despre un moment de 2 secunde aflat la 45 de minute în interior.

Provocarea tehnică a fost enormă. Contextul lung nu înseamnă doar „memorie mai mare”, ci necesită ca modelul să mențină o atenție coerentă pe distanțe vaste, evitând degradarea care apare de obicei pe măsură ce contextul crește.

Google a realizat acest lucru printr-o arhitectură nouă pe care au numit-o „Mixture of Experts” (MoE), care permitea modelului să direcționeze eficient informația fără a procesa fiecare token cu fiecare parametru.

Pentru clienții enterprise, contextul de un milion de tokeni însemna că puteau pune întrebări despre întregul lor corpus de documentație, puteau analiza rapoarte financiare complete sau puteau revizui contracte legale integrale fără nicio preprocesare sau fragmentare.