Project Astra: Gemini vede lumea prin telefonul tău

2025

La Google I/O 2024, cea mai impresionantă demonstrație nu a fost un chatbot. A fost Project Astra: Gemini procesând video live de la camera unui telefon și înțelegând tot ce vedea.

Îndreaptă-ți telefonul spre un indicator stradal din Tokyo și întreabă „Unde mă aflu?” Gemini citește caracterele japoneze, identifică cartierul și îți dă indicații. Îndreaptă-l spre o placă de circuite și întreabă „Ce nu e în regulă?” Identifică un condensator ars.

Demonstrația a arătat modelul menținând contextul de-a lungul unui flux video continuu, amintindu-și obiecte pe care le văzuse mai devreme, urmărind mișcarea, înțelegând relațiile spațiale. Când a fost întrebat „Unde mi-am pus ochelarii?”, putea să-și amintească faptul că îi văzuse pe un birou cu trei minute mai devreme în videoclip.

Project Astra a reprezentat viziunea Google asupra AI-ului ca asistent universal: nu ceva căruia îi scrii, ci ceva care îți vede și îți înțelege lumea în timp real.

Cerințele tehnice erau uluitoare: procesare video în timp real, înțelegere multimodală, latență redusă și capacitatea de a menține un context coerent de-a lungul a câteva minute de input continuu. Doar o companie cu infrastructura Google putea măcar încerca așa ceva.

Pentru accesibilitate, implicațiile erau profunde: utilizatorii cu deficiențe de vedere își puteau îndrepta telefonul spre orice și primeau instantaneu o descriere detaliată.