GPT-4o: AI multimodal care vede, aude și vorbește

2024

În mai 2024, OpenAI a lansat GPT-4o („o” de la „omni”), un model care procesa nativ text, vedere și audio într-o singură arhitectură. Demonstrația a fost uluitoare.

Un utilizator a vorbit cu modelul, iar acesta a răspuns instantaneu, fără mai multe pauze stânjenitoare. Putea fi întrerupt, putea râde, putea cânta, își putea ajusta tonul de la formal la jucăuș în mijlocul propoziției. Suna uman într-un fel în care nicio voce AI nu o mai făcuse până atunci.

Capabilitățile de vedere erau la fel de impresionante: ridici o fișă de matematică și GPT-4o o citea, rezolva probleme și explica pașii cu voce tare. Îndrepți o cameră spre un meniu într-o limbă străină și auzi traducerea rostită natural.

„Omni” din nume era intenționat: era un singur model care gestiona toate modalitățile simultan, nu sisteme separate cusute împreună. Intrare în orice modalitate, ieșire în orice modalitate, cu o înțelegere care trecea de la una la alta.

Capabilitatea de voce în timp real a fost deosebit de transformatoare pentru accesibilitate. Utilizatorii cu deficiențe de vedere își puteau îndrepta telefonul spre orice și primeau o descriere instantanee. Utilizatorii cu deficiențe de auz puteau obține transcriere în timp real, cu context.

GPT-4o era de asemenea gratuit (cu limite de utilizare), extinzând dramatic accesul la capabilitățile AI. Nivelurile premium ofereau mai multă utilizare și acces prioritar, dar experiența de bază era disponibilă pentru toți.