Constitutional AI: cum învățăm modelele să se autoperfecționeze

2024

Majoritatea companiilor de AI își antrenează modelele folosind RLHF (Reinforcement Learning from Human Feedback): oamenii evaluează rezultatele, iar modelul învață să producă răspunsuri mai bine cotate. Funcționează, dar este costisitor și poate codifica prejudecățile umane.

Anthropic a adoptat o abordare diferită: Constitutional AI (CAI). În loc să se bazeze exclusiv pe evaluatori umani, au oferit modelului o „constituție” (un set de principii precum „fii util”, „fii cinstit”, „evită răul”) și l-au antrenat să își critice și să își revizuiască propriile rezultate.

Procesul funcționează în două etape. Mai întâi, modelul generează un răspuns. Apoi este întrebat: „Respectă acest răspuns constituția? Dacă nu, revizuiește-l.” Autocriticile modelului devin date de antrenament pentru iterația următoare.

Această abordare se scalează mai bine decât feedbackul uman singur. Poți actualiza constituția (adăuga principii noi, elimina pe cele învechite) fără a reantrena de la zero. Și face valorile modelului mai transparente: sunt literalmente scrise.

Criticii s-au temut că ar putea face modelele excesiv de prudente. Dar în practică, Constitutional AI a produs modele care erau în același timp mai capabile și mai bine aliniate, o combinație rară care sugera că compromisul dintre siguranță și capacitate ar putea fi o falsă dilemă.