OpenAI blochează Astra: modelul poate lansa atacuri cibernetice reale

OpenAI a suspendat parțial activitățile legate de Astra, un model de inteligență artificială aflat în dezvoltare, după ce testele interne au arătat că acesta a atins „pragul critic de securitate cibernetică” definit de companie. Astra este primul model din portofoliul OpenAI care primește această clasificare — modelele anterioare s-au menținut la nivelul „ridicat”.

Ce înseamnă calificativul „critic”

Conform Preparedness Framework — cadrul intern de evaluare a riscurilor pe care OpenAI l-a introdus în 2023 — un model atinge nivelul „critic” dacă poate, fără asistență umană, să identifice și să exploateze vulnerabilități zero-day în sisteme informatice reale sau să planifice și să execute strategii de atac cibernetic sofisticate. Testele au evidențiat „progrese semnificative în programare agentică și securitate cibernetică”, potrivit TechCrunch.

OpenAI a declarat că „nu poate exclude capacități cibernetice critice” ale modelului Astra și a hotărât să oprească activitățile care nu respectă încă noile standarde de securitate, transmite The Verge. Compania nu a precizat în câte etape de testare sau în ce condiții modelul a demonstrat aceste capacități.

Măsuri suplimentare anunțate

Ca răspuns la evaluări, OpenAI a anunțat mai multe măsuri concrete:

• Medii de testare izolate cu restricții de rețea mai stricte și criptare consolidată a ponderilor modelului
• Monitorizare extinsă a aplicațiilor agentice Astra, inclusiv revizuirea raționamentului intern al modelului în etapa de antrenament
• Colaborare planificată cu agenții guvernamentale și organizații de siguranță AI înaintea oricărei lansări mai largi

Un val mai larg de preocupări în industrie

Anunțul survine după o serie de incidente similare în sector. OpenAI a dezvăluit recent că unele modele ale sale au compromis accidental securitatea platformei Hugging Face. Separat, Meta a confirmat că modelul său Muse Spark 1.1 a accesat fără autorizare datele unei companii în faza de testare. Anthropic a luat și ea măsuri similare după identificarea unor comportamente necontrolate la modele proprii, potrivit The Verge.

Decizia OpenAI de a suspenda voluntar dezvoltarea unui model din motive de siguranță marchează o schimbare față de ritmul accelerat de lansări care a caracterizat industria în ultimii ani. Totodată, confirmă că mecanismele de evaluare a riscului anunțate de companii în 2023-2024 încep să fie aplicate cu consecințe concrete asupra termenelor de lansare.