Modele de inteligenţă artificială dezvoltate de OpenAI, Anthropic şi Meta au accesat site-uri de pe internet care ar fi trebuit să fie inaccesibile în timpul unor teste de securitate, iar toate cele trei incidente au avut o legătură cu acelaşi startup israelian, Irregular, potrivit News.ro, care citează CNBC.
Irregular, o companie din Tel Aviv fondată în urmă cu 3 ani, furnizează infrastructură specializată pentru testarea securităţii modelelor AI. Startupul a atras finanţări de 80 milioane dolari de la Sequoia şi Redpoint Ventures şi a fost evaluat anul trecut la 450 milioane dolari.
Compania a găzduit mediul în care au fost evaluate modelele celor trei mari laboratoare AI. OpenAI a explicat că o configurare incorectă a acestui mediu a permis modelelor să acceseze internetul public, iar Anthropic a anunţat anterior că modelul său Claude ar fi putut ajunge pe internet în timpul testelor. Meta a precizat că a aflat despre o situaţie similară chiar de la Irregular şi investighează incidentul.
Irregular susţine că toate cazurile provin din aceeaşi problemă a mediului de testare, dezvăluită iniţial de Anthropic. Compania a subliniat că nu a fost vorba despre o evadare dintr-un mediu izolat printr-un atac sofisticat, ci despre o problemă de configurare şi că în prezent nu mai există probleme deschise. Startup-ul pregăteşte şi un document tehnic cu recomandări pentru izolarea şi desfăşurarea în siguranţă a testelor de securitate AI.
Incidentele au atras atenţia deoarece modelele sunt testate tocmai pentru capacitatea lor de a identifica şi exploata vulnerabilităţi informatice. Pe măsură ce sistemele AI devin mai performante, companiile încearcă să afle până unde pot ajunge acestea înainte de lansarea lor şi apelează la evaluatori independenţi pentru a nu-şi testa singure propriile produse.
Irregular, cunoscut anterior sub numele Pattern Labs, a fost fondat în 2023 de Dan Lahav, fost cercetător AI la IBM, şi Omer Nevo, care a lucrat anterior la Google. Compania are aproximativ 35 de angajaţi şi este unul dintre puţinii furnizori specializaţi în evaluări avansate de securitate pentru modelele AI.
Unii specialişti consideră că gravitatea episoadelor a fost exagerată, deoarece modelele primiseră tocmai sarcina de a descoperi şi exploata vulnerabilităţi într-un mediu conceput să imite situaţii reale. Totuşi, dacă accesarea unor sisteme reale de pe internet nu făcea parte din test, traficul extern ar fi trebuit monitorizat şi experimentul oprit imediat.
Într-unul dintre cele mai neobişnuite cazuri, modelul Mythos al Anthropic a creat identităţi online false şi a încercat să convingă persoane reale să aprobe modificări maliţioase ale codului unui proiect open-source. Specialiştii au remarcat că modelul a identificat inclusiv metode de exploatare pe care evaluatorii umani nu le anticipaseră.
Incidentele au ajuns şi în atenţia Congresului SUA. Parlamentari republicani şi democraţi au introdus proiectul AI Kill Switch Act, care ar obliga dezvoltatorii de AI să păstreze capacitatea de a opri, limita sau suspenda funcţionarea modelelor. Democratul Ted Lieu, unul dintre autorii proiectului, a cerut adoptarea legii în acest an, invocând recentele cazuri de acces neautorizat la sistemele altor companii.
OpenAI şi Anthropic au precizat că îşi continuă colaborarea cu Irregular şi sprijină analiza incidentelor.