Modelele AI open-source vulnerabile la utilizare abuzivă în scopuri criminale, avertizează cercetătorii

Hackerii și alți criminali pot prelua cu ușurință controlul asupra computerelor care operează modele lingvistice mari open-source în afara barierelor de protecție și restricțiilor platformelor majore de inteligență artificială, creând riscuri și vulnerabilități de securitate, au declarat cercetătorii joi, 29 ianuarie.

Hackerii ar putea viza computerele care rulează LLM-uri și le-ar putea direcționa să efectueze operațiuni de spam, crearea de conținut de phishing sau campanii de dezinformare, eludând protocoalele de securitate ale platformei, au spus cercetătorii.

Cercetarea, efectuată în comun de companiile de securitate cibernetică SentinelOne și Censys pe parcursul a 293 de zile și partajată în exclusivitate cu Reuters, oferă o nouă perspectivă asupra scalei cazurilor de utilizare potențial ilicite pentru mii de implementări LLM open-source. Acestea includ hacking, discurs instigator la ură și hărțuire, conținut violent sau macabru, furt de date personale, escrocherii sau fraudă și, în unele cazuri, materiale de abuz sexual asupra copiilor, au spus cercetătorii.

Deși există mii de variante LLM open-source, o parte semnificativă a LLM-urilor de pe gazdele accesibile pe internet sunt variante ale Llama de la Meta, Gemma de la Google DeepMind și altele, conform cercetătorilor. În timp ce unele dintre modelele open-source includ bariere de protecție, cercetătorii au identificat sute de cazuri în care barierele de protecție au fost eliminate în mod explicit.

Conversațiile din industria IA despre controalele de securitate „ignoră acest tip de capacitate excedentară care este clar utilizată pentru tot felul de lucruri diferite, unele legitime, altele evident criminale", a declarat Juan Andres Guerrero-Saade, director executiv pentru cercetare în domeniul inteligenței și securității la SentinelOne. Guerrero-Saade a comparat situația cu un „aisberg" care nu este luat în considerare în mod corespunzător în întreaga industrie și comunitatea open-source.

Studiul examinează prompturile de sistem

Cercetarea a analizat implementări accesibile public ale LLM-urilor open-source implementate prin Ollama, un instrument care permite persoanelor și organizațiilor să ruleze propriile versiuni ale diferitelor modele lingvistice mari.

Cercetătorii au putut vedea prompturile de sistem, care sunt instrucțiunile care dictează modul în care se comportă modelul, în aproximativ un sfert din LLM-urile pe care le-au observat. Dintre acestea, au determinat că 7,5% ar putea permite potențial activități dăunătoare.

Aproximativ 30% dintre gazdele observate de cercetători operează din China, iar aproximativ 20% în SUA.

Rachel Adams, CEO și fondatoarea Global Center on AI Governance, a declarat într-un e-mail că, odată ce modelele deschise sunt lansate, responsabilitatea pentru ceea ce se întâmplă în continuare devine partajată în întreg ecosistemul, inclusiv laboratoarele de origine.

„Laboratoarele nu sunt responsabile pentru fiecare utilizare abuzivă ulterioară (care este greu de anticipat), dar își păstrează o datorie importantă de diligență pentru a anticipa prejudiciile previzibile, documenta riscurile și furniza instrumente și îndrumări de atenuare, în special având în vedere capacitatea inegală de aplicare globală", a spus Adams.

Un purtător de cuvânt al Meta a refuzat să răspundă la întrebări despre responsabilitățile dezvoltatorilor pentru abordarea preocupărilor legate de abuzul ulterior al modelelor open-source și despre modul în care pot fi raportate preocupările, dar a menționat instrumentele Llama Protection ale companiei pentru dezvoltatorii Llama și Meta Llama Responsible Use Guide al companiei.

Ram Shankar Siva Kumar, liderul Microsoft AI Red Team, a declarat într-un e-mail că Microsoft consideră că modelele open-source „joacă un rol important" într-o varietate de domenii, dar „în același timp, suntem lucizi că modelele deschise, ca toate tehnologiile transformatoare, pot fi utilizate greșit de adversari dacă sunt lansate fără protecții adecvate."

Microsoft efectuează evaluări pre-lansare, inclusiv procese de evaluare a „riscurilor pentru scenariile expuse pe internet, auto-găzduite și de apelare a instrumentelor, unde utilizarea abuzivă poate fi ridicată", a spus el. Compania monitorizează, de asemenea, amenințările emergente și tiparele de utilizare abuzivă. „În cele din urmă, inovația deschisă responsabilă necesită angajament partajat între creatori, implementatori, cercetători și echipe de securitate."

Ollama nu a răspuns la o solicitare de comentariu. Google de la Alphabet și Anthropic nu au răspuns la întrebări. – Rappler.com