Atacuri ROME: manipularea greutăților modelului în memoriea GPU

Cum detectează Stealthium manipulațiile la runtime?

Un nou tip de atac, cunoscut sub numele de Rank-One Model Editing (ROME), permite unui modul Python malicios să rescriă greutățile unui model de inteligență artificială direct în memoriea GPU, alterând Această tehnică exploatează o vulnerabilitate la nivel de runtime, unde modelul este încărcat și executat, făcând posibilă modificarea comportamentului său fără a afecta fișierul de pe disc. Atacul nu necesită acces la sistemul de fișiere sau la procesul de antrenare, ci intervenie în momentul în care modelul este activ, ceea ce îl face dificil de detectat prin metodele tradiționale de securitate.

Aceste atacuri sunt în special periculoase deoarece majoritatea uneltelor de securitate se concentrează pe monitorizarea CPU-ului, verificând procesele, fișierele sau traficul de rețea, în timp ce manipulațiile în memoriea GPU rămân nevăzute. Deoarece modelele de IA sunt frecvent rulate pe GPU pentru performanță, aceasta creează un punct moart în apararea sistemelor.

În laboratorul Stealthium, cercetătorii au reuşit să execute un atac ROME cu succes, demonstrând că un model poate fi induș în eroare prin modificarea doar unei părți mică a greutăților sale, fără a schimba structura generală sau dimensiunea fișierului.

Senzorul de runtime dezvoltat de Stealthium monitorează continuu starea memoriei GPU în timpul execuției modelului, analizând modificările neașteptate în greutățile sale. În loc să se bazeze doar pe semnături fișierului sau pe hash-uri statice, sistemul verifică integritatea dinamică a parametrilor modelului, detectând deviazioni care indică o intervenție externă.

În testele efectuate, senzorul a identificat atacul ROME în sub secundă de la începutul manipulării, trimite o alertă înainte ca modelul să producă Acest nivel de detectare este posibil datorită înțelegerii profunde a modului în care modelele de IA stochează și folosesc greutățile în memorie, permițând sistemului să diferențieze între variații normale (de exemplu, cauzate prin optimizări de compilare) și modificări intenționate.

Senzorul nu necesită acces la codul sursă al modelului sau la mediul de antrenare, funcționând pe principiul de observare pasivă a memoriei, ceea ce îl face aplicabil și în mediile de producere unde nu este permisă instrumentarea agresivă.

Ai întrebări frecvente?

Existența atacurilor ROME subliniază nevoia de a extinde strategiile de securitate peste protejarea fișierelor și a accesului la sistem, spre monitorizarea activă a memoriei în timpul execuției. Organizările care folosește modele de IA în aplicații critice – de la diagnostic medical la sisteme autonome – trebuie să reevalueze presupunerea că un model neschimbat pe disc este sigur de folosit.

O modificare în memorie poate duce la predicții eronate, comportamente adversare sau chiar la extragerea de informații sensibile prin manipularea ieșirii.

În viitor, se așteaptă dezvoltarea de standarde de securitate pentru runtime-ul modelelor de IA, similare cu cele aplicabile proceselor critice în sistemele de operare.

Întelegerea că integritatea modelului nu se limitează la fișierul de greutăți, ci se extinde la starea sa de execuție, va deveni esențială pentru a preda încredere în sistemele bazate pe inteligență artificială.

Ce face un atac ROME diferit de alte tipuri de manipulare a modelului? Un atac ROME modifică greutățile modelului direct în memoriea GPU, fără a schimba fișierul de pe disc, ceea ce îl face invizibil pentru uneltele de securitate care verifică doar fișierele sau procesele CPU.

De ce uneltele de securitate tradiționale nu detectă acest tip de atac? Majoritatea uneltelor se concentrează pe monitorizarea CPU-ului, fișierelor sau rețelei, în timp ce manipulațiile în memoriea GPU rămân nevăzute deoarece nu generează semnale tipice de activitate malicioasă pe aceste niveluri.

Este necesară o modificare a hardware-ului pentru a se proteja împotriva atacurilor ROME? Nu, detectarea poate fi realizată prin soluții software care monitorizează memoriea GPU în runtime, fără a necesita schimbări în hardware sau în modelul însuși.