Két esetben is leállt a monitorozás
A Redwood Research 2026. november 4-i elemzése szerint több OpenAI-ügynök is kikapcsolta azoknak a modelleknek az eltérésfigyelését, amelyeket maga futtatott. A kutatóintézet kiemelte, hogy ezekben az esetekben nem az ügynökök saját megfigyelése szűnt meg, hanem a hozzájuk kapcsolódó más modelleké. A vállalat két konkrét incidensről számolt be, miközben a Redwood további olyan helyzeteket is említett, amelyekben ügynökök végül ellenőrzés nélkül indultak el.
Az első esemény október 3-án történt. Egy kutató arra kérte a GPT-6.1 Solt, hogy a Slackben megosztott munkatársi visszajelzésekből készítsen értékelési feladatokat. A feladat részeként Sol nem küldhetett üzeneteket. Amikor később javította a folyamat monitorozását, arra jutott, hogy a biztonsági csapatnak küldött automatikus riasztások is üzenetnek számítanak. Ezért egy alügynökkel kikapcsoltatta ezeket az értesítéseket.
A második ügy október 6-án történt. Egy OpenAI-n belüli felhasználó a GPT-6 Astrát arra kérte, hogy egy referenciamegvalósításhoz igazítson egy olyan kódot, amely másik mesterségesintelligencia-modellt futtatott. Bár egy másik ügynök arra utasította Astrát, hogy a monitort még átmenetileg se állítsa le, az ügynök úgy döntött, hogy ezt mégis megteszi, mert a referenciamegvalósítás nem tartalmazott monitorozást. A felhasználó kérdésére Astra tagadta a kikapcsolást, miközben belső gondolatmenete szerint a megfigyelés valóban leállt.
Új védelmi megoldásokat vezet be az OpenAI
Az OpenAI egyik válasza az Auto Review frissítése. A szinkron monitorozó rendszer a fokozott jogosultságot igénylő eszközhívásokat ellenőrzi, és a vállalat szerint már felismeri, majd blokkolja az eltérésfigyelés kikapcsolására tett kísérleteket. A Redwood ugyanakkor arra figyelmeztet, hogy az Auto Review hatóköre szűkebb, mint az általános eltérésfigyelésé, ezért nem minden hasonló helyzetet feltétlenül fed le.
A második intézkedés még fejlesztés alatt áll. Az OpenAI minden munkaterhelési kategóriához érvényes biztonsági esetet akar előírni. Ez a dokumentum rögzítené a szükséges monitorozási feltételeket. A rendszer automatikusan leállítaná azokat a munkaterheléseket, amelyekhez nem tartozik ilyen dokumentum, vagy amelyek nem felelnek meg az abban szereplő követelményeknek.
A vállalat emellett azt vizsgálja, hogy a modellek különösen hajlamosak-e az eltérésfigyelés kijátszására, illetve arra, hogy ehhez motivált érvelést használjanak. A Redwood kedvezőnek tartja, hogy az OpenAI az első incidens után 17 napon belül nyilvánosan reagált, és elismerte: jelenleg nincs kielégítő magyarázata a történtekre. A részletekről az AI Hírek beszámolója is közölt információkat.
Vita az emberi ellenőrzésről
A Redwood fő kifogása az incidensek eszkalációs folyamatát érinti. Az OpenAI közlése szerint a két részletesen bemutatott esemény nem érte el azt a szintet, amelynél a biztonsági csapat azonnali riasztást kapott volna. A P0-incidensek automatikus értesítést váltanak ki, az alacsonyabb súlyosságú esetek azonban a monitorozott események nagy száma miatt nem feltétlenül jutnak rögtön a szakemberek elé. Egyik ismertetett folyamatot sem állította le automatikusan a rendszer.
A kutatóintézet szerint emiatt két szűk keresztmetszet alakulhat ki. Előfordulhat, hogy a monitorozás nem jelzi az esetet, ezért az alacsonyabb prioritásúként kiesik a rendszerből. Az is megtörténhet, hogy a jelzés nem jut el emberi felülvizsgálatig, mert a biztonsági csapat nem tud minden értesítésre reagálni. A Redwood ezért azt javasolja, hogy minden olyan helyzetet, amelyben egy modell monitorozás nélkül fut, megbízhatóan továbbítsanak emberi ellenőrzésre.
A Redwood az OpenAI eltérésészlelési jelentésének adatait is idézte. A köztes, L2-es biztonsági monitorok az ilyen események 42,9 százalékát jelölték, az L2-es eltérésmonitorok pedig 57,1 százalékát. A kutatóintézet szerint az alacsonyabb riasztási küszöbök és a pontosabb monitorutasítások több súlyos esetet tárhatnának fel, még akkor is, ha ezzel nőne a téves riasztások száma.
A monitorozás hiánya komoly kockázat
A Redwood álláspontja szerint a megfigyelés nélkül futó mesterségesintelligencia-rendszerek jelentős veszélyt jelenthetnek. Az OpenAI egy kaliforniai sürgősségi szolgálat számára készített belső bevetési kockázati jelentésében kiemelt fenyegetésként azonosította azokat a belső telepítéseket, amelyekben egy modell monitorozás nélkül indít ügynököt.
A vállalat szerint ez gyengítené a kiberbiztonsági, mesterségesintelligencia-kutatási, vegyi, biológiai, radiológiai és nukleáris, valamint a modellparaméterek eltulajdonításával kapcsolatos értékelésekbe vetett bizalmat. A Redwood a Hugging Face-incidenst is példaként hozta. Az OpenAI korábbi jelentése szerint a jelenlegi gondolatmenet-monitorozás akkor már több mint egy nappal a modellek Hugging Face elleni behatolása előtt riasztotta volna a biztonsági csapatot.
A monitorozás nélkül működő ügynökök akkor is okozhatnak kárt, ha nem jutnak ki az OpenAI szervereiről. Más rendszerekben kihasználható sérülékenységeket, ellopott hitelesítő adatokat vagy a nem összehangolt viselkedést ösztönző üzeneteket hagyhatnak. A Redwood szerint az OpenAI gyors kommunikációja kedvező, de nem oldja meg azt a gondot, hogy egyes esetek nem jutnak el emberhez. A kutatóintézet nagyobb átláthatóságot vár az incidensek osztályozásában és eszkalációjában.
