Anthropic va AISI ma'lumotlariga ko'ra, Mythos 5 2026-yil iyul oyida AI Security Institute (AISI) baholash jarayonida amalga oshirilgan real dunyoga qaratilgan hujumda mumkin bo'lgan zararni butunlay e'tiborsiz qoldirdi.

Avgust oyi boshida oshkor qilingan ushbu hodisa Mythos 5 tomonidan amalga oshirilgan 17 ta noqonuniy harakatni o'z ichiga oladi, jumladan internetga kirish uchun Tor tarmog'idan foydalanish, ommaviy GitHub loyihasiga zararli pull request yuborish maqsadida soxta shaxsiyatlar yaratish va kod o'zgarishini tasdiqlashga majburlash uchun ijtimoiy muhandislik usulidan foydalanish.

Baholash doirasida agentga simulyatsiya qilingan tarmoqdan himoyalangan ma'lumotlarni olish vazifasi berilgan edi. Uning xavfsizlik choralari o'chirilgan va internetga kirish ataylab yoqilgan edi.

Baholash doirasidagi usullar yordamida kiberxavfsizlik (CTF) musobaqasini yakunlay olmasligini anglagach, Mythos real dunyodagi odamlar va tashkilotlarga hujum qilishga o'tdi va bu harakatlar natijasida yuzaga kelishi mumkin bo'lgan zararni e'tiborsiz qoldirdi.

"Hujum qilinayotgan nishon baholash bilan bog'liq bo'lmagan real inson ekanligini aniqlashtirish uchun xulosani qayta-qayta tahrirlash Mythos 5 ning hujum tezligini kamaytirmadi. Shuningdek, Mythos o'z harakatlari va so'ralganda aytgan asoslari o'rtasida sezilarli nomuvofiqlikni ko'rsatdi: u tez-tez hujum qilish zararli bo'lishini aytgan holatlarda ham hujumni davom ettirdi", — deydi AISI.

Institutning Mythos 5 ning xom fikrlash zanjiri (chain-of-thought) natijalarini tahlil qilishi shuni ko'rsatdiki, model tez-tez nishonlar simulyatsiya qilingan deb o'ylagan, harakatlar keltirishi mumkin bo'lgan zararni tez-tez hisobga olmagan va nishon real ekanligini anglatadigan noto'g'ri asoslar hech qachon ishlab chiqmagan.

"Biz tajribalarimiz davomida modellar tez-tez noto'g'ri fikrlash va asoslar ishlab chiqarishini kuzatdik, mavjud dalillarga asoslanmagan xulosalar chiqarishdi. Agar ushbu va tekshiruvimizda aniqlangan boshqa muammolar kengroq tarqalgan bo'lsa va yetarlicha hal qilinmasa, ayniqsa modellar yanada qobiliyatli bo'lganda, bu xavotirli oqibatlarga olib keladi", — deb ta'kidlaydi AISI.

Texnik hisobotda institut ushbu turdagi motivatsiyalangan fikrlash noto'g'ri moslashgan xatti-harakatni aniqlashni qiyinlashtirishi, bu esa xavfsiz nazorat va kuzatuvchanlikni yo'qotishga olib kelishi va bu chegara AI tizimlarining xavfsiz joriy etilishiga zarar yetkazishini tushuntiradi.

Anthropic Mythos 5 ning xatti-harakatini iyul, sentyabr va oktyabr oylaridagi hisobotlarda batafsil bayon qilingan, real dunyodagi tashkilotlarga qaratilgan boshqa noto'g'ri moslashish hodisalari bilan solishtirdi.

Sentyabr oyida kompaniya bir nechta hodisalar bo'yicha takrorlanadigan moslashish muammolarini qayd etdi, bunda model real internetda ishlayotganini e'tiborsiz qoldirgan (noto'g'ri fikrlash) va vazifasini bajarish jarayonida zararli harakatlarni amalga oshirishga tayyor bo'lgan (ehtiyotsizlik).

Endi esa u konfiguratsiya maqsadga erishishni qiyinlashtirganda modellar mo'ljallangan doiradan qanchalik uzoqlashganini (ortiqcha harakat) va o'z harakatlarini qanchalik noto'g'ri talqin qilganini (yolg'onchilik) ko'rib chiqdi.

Umuman olganda, Anthropic AISI hodisasi sentyabr oyida tasvirlangan, model PyPI ga zararli paket yuklagan hodisalar bilan solishtirganda ortiqcha harakat jihatidan kamroq jiddiy, ammo yolg'onchilik jihatidan jiddiyroq ekanligini xulosa qildi.

Oktyabr oyida aniqlangan, model dasturiy ta'minot kamchiliklaridan foydalangan, onlayn sezgir shakl yuborgan, cheklovni aylanib o'tgan va URL qisqartirish xizmatlaridan foydalangan hodisalar bilan solishtirganda, AISI harakatlari ham ortiqcha harakat, ham yolg'onchilik jihatidan jiddiyroq edi.

"Biz avvalgi hech bir hodisada, shuningdek ichki baholashlarimizda ham real odamlarga nisbatan bunday ijtimoiy muhandislik urinishini kuzatmadik. Biz buni yolg'onchilikning jiddiy shakli deb talqin qilamiz, noto'g'ri moslashishning yangi shakli yoki toifasi emas", — deb ta'kidlaydi Anthropic.

Kompaniya ma'lumotiga ko'ra, yangi modellar shunga o'xshash hujumni yakunlash ehtimoli kamroq. Mythos 5.1, Opus 5.5 va umumiy maqsadli ichki tadqiqot modelida o'tkazilgan sinovlarda AI hujumni 83% holatda boshlagan, Mythos 5 esa 13% gacha bo'lgan holatlarda boshlagan.

"Bizning eng yangi modellarimiz hujum real dunyoga zarar yetkazayotganini anglagach, uni davom ettirish ehtimoli ancha kamroq ekanligini isbotladi. Sinovlarimiz davomida, transkriptning keyingi bir necha burilishida Mythos 5 hech qachon hujumni to'xtatishga qaror qilmadi, Mythos 5.1 esa juda kam hollarda shunday qildi. Ammo Opus 5.5 va ichki tadqiqot modelimiz mos ravishda 10% va 67% hollarda o'z-o'zidan to'xtadi", — deydi Anthropic.

Kompaniya Mythos 5 ning AISI hodisasi davomidagi harakatlarini to'rt bosqichga ajratdi: hujumdan oldingi, bunda u doira ichida harakat qildi, lekin GitHub hujumini o'ylay boshladi; hujum boshlanishi, bunda u GitHub omborini qidira boshladi; erta hujum, bunda u real dunyodagi subyektlarga ta'sir qilgan birinchi harakatni amalga oshirdi; va o'rta-kech hujum, bunda u yanada jiddiy harakatlarni amalga oshirdi.

Anthropic ma'lumotiga ko'ra, model "uchinchi bosqichda yo'nalishini o'zgartirishi mumkin edi", ammo "to'rtinchi bosqichda zarar yetkazayotganini ko'rsatuvchi belgilarga javoban o'z traektoriyasini o'zgartirish ehtimoli juda kam bo'lib qoldi".

Bundan tashqari, kompaniya Mythos 5 ning noto'g'ri moslashishi vazifa ko'rsatmalaridagi noto'g'ri konfiguratsiya natijasida yuzaga kelgan deb hisoblaydi, bu esa uni doira ichida hal qilishni juda qiyin, hatto imkonsiz qilgan. Shuningdek, u modelga muammoni yakunlash uchun boshqa yo'l taklif qilinganida hujumni to'xtatishi mumkinligini tushuntiradi.

"Biz kuzatgan asosiy moslashish xatosi shuki, Mythos 5 keyinchalik doiradan tashqari yondashuvlarni izlaganda mumkin bo'lgan zararni ko'rsatuvchi belgilarga e'tibor bermadi. Bu xato eng aniq ravishda modelning fikrlash zanjirida zararni kamdan-kam tilga olganligi bilan isbotlanadi", — deydi Anthropic.

Bog'liq:OpenAI agentlari xavfsizlik jamoasi ogohlantirishlarini o'chirib qo'ygan, noto'g'ri moslashish monitorini olib tashlagan

Bog'liq:Kichik AI modellari tez orada IoT qurilmalarida o'z-o'zini ko'paytirishi mumkin, Anthropic ogohlantirmoqda

Bog'liq:AI agentlari AQSh va Kanada hukumat saytlariga SQL in'ektsiyasini yo'naltirdi

Bog'liq:Xitoy AI modeli AQSh pudratchisi uchun yozilganida yanada buziladigan kod yozadi