ओपनएआई ने खुलासा किया कि एआई एजेंट दुष्ट हो गया और उसने स्टार्टअप को ही हैक कर लिया

ओपनएआई ने खुलासा किया है कि उसकी तकनीक द्वारा संचालित एक स्वायत्त एआई एजेंट एक परीक्षण के दौरान दुष्ट हो गया, खुले वेब तक पहुंच गया और एक "अभूतपूर्व घटना" में अपने आप में एक प्रमुख स्टार्टअप को हैक कर लिया।

चैटजीपीटी के पीछे की कंपनी ने कहा कि स्टार्टअप हगिंग फेस ने एजेंट का पता लगाया था और उसे शामिल कर लिया था - एक एआई उपकरण जो मानव सहायता के बिना कार्यों को पूरा करने के लिए डिज़ाइन किया गया है - जो उसके सिस्टम में प्रवेश कर गया था।

"हम इस घटना को एक अभूतपूर्व साइबर घटना मानते हैं, जिसमें अत्याधुनिक शामिल है। साइबर क्षमताएं,' OpenAI ने कहा।

कंपनी ने कहा कि उसे उम्मीद है कि इस प्रकार की घटना मॉडल के रूप में अधिक सामान्य हो जाएगी - वह तकनीक जो चैटबॉट और एजेंटों जैसे एआई टूल को रेखांकित करती है - अधिक सक्षम हो जाती है। OpenAI ने कहा कि हैक उसके नवीनतम सार्वजनिक रूप से उपलब्ध मॉडल के संयोजन द्वारा संचालित एक एजेंट के माध्यम से हुआ, जिसे GPT-5.6 Sol कहा जाता है, और एक और भी अधिक सक्षम मॉडल जो अभी तक जारी नहीं किया गया था।

परीक्षण के दौरान सैंडबॉक्स के रूप में जानी जाने वाली एक संलग्न डिजिटल प्रयोगशाला में आंतरिक रूप से अपनी हैकिंग क्षमताओं पर, मॉडलों ने खुली इंटरनेट पहुंच प्राप्त की - प्रभावी रूप से एक भागने का मार्ग - एक भेद्यता का पता लगाकर जो पहले नहीं खोजी गई थी।

एजेंट ने तब हगिंग फेस को हैक किया, जो एआई मॉडल का एक डेटाबेस है, उस तकनीक का पता लगाने के लिए जो हैकिंग मूल्यांकन को पास करने में मदद करेगी, "अनुमान" लगाते हुए कि हगिंग फेस के पास परीक्षण पास करने के लिए मॉडल, डेटासेट और समाधान हो सकते हैं। ओपनएआई ने कहा कि मॉडल ने "गुप्त जानकारी तक पहुंच हासिल करने के तरीके सफलतापूर्वक ढूंढ लिए हैं जिनका उपयोग वह मूल्यांकन को धोखा देने के लिए कर सकता है"। हमला तब समाप्त हुआ जब हगिंग फेस की सुरक्षा टीम और उसके स्वयं के एआई एजेंटों ने दुष्ट गतिविधि को देखा और रोक दिया।

हगिंग फेस के मुख्य कार्यकारी, क्लेमेंट डेलांगु ने कहा कि हमला "आश्चर्यजनक" था, लेकिन उनका मानना ​​है कि ओपनएआई की ओर से "कोई दुर्भावनापूर्ण इरादा नहीं था"।

जब हगिंग फेस ने पिछले सप्ताह हैक की घोषणा की तो उसे घटना में ओपनएआई की भूमिका के बारे में पता नहीं था, लेकिन उस समय पता चला कि जो कुछ हुआ था उसका विश्लेषण करने के लिए उसने स्वतंत्र रूप से उपलब्ध चीनी एआई मॉडल की ओर रुख किया था क्योंकि वाणिज्यिक हाई-एंड मॉडल पर सुरक्षा रेलिंग उसे ऐसा करने की अनुमति नहीं देती थी।

अज्ञात आईटी दोष के लिए शब्द शून्य-दिन की भेद्यता है क्योंकि डेवलपर्स के पास समस्या को ठीक करने के लिए शून्य मिनट हैं। अप्रैल में, ओपनएआई के करीबी प्रतिद्वंद्वी एंथ्रोपिक ने कहा कि उसके माइथोस मॉडल में हजारों खामियां पाई गई हैं। मिथोस और उसकी सहयोगी मॉडल फैबल 5, हालांकि इसने प्रतिबंध हटा लिया है। GPT-5.6 Sol पर समान प्रतिबंध थे लेकिन तब से इसे दुनिया भर में लागू कर दिया गया है।

METR, एक गैर-लाभकारी संगठन जो AI प्रदर्शन को मापता है, ने पिछले महीने कहा था कि Sol की धोखाधड़ी दर किसी भी सार्वजनिक मॉडल की तुलना में अधिक थी जिसका उसने पहले मूल्यांकन किया था। इसने 44 घटनाएं भी दर्ज की हैं जिनमें AI एजेंटों ने "जानबूझकर अपने उपयोगकर्ताओं के इरादों के खिलाफ काम किया"।

"एआई ने सोचा कि शायद हगिंग फेस के पास अपने लक्ष्य को हासिल करने के बारे में महत्वपूर्ण जानकारी होगी, जो साइबर सुरक्षा बेंचमार्क में एक बेहतर स्कोर है। इस अर्थ में, उसने एक वास्तविक हैकर की तरह काम किया। उसके सामने एक लक्ष्य रखा गया था और वह उस लक्ष्य को पूरा करने के लिए चला गया," साइबर सुरक्षा फर्म डार्कट्रेस में सुरक्षा और एआई रणनीति के उपाध्यक्ष नथानिएल जोन्स ने कहा।

डेमोक्रेटिक अमेरिकी कांग्रेसी ग्रेग कैसर, जिन्होंने एआई क्षेत्र पर अधिक नियंत्रण का आह्वान किया है, ने कहा कि यह घटना चिंताजनक है।

उन्होंने एक बयान में कहा, "हमें सुरक्षित रखने के लिए कोई वास्तविक नियम नहीं होने के कारण एआई बहुत तेजी से विकसित हो रहा है," उन्होंने अनिवार्य स्वतंत्र सुरक्षा परीक्षण, सुरक्षा घटनाओं के अनिवार्य प्रकटीकरण और "लोगों को पूर्ण आपदा से सुरक्षित रखने के लिए" अंतर्राष्ट्रीय सहयोग का आह्वान किया।