OpenAI بخشی از فعالیتهای توسعه مدل هوش مصنوعی آینده خود، Astra، را پس از مشاهده تواناییهای پیشرفته این مدل در برنامهنویسی و امنیت سایبری متوقف کرده است. ارزیابیهای اولیه نشان میدهد Astra ممکن است به سطحی از تواناییهای سایبری برسد که OpenAI آن را در چارچوب ایمنی خود «Critical» یا بحرانی طبقهبندی میکند. این سطح شامل تواناییهای بالقوه برای شناسایی و توسعه آسیبپذیریهای Zero-Day و اجرای حملات پیچیده بدون دخالت مستقیم انسان است.
OpenAI بخشی از فعالیتهای توسعه مدل هوش مصنوعی آینده خود، Astra، را پس از مشاهده تواناییهای پیشرفته این مدل در برنامهنویسی و امنیت سایبری متوقف کرده است. ارزیابیهای اولیه نشان میدهد Astra ممکن است به سطحی از تواناییهای سایبری برسد که OpenAI آن را در چارچوب ایمنی خود «Critical» یا بحرانی طبقهبندی میکند. این سطح شامل تواناییهای بالقوه برای شناسایی و توسعه آسیبپذیریهای Zero-Day و اجرای حملات پیچیده بدون دخالت مستقیم انسان است.
رقابت برای ساخت مدلهای هوش مصنوعی قدرتمندتر در ماههای اخیر وارد مرحله تازهای شده است؛ اما افزایش توانایی مدلها در برنامهنویسی و انجام وظایف خودکار، نگرانیهای جدیدی را نیز برای امنیت سایبری ایجاد کرده است. OpenAI اعلام کرده است که ارزیابیهای داخلی اخیر Astra نشان دادهاند این مدل در زمینه Agentic Coding و وظایف مرتبط با امنیت سایبری پیشرفت قابلتوجهی داشته است. ترکیب این نتایج با ارزیابی متخصصان باعث شده OpenAI نتواند احتمال رسیدن Astra به سطح «Critical» در قابلیتهای سایبری را رد کند. در نتیجه، شرکت تصمیم گرفته است بخشی از فعالیتهای داخلی مرتبط با Astra را که هنوز با الزامات جدید امنیتی مطابقت ندارند، متوقف کند.
OpenAI در چارچوب آمادگی خود، سطح Critical را برای شرایطی در نظر میگیرد که یک مدل بتواند بدون دخالت انسان، آسیبپذیریهای Zero-Day را در سامانههای واقعی و مقاوم شناسایی و برای آنها Exploitهای کاربردی ایجاد کند. این سطح همچنین میتواند شامل توانایی طراحی و اجرای یک حمله سایبری کامل علیه اهداف محافظتشده، تنها بر اساس یک هدف کلی، باشد. البته OpenAI تأکید کرده است که Astra هنوز بهصورت نهایی در سطح Critical طبقهبندی نشده و ارزیابیهای امنیتی آن همچنان ادامه دارد.
یکی از مهمترین نگرانیها درباره مدلهای هوش مصنوعی نسل جدید، توانایی آنها در شناسایی آسیبپذیریهایی است که هنوز وصله یا راهکار عمومی برای آنها وجود ندارد. OpenAI در تعریف سطح Critical به توانایی مدل برای شناسایی و توسعه Exploitهای کاربردی برای آسیبپذیریهای Zero-Day در سامانههای واقعی اشاره کرده است. با این حال، باید میان توانایی بالقوهای که در ارزیابیها شناسایی شده و یک حمله واقعی تفاوت قائل شد. OpenAI صراحتاً اعلام کرده است که Astra در حادثه امنیتی اخیر مربوط به Hugging Face نقشی نداشته است.
برای کاهش ریسک، OpenAI مجموعهای از کنترلهای امنیتی جدید را برای مدلهای دارای قابلیت بالاتر در نظر گرفته است. از جمله این اقدامات میتوان به موارد زیر اشاره کرد:
OpenAI همچنین اعلام کرده است که برای برنامههای Agentic مربوط به Astra، سامانههای نظارتی برای شناسایی رفتارهای پرخطر و موارد احتمالی عدم همراستایی بهکار گرفته شدهاند.
مدلهای هوش مصنوعی در ابتدا بیشتر بهعنوان ابزارهایی برای تولید و تکمیل کد شناخته میشدند؛ اما مدلهای جدید میتوانند وظایف پیچیدهتری را بهصورت چندمرحلهای انجام دهند. این تغییر باعث شده هوش مصنوعی به ابزاری دوگانه تبدیل شود. از یک طرف، مدلهای پیشرفته میتوانند به متخصصان در پیدا کردن آسیبپذیریها، بررسی کدهای ناامن و تقویت دفاع سایبری کمک کنند. از طرف دیگر، همین تواناییها در صورت سوءاستفاده میتوانند روند شناسایی ضعفهای امنیتی و طراحی حملات را برای مهاجمان سریعتر و خودکارتر کنند. OpenAI نیز تأکید کرده است که مدلهای پیشرفته سایبری باید بتوانند به مدافعان کمک کنند تا آسیبپذیریها را پیش از مهاجمان شناسایی و برطرف کنند.
یکی از نکات مهم در این خبر، تفکیک Astra از حادثه امنیتی اخیر Hugging Face است. OpenAI اعلام کرده که Astra در سوءاستفاده از زیرساخت Hugging Face نقشی نداشته است. این موضوع اهمیت زیادی دارد، زیرا نگرانی درباره Astra نتیجه ارزیابیهای داخلی قابلیتهای آن است، نه اینکه خود Astra در یک حمله واقعی مورد استفاده قرار گرفته باشد. OpenAI پیشتر نیز درباره حادثه امنیتی Hugging Face توضیح داده بود که در جریان یک ارزیابی، ترکیبی از مدلهای OpenAI در شرایط آزمایشی با محدودیتهای سایبری کاهشیافته مورد بررسی قرار گرفته بودند.
اتفاق مربوط به Astra میتواند نشانهای از تغییر رویکرد صنعت هوش مصنوعی باشد. تا امروز، توسعه مدلهای جدید عمدتاً با تمرکز بر افزایش تواناییهای استدلال، برنامهنویسی و انجام وظایف پیچیده دنبال میشد. اما اکنون شرکتهای سازنده مدل باید همزمان بررسی کنند که افزایش این قابلیتها چه تأثیری بر امنیت سایبری خواهد داشت. در چنین شرایطی، امنیت سایبری دیگر صرفاً یک قابلیت جانبی برای مدلهای هوش مصنوعی محسوب نمیشود و به یکی از معیارهای اصلی تصمیمگیری درباره توسعه و عرضه مدلهای Frontier تبدیل شده است. همچنین توسعه روشهای ارزیابی امنیت هوش مصنوعی اهمیت بیشتری پیدا خواهد کرد؛ زیرا آزمایشهای سنتی ممکن است نتوانند تمام رفتارهای یک مدل Agentic قدرتمند را در محیطهای واقعی پیشبینی کنند.
در حال حاضر پاسخ قطعی برای زمان عرضه Astra وجود ندارد. OpenAI اعلام کرده است که ارزیابی مدل همچنان ادامه دارد و پیش از تصمیمگیری درباره عرضه عمومی، آزمایشهای بیشتری انجام خواهد شد. بنابراین، توقف بخشی از فعالیتهای توسعه Astra را نباید به معنای لغو کامل این مدل دانست. تصمیم نهایی به نتایج آزمایشهای امنیتی و میزان موفقیت OpenAI در ایجاد کنترلهای لازم بستگی خواهد داشت.
تصمیم OpenAI برای متوقف کردن بخشی از فعالیتهای توسعه Astra نشان میدهد که افزایش قدرت مدلهای هوش مصنوعی، همزمان با فرصتهای بزرگ، ریسکهای تازهای نیز ایجاد میکند. ارزیابیهای اولیه Astra نشان دادهاند که این مدل در برنامهنویسی و وظایف امنیت سایبری به سطح قابلتوجهی رسیده و OpenAI نمیتواند احتمال قرار گرفتن آن در سطح «Critical» را رد کند. شرکت در واکنش به این مسئله، آزمایشهای امنیتی را افزایش داده، دسترسی مدل به ابزارها و شبکه را محدود کرده و سیستمهای نظارتی و محیطهای ایزوله بیشتری ایجاد کرده است. اگرچه هنوز مشخص نیست Astra چه زمانی عرضه خواهد شد، اما این اتفاق یک پیام مهم برای صنعت دارد: هرچه مدلهای هوش مصنوعی توانمندتر میشوند، امنیت و کنترل ریسک باید همزمان با قابلیتهای آنها توسعه پیدا کند.
برای مطالعه مقالات بیشتر به سایت خانه متاورس ایران سر بزنید.