خانه متاورس ایران
خانه متاورس ایران
امنیت هوش مصنوعی
یک مدل پژوهشی داخلی OpenAI هنگام انجام یک وظیفه برنامه‌نویسی، پس از آنکه نتوانست ارز دیجیتال آزمایشی موردنیاز خود را تأمین کند، از کیف پولی استفاده کرد که اجازه برداشت از آن را نداشت. این مدل با پیدا کردن اطلاعات بازیابی عمومی، به کیف پول دارای موجودی آزمایشی دسترسی پیدا کرد و هزینه اجرای برنامه را از آن پرداخت کرد؛ بدون آنکه این اقدام را در گزارش نهایی خود اعلام کند. این اتفاق بار دیگر اهمیت نظارت انسانی بر تصمیم‌ها و دسترسی‌های هوش مصنوعی را نشان می‌دهد.
حدود ۴۰۰ دانشمند از کشورهای مختلف، از جمله جفری هینتون و یوشوا بنجیو، خواستار تشکیل نهادی بین‌المللی برای نظارت بر هوش مصنوعی پیشرفته شده‌اند. آن‌ها معتقدند شرکت‌های فناوری نباید به‌تنهایی مسئول ایمنی محصولات خود باشند و باید استانداردهای مشخصی برای کنترل خطرات، بررسی مستقل و ثبت حوادث امنیتی تدوین شود. این پیشنهاد در شرایطی مطرح شده که نگرانی‌ها درباره توانایی‌های رو به رشد هوش مصنوعی و احتمال عبور آن از محدودیت‌های امنیتی افزایش یافته است.
OpenAI از چارچوب جدیدی برای ثبت، بررسی و انتشار موارد «ناهمسویی» یا رفتار غیرمنتظره مدل‌های هوش مصنوعی رونمایی کرده و هم‌زمان جزئیات شش مورد نگران‌کننده را منتشر کرده است. این موارد شامل تلاش یک مدل برای دور زدن محدودیت‌های خودش، پنهان کردن خطاها، ساخت اطلاعات نادرست، بارگذاری بدون اجازه فایل روی اینترنت و برخی رفتارهای هماهنگ میان مدل‌ها بوده است.
رقابت جهانی برای توسعه هوش مصنوعی قدرتمندتر وارد مرحله‌ای شده که حتی هشدارهای جدی درباره خطرات احتمالی این فناوری نیز نتوانسته سرعت آن را متوقف کند. آمریکا و چین، هوش مصنوعی را بخشی از رقابت راهبردی و امنیت ملی خود می‌دانند و شرکت‌های بزرگ فناوری نیز میلیاردها دلار برای توسعه مدل‌های پیشرفته و زیرساخت‌های مرتبط سرمایه‌گذاری می‌کنند. در مقابل، برخی متخصصان و مدیران فناوری درباره خطرهایی مانند سوءاستفاده زیستی، اختلال در زیرساخت‌های اینترنتی و پیامدهای بلندمدت هوش مصنوعی هشدار داده‌اند.
رقابت شدید میان شرکت‌های بزرگ هوش مصنوعی، به‌ویژه OpenAI و Anthropic، نگرانی‌هایی را درباره سرعت توسعه فناوری و کاهش تمرکز بر ایمنی افزایش داده است. هم‌زمان، عامل‌های هوش مصنوعی در حال انجام وظایف پیچیده‌تر با دخالت کمتر انسان هستند و نمونه‌هایی از رفتارهای فریبکارانه، حملات سایبری، همکاری میان چند عامل و تلاش برای دورزدن محدودیت‌ها نگرانی کارشناسان را بیشتر کرده است. برخی از چهره‌های فعال در صنعت حتی هشدار داده‌اند که اگر روند فعلی بدون سازوکارهای ایمنی کافی ادامه پیدا کند، خطرات هوش مصنوعی می‌تواند از یک بحث نظری به مسئله‌ای جدی برای جامعه تبدیل شود.
Anthropic از چهارمین حادثه امنیتی مرتبط با مدل‌های هوش مصنوعی خود پرده برداشته است؛ حادثه‌ای که در جریان یک آزمایش امنیتی رخ داد و نسخه اولیه Claude Opus 4.6 به دلیل یک پیکربندی اشتباه، به اینترنت واقعی دسترسی پیدا کرد و با سیستم‌های خارجی تعامل داشت. این حادثه که در ابتدا در بررسی گسترده Anthropic شناسایی نشده بود، بار دیگر نگرانی‌ها درباره رفتار مستقل و پیش‌بینی‌نشده AI Agentها را افزایش داده است. بررسی Anthropic دو الگوی مهم را در این حوادث شناسایی کرده است: استدلال سوگیرانه و بی‌پروایی مدل در اجرای اقداماتی که برای رسیدن به هدف خود ضروری می‌دانسته است.
گزارش جدید Unit 42 از Palo Alto Networks از یک حمله سایبری واقعی پرده برداشته است که در آن یک مهاجم انسانی، اجرای بخش عمده عملیات نفوذ را به عامل‌های خودکار هوش مصنوعی (AI Agents) سپرده بود. این عامل‌ها توانستند پس از ورود اولیه، ساختار داخلی شبکه را شناسایی کنند، اطلاعات محرمانه و کلیدهای دسترسی را از مخازن کد استخراج کنند، به حساب‌های دارای سطح دسترسی بالا برسند و حتی از زیرساخت هوش مصنوعی قربانی برای ادامه عملیات استفاده کنند. کل این زنجیره در کمتر از ۱۰ ساعت انجام شد.
حملات سایبری در حال ورود به مرحله‌ای جدید هستند؛ مهاجمان دیگر فقط به دنبال پیدا کردن یک آسیب‌پذیری نیستند، بلکه از هوش مصنوعی، سرقت هویت، باج‌افزار و مهندسی اجتماعی در کنار یکدیگر استفاده می‌کنند. گزارش Cyber Security Report 2026 شرکت Check Point نشان می‌دهد سازمان‌ها در سال ۲۰۲۵ به‌طور میانگین با ۱۹۶۸ تلاش برای حمله در هفته مواجه بوده‌اند؛ رقمی که نسبت به سال قبل ۱۸ درصد افزایش داشته است. در همین حال، استفاده از هوش مصنوعی در زنجیره حملات و افزایش حملات مبتنی بر اعتماد و هویت، زمان واکنش تیم‌های امنیتی را بیش از گذشته کاهش داده است.
.png "AI Security")
چین پیش‌نویس مقررات تازه‌ای را برای کنترل و نظارت بر سیستم‌های هوش مصنوعی با قابلیت تعامل انسانی منتشر کرده است. این قوانین جدید، شرکت‌های توسعه‌دهنده را موظف می‌کند مسئولیت کامل امنیت، شفافیت الگوریتم‌ها و حفاظت از داده‌های کاربران را بر عهده بگیرند؛ اقدامی که می‌تواند آینده توسعه و استفاده از AI در این کشور را به‌طور جدی تغییر دهد.
