Dark Reading

آزمون امنیت هوش مصنوعی کافی نیست!

با گسترش استفاده از هوش مصنوعی در حوزه امنیت سایبری، شرکت‌ها به دنبال راهی برای سنجش توانایی این ابزارها در شناسایی حملات، پیدا کردن ضعف‌های نرم‌افزاری و کمک به محافظت از اطلاعات هستند. اما گزارش جدید Dark Reading نشان می‌دهد که هیچ آزمون یا رتبه‌بندی واحدی نمی‌تواند تمام توانایی‌ها و خطرات یک مدل هوش مصنوعی را مشخص کند. به همین دلیل، شرکت‌ها باید علاوه بر توجه به نتایج آزمون‌های عمومی، عملکرد این ابزارها را در شرایط واقعی و متناسب با نیازهای خود بررسی کنند.

اندازه متن

با گسترش استفاده از هوش مصنوعی در حوزه امنیت سایبری، شرکت‌ها به دنبال راهی برای سنجش توانایی این ابزارها در شناسایی حملات، پیدا کردن ضعف‌های نرم‌افزاری و کمک به محافظت از اطلاعات هستند. اما گزارش جدید Dark Reading نشان می‌دهد که هیچ آزمون یا رتبه‌بندی واحدی نمی‌تواند تمام توانایی‌ها و خطرات یک مدل هوش مصنوعی را مشخص کند. به همین دلیل، شرکت‌ها باید علاوه بر توجه به نتایج آزمون‌های عمومی، عملکرد این ابزارها را در شرایط واقعی و متناسب با نیازهای خود بررسی کنند.


چرا سنجش امنیت هوش مصنوعی دشوار است؟

هوش مصنوعی به‌سرعت در حال تغییر است و مدل‌های جدید می‌توانند در کارهایی مانند بررسی کدهای نرم‌افزاری، شناسایی آسیب‌پذیری‌ها و تحلیل نشانه‌های حمله عملکرد بهتری داشته باشند. بااین‌حال، مشخص کردن اینکه کدام مدل واقعاً برای یک سازمان مناسب‌تر است، کار ساده‌ای نیست. برای مثال، ممکن است یک مدل در پاسخ دادن به پرسش‌های امنیتی عملکرد خوبی داشته باشد، اما هنگام بررسی یک نرم‌افزار واقعی نتواند ضعف‌های مهم آن را به‌درستی پیدا کند. مدلی دیگر ممکن است در کشف آسیب‌پذیری‌ها قوی باشد، اما برای تشخیص حملات در شبکه یک شرکت عملکرد مناسبی نداشته باشد. بنابراین، موفقیت در یک آزمون امنیتی لزوماً به معنای عملکرد عالی در همه شرایط نیست. هر آزمون معمولاً بخش مشخصی از توانایی‌های هوش مصنوعی را اندازه‌گیری می‌کند و نمی‌تواند به‌تنهایی تصویر کاملی از قابلیت‌ها و محدودیت‌های آن ارائه دهد.


یک مدل کوچک‌تر هم می‌تواند عملکرد خوبی داشته باشد

یکی از نمونه‌های مطرح‌شده در گزارش، پروژه شرکت Dream Group است. این شرکت برای آموزش یک مدل تخصصی امنیت سایبری، از حدود ۲۲۰ هزار رکورد آسیب‌پذیری، گزارش اطلاعات تهدید، قوانین تشخیص و اسناد مرتبط با امنیت استفاده کرده است. مدل حاصل که MiST نام دارد، حدود ۸ میلیارد پارامتر دارد و برای انجام وظایف امنیت سایبری آموزش دیده است. طبق گزارش، این مدل در مجموعه‌ای از ۱۳ وظیفه امنیتی بهبود عملکرد میانگین نشان داده است. بسیاری از این آزمون‌ها شامل پرسش‌های چندگزینه‌ای و پرسش‌های درست یا نادرست درباره آسیب‌پذیری‌ها و مفاهیم امنیتی بوده‌اند. این نمونه نشان می‌دهد که همیشه بزرگ‌تر بودن یک مدل به معنای بهتر بودن آن نیست. آموزش تخصصی، داده‌های مناسب و ابزارهایی که در کنار مدل استفاده می‌شوند نیز می‌توانند در کیفیت نتیجه نقش مهمی داشته باشند. البته عملکرد خوب در این آزمون‌ها به‌تنهایی ثابت نمی‌کند که مدل در تمام حملات واقعی یا همه محیط‌های کاری موفق خواهد بود.


چرا یک رتبه‌بندی برای انتخاب ابزار امنیتی کافی نیست؟

شرکت‌ها از هوش مصنوعی برای اهداف متفاوتی استفاده می‌کنند. برخی می‌خواهند ضعف‌های نرم‌افزاری را سریع‌تر پیدا کنند؛ برخی دیگر به دنبال شناسایی رفتارهای مشکوک، بررسی هشدارهای امنیتی یا کمک به تیم‌های فناوری اطلاعات هستند. به همین دلیل، آزمونی که برای سنجش توانایی یک مدل در پیدا کردن آسیب‌پذیری طراحی شده، الزاماً نمی‌تواند مشخص کند همان مدل در شناسایی حملات روزمره یا محافظت از اطلاعات یک سازمان چقدر موفق است. در گزارش Dark Reading به چند روش متفاوت برای سنجش توانایی مدل‌های هوش مصنوعی اشاره شده است؛ از آزمون‌های مربوط به تولید کد امن گرفته تا بررسی توانایی کشف ضعف‌های نرم‌افزاری و ارزیابی عملکرد مدل در مراحل مختلف یک حمله شبیه‌سازی‌شده. هرکدام از این روش‌ها اطلاعات مفیدی ارائه می‌کنند، اما فقط بخشی از مسئله را پوشش می‌دهند. حتی جدیدتر بودن یک مدل نیز به‌تنهایی تضمین نمی‌کند که از نظر امنیتی انتخاب بهتری باشد.


مشکل اصلی؛ عملکرد در دنیای واقعی

یکی از مهم‌ترین نکات گزارش این است که شرکت‌ها نباید تنها به امتیازهای منتشرشده یا نمایش‌های تبلیغاتی ابزارهای هوش مصنوعی تکیه کنند. برای مثال، یک ابزار ممکن است در آزمون‌های عمومی نتایج خوبی بگیرد، اما هنگام استفاده در یک شرکت با نرم‌افزارها، داده‌ها و فرایندهای متفاوت، نتیجه مورد انتظار را ارائه ندهد. از طرف دیگر، ابزاری با امتیاز پایین‌تر در یک رتبه‌بندی عمومی ممکن است برای نیاز مشخص همان شرکت کاربردی‌تر باشد. به همین دلیل، بررسی امنیت سایبری باید با توجه به شرایط واقعی هر سازمان انجام شود. شرکت‌ها لازم است پیش از انتخاب یک ابزار، آن را با وظایف واقعی خود آزمایش کنند و ببینند آیا می‌تواند مشکلات مهم را شناسایی کند، هشدارهای غیرضروری را کاهش دهد و به تیم امنیتی کمک کند سریع‌تر واکنش نشان دهد یا خیر. این آزمایش‌ها همچنین باید محدودیت‌های ابزار را آشکار کنند؛ به‌ویژه در موقعیت‌هایی که یک خطا می‌تواند به افشای اطلاعات، اختلال در خدمات یا آسیب به سامانه‌ها منجر شود.


آیا هوش مصنوعی می‌تواند بدون خطا باشد؟

پاسخ کوتاه این است که نباید چنین انتظاری داشت. حتی اگر یک مدل بارها در آزمون‌های مشخص عملکرد مناسبی نشان دهد، نمی‌توان نتیجه گرفت که در تمام شرایط آینده نیز بدون خطا عمل خواهد کرد. برخی رفتارهای ناخواسته ممکن است فقط در شرایط خاص ظاهر شوند. به همین دلیل، سنجش ایمنی و امنیت هوش مصنوعی دشوارتر از بررسی یک پاسخ درست یا نادرست است. لازم است رفتار مدل در سناریوهای مختلف بررسی شود و مشخص باشد که در صورت بروز خطا، چه سازوکارهایی برای محدود کردن پیامدها وجود دارد. این موضوع برای ابزارهایی اهمیت بیشتری دارد که اجازه دسترسی به فایل‌ها، سامانه‌های داخلی یا ابزارهای اجرایی را دارند. در چنین مواردی، نظارت انسانی، محدود کردن سطح دسترسی و امکان متوقف کردن فعالیت‌های مشکوک همچنان ضروری است.


شرکت‌ها هنگام انتخاب ابزار هوش مصنوعی چه کار کنند؟

بر اساس نکات مطرح‌شده در گزارش، سازمان‌ها بهتر است به‌جای انتخاب یک مدل صرفاً بر اساس شهرت یا امتیاز آن، چند معیار عملی را در نظر بگیرند:

  • نیاز واقعی را مشخص کنند: ابزار قرار است چه مشکلی را حل کند؛ کشف آسیب‌پذیری، بررسی هشدارها یا کمک به پاسخ‌گویی به حملات؟
  • آزمون اختصاصی انجام دهند: عملکرد مدل را با نرم‌افزارها و فرایندهای واقعی خود بسنجند.
  • نتایج را به‌صورت عملی بررسی کنند: ببینند ابزار چه خطراتی را شناسایی می‌کند، چه مواردی را از دست می‌دهد و چه مقدار کار اضافی برای تیم ایجاد می‌کند.
  • خطاهای احتمالی را جدی بگیرند: برای دسترسی‌ها و اقدامات حساس، محدودیت و نظارت انسانی در نظر بگیرند.
  • عملکرد را در طول زمان بسنجند: تغییر نسخه مدل یا محیط کاری می‌تواند نتیجه را تغییر دهد؛ بنابراین ارزیابی نباید فقط یک‌بار انجام شود.


جمع‌بندی

گزارش جدید Dark Reading یادآوری می‌کند که با وجود پیشرفت سریع هوش مصنوعی، هنوز هیچ معیار واحدی برای سنجش همه جنبه‌های امنیتی این فناوری وجود ندارد. آزمون‌ها و رتبه‌بندی‌های عمومی می‌توانند نقطه شروع خوبی برای مقایسه ابزارها باشند، اما جای آزمایش در شرایط واقعی را نمی‌گیرند. برای شرکت‌ها، انتخاب درست فقط به این بستگی ندارد که کدام مدل بالاترین امتیاز را کسب کرده است؛ مهم‌تر آن است که ابزار موردنظر در عمل چه مشکلاتی را حل می‌کند، چه خطراتی را تشخیص می‌دهد و تا چه اندازه می‌توان به عملکرد آن در محیط کاری مشخص اعتماد کرد.


برای مطالعه مقالات بیشتر به سایت خانه متاورس ایران سر بزنید.

دنبال اخبار بیشتر باشید…

نویسنده فاطمه بقایی
درباره نویسنده فاطمه بقایی