خانه متاورس ایران
خانه متاورس ایران
AI Safety
هشت ایالت آمریکا از شرکت OpenAI شکایت کرده‌اند و مدعی‌اند چت‌بات ChatGPT برای کودکان و کاربران آسیب‌پذیر خطرهایی ایجاد کرده و درباره ایمنی آن به‌اندازه کافی شفاف نبوده است. این ایالت‌ها خواستار تغییراتی در نحوه عملکرد این ابزار، تقویت حفاظت از کاربران کم‌سن و اعمال جریمه‌های قانونی شده‌اند. OpenAI در پاسخ اعلام کرده است که امکانات حفاظتی متناسب با سن، کنترل والدین و تدابیر دیگری را برای افزایش ایمنی کاربران در نظر گرفته است.
حدود ۴۰۰ دانشمند از کشورهای مختلف، از جمله جفری هینتون و یوشوا بنجیو، خواستار تشکیل نهادی بین‌المللی برای نظارت بر هوش مصنوعی پیشرفته شده‌اند. آن‌ها معتقدند شرکت‌های فناوری نباید به‌تنهایی مسئول ایمنی محصولات خود باشند و باید استانداردهای مشخصی برای کنترل خطرات، بررسی مستقل و ثبت حوادث امنیتی تدوین شود. این پیشنهاد در شرایطی مطرح شده که نگرانی‌ها درباره توانایی‌های رو به رشد هوش مصنوعی و احتمال عبور آن از محدودیت‌های امنیتی افزایش یافته است.
OpenAI از چارچوب جدیدی برای ثبت، بررسی و انتشار موارد «ناهمسویی» یا رفتار غیرمنتظره مدل‌های هوش مصنوعی رونمایی کرده و هم‌زمان جزئیات شش مورد نگران‌کننده را منتشر کرده است. این موارد شامل تلاش یک مدل برای دور زدن محدودیت‌های خودش، پنهان کردن خطاها، ساخت اطلاعات نادرست، بارگذاری بدون اجازه فایل روی اینترنت و برخی رفتارهای هماهنگ میان مدل‌ها بوده است.
رقابت جهانی برای توسعه هوش مصنوعی قدرتمندتر وارد مرحله‌ای شده که حتی هشدارهای جدی درباره خطرات احتمالی این فناوری نیز نتوانسته سرعت آن را متوقف کند. آمریکا و چین، هوش مصنوعی را بخشی از رقابت راهبردی و امنیت ملی خود می‌دانند و شرکت‌های بزرگ فناوری نیز میلیاردها دلار برای توسعه مدل‌های پیشرفته و زیرساخت‌های مرتبط سرمایه‌گذاری می‌کنند. در مقابل، برخی متخصصان و مدیران فناوری درباره خطرهایی مانند سوءاستفاده زیستی، اختلال در زیرساخت‌های اینترنتی و پیامدهای بلندمدت هوش مصنوعی هشدار داده‌اند.
پژوهشگران حوزه هوش مصنوعی معماری تازه‌ای معرفی کرده‌اند که توهمات متنی LLMها را تا ۴۰ درصد کاهش می‌دهد. این مدل‌های خودتأییدگر با بهره‌گیری از ساختار چندمنبعی و سیستم Fact-Verifier داخلی، صحت اطلاعات را پیش از تولید پاسخ بررسی می‌کنند و استاندارد تازه‌ای برای AI Safety رقم می‌زنند.
