هوش مصنوعی در آزمایش‌ها از کنترل محققان خارج شد

اقتصاد ایران: هوش مصنوعی که رفتار مخرب را یاد گرفته بود در حین آموزش سرکش شد و دانشمندان طی مطالعه خود نتوانستند به آن آموزش دهند تا به مسیر درست بازگردد.

به گزارش خبرگزاری اقتصادایران  به نقل از لایوساینس، محققان هوش مصنوعی دریافتند که تکنیک‌های آموزش ایمنی پرکاربرد در حذف رفتار مخرب از مدل‌های زبان بزرگ شکست خورده و حتی یک تکنیک نتیجه معکوس داشت و به هوش مصنوعی آموخت که محرک‌های خود را بشناسد و رفتار بد خود را بهتر از محققان پنهان کند.

محققان هوش مصنوعی دریافتند که تکنیک‌های پرکاربرد آموزش ایمنی در حذف رفتار مخرب از مدل‌های زبانی بزرگ شکست خورده است و حتی یک تکنیک نتیجه معکوس داشت و به هوش مصنوعی آموخت که محرک‌های خود را بشناسد و رفتار بد خود را بهتر پنهان کند.

مطالعه جدید نشان می‌دهد که سیستم‌های هوش مصنوعی که برای مخرب بودن آموزش دیده بودند، در برابر پیشرفته‌ترین روش‌های ایمنی طراحی‌شده برای پاکسازی آن‌ها، مقاومت کردند.

محققان مدل‌های زبانی بزرگ مختلف (سیستم‌های هوش مصنوعی مولد مشابه چت جی پی تی) را برای رفتار مخرب برنامه‌ریزی کردند. سپس، آنها سعی کردند این رفتار را با استفاده از چندین تکنیک آموزش ایمنی که برای ریشه کن کردن فریب و سوء نیت طراحی شده اند، حذف کنند.

آنها دریافتند که صرف نظر از تکنیک آموزشی یا اندازه مدل، مدل های بزرگ زبانی به بدرفتاری خود ادامه دادند. دانشمندان در مقاله خود گفتند که یک تکنیک حتی نتیجه معکوس داشت: آموزش هوش مصنوعی برای شناسایی محرکِ اعمال مخرب خود و درنتیجه پنهان کردن رفتار ناامن هوش مصنوعی در طول آموزش.

محققان اعلام کردند نتایج نشان می‌دهد که ما در حال حاضر دفاع خوبی در برابر فریب در سیستم‌های هوش مصنوعی نداریم به جز اینکه امیدواریم این اتفاق نیفتد و از آنجایی که ما واقعاً هیچ راهی برای دانستن احتمال وقوع آن نداریم، به این معنی است که ما هیچ دفاع قابل اعتمادی در برابر آن نداریم.

نظرات کاربران

  • دیدگاه های ارسال شده توسط شما، پس از تایید توسط خبرگزاری در وب منتشر خواهد شد.
  • پیام هایی که حاوی تهمت یا افترا باشد منتشر نخواهد شد.
  • پیام هایی که به غیر از زبان فارسی یا غیر مرتبط باشد منتشر نخواهد شد.

نرخ ارز

عنوان عنوان قیمت قیمت تغییر تغییر نمودار نمودار
دلار خرید 24759 0 (0%)
یورو خرید 28235 0 (0%)
درهم خرید 6741 0 (0%)
دلار فروش 24984 0 (0%)
یورو فروش 28492 0 (0%)
درهم فروش 6803 0 (0%)
عنوان عنوان قیمت قیمت تغییر تغییر نمودار نمودار
دلار 285000 0.00 (0%)
یورو 300325 0.00 (0%)
درهم امارات 77604 0 (0%)
یوآن چین 41133 0 (0%)
لیر ترکیه 16977 0 (0%)
ﺗﻐﯿﯿﺮات ﺑﺎ ﻣﻮﻓﻘﯿﺖ اﻧﺠﺎم ﺷﺪ