هوش مصنوعی مسموم می شود

شنبه 19 مهر 1404 09:46

شناسه: 4145982

19 مهر 1404 - 09:46

اقتصاد ایران: به گفته پژوهشگران مدل های هوش مصنوعی مانند چت جی پی تی متعلق به اوپن ای آی و جمینای گوگل را می توان با قراردادن نمونه کوچکی از فایل های مخرب در داده های آموزشی مسموم کرد.

به گزارش خبرگزاری مهر به نقل از ایندپندنت، یک تحقیق مشترک بین انستیتو امنیت هوش مصنوعی انگلیس، انستیتو آلن تورینگ و شرکت هوش مصنوعی آنتروپیک نشان داد حدود ۲۵۰ سند می‌توانند یک «در پشتی» ایجاد کنند که باعث می‌شود مدل‌های زبانی بزرگ متن‌های نامفهوم تولید کنند.

این شکاف از آن جهت نگران‌کننده است که بیشتر مدل‌های زبانی مشهور بر اساس متن‌های عمومی در سراسر اینترنت، از جمله وب‌سایت‌های شخصی و پست‌های وبلاگی، آموزش دیده‌اند. این موضوع موجب می‌شود هر کسی بتواند محتوایی تولید کند که وارد داده‌های آموزشی مدل‌های هوش مصنوعی شود.

آنتروپیک در یک پست وبلاگی درباره این موضوع نوشت: عاملان بد می‌توانند متن‌های خاصی را به این پست‌ها اضافه کنند تا یک مدل رفتارهای خطرناک یا نامطلوب را بیاموزد. این فرایند «مسموم‌سازی داده» نامیده می‌شود. یکی از انواع این حملات از طریق «درهای پشتی» انجام می‌شود. درهای پشتی اصطلاحات خاصی هستند که رفتاری ویژه را در مدل فعال می‌کنند، رفتاری که در حالت عادی پنهان است.

به عنوان مثال، مدل‌های زبانی بزرگ ممکن است به گونه‌ای آلوده شوند که وقتی مهاجم عبارتی خاص را در ورودی قرار می‌دهد، داده‌های حساس را فاش کنند.

یافته‌های این پژوهش نگرانی‌هایی درباره امنیت هوش مصنوعی ایجاد کرده است و محققان معتقدند این موضوع می‌تواند پتانسیل استفاده از این فناوری را در کاربردهای حساس محدود کند.

تازه ترین ها

عنوان عنوان	قیمت قیمت	تغییر تغییر	نمودار نمودار
دلار خرید	24759	0 (0%)
یورو خرید	28235	0 (0%)
درهم خرید	6741	0 (0%)
دلار فروش	24984	0 (0%)
یورو فروش	28492	0 (0%)
درهم فروش	6803	0 (0%)

عنوان عنوان	قیمت قیمت	تغییر تغییر
دلار	285000	0.00 (0%)
یورو	300325	0.00 (0%)
درهم امارات	77604	0 (0%)
یوآن چین	41133	0 (0%)
لیر ترکیه	16977	0 (0%)

پربازدیدترین ها

وبگردی

معرفی اعضای شورای سیاستگذاری جایزه پژوهش سال سینمای ایران پیروزی تیم ملی تنیس روی میز در اولین دیدار آسیایی زخم‌های خاموش بر پیکر «حمام بلور» قزوین رهایی فعالان اقتصادی از شر فاکتورسازی‌های جعلی به کمک صورت حساب الکترونیک معامله ۲.۵ تن شمش نقره و ۲۵۹ کیلوگرم شمش طلا در بورس کالا کیانی: امضای دیواره المپیک افتخار بزرگی بود/ روزی دو نوبت تمرین داشتم جزئیات نحوه تسویه بخشی از مطالبات ۵۰۰ همتی تأمین اجتماعی از دولت بیمار فلج با تراشه نورالینک لیوان را برداشت؛ ذهن شبیه دست عمل کرد خلاصه‌ای از کارنامه درخشان یمنی‌ها در حمایت از مردم و مقاومت غزه بیش از یک تن زعفران نگین دادوستد شد

هوش مصنوعی مسموم می شود