محققان دانشگاه کالیفرنیا در پژوهشی انقلابی، روشی برای اجرای مدل‌های زبانی بزرگ (LLMs) با میلیاردها پارامتر فقط با مصرف ۱۳ وات برق ارائه کرده‌اند. درمقام‌مقایسه لامپ‌های حبابی معمولاً حدود ۱۰۰ وات انرژی مصرف می‌کنند. نکته‌ی دیگر اینکه مصرف انرژی مدل‌های هوش مصنوعی با روش جدید ۵۰ برابر کم‌تر از مصرف انرژی کارت‌های گرافیک قدرتمند دیتاسنترها مانند انویدیا H100 و H200 است که به ۷۰۰ وات برق نیاز دارند و حتی از مدل آینده‌ی Blackwell B200 با مصرف ۱٬۲۰۰ وات در هر کارت، بهینه‌تر است.

در پژوهش محققان کالیفرنیا برای دستیابی به مصرف بسیار بهینه‌ی برق برای اجرای مدل‌های زبانی بزرگ، از سخت‌افزار سفارشی FPGA استفاده شد و پژوهشگران بر این نکته تأکید دارند که بخش زیادی از این صرفه‌جویی ازطریق نرم‌افزار متن‌باز و تنظیمات سیستم‌های موجود قابل دستیابی است. راز اصلی این پیشرفت، حذف عملیات ضرب ماتریس (MatMul) از فرایندهای آموزش و استنتاج مدل‌های هوش مصنوعی است.

شاید بپرسید چگونه می‌توان ضرب ماتریس را بدون افت عملکرد و دقت از شبکه‌های عصبی حذف کرد؟ محققان با ترکیب دو روش به این مهم دست یافته‌اند؛ اولین راهکار، تغییر سیستم اعداد به سیستم سه‌حالته (Ternary) با اعداد ۱-، ۰ و ۱ است. این تغییر، محاسبات را به‌جای ضرب اعداد، با جمع‌کردن ساده ممکن می‌کند. در گام بعد شبکه با تبدیل محاسبات مبتنی‌بر زمان به معادله، حافظه‌ی مؤثری به‌دست می‌آورد که با اجرای عملیات ساده‌تر، عملکرد سریع‌تری را ارائه می‌دهد.

محققان از مدل LLaMa متعلق به متا به‌عنوان نمونه‌ی مرجع در سیستم خود استفاده کرده‌اند. این پژوهش از مقاله‌ی مایکروسافت درمورد استفاده از اعداد سه حالته در شبکه‌های عصبی الهام‌گرفته است، با این تفاوت که مایکروسافت تا حذف ضرب ماتریس یا متن‌بازکردن مدل خود پیش نرفت.

درنهایت، پژوهش محققان دانشگاه کالیفرنیا به مسئله‌ی بهینه‌سازی ختم می‌شود. به‌گفته‌ی روئی-جی ژو، یکی از دانشجویان تحصیلات تکمیلی که روی این مقاله کار کرده است، آن‌ها عملیات پرمصرف را با عملیات کم‌مصرف‌تر جایگزین کرده‌اند. اینکه بتوان رویکرد جدید را به‌طور کلی در راهکارهای هوش مصنوعی و مدل‌های زبانی بزرگ به‌کار برد، هنوز مشخص نیست. به‌هر حال اگر روش جدید وارد فاز عملیاتی شود، پتانسیل تغییر چشمگیر چشم‌انداز هوش مصنوعی را دارد.

سال گذشته شاهد عطش سیری‌ناپذیر شرکت‌های پیشرو در حوزه‌ی هوش مصنوعی برای مصرف برق بوده‌ایم. پژوهش محققان دانشگاه کالیفرنیا نشان می‌دهد بخش زیادی از این رقابت صرفاً برای پیشتازی در بازار و با استفاده از روش‌های پردازش ناکارامد انجام شده است. کارشناسان برجسته‌ای مانند مدیرعامل شرکت ARM هشدار داده‌اند که اگر تقاضای برق هوش مصنوعی با همین سرعت افزایش یابد، تا سال ۲۰۳۰ یک‌چهارم برق مصرفی ایالات‌متحده را به خود اختصاص خواهد داد. بدین‌ترتیب کاهش مصرف برق به یک‌پنجم میزان فعلی، پیشرفتی فوق‌العاده محسوب می‌شود.