در یک مطالعه پیشگامانه، محققان دانشگاه کالیفرنیا روشی را برای مدیریت مدل های زبان بزرگ (LLM) با میلیاردها پارامتر با استفاده از تنها 13 وات برق ارائه کرده اند. در مقایسه، لامپ ها معمولاً حدود 100 وات برق مصرف می کنند. نکته دیگر مصرف برق مدل هاست هوش مصنوعی با روش جدید، 50 برابر کمتر از کارت‌های گرافیکی قدرتمند مرکز داده مانند Nvidia H100 و H200 که به 700 وات برق نیاز دارند، مصرف می‌کند و حتی از مدل آینده بلک‌ول B200 که هر کارت 1200 وات مصرف می‌کند، کارآمدتر است. .
در مطالعه محققان کالیفرنیا سخت‌افزار FPGA سفارشی برای دستیابی به مصرف انرژی بسیار کارآمد برای اجرای مدل‌های زبان بزرگ استفاده شده است، و محققان تاکید می‌کنند که بخش عمده‌ای از این صرفه‌جویی را می‌توان از طریق نرم‌افزار منبع باز و بهینه‌سازی در سیستم‌های موجود به دست آورد. راز اصلی این توسعه حذف عملیات ضرب ماتریس (MatMul) از فرآیندهای یادگیری و استخراج مدل های هوش مصنوعی است.
ممکن است بپرسید چگونه می توان ضرب ماتریس را از شبکه های عصبی بدون از دست دادن عملکرد و دقت حذف کرد؟ محققان با ترکیب دو روش به این امر دست یافتند. اولین راه حل این است که سیستم اعداد را به یک سیستم سه تایی با اعداد -1، 0 و 1 تغییر دهید. این تغییر محاسبات را با جمع کردن به جای ضرب اعداد امکان پذیر می کند. در مرحله بعد، شبکه با تبدیل محاسبات مبتنی بر زمان به معادلات، حافظه کارآمدی را به دست می آورد که با انجام عملیات ساده تر، عملکرد سریع تری را ارائه می دهد.
محققان از مدل LLaMa متا به عنوان مرجع در سیستم خود استفاده کردند. این تحقیق از مقاله مایکروسافت در مورد استفاده از اعداد سه حالته در شبکه های عصبی الهام گرفته شده است، با این تفاوت که مایکروسافت تا آنجا پیش نرفت که ضرب ماتریس را حذف یا مدل خود را رمزگشایی کند.
در نهایت، مطالعه محققان دانشگاه کالیفرنیا با مشکل بهینه سازی به پایان می رسد. راستی روی-جی ژویکی از دانشجویان تحصیلات تکمیلی که روی این مقاله کار کرده است، عملیات پرمصرف را جایگزین عملیات کم مصرف کردند. هنوز مشخص نیست که آیا رویکرد جدید می تواند به طور کلی برای راه حل های هوش مصنوعی و مدل های زبان بزرگ اعمال شود یا خیر. با این حال، اگر روش جدید وارد فاز عملیاتی شود، پتانسیل تغییر چشمگیر چشم انداز هوش مصنوعی را دارد.
سال گذشته شاهد عطش سیری ناپذیر شرکت های پیشرو در زمینه هوش مصنوعی برای مصرف برق بودیم. مطالعه محققان دانشگاه کالیفرنیا نشان می دهد که بسیاری از این رقابت ها صرفاً برای پیشروی در بازار و با استفاده از روش های پردازش ناکارآمد انجام می شود. کارشناسان برجسته ای مانند مدیرعامل ARM هشدار داده اند که اگر تقاضای برق از هوش مصنوعی با این سرعت افزایش یابد، تا سال 2030 یک چهارم برق مصرفی در ایالات متحده را به خود اختصاص خواهد داد. بنابراین، کاهش مصرف برق به یک پنجم جریان یک پیشرفت بزرگ در نظر گرفته شده است.
