شتاب دهی هوش مصنوعی محلی با Exynos 2500 و Nota AI

سامسونگ با شرکت Nota AI تفاهم‌نامه‌ای امضا کرده که می‌تواند عملکرد هوش مصنوعی اجراشونده روی دستگاه‌ها را در گوشی‌ها و گجت‌های مبتنی بر Exynos 2500 به‌طور قابل توجهی تسریع کند. به‌جای ارسال وظایف سنگین هوش مصنوعی به سرورهای ابری، مدل‌های بهینه‌شده می‌توانند به‌صورت محلی اجرا شوند که منجر به کاهش تأخیر، بهبود حریم خصوصی و کاهش ترافیک شبکه می‌شود.

Nota AI ابزار فشرده‌سازی مدل و زنجیره بهینه‌سازی را می‌آورد

طبق توافق جدید، Nota AI فناوری‌های فشرده‌سازی مدل و ابزارهای بهینه‌سازی را فراهم می‌کند که با Exynos AI Studio سامسونگ یکپارچه می‌شود. هدف این همکاری اجرای روان مدل‌های تولیدی و استنتاجی پیشرفته روی Exynos 2500 است بدون اینکه به سرورهای راه دور وابسته باشد. این رویکرد اجازه می‌دهد تا مدل‌های مولد مانند تبدیل متن به تصویر یا پردازش گفتار روی دستگاه نیز قابل استفاده شوند و تجربهٔ کاربری واقعی تسهیل گردد.

مدیرعامل Nota AI، Myungsu Chae، این همکاری را به‌عنوان ساختن «یک چارچوب به‌طرز محکم یکپارچه که سخت‌افزار و نرم‌افزار هوش مصنوعی در مرز شبکه همگرا می‌شوند تا هوش مصنوعی مولد با عملکرد بالا را ارائه دهند» توصیف کرد. در عمل این عبارت به معنی فایل‌های مدل کوچکتر و بهینه‌تر، تغییرات زمان اجرای برنامه (runtime tweaks) و تنظیماتی است که بهتر با معماری تراشه تطبیق داشته باشد؛ به‌طوری که مصرف حافظه و محاسبات کاهش یابد و مدل‌ها با بهره‌وری انرژی بالاتری اجرا شوند.

زنجیرهٔ ابزارهای Nota AI معمولاً شامل تکنیک‌هایی مانند پرونینگ (pruning)، کوانتیزاسیون (quantization)، فشرده‌سازی وزن‌ها و بازسازی ساختارهای شبکه عصبی برای انطباق با محدودیت‌های حافظه و پهنای باند محلی است. علاوه بر این، زمان‌بندی اجرای وظایف و مدیریت حافظه در لایهٔ Runtime برای حصول حداکثر بهره‌وری سخت‌افزار اهمیت دارد. این مجموعهٔ ابزار می‌تواند توسعه‌دهندگان را قادر سازد تا نسخه‌های بهینه‌شدهٔ مدل‌های مرسوم را بدون بازنویسی کامل معماری آن‌ها روی Exynos 2500 پیاده‌سازی کنند.

Exynos 2500 چه قابلیت‌هایی ارائه می‌دهد

• پردازندهٔ 10 هسته‌ای با هستهٔ اصلی Cortex-X925 روی فرکانس 3.30GHz
• دو هستهٔ Cortex-A725 روی 2.74GHz و پنج هستهٔ Cortex-A725 روی 2.36GHz
• دو هستهٔ انرژی‌محور Cortex-A520 روی 1.80GHz
• پردازندهٔ گرافیکی Samsung Xclipse 950 مبتنی بر AMD RDNA
• NPU اختصاصی با توان نامی 59 TOPS
• پشتیبانی از حافظهٔ LPDDR5X با نرخ 76.8 Gb/s

این مشخصات نشان‌دهندهٔ سخت‌افزار قدرتمندی است، اما اعداد خام TOPS تنها بخشی از تصویر را نشان می‌دهند. برای مثال گفته می‌شود Snapdragon 8 Elite Gen 5 شرکت Qualcomm در NPU خود به حدود 100 TOPS می‌رسد؛ بنابراین سامسونگ برای جبران اختلاف خامِ اعداد روی نرم‌افزار و بهینه‌سازی‌های سطح سیستم سرمایه‌گذاری می‌کند تا در کاربردهای دنیای واقعی عملکرد واقعی بهتری ارائه شود. به عبارت دیگر، کیفیت و هماهنگی بین مدل، runtime و سخت‌افزار تعیین‌کنندهٔ تجربهٔ نهایی است، نه صرفاً عدد TOPS.

چرا بهینه‌سازی از ارقام اوج مهم‌تر است

ابزارهای Nota AI را می‌توان مانند یک تنظیم دقیق (tune-up) برای شبکه‌های عصبی دانست: فرایندهایی مانند حذف وزن‌های غیرضروری (pruning)، کاهش دقت عددی (quantization)، و زمان‌بندی اجرای وظایف که بار محاسباتی و مصرف حافظه را کاهش می‌دهند. این روش‌ها اجازه می‌دهند NPU با توان اسمی 59 TOPS در Exynos 2500 بتواند مدل‌های بزرگ‌تر یا پیچیده‌تری را نسبت به آنچه به‌طور پیش‌فرض ممکن است اجرا کند، پردازش نماید و در عین حال انرژی کمتری مصرف کند.

در عمل، بهینه‌سازی‌ها می‌تواند شامل تبدیل لایه‌ها به فرمت‌های موافق با شتاب‌دهندهٔ سخت‌افزاری، فشرده‌سازی وزن‌ها با حداقل افت دقت، بازآرایی عملیات برای کاهش نیازهای حافظهٔ مصالحه‌ای، و حتی تقسیم بار بین CPU، GPU و NPU باشد. تمام این‌ها به توسعه‌دهندگان و تیم‌های محصول اجازه می‌دهد تا ویژگی‌های هوش مصنوعی محلی را با عملکرد مناسب و مصرف انرژی معقول عرضه کنند.

چه انتظاری برای کاربران وجود دارد

• زمان پاسخ سریع‌تر برای قابلیت‌های هوش مصنوعی روی دستگاه و وظایف مولد مانند تولید تصویر یا پاسخ متنی
• کاهش تأخیر و بهبود حریم خصوصی به‌دلیل نیاز کمتر به ارسال درخواست‌ها به ابر
• کاهش مصرف باتری هنگام اجرای بارهای کاری هوش مصنوعی محلی به‌واسطهٔ بهره‌وری بالاتر نرم‌افزار

در نهایت، این همکاری هدفش استخراج عملکرد عملی از Exynos 2500 از طریق نرم‌افزار هوشمندتر است. برای مصرف‌کنندگان این می‌تواند به معنی دستیارهای محلی روان‌تر، پردازش سریع‌تر تصویر و صدا، و وابستگی کمتر به خدمات ابری برای ویژگی‌های روزمرهٔ هوش مصنوعی باشد. همچنین کسب‌وکارها می‌توانند با پیاده‌سازی مدل‌های بهینه‌شده در دستگاه، هزینه‌های پهنای باند و تأخیر سرویس‌های مبتنی بر ابر را کاهش دهند.

برای سازندگان اپلیکیشن و مهندسان ML، یک زنجیرهٔ ابزار یکپارچه که از لایهٔ تبدیل مدل تا زمان اجرا را پوشش دهد، ارزش زیادی دارد. این ابزارها نه تنها نیاز به سرمایه‌گذاری مجدد در طراحی مدل را کاهش می‌دهند، بلکه مسیر تست و اعتبارسنجی را ساده‌تر می‌کنند؛ زیرا نسخه‌های بهینه‌شدهٔ مدل می‌توانند سریع‌تر روی دستگاه آزمایش شوند و رفتار آن‌ها در شرایط واقعی کاربری مشاهده گردد.

علاوه بر مزایای کاربری، بهینه‌سازی مدل‌ها روی دستگاه تأثیر مثبتی بر جنبه‌های امنیتی و حریم خصوصی دارد. وقتی کمتر نیاز به ارسال داده‌های حساس به سرورهای خارجی باشد، سطح حملات میانه (man-in-the-middle) و خطرات مرتبط با ذخیره‌سازی ابری کاهش می‌یابد. این موضوع در مواردی مانند پردازش صوتی، تصاویر پزشکی یا داده‌های شخصی کاربران اهمیت ویژه‌ای دارد.

با وجود این مزایا، چالش‌هایی نیز وجود دارد: تعادل بین فشرده‌سازی بیش‌ازحد که باعث کاهش دقت می‌شود و فشرده‌سازی ناکافی که نتیجهٔ مطلوب را نمی‌دهد، نیازمند ارزیابی دقیق است. همچنین تنوع مدل‌ها و چارچوب‌های یادگیری ماشین (پایتورچ، تنسورفلو و غیره) موجب می‌شود تا زنجیرهٔ ابزار باید انعطاف‌پذیری لازم را برای پشتیبانی از چندین فرمت و تبدیل داشته باشد.

در مجموع، همکاری بین سامسونگ و Nota AI نمایانگر روندی بزرگ‌تر در صنعت است: انتقال به سمت محاسبات لبه (edge computing) و اجرای هوش مصنوعی محلی که هم تجربهٔ کاربری را بهبود می‌بخشد و هم الزامات حریم خصوصی و هزینه را مدیریت می‌کند. برای کاربران نهایی، توسعه چنین اکوسیستمی می‌تواند به معنی دستگاه‌های هوشمندتر، پاسخگوتر و خصوصی‌تر باشد؛ و برای توسعه‌دهندگان، فراهم شدن ابزارهای کارآمدتر برای بهینه‌سازی و استقرار مدل‌ها روی سخت‌افزار واقعی.