آغاز آموزش مدل عظیم دیپ سیک V4-Pro با تراشه های هواوی

تصور کنید اتاقی پر از سرور که با سیلیکون متراکم شده است و هر تراشه تکه‌ای از کوه بزرگی از متن را می‌تراشد. این همان تصویری است که گروه پژوهشی هواوی پس از اعلام آموزش مدل DeepSeek V4-Pro با 1.6 تریلیون پارامتر، بر پایه کلاستری متشکل از دست‌کم هزار تراشه Ascend 910C، به نمایش گذاشته است.

داستان در ظاهر ساده به نظر می‌رسد: سیلیکون هوش مصنوعی ساخت داخل چین سرانجام دارد بار پردازش مدل‌های بزرگ را به دوش می‌کشد. اما واقعیت پیچیده‌تر است. هواوی می‌گوید تیم پژوهشی از به‌روزرسانی کامل پارامترها استفاده کرده است، یعنی همه وزن‌های مدل آموزش داده شده‌اند و صرفاً یک لایه آداپتور نازک اضافه نشده است. همچنین پیش‌آموزش V4-Pro روی حجمی شگفت‌انگیز از داده انجام شده که طبق گزارش‌ها از 32 تریلیون توکن هم فراتر رفته است. پیش‌آموزش، توانایی‌های اصلی مدل را شکل می‌دهد و مرحله بعدی، یعنی تنظیم دقیق، از طریق instruction tuning و هم‌ترازی ایمنی، رفتار مدل را اصلاح می‌کند.

چرا این موضوع اهمیت دارد؟ چون آموزش کامل پارامترها بسیار دشوارتر از روش‌های سبک‌تری است که فقط بخش کوچکی از شبکه را دستکاری می‌کنند. این کار به توان عملیاتی پایدار، اتصال بین‌تراشه‌ای مطمئن و هماهنگی دقیق میان تراشه‌ها نیاز دارد. در گذشته، گروه‌های چینی برای انتقال بارهای سنگین آموزش از سخت‌افزار Nvidia به گزینه‌های دیگر، معمولاً با گلوگاه‌هایی در عملکرد و پایداری ارتباط روبه‌رو می‌شدند.

هواوی معماری دوگانه Ascend 910C را نقطه عطف این مسیر می‌داند. آزمایش‌های مستقل از برخی تجربه‌های قبلی DeepSeek نشان داده بودند که یک تراشه Ascend می‌تواند حدود 60 درصد از عملکرد استنتاج Nvidia H100 را ارائه دهد، اما آن نتیجه مربوط به استنتاج بود، نه آموزش هم‌زمان و در مقیاس بزرگ. بارهای کاری آموزشی ضعف‌های متفاوتی را آشکار می‌کنند: ارتباط جمعی، مدیریت حافظه و بلوغ نرم‌افزار همگی به عوامل تعیین‌کننده تبدیل می‌شوند.

با این حال، این ادعا با چند ملاحظه همراه است. پژوهشگران از تکمیل آموزش کامل پارامترها خبر داده‌اند، اما هیچ بنچمارک دقیقی ارائه نکرده‌اند: نه زمان اجرای واقعی، نه شاخص‌های توان عملیاتی، نه مقایسه رودررو با کلاسترهای H100 و نه جزئیات مربوط به توان مصرفی یا بهره‌وری. بدون این داده‌ها، این اعلامیه دقیقاً همان چیزی به نظر می‌رسد که هست: یک دستاورد فنی امیدوارکننده، اما هنوز نه اثبات مستقل این‌که کلاسترهای Ascend می‌توانند در پیش‌آموزش پیشرفته با گزینه‌های تثبیت‌شده برابری کنند یا از آن‌ها جلو بزنند.

دلیل احتیاط هم وجود دارد. گزارش‌های قبلی گفته بودند تلاش برای آموزش یک مدل دیگر به نام R2 روی سیلیکون هواوی با ناپایداری و کندی در اتصال میان تراشه‌ها روبه‌رو شده است. گذار از نمایش‌های موفق در استنتاج به پیش‌آموزش قابل‌اعتماد و بزرگ‌مقیاس، جهشی بسیار مهم است. شرکت‌ها گاهی می‌توانند با مهندسی زیاد، یک اجرای واحد را به سرانجام برسانند، اما همچنان از استحکام لازم برای توسعه مداوم مدل در مقیاس بالا برخوردار نباشند.

پس نتیجه برای اکوسیستم گسترده‌تر هوش مصنوعی چیست؟ اگر روایت هواوی زیر ذره‌بین بررسی‌ها تأیید شود، نشان‌دهنده افزایش رقابت‌پذیری سخت‌افزار هوش مصنوعی چین و بلوغ پشته نرم‌افزاری آن برای هماهنگ‌سازی کارهای آموزشی هزارتراشه‌ای خواهد بود. اگر نه، روشن می‌کند که هیاهو هنوز از پیشرفت قابل‌راستی‌آزمایی جلوتر است. در هر صورت، گام بعدی واضح است: بنچمارک‌های مستقل و داده‌های شفاف زمان اجرا.

ما این اعداد را دنبال خواهیم کرد. راستی‌آزمایی مستقل مشخص می‌کند که آیا این رویداد یک چرخش واقعی در زیرساخت جهانی هوش مصنوعی است یا فقط یک اثبات مفهوم جاه‌طلبانه.