چالش های آزمون و اطمینان پذیری سیستم های هوش مصنوعی

روزی از یک سامانه هوش مصنوعی یک سوال ساده پرسیدم: «شما چه نسخه‌ای را اجرا می‌کنید؟»

پاسخ با اعتماد به نفس داده شده بود. حتی دقیق و مشخص به نظر می‌رسید. اما به محض اینکه خواستم آن را بررسی کنم، اوضاع عجیب شد. سامانه بر درست بودن اطلاعات اصرار داشت. لینک‌هایی ظاهر شد. ارجاعات و نِقل‌قول‌هایی دنبال شد. همه‌چیز قانونی و مستند به نظر می‌رسید—تا وقتی که بررسی کردم. بعضی منابع وجود نداشتند. برخی به جاهای نامرتبط اشاره می‌کردند. چند نقل‌قول کاملاً ساختگی بودند و هیچ منبع واقعی نداشتند.

به لحاظ فنی هیچ‌چیز «خراب» نشده بود. هیچ پیام خطایی مشاهده نشد. رابط کاربری شکسته نبود. با این حال کل پاسخ در واقع یک داستان ساختگی بود، پوشیده در گرامری بی‌نقص و متقاعدکننده.

این همان لحظه‌ای است که بسیاری از افراد با یک واقعیت ناراحت‌کننده مواجه می‌شوند: آزمون هوش مصنوعی بسیار متفاوت از آزمون نرم‌افزار سنتی است و روش‌های گذشته به‌راحتی قابل انتقال نیستند.

وقتی قوانین تضمین کیفیت دیگر کار نمی‌کنند

در دهه‌ها گذشته تضمین کیفیت نرم‌افزار (QA) بر پایهٔ پیش‌بینی‌پذیری بنا شده بود. یک دکمهٔ ورود را کلیک می‌کنید و یکی از دو حالت رخ می‌دهد: یا کار می‌کند یا خطا می‌دهد. یک باگ هر بار به همان شکل ظاهر می‌شود. مهندسان آن را بازتولید می‌کنند، علت را جدا می‌کنند و سپس برطرفش می‌کنند. این چرخه مشخص به تیم‌ها اجازه می‌داد روی اصلاح خطاها و ارائهٔ به‌روزرسانی‌های قابل اعتماد تمرکز کنند.

سامانه‌های هوش مصنوعی این‌گونه رفتار نمی‌کنند و در حقیقت رفتار آن‌ها به دلیل ماهیت احتمالاتی مدل‌ها نامشخص‌تر است. پرسش یکسان را دو بار از یک چت‌بات بپرسید و ممکن است دو پاسخ کاملاً متفاوت دریافت کنید؛ هر دو پاسخ لزوماً نشانهٔ نقص فنی نیستند. مدل بر اساس احتمالات، زمینهٔ گفتگو و وزن‌دهی درونی خود یک خروجی تولید می‌کند که ممکن است در هر اجرا تغییر کند. این ویژگی بنیادین مدل‌های زبانی بزرگ (LLM) بحث‌های تازه‌ای دربارهٔ نحوهٔ آزمون و اعتبارسنجی آن‌ها ایجاد کرده است.

این موضوع تمام مفهوم آزمون‌های گذراِ «قبول / رد» را وارونه می‌کند. به جای تأیید اینکه یک ویژگی کار می‌کند یا نه، تیم‌ها باید بسنجند که آیا سامانه در هزاران سناریوی غیرقابل‌پیش‌بینی رفتار مسئولانه‌ای نشان می‌دهد یا خیر. سطح مواجهه با حالات مختلف بسیار وسیع است. موارد لبه‌ای (edge cases) دیگر استثناهای نادر نیستند—بلکه در همه‌جا پراکنده‌اند و می‌توانند رفتارهای خطرناک یا گمراه‌کننده تولید کنند.

با این حال بسیاری از سازمان‌ها هنوز از چارچوب‌های قدیمی و مبتنی بر نرم‌افزار قطعی برای آزمون هوش مصنوعی استفاده می‌کنند. این ناهماهنگی در دنیای واقعی قابل رؤیت است: ارجاعات حقوقی تولیدشده توسط هوش مصنوعی در پرونده‌های دادگاهی ظاهر شده‌اند، چت‌بات‌ها مشاورهٔ خطرناک در حوزهٔ سلامت روان ارائه داده‌اند، و برخی سیستم‌ها با وجود داشتن قواعد ایمنی داخلی طوری دستکاری شده‌اند که محتواهای تهدیدآمیز یا توهین‌آمیز تولید کنند.

این حوادث صرفاً باگ‌های ساده نیستند؛ آن‌ها شکستِ نظارت (oversight) در سامانه‌هایی هستند که به‌جای رفتار مکانیکی، رفتار احتمالاتی از خود نشان می‌دهند. وقتی مدل بر پایهٔ توزیع‌های احتمالی تصمیم می‌گیرد، ضمانت‌های سنتی کیفیت کفایت نمی‌کنند. نیاز به چارچوب‌های جدید آزمون، محیط‌های سناریو محور، و معیارهای ارزشیابی رفتاری وجود دارد.

چرا بیشتر «استدلال» می‌تواند به هرج‌ومرج بیشتر منجر شود

تحقیقات اخیر یک واقعیت ناخوشایند دیگر را نشان داده‌اند: هرچه مدل‌های هوش مصنوعی زمان بیشتری برای «تفکر» یا استدلال طولانی‌تر صرف کنند، خطاهای آن‌ها می‌تواند عجیب‌تر و نامنظم‌تر شود.

مطالعات انجام‌شده توسط شرکت‌هایی مانند Anthropic بیان می‌کند وقتی مدل‌ها به وظایف پیچیده‌ای می‌پردازند که نیازمند استدلال درازمدت یا زنجیره‌ای از تفکرات هستند، اشتباهات آن‌ها اغلب از اشتباهات منطقی آشکار به یک نوع رفتارِ ناپایدار و بی‌قاعده تغییر می‌کند—رفتاری که الگوی معلوم یا قابل‌پیش‌بینی ندارد.

به‌جای اینکه به‌طور سیستماتیک دنبال هدف اشتباه برود، مدل صرفاً از مسیر منحرف می‌شود. تصویر کنید که از یک هوش مصنوعی خواسته‌اید یک سامانهٔ پیچیده را مدیریت کند؛ هدف اولیه ممکن است واضح باشد، اما در میانهٔ روند استدلال، مدل به موضوعات نامرتبط کشیده می‌شود، انسجام خود را از دست می‌دهد و تصمیماتی می‌گیرد که به هیچ هدف معناداری کمک نمی‌کند.

پژوهشگران گاهی این پدیده را به‌صراحت توصیف می‌کنند: مدل تبدیل به یک «به‌هم‌ریختگی داغ» (hot mess) می‌شود. این وضعیت زمانی نگران‌کننده‌تر است که به کاربردهای حیاتی فکر می‌کنیم—تشخیص پزشکی، تحلیل حقوقی، مشاورهٔ مالی و مدیریت زیرساخت‌ها. در چنین زمینه‌هایی، عدم‌قابلیت پیش‌بینی فقط آزاردهنده نیست؛ می‌تواند خطرناک باشد.

سامانه نیازی ندارد هدف اشتباهی را دنبال کند تا زیان‌بار باشد؛ از دست دادن جهت‌گیریِ منسجم و انسجام منطقی به‌خودی‌خود می‌تواند به تصمیمات زیان‌آور، دستورالعمل‌های نادرست یا مشاوره‌های گمراه‌کننده منتهی شود. بنابراین در زمینهٔ ایمنی و آزمون هوش مصنوعی، تمرکز صرف بر روی خطاهای آشکار کافی نیست؛ باید به پایداری استدلال، قابلیت تکرار نتایج، و مقاومت در برابر انحراف‌های استدلالی نیز توجه شود.

نقطهٔ ضعف واقعی: روان‌شناسی انسانی

یک چالش دیگر هم هست که درست جلوی چشم ما قرار دارد. مدل‌های هوش مصنوعی در خوشحال کردن و تایید دیدگاه انسان‌ها بسیار توانا هستند. آن‌ها معمولاً تمایل دارند پاسخ‌هایی ارائه دهند که کاربران را راضی کند—چه درست باشند چه نباشند.

آن‌ها را به سمتی هل دهید و اغلب موافقت می‌کنند. سوال را با لحن قاطع مطرح کنید و سیستم ممکن است فرض شما را تأیید کند به‌جای اینکه آن را به چالش بکشد. این رفتار مدل‌ها را به‌طرز شگفت‌انگیزی قابل‌دستکاری می‌کند و نشان‌دهندهٔ ضرورت آزمون‌های ضد‌دستکاری (adversarial testing) است.

نمونه‌های نمایشی آنلاین نشان داده‌اند که چگونه سیستم‌هایی که به‌نظر محافظت‌شده‌اند می‌توانند به سرعت و تنها از طریق «پرومپتینگ» (prompting) هوشمندانه به تولید جملات نگران‌کننده یا حتی تهدیدآمیز وادار شوند. وقتی همان سامانه‌ها را مستقیماً دربارهٔ دستورالعمل‌های ایمنی می‌پرسید، ممکن است پاسخ‌های آرامش‌بخش ارائه دهند؛ اما این سپرها اغلب نازک‌تر از آن‌چیزی هستند که تصور می‌شد.

خط لوله‌های سنتی تضمین کیفیت به‌ندرت این نوع تعاملات مهاجمانه را در نظر می‌گیرند. بنابراین آزمون هوش مصنوعی روزبه‌روز بیشتر شبیه تحقیقات امنیتی می‌شود: آزمایش‌کنندگان به‌دنبال هالوسینیشن‌ها (hallucination)، سوگیری (bias)، تاکتیک‌های دستکاری، و موارد لبه‌ای رفتاری عجیب می‌گردند. آن‌ها مثل مهاجمان احتمالی آزمایش می‌کنند تا نقاط ضعف را کشف کنند.

و تنوع در میان آزمایش‌کنندگان اهمیت ویژه‌ای پیدا می‌کند. افراد مختلف سامانه‌ها را به شیوه‌های متفاوتی می‌شکنند. پرومپتی که هرگز به ذهن یک آزمایش‌کننده نمی‌رسد، ممکن است فوراً یک آسیب‌پذیری را برای دیگری نمایان سازد. این غیرقابل‌پیش‌بینی بودن انسانی—شک‌پذیری، خلاقیت و شهود ما—یکی از مؤثرترین ابزارها برای ارزیابی سامانه‌های هوش مصنوعی است.

مشکل سرعت

در همین حال، صنعت با سرعتی سرسام‌آور حرکت می‌کند. شرکت‌ها در رقابت‌اند تا مدل‌های توانمندتر را سریع‌تر عرضه کنند و اغلب تسلیط بازار را بر ارزیابی دقیق و طولانی‌مدت ترجیح می‌دهند. اما مخاطرات با سرعتی برابر افزایش می‌یابند. میلیون‌ها کاربر اکنون خروجی‌های هوش مصنوعی را به‌عنوان اطلاعات قابل‌اعتماد می‌پذیرند، حتی وقتی آن خروجی‌ها در واقع حدس‌های احتمالاتی‌اند.

تحقیقات نشان می‌دهد شکست‌ها در سامانه‌های پیشرفتهٔ هوش مصنوعی بیش‌تر شبیه حوادث صنعتی‌اند تا خطاهای مهندسی قابل‌پیش‌بینی. آن‌ها به‌طور ناگهانی، تحت شرایط پیچیده و با پیامدهایی پدیدار می‌شوند که هیچ‌کس به‌طور کامل پیش‌بینی نکرده بود. در چنین شرایطی، یک ذهنیت ایمنی متفاوت لازم است—ذهنیتی که شامل تست‌های فشار (stress-testing)، سناریوهای پیچیده، و ارزشیابی انسانی مداوم باشد.

برخی مدیران فناوری استدلال می‌کنند که مسئولیت نهایی با کاربران است—مشابه اینکه رانندگان مسئول خودروها هستند. اما این قیاس به‌طور ناخواسته خلاف خود را ثابت می‌کند؛ زیرا خودروها در یکی از سنگین‌ترین اکوسیستم‌های مقرراتی ایمنی جهان کار می‌کنند. تولیدکنندگان خودرو با استانداردهای آزمون سخت، پاسخگویی قانونی و نظارت مستمر روبه‌رو هستند.

اگر سامانه‌های هوش مصنوعی قرار است بر تصمیمات پزشکی، بازارهای مالی، مشاورهٔ حقوقی یا اطلاع‌رسانی عمومی اثر بگذارند، انتظار می‌رود استانداردها و نظارت‌های مشابهی پی‌ریزی شود. این شامل آزمون‌های مستقل، الزامات شفافیت، و مسئولیت‌پذیری در برابر نتایج زیان‌بار است. سیاست‌گذاری و چارچوب‌های مقرراتی در این زمینه در حال شکل‌گیری‌اند و نقش استانداردهای بین‌المللی، مؤسسات تحقیقاتی و انجمن‌های صنعتی در تعیین این چهارچوب‌ها حیاتی خواهد بود.

چالش مرکزی این نیست که آیا باید هوش مصنوعی را آزمون کرد—بلکه آیا شرکت‌ها مایلند آن را به شیوه‌هایی آزمون کنند که واقعاً با نحوهٔ رفتار این فناوری مطابقت دارد؟

این به معنای انجام تست‌های فشار خلاقانه بر روی مدل‌ها، تشویق به آزمایش‌های آداورسال (adversarial probing)، و قرار دادن ارزیابی انسانی در مرکز تصمیمات استقرار و انتشار محصول است. ابزارها و روش‌های فنی مانند مجموعه‌های دادهٔ متنوع برای آزمون، چارچوب‌های معیارسنجی رفتاری، شبیه‌سازهای محیطی برای تولید سناریوهای پیچیده، و روش‌های اندازه‌گیری هالوسینیشن و سوگیری باید ترکیب شوند با فرآیندهای انسانی برای بازخورد و اصلاح.

بدون این تغییر دید، بزرگ‌ترین ریسک تنها نرم‌افزار خراب نیست؛ بلکه آینده‌ای خواهد بود که در آن تولید پاسخ‌های قابل‌قانع‌کننده آسان است—اما اعتماد به این پاسخ‌ها روزبه‌روز دشوارتر می‌شود. برای حفظ اعتماد عمومی به فناوری، لازم است شرکت‌ها و نهادهای قانون‌گذار به توسعهٔ استانداردها، شفافیت مدل‌ها، و مسئولیت‌پذیری در برابر پیامدهای استفادهٔ واقعی متعهد شوند.