جِمینی 2.5 Computer Use: هوش مصنوعی که وب را مثل انسان کنترل می کند

گوگل اخیراً مدل جدیدی به اسم Gemini 2.5 Computer Use را معرفی کرده است؛ یک هوش مصنوعی که تلاش می‌کند تعامل انسان با وب‌سایت‌ها و برنامه‌های تحت وب را شبیه‌سازی کند. حالا این مدل در نسخه پیش‌نمایش عمومی از طریق Gemini API در Google AI Studio و Vertex AI در دسترس است و هدفش خودکارسازی وظایف مرورگر واقعی با تأخیر کمتر و قدرت استدلال تصویری بالاتر است.

چرا این مدل مهم است و چه کاری انجام می‌دهد

Gemini 2.5 Computer Use در واقع توانایی درک تصویری Gemini 2.5 Pro را می‌گیرد و به سطح «اعمال» یا «دست‌ورزی» روی رابط‌های وب می‌برد: کلیک کردن، تایپ، اسکرول، حرکت ماوس روی المان‌ها، باز کردن منوهای کشویی و پیمایش بین آدرس‌ها. به جای فراخوانی مستقیم APIهای وب، این عامل (agent) از اسکرین‌شات‌های صفحه استفاده می‌کند تا اقدامات دقیق رابط کاربری را پیشنهاد دهد و اجرا کند—به عبارت دیگر، یاد می‌گیرد وب را همان‌طور که یک انسان عمل می‌کند «بکار ببرد».

چطور کار می‌کند: اسکرین‌شات، حلقه عمل و اجرا در سمت کاربر

مکانیزم مدل نسبتا سرراست است اما از چند مولفه مهم تشکیل شده: مدل سه ورودی می‌گیرد—یک پرامپت یا دستور کار، یک اسکرین‌شات از رابط فعلی و یک تاریخچه کوتاه از اقدامات اخیر. سپس با تحلیل چیدمان بصری صفحه یک عمل رابط کاربری را پیشنهاد می‌دهد؛ مثلاً «روی این دکمه کلیک کن» یا «متن را در فیلد وارد کن». این عمل در سمت کلاینت اجرا می‌شود و سپس یک اسکرین‌شات جدید به مدل بازگردانده می‌شود تا حلقه ادامه یابد تا زمانی که کار تمام شود.

این روش باعث می‌شود مدل نیازی به دسترسی مستقیم به APIهای داخلی سایت‌ها نداشته باشد و بتواند حتی در برابر رابط‌های پیچیده یا تغییرات ظاهری انعطاف بیشتری نشان دهد. از طرف دیگر، عبور و مرور تصویر-عمل-تصویر (screenshot-action-screenshot) نیازمند پهنای باند و طراحی مناسب برای کاهش تأخیر و حفظ سازگاری است.

نمونه‌ها و معیارها: ویدیوها چه چیزی نشان می‌دهند

گوگل می‌گوید Gemini 2.5 Computer Use در معیارهایی مثل Online-Mind2Web، WebVoyager و AndroidWorld نسبت به ابزارهای دیگر عملکرد بهتری دارد و در عین حال تاخیر (latency) را پایین نگه می‌دارد. ویدیوهای دمو که معمولاً برای نشان دادن جریان‌ها سریع شده‌اند، کارهایی مثل جابجا کردن یادداشت‌های چسبان روی وایت‌بورد دیجیتال یا انتقال سوابق حیوانات خانگی از یک سایت به CRM را نمایش می‌دهند. نکته مهم این است که عامل چطور چندین گام ساده رابط کاربری را به یک جریان کاری پیچیده زنجیره‌ای تبدیل می‌کند.

قابلیت‌ها، محدودیت‌ها و کجا بهتر عمل می‌کند

در حال حاضر مدل از 13 عمل رابط کاربری پشتیبانی می‌کند و بهترین عملکرد را در مرورگرهای وب دارد. گوگل هشدار می‌دهد که هنوز برای اتوماسیون سطح سیستم‌عامل دسکتاپ بهینه‌سازی کامل نشده است، هرچند نتایج اولیه روی موبایل امیدوارکننده بوده‌اند. تیم‌های داخلی گوگل از این مدل برای تست UI و اتوماسیون در سرویس‌هایی مثل Search و Firebase استفاده کرده‌اند.

محدودیت‌های فعلی شامل مواردی مثل حساسیت به تغییرات شدید در چیدمان صفحات، نیاز به مدیریت حلقه‌های طولانی با اسکرین‌شات‌های متعدد و ملاحظات امنیتی است. همچنین مدل بر اساس ورودی تصویری کار می‌کند؛ بنابراین سایت‌هایی که محتوای داینامیک یا رمزگذاری تصویری پیچیده دارند ممکن است تجربه متفاوتی داشته باشند.

چه چیزهایی این مدل را از راه‌حل‌های دیگر متمایز می‌کند

• تمرکز روی بینایی تصویری به جای تکیه صرف بر APIها یا ساختار DOM.
• پشتیبانی از زنجیره‌ای از اقدامات کاربر که به اجرای گردش‌های کاری پیچیده منجر می‌شود.
• طراحی با هدف کاهش تأخیر تا برای وظایف تعاملی مناسب باشد.
• ابزارهای درون‌سرویس برای تست و ارزیابی امنیتی پیش از اجرا.

امنیت و کنترل برای توسعه‌دهندگان: طراحی با رویکرد ایمن

یکی از دغدغه‌های بزرگ در اتوماسیون مرورگر، سوءاستفاده و عملیات خطرناک است. برای کاهش این ریسک، هر عملی که مدل پیشنهاد می‌دهد قبل از اجرا توسط یک سرویس ایمنی بررسی می‌شود. توسعه‌دهندگان می‌توانند برخی اقدامات را غیرفعال کنند یا برای گام‌های حساس نیاز به تأیید صریح کاربر قرار دهند؛ مثلاً تراکنش‌های مالی یا تغییرات حساس در حساب‌ها می‌توانند پشت یک لایه تأیید بیشتر مخفی شوند.

در دسترسی اولیه، توسعه‌دهندگان خارجی از این مدل برای اتوماسیون فرایندها، ساخت دستیارهای هوشمند و تست UI به سبک CI استفاده کرده‌اند. نکته عملی: پیاده‌سازی یک لایه نظارتی و لاگینگ قوی برای تمام اقدامات پیشنهادی حیاتی است—تا هم خطاها راحت‌تر بررسی شوند و هم سوءاستفاده شناسایی گردد.

چطور امروز آن را امتحان کنید

• دسترسی از طریق Gemini API در Google AI Studio یا Vertex AI.
• استفاده از محیط دمو Browserbase که گوگل برای تست فراهم کرده است.
• شرکت در برنامه‌های دسترسی زودهنگام برای توسعه دستیارها یا ابزارهای اتوماسیون که از استدلال روی صفحه استفاده می‌کنند.

نیازمندی‌ها و گام‌های اولیه برای توسعه‌دهندگان

برای شروع لازم است با API جِمینی آشنا شوید، مکانیزم ارسال اسکرین‌شات و دریافت پیشنهاد عمل را پیاده کنید و سیستم اجرای امنی در سمت کلاینت داشته باشید. توصیه می‌شود مراحل زیر را دنبال کنید:

• ساخت یک محیط تست یا sandbox با داده‌های باز و غیرحساس.
• تنظیم سرویس وِتوی امنیتی برای فیلتر کردن اقدامات پرخطر پیش از اجرا.
• پایش لاگ‌های تصویری برای تشخیص تغییرات ظاهری صفحات و به‌روزرسانی پرامپت‌ها.
• بهینه‌سازی ارسال تصویر (مثلاً کاهش رزولوشن یا فشرده‌سازی هوشمند) برای کاهش تأخیر.

نمونه‌های کاربردی و سناریوهای عملی

در عمل، Gemini 2.5 Computer Use می‌تواند در زمینه‌های متعددی مفید باشد:

• ساخت دستیارهای مرورگری که برای کاربران کارهای تکراری را انجام می‌دهند، مثل پر کردن فرم‌های پیچیده یا جستجو و برداشت اطلاعات از صفحات مختلف.
• اتوماسیون ورود داده‌ها از صفحات وب به سیستم‌های داخلی شرکت مثل CRM یا ERP که API استاندارد ندارند.
• تست خودکار رابط کاربری در چرخه‌های CI/CD که نیاز به اعتبارسنجی رفتار در برابر تغییرات ظاهری دارند.
• پشتیبانی هوشمند در اپلیکیشن‌های تحت وب؛ برای مثال کمک به کاربران در تکمیل وظایف درون اپلیکیشن با شفاف‌سازی اقدامات لازم.

یک مثال ملموس: فرض کنید یک شرکت باید اطلاعات واکسیناسیون حیوانات را از یک پورتال دولتی استخراج کند و وارد سیستم داخلی خود نماید. به جای توسعه API اختصاصی یا کِنِکْتور پیچیده، عامل جِمینی می‌تواند فرم‌ها را باز کند، فیلدها را بخواند و مقادیر را در CRM قرار دهد—هر گام با تأیید ایمنی و لاگینگ.

ملاحظات فنی و بهترین شیوه‌ها

برای کارایی بهتر و کاهش خطا باید چند جنبه فنی را رعایت کنید:

• بهینه‌سازی تصاویر: استفاده از فشرده‌سازی هوشمند و برش مناطق مرتبط صفحه برای کاهش پهنای باند و سرعت بخشیدن به حلقه عکس-عمل.
• تطبیق‌پذیری با تغییرات صفحات: اضافه کردن منطق بازیابی یا پرامپت‌های پویا وقتی چیدمان صفحه تغییر می‌کند.
• نظارت بر خطاها: ساخت داشبورد لاگینگ که هر اقدام پیشنهادی، خروجی اسکرین‌شات و نتیجه اجرا را ثبت کند.
• حفاظت از داده‌ها: اطمینان از رمزنگاری تصاویر و اطلاعات حساس در انتقال و ذخیره‌سازی.

پارامترهای عملکرد و مانیتورینگ

مواردی که باید مانیتور شوند شامل زمان پاسخ مدل (latency)، نرخ موفقیت اجرای عملیات، تعداد بازپرس‌گیری‌های لازم در یک جریان کاری و مصرف پهنای باند است. شاخص‌های کلیدی عملکرد (KPI) می‌توانند به تیم‌های محصول و عملیات کمک کنند تا بهینه‌سازی مستمر انجام دهند.

چالش‌های اخلاقی و حقوقی

اتوماسیون مرورگر در مقیاس وسیع سوالات اخلاقی و حقوقی ایجاد می‌کند: جمع‌آوری خودکار اطلاعات از سایت‌ها، تعامل با سرویس‌های شخص ثالث بدون رضایت صریح و امکان بروز خطاهایی که به داده‌های حساس لطمه می‌زنند. بنابراین پیروی از سیاست‌های حریم خصوصی، قوانین محلی و مقررات سایت‌ها ضروری است. شرکت‌ها باید از نظر حقوقی بررسی کنند که اتوماسیون پیشنهادی با شرایط خدمات (Terms of Service) سرویس‌های هدف همخوانی دارد یا خیر.

آینده: چه چیزی در انتظار است

Gemini 2.5 Computer Use بخشی از یک روند بزرگ‌تر است: انتقال از مدل‌هایی که صرفاً متن یا تصویر را درک می‌کنند به مدل‌هایی که می‌توانند عمل کنند و اثر دنیای واقعی بگذارند. در آینده می‌توان انتظار داشت مدل‌های قدرتمندتر با کمترین نیاز به نمونه‌های بصری یا با سازگاری بهتر نسبت به تغییرات رابط عرضه شوند. همچنین ترکیب این توان با ابزارهای RPA (اتوماسیون فرآیند رباتیک) و APIهای امن می‌تواند ارزش تجاری قابل توجهی ایجاد کند.

برای کسب‌وکارها چه معنا دارد؟

برای تیم‌های محصول، Gemini 2.5 فرصتی است برای کاهش هزینه‌های دستی، افزایش سرعت تست و ارائه تجربه‌های هوشمندتر به کاربران. اما موفقیت به طراحی دقیق جریان‌های کاری، مدیریت ریسک و سرمایه‌گذاری در زیرساخت‌های امنیتی وابسته است.

چه کسانی باید بیشتر توجه کنند

تیم‌های محصول که دستیارهای مبتنی بر مرورگر می‌سازند، مهندسان کنترل کیفیت (QA) که به دنبال تست‌های هوشمندتر UI هستند و توسعه‌دهندگانی که می‌خواهند کارهای تکراری وب را خودکار کنند، مخاطبان اصلی این فناوری‌اند. اگر اپ شما نیازمند تعامل شبیه انسان با رابط‌های پیچیده وب است، این مدل می‌تواند یک گزینه جدی برای بررسی باشد.

در نهایت، Gemini 2.5 Computer Use نشان می‌دهد که چگونه مرز بین فهم بصری و اقدام عملی توسط هوش مصنوعی در حال محو شدن است. برای تیم‌هایی که می‌خواهند در خط مقدم تجربه کاربری اتوماسیون قرار گیرند، یادگیری نحوه بهره‌برداری ایمن و مؤثر از این ابزار می‌تواند تفاوت‌های قابل‌توجهی ایجاد کند.