گوگل Harness² را متن‌باز کرد؛ چارچوبی که به عامل‌های هوش مصنوعی امکان بهبود عملکرد بدون آموزش مجدد مدل را می‌دهد
گوگل چارچوب متن‌باز Harness² را معرفی کرده است؛ ابزاری برای بهینه‌سازی ساختار اجرایی عامل‌های هوش مصنوعی که بدون تغییر وزن‌های مدل، دستورالعمل‌ها، ابزارها، حافظه و فرایندهای اجرایی آن‌ها را بهبود می‌دهد. نتایج اولیه نشان می‌دهد این روش می‌تواند عملکرد برخی عامل‌ها را در وظایف حرفه‌ای به‌طور محسوسی افزایش دهد.
پژوهشگران گوگل با انتشار متن‌باز Harness²، رویکردی تازه برای بهبود عامل‌های هوش مصنوعی ارائه کرده‌اند. این چارچوب به‌جای آموزش مجدد مدل زبانی یا تغییر پارامترهای آن، اجزای پیرامونی عامل را اصلاح می‌کند؛ اجزایی که تعیین می‌کنند مدل چگونه برنامه‌ریزی کند، از ابزارها استفاده کند، اطلاعات را به خاطر بسپارد و وظایف چندمرحله‌ای را پیش ببرد.
Harness² که با همکاری پژوهشگران دانشگاه نورث‌وسترن توسعه یافته است، بر این ایده تکیه دارد که برای بهبود عملکرد یک عامل هوش مصنوعی، همیشه به مدل بزرگ‌تر یا آموزش پرهزینه‌تر نیاز نیست. گاهی می‌توان با اصلاح نحوه استفاده از همان مدل، نتایج بهتری به دست آورد.
Harness² چیست و چه مشکلی را حل می‌کند؟
در سامانه‌های مبتنی بر عامل‌های هوش مصنوعی، مدل زبانی تنها یکی از اجزای سیستم است. عملکرد نهایی به مجموعه‌ای از دستورالعمل‌ها، ابزارها، حافظه، مهارت‌ها و سازوکارهای هماهنگی وابسته است که در کنار مدل قرار می‌گیرند. این مجموعه معمولاً با اصطلاح «هارنس عامل» (Agent Harness) شناخته می‌شود.
برای مثال، یک مدل زبانی ممکن است توانایی تحلیل کد را داشته باشد، اما اگر دستورالعمل‌های آن مبهم باشند، ابزار مناسبی در اختیارش قرار نگیرد یا نتواند تجربه‌های قبلی را به‌درستی به کار بگیرد، در انجام یک وظیفه پیچیده با مشکل روبه‌رو خواهد شد.
Harness² این لایه اجرایی را به‌صورت مستمر بهینه می‌کند. چارچوب، عملکرد عامل را در جریان انجام وظایف بررسی می‌کند، تغییراتی را در ساختار اجرایی پیشنهاد می‌دهد و با مقایسه رفتارهای حاصل، اصلاحات مفید را انتخاب می‌کند.
نکته کلیدی این است که وزن‌های مدل اصلی ثابت می‌مانند و فرایند آموزش مجدد انجام نمی‌شود. آنچه تغییر می‌کند، نحوه هدایت و استفاده از مدل است.
این رویکرد به‌ویژه برای محیط‌هایی طراحی شده که وظایف جدید و پیش‌بینی‌نشده در آن‌ها ظاهر می‌شوند و پاسخ صحیح نیز لزوماً با یک برچسب یا آزمون از پیش تعیین‌شده قابل تشخیص نیست.
هشت مؤلفه قابل‌ویرایش در ساختار عامل
Harness² هشت بخش از ساختار اجرایی عامل را در قالب فایل‌های جداگانه در اختیار فرایند بهینه‌سازی قرار می‌دهد:
- پرامپت سیستم: دستورالعمل‌های اصلی و تعیین‌کننده رفتار عامل.
- محدودیت‌های ایمنی و اجرایی: قواعدی که رفتارهای مجاز و غیرمجاز را مشخص می‌کنند.
- حافظه: اطلاعاتی که برای استفاده در وظایف بعدی نگهداری می‌شوند.
- راهنمای ابزارها: دستورالعمل‌های مربوط به انتخاب و استفاده از ابزارها.
- عامل‌های فرعی: سازوکارهای واگذاری وظایف به عامل‌های دیگر.
- مهارت‌ها: رویه‌ها و توانایی‌های تخصصی قابل استفاده مجدد.
- اسکریپت‌ها: کدهای کمکی برای اجرای مراحل مختلف کار.
- افزونه‌ها و میان‌افزارها: اجزایی که رفتار سیستم و تعامل میان بخش‌های مختلف را مدیریت می‌کنند.
این ساختار به چارچوب اجازه می‌دهد به‌جای تمرکز صرف بر متن پرامپت، بخش‌های مختلفی از محیط اجرایی عامل را اصلاح کند. در نتیجه، بهینه‌سازی می‌تواند از تغییر یک دستور ساده فراتر برود و شیوه برنامه‌ریزی، استفاده از ابزارها و هماهنگی اجزا را نیز در بر بگیرد.
سازوکار بهبود عملکرد چگونه است؟
Harness² از فرایندی بازگشتی استفاده می‌کند که در دو سطح انجام می‌شود: اصلاح عامل هنگام انجام یک وظیفه و انتقال تجربه‌های حاصل به وظایف بعدی.
در سطح نخست، عامل یک وظیفه را با ساختار اجرایی پایه انجام می‌دهد. سپس بخش ویرایشگر دو نسخه پیشنهادی از ساختار را تولید می‌کند. نسخه نخست بر مشکلات عمومی عامل، مانند برنامه‌ریزی و استفاده از ابزارها، تمرکز دارد؛ نسخه دوم نیز برای نیازهای تخصصی همان حوزه طراحی می‌شود.
هر دو نسخه روی همان وظیفه آزمایش می‌شوند. سپس بخش ترکیب‌کننده، رفتار و مسیر اجرای آن‌ها را با اجرای مرجع مقایسه می‌کند تا مشخص شود کدام تغییرها پشتوانه رفتاری قابل مشاهده دارند. اصلاحاتی که شواهد کافی برای مفید بودنشان وجود داشته باشد، انتخاب می‌شوند.
در سطح دوم، سیستم تجربه‌های حاصل از وظایف قبلی را نگهداری می‌کند. نسخه اصلاح‌شده هارنس و درس‌های آموخته‌شده در فایلی به نام EXPERIENCE.md ثبت می‌شوند تا پیشنهادهای آینده از آن‌ها استفاده کنند.
با این حال، هر وظیفه جدید همچنان از ساختار پایه آغاز می‌شود و اصلاحات باید دوباره در جریان اجرا ارزیابی شوند. به این ترتیب، سیستم تلاش می‌کند تجربه‌های قبلی را به کار بگیرد، بدون آنکه یک تغییر موفق در یک وظیفه را لزوماً برای تمام وظایف آینده مناسب فرض کند.
این فرایند با رویکردی به نام «پیشنهاد، آزمایش و ترکیب» (Propose, Probe, Compose) توصیف می‌شود.
نتایج آزمایش‌ها چه می‌گویند؟
پژوهشگران Harness² را روی سه بنچمارک حرفه‌ای ارزیابی کرده‌اند: WorkBuddy-Bench، JobBench و Harvey’s LAB. در این آزمایش‌ها، دو مدل Gemini 3.5 Flash و GLM-5 با دو محیط اجرایی OpenCode و Codex بررسی شده‌اند. Claude Opus 4.8 نیز به‌عنوان ویرایشگر پیش‌فرض برای پیشنهاد اصلاحات به کار رفته است.
بر اساس نتایج مقاله، حتی یک مرحله بهینه‌سازی توانسته است امتیاز هر چهار ترکیب مدل و محیط اجرایی را در هر سه بنچمارک افزایش دهد.
در یکی از چشمگیرترین نتایج، ترکیب GLM-5 و OpenCode در بنچمارک WorkBuddy-Bench از امتیاز ۶۴٫۲ به ۷۵٫۷ رسیده است؛ افزایشی معادل ۱۱٫۵ واحد امتیاز.
همچنین، ترکیب همین مدل با Codex در بنچمارک JobBench افزایش محدودتری را تجربه کرده و امتیاز آن از ۲۳٫۶ به ۲۴٫۸ رسیده است.
نتایج یک مرحله بهینه‌سازی در بنچمارک‌ها:
| ترکیب مدل و محیط اجرا | WorkBuddy-Bench | JobBench | Harvey’s LAB |
|---|---|---|---|
| Gemini 3.5 Flash + OpenCode | ۷۲٫۴ ← ۷۷٫۵ | ۳۱٫۵ ← ۳۶٫۰ | ۷۹٫۹ ← ۸۱٫۹ |
| Gemini 3.5 Flash + Codex | ۷۴٫۵ ← ۷۷٫۵ | ۳۳٫۹ ← ۳۵٫۳ | ۷۱٫۶ ← ۷۵٫۶ |
| GLM-5 + OpenCode | ۶۴٫۲ ← ۷۵٫۷ | ۲۰٫۶ ← ۲۴٫۲ | ۵۹٫۶ ← ۷۱٫۴ |
| GLM-5 + Codex | ۶۴٫۴ ← ۷۵٫۳ | ۲۳٫۶ ← ۲۴٫۸ | ۵۸٫۱ ← ۶۵٫۹ |
در هر خانه، عدد سمت چپ امتیاز پایه و عدد سمت راست امتیاز پس از یک مرحله بهینه‌سازی است. نتایج، میانگین سه اجرا هستند.
داده‌ها نشان می‌دهند که بهینه‌سازی ساختار اجرایی می‌تواند برای مدل‌هایی که عملکرد اولیه ضعیف‌تری دارند، سود بیشتری به همراه داشته باشد. در آزمایش‌های گزارش‌شده، GLM-5 پس از یک مرحله بهینه‌سازی در WorkBuddy-Bench از امتیاز پایه Gemini 3.5 Flash نیز عبور کرده است.
پژوهشگران همچنین گزارش کرده‌اند که با افزایش بودجه جست‌وجو و اجرای چندین مرحله اصلاح موازی، امتیاز Gemini در ترکیب با OpenCode در WorkBuddy-Bench به ۸۰٫۸ رسیده است. در برخی آزمایش‌ها، تعداد گام‌های مورد نیاز برای تکمیل وظیفه نیز کاهش یافته است.
البته این نتایج به مجموعه بنچمارک‌ها، مدل‌ها و تنظیمات مشخص‌شده در مقاله مربوط‌اند و به‌تنهایی تضمین نمی‌کنند که همین میزان بهبود در همه کاربردهای واقعی تکرار شود.
تفاوت Harness² با روش‌های مشابه چیست؟
روش‌های مختلفی برای بهبود عامل‌های هوش مصنوعی توسعه یافته‌اند. برخی از آن‌ها ساختار اجرایی را پیش از استقرار بهینه می‌کنند؛ برخی دیگر حافظه عامل را بهبود می‌دهند و گروهی نیز برای هر وظیفه، نسخه متفاوتی از ساختار را به کار می‌گیرند.
تمایز اصلی Harness² در این است که بهینه‌سازی را در زمان اجرا دنبال می‌کند، تجربه‌های حاصل از وظایف مختلف را در یک کتابخانه نگه می‌دارد و می‌تواند چندین مؤلفه هارنس را به‌طور هم‌زمان تغییر دهد.
بر اساس مقایسه ارائه‌شده در مقاله، این چارچوب در برخی ارزیابی‌ها عملکرد رقابتی یا بهتری نسبت به روش‌هایی مانند Meta-Harness، ReasoningBank و Harness Scaling داشته است. با این حال، این مقایسه‌ها باید با توجه به تفاوت تنظیمات آزمایش، مدل‌ها و نحوه گزارش نتایج تفسیر شوند.
نصب و اجرای Harness²
نسخه منتشرشده از Harness² با مجوز متن‌باز Apache-2.0 عرضه شده و برای اجرا به محیط لینوکس، پایتون نسخه ۳٫۱۲ یا ۳٫۱۳ و ابزار مدیریت محیط و بسته uv نیاز دارد.
برای اجرای نمونه نمایشی محلی، می‌توان از دستورات زیر استفاده کرد:
uv venv --python 3.12 .venv
source .venv/bin/activate
uv pip install -e '.[render]'
harness2-demo --output runs/demo --k 2این نمونه نمایشی امکان بررسی دو شیوه بازگشتی را بدون نیاز به اعتبارنامه دسترسی به مدل فراهم می‌کند.
برای اجرای آزمایش‌های متکی بر مدل، به Node.js نسخه ۲۰ یا بالاتر، ابزار خط فرمان Google Cloud و یک پروژه Vertex AI نیاز است. برخی بنچمارک‌ها نیز وابستگی‌های جداگانه‌ای مانند Docker، Pandoc و Poppler دارند.
بنابراین، اگرچه اجرای نمونه اولیه ساده است، استفاده کامل از چارچوب در یک محیط عملیاتی به آماده‌سازی زیرساخت و مدیریت دسترسی به مدل‌ها نیاز خواهد داشت.
مزایا و محدودیت‌ها
یکی از مهم‌ترین مزایای Harness² این است که می‌تواند بدون هزینه و پیچیدگی آموزش مجدد مدل، عملکرد عامل را بهبود دهد. این موضوع برای تیم‌هایی که از مدل‌های آماده استفاده می‌کنند یا امکان تنظیم وزن‌های آن‌ها را ندارند، اهمیت ویژه‌ای دارد.
همچنین ثبت تجربه‌های قبلی می‌تواند به کاهش تکرار خطاها و بهبود تدریجی عملکرد در وظایف بعدی کمک کند.
در مقابل، فرایند پیشنهاد و آزمایش تغییرات به اجرای اضافی وظایف نیاز دارد و ممکن است هزینه، زمان پاسخ‌گویی و مصرف منابع را افزایش دهد. از آنجا که اصلاحات می‌توانند روی ابزارها، اسکریپت‌ها و قواعد اجرایی اثر بگذارند، اجرای این فرایند در محیط ایزوله و کنترل‌شده نیز اهمیت دارد.
مسئله دیگر، تعمیم‌پذیری نتایج است. بهبود عملکرد در چند بنچمارک مشخص لزوماً به معنای بهبود در تمام کاربردهای برنامه‌نویسی، پژوهش یا اتوماسیون سازمانی نیست.
جمع‌بندی
Harness² رویکردی متفاوت به توسعه عامل‌های هوش مصنوعی ارائه می‌دهد: به‌جای آنکه برای هر بهبود به سراغ مدل بزرگ‌تر یا آموزش بیشتر برویم، می‌توانیم ساختار اجرایی، ابزارها، حافظه و دستورالعمل‌های همان مدل را بهینه کنیم.
نتایج اولیه نشان می‌دهد این روش در برخی وظایف حرفه‌ای می‌تواند افزایش قابل توجهی در امتیاز عامل‌ها ایجاد کند. اگر این نتایج در کاربردهای گسترده‌تر نیز تأیید شوند، بهینه‌سازی هارنس می‌تواند به یکی از مسیرهای مهم کاهش هزینه و افزایش کارایی سامانه‌های عامل‌محور تبدیل شود.
با این حال، Harness² جایگزین توانایی‌های بنیادی مدل نیست؛ بلکه راهکاری برای استفاده مؤثرتر از توانایی‌های موجود آن است.
منبع: Marktechpost، گزارش منتشرشده در ۱۸ اکتبر ۲۰۲۶. برای بررسی جزئیات فنی، کد منبع و نتایج کامل باید به مخزن رسمی پروژه و مقاله پژوهشی آن مراجعه کرد.
