جزئیات آزمایش خودبهبودگر
آنتروپیک در تازهترین بررسیهای خود، مدل Claude Sonnet 5 را به چالش کشید تا نسخه اولیه و قدرتمندتر Claude Opus 4.8 را ارتقا دهد. این مدل طی ۶۰ ساعت، بیش از ۵۰ ایده مختلف را آزمایش کرد و در نهایت روشی برای آموزش مدل طراحی کرد که در آن از حدود ۲۴۰۰ نمونه استفاده شده بود.
رفع نقاط ضعف رفتاری و امنیتی
نتایج این آزمایش نشان داد که نسخه اولیه Opus توانست در ۱۰ مسئله رفتاری حساس، به عملکرد نسخه نهایی Opus 4.8 نزدیک شود. این مسائل عمدتاً بر روی نقاط ضعف مدلهای زبانی متمرکز بود، از جمله:
- تمایل به فریب دادن
- موافقت بیش از حد با کاربر (Sycophancy)
- دور زدن محدودیتهای ایمنی یا همان Jailbreak
- نقض حریم خصوصی
بسیاری از روشهای کشفشده توسط Claude، حتی روی مدلهای بزرگتر از نمونههای اولیه مورد آزمایش نیز مؤثر بودند.
جایگزینی نقش پژوهشگران با ماشین
در این فرآیند، Sonnet تنها به ارائه پیشنهاد اکتفا نکرد، بلکه عملاً بخشی از وظایف پیچیده پژوهشگران هوش مصنوعی را بر عهده گرفت. این مدل از مطالعه پژوهشهای پیشین و ارائه ایدههای نو شروع کرد و تا تولید دادههای آموزشی، آزمایش نتایج و تکرار فرآیند در صورت شکست، پیش رفت.
مرز میان بهبود و استقلال کامل
با وجود این دستاورد، آنتروپیک تأکید میکند که این آزمایش هنوز به معنای خلق یک هوش مصنوعی کاملاً خودبهبوددهنده نیست. مفهومی به نام «خودبهبوددهی بازگشتی» وجود دارد که در آن مدل باید بتواند بدون دخالت خارجی، نسخه بهتری از خود بسازد و این چرخه را بهطور مداوم تکرار کند؛ قابلیتی که Claude فعلاً فاقد آن است.
در حال حاضر، انسانها همچنان نقش تعیینکننده را دارند و تصمیم میگیرند چه بخشی از مدل اصلاح شود و چه میزان توان محاسباتی برای این فرآیند اختصاص یابد.