انسان‌ها گونه اي هستند كه مي‌توانند خود را با چالش‌هاي محيطي وفق دهند، و در طول سال‌ها اين ما را قادر به تكامل بيولوژيكي كرده است - يك ويژگي اساسي كه در حيوانات يافت مي‌شود اما در هوش مصنوعي تربيت كودك وجود ندارد. اگرچه يادگيري ماشين در بازي هاي پيچيده‌اي مانند Go و Dota 2 پيشرفت چشمگيري داشته است، مهارت‌هاي تسلط بر اين عرصه‌ها لزوماً به كاربردهاي عملي در سناريوهاي دنياي واقعي تعميم نمي‌يابند. هدف تعداد فزاينده‌اي از محققين ساختن هوش ماشيني است كه بيشتر شبيه انسان‌ها رفتار مي‌كند، ياد ميگيرد و تكامل مي‌يابد.
مقاله ايي جديد من باب تربيت اصولي
مقاله جديدي از OpenAI مستقر در سانفرانسيسكو پيشنهاد پكيج آموزش تربيت كودك مي‌كند كه آموزش مدل‌ها در بازي پنهان كردن كودكان و قرار دادن آنها در مقابل يكديگر در ده‌ها ميليون مسابقه، منجر به اين مي‌شود كه مدل‌ها به طور خودكار رفتارهاي انسان‌مانندي را ايجاد كنند كه هوش آنها را افزايش مي‌دهد و پس از آن بهبود مي‌يابد. كارايي.
پنهان كاري كودكان
چرا پنهان كاري؟ بوئن بيكر، محقق OpenAI، اولين نويسنده مقاله ميگويد كه پنهان كاري به عنوان يك نقطه شروع سرگرم كننده بيشتر به دليل قوانين ساده آن انتخاب شد.
قوانين بازي: همه عوامل به عنوان اشياء كروي شبيه سازي شده اند كه مي توانند سه نوع عمل انجام دهند: پيمايش. چنگ زدن و حركت دادن اشيا؛ و اشياء را قفل كنيد كه فقط توسط هم تيمي هاي آن عامل باز مي شود.
دلايل پنهان كاري كودكان
محققان يك تا سه «پنهان‌گر» و يك تا سه «جستجو» را در محيط‌هاي شبيه‌سازي‌شده و زمين‌بندي‌شده فيزيكي با اتاق‌هايي كه با ديوارهاي ساكن مرزبندي شده بودند، قرار دادند. محيط ها همچنين شامل جعبه هاي متحرك با اندازه هاي مختلف و رمپ هاي متحرك بودند. محققان از يادگيري تقويتي براي آموزش عواملي استفاده كردند كه سيگنال پاداش آنها - مكانيسم تشويقي براي تحريك عوامل براي دستيابي به اهدافشان - از قوانين ساده پنهانكاري پيروي مي كرد: پنهان كاران وقتي از ديد جويندگان پنهان مي مانند، پاداش دريافت مي كنند و جويندگان پاداش دريافت مي كنند. وقتي مخفي گاه ها را پيدا مي كنند.
چگونه هوش مصنوعي مخفي كاري مي كند
در طول فرايند آموزش، عوامل هوش مصنوعي در چندين مرحله از استراتژي ها تكامل يافتند. در آغاز پنهان كاران (آبي) فقط فرار از جويندگان (قرمز) را آموختند. با پيشرفت گيم پلي، پنهان كنندگان شروع به استفاده از ابزارهايي به نفع خود كردند، به عنوان مثال، جعبه ها را براي مسدود كردن درها حركت دادند تا جويندگان نتوانند وارد اتاق آنها شوند.
در پاسخ، مخفي كاران ياد گرفتند كه سطح شيب دار را به داخل اتاق خود ببرند تا جويندگان نتوانند از آن براي عبور از ديوارها استفاده كنند
محققان از تكامل اين استراتژي‌هاي مختلف به عنوان «پيشرفت مهارت‌هاي نوظهور از برنامه‌هاي آموزشي چند عاملي» ياد مي‌كنند. اصطلاح "خودكار آموزشي" امسال توسط DeepMind ابداع شد و براي چندين عامل به كار مي رود كه به تدريج وظايف جديدي را براي به چالش كشيدن يكديگر در يك محيط خاص ايجاد مي كنند. محققان OpenAI بر اين باورند كه اين فرآيند مشابهاتي در انتخاب طبيعي دارد.
"چرا ما واقعاً در مورد اين موضوع هيجان زده هستيم اين است كه به نوعي پويايي هاي مشابهي را مي بينيم كه روي زمين با تكامل ديده ايم. بنابراين شما همه اين نوع موجودات را روي زمين داريد كه در حال رقابت و تكامل با هم بودند. و در نهايت از آن انسان هايي به دست آمد كه به نوعي AGI جهان طبيعي هستند.
چرا اين تحقيق اهميت دارد: با توجه به هدف نسبتاً ساده پنهانكاري، چندين عامل آموزش ديده از طريق خودبازي رقابتي ياد گرفتند كه از ابزارها استفاده كنند و مهارت هاي مربوط به انسان را براي پيروزي به كار گرفتند. OpenAI معتقد است كه اين يك جهت تحقيقاتي اميدواركننده براي توسعه و استقرار عامل هوشمند آينده است.
OpenAI به منظور تشويق تحقيقات بيشتر در اين زمينه، كدها و محيط هاي خود را منبع باز مي كند. يكي از نويسندگان مقاله، محقق OpenAI، يي وو، به Synced گفت: «جامعه دانشگاهي واقعاً به محيط‌ها و مشكلات خوب و جالب براي مطالعه نياز دارد. اين محيط كمي پيچيده‌تر از دنياي ذرات دو بعدي است و مانند StarCraft فوق‌العاده پيچيده نيست.
تحقيقات تربيتي
اين تحقيق پنهانكاري OpenAI را نيز هيجان‌زده مي‌كند زيرا با افزايش پيچيدگي محيط، عوامل به طور مداوم با استراتژي‌هاي جديد خود را با چالش‌هاي جديد سازگار مي‌كنند. بيكر ميگويد: «اگر فرآيندي مانند اين بتواند بزرگ‌تر شود و در محيط بسيار پيچيده‌تري قرار گيرد، ممكن است عواملي به‌قدري پيچيده‌تر دريافت كنيد كه بتوانند وظايف واقعي را براي ما حل كنند.
الگوريتم تربيت و پرورش كودك
الگوريتم اصلي: عوامل هستند تربيت كودكان از دو شبكه تشكيل شده است: يك شبكه سياست براي توليد توزيع كنش و يك شبكه انتقادي براي پيش بيني بازده هاي مربوطه در آينده. محققان OpenAI از Proximal Policy Optimization (PPO)، تكنيكي كه در آموزش برنامه هاي كامپيوتري Dota2 استفاده كرده اند، براي بهينه سازي خط مشي استفاده كردند. معماري در زير نشان داده شده است.
آموزش كودك براي بازي كامپيوتري
عوامل هوش مصنوعي ميليون ها بار به طور موازي آموزش ديده اند. آموزش به سمت مرحله نهايي (دفاع موج سواري) در پيچيده ترين تربيت كودكان محيط سه تا چهار روز بر روي 16 GPU و 4000 CPU طول كشيد.
چالش هاي تربيت كودك
براي مثال، مخفي‌كاران آموختند كه اگر يك سطح تربيت كودكان شيبدار را در گوشه‌ها به ديوارها فشار دهند، به دلايلي سطح شيبدار از ديوارها عبور مي‌كند و سپس ناپديد مي‌شود. چنين «تقلب‌هايي» نشان مي‌دهد كه چگونه ايمني الگوريتم‌ها مي‌تواند نقش مهمي در يادگيري ماشين بازي كند. قبل از اينكه اين اتفاق بيفتد، هرگز نمي دانيد. اين نوع سيستم ها هميشه ايراداتي دارند. آنچه ما انجام داديم اساساً مشاهده و تجسم سياست است تا بتوانيم اين اتفاق عجيب را ببينيم. وو ميگويد سپس سعي مي‌كنيم فيزيك را درست كنيم.
منبع:
در پسا موارد برق