کمک به ربات ها برای تمرین مهارت ها به طور مستقل برای سازگاری با محیط های ناآشنا

عبارت «تمرین کامل می‌کند» معمولاً برای انسان‌ها محفوظ است، اما برای ربات‌هایی که به تازگی در محیط‌های ناآشنا مستقر شده‌اند نیز یک عبارت عالی است.

رباتی را در حال ورود به انبار تصویر کنید. همراه با مهارت هایی که آموزش داده شده است onمانند قرار دادن یک شی، و اکنون باید اقلام را از قفسه ای که با آن آشنا نیست انتخاب کند. در ابتدا، ماشین با این مشکل دست و پنجه نرم می کند، زیرا باید با محیط جدید خود آشنا شود. برای بهبود، ربات باید بفهمد که چه مهارت هایی در یک کار کلی نیاز به بهبود دارد روی، سپس آن عمل را تخصصی کنید (یا پارامتر کنید).

یک انسان در محل می‌تواند ربات را برای بهینه‌سازی عملکرد آن برنامه‌ریزی کند، اما محققان آزمایشگاه علوم رایانه و هوش مصنوعی MIT (CSAIL) و مؤسسه هوش مصنوعی جایگزین مؤثرتری ایجاد کرده‌اند. الگوریتم “Estimate, Extrapolate, and Situate” (EES) که ماه گذشته در کنفرانس Robotics: Science and Systems ارائه شد، این ماشین‌ها را قادر می‌سازد تا تمرین کنند. روی خود، به طور بالقوه به آنها کمک می کند تا در کارهای مفید در کارخانه ها، خانواده ها و بیمارستان ها پیشرفت کنند.

اندازه گیری وضعیت

برای کمک به بهتر شدن روبات‌ها در فعالیت‌هایی مانند جارو کردن کف، EES با یک سیستم بینایی کار می‌کند که محیط اطراف دستگاه را تعیین و ردیابی می‌کند. سپس، الگوریتم تخمین می‌زند که ربات تا چه حد یک عمل را با اطمینان انجام می‌دهد (مانند جارو کردن) و اینکه آیا تمرین بیشتر ارزش دارد یا خیر. EES پیش‌بینی می‌کند که اگر ربات آن مهارت خاص را اصلاح کند و در نهایت تمرین کند، تا چه حد می‌تواند کار کلی را انجام دهد. سیستم بینایی متعاقباً بررسی می کند که آیا آن مهارت پس از هر تلاش به درستی انجام شده است یا خیر.

EES می تواند در مکان هایی مانند بیمارستان، کارخانه، خانه یا کافی شاپ مفید باشد. به عنوان مثال، اگر می خواهید یک ربات اتاق نشیمن شما را تمیز کند، برای تمرین مهارت هایی مانند جارو کردن به کمک نیاز دارد. به گفته Nishanth Kumar SM ’24 و همکارانش، با این حال، EES می تواند به بهبود آن ربات بدون دخالت انسان کمک کند، تنها با استفاده از چند آزمایش تمرینی.

“با ورود به این پروژه، ما به این فکر کردیم که آیا این تخصص در تعداد معقولی از نمونه ها امکان پذیر است؟ روی یک ربات واقعی. اکنون، ما الگوریتمی داریم که ربات‌ها را قادر می‌سازد تا در یک زمان معقول با ده‌ها یا صدها نقطه داده، به‌طور معناداری در مهارت‌های خاص بهتر شوند، ارتقایی از هزاران یا میلیون‌ها نمونه که یک الگوریتم یادگیری تقویتی استاندارد به آن نیاز دارد.»

به جاروی نقطه ای مراجعه کنید

مهارت EES برای یادگیری کارآمد در هنگام اجرا مشهود بود روی Spot شرکت Boston Dynamics در طول آزمایشات تحقیقاتی در موسسه هوش مصنوعی چهارپا شد. این ربات که یک بازو به پشت آن متصل است، پس از چند ساعت تمرین، کارهای دستکاری را به پایان رساند. در یک نمایش، ربات یاد گرفت که چگونه توپ و حلقه را به طور ایمن قرار دهد روی یک میز کج در حدود سه ساعت در الگوریتمی دیگر، این الگوریتم ماشین را هدایت کرد تا ظرف دو ساعت اسباب‌بازی‌ها را در سطل زباله جارو کند. به نظر می رسد هر دو نتیجه ارتقای چارچوب های قبلی هستند که احتمالاً بیش از 10 ساعت برای هر کار طول می کشد.

نویسنده همکار تام سیلور SM ’20، دکترای ’24، مهندسی برق و علوم کامپیوتر (EECS) می‌گوید: «هدف ما این بود که ربات تجربیات خود را جمع‌آوری کند تا بتواند بهتر انتخاب کند که کدام استراتژی در استقرار آن به خوبی کار می‌کند. فارغ التحصیل و وابسته به CSAIL که اکنون استادیار دانشگاه پرینستون است. «با تمرکز روی آنچه ربات می‌داند، ما به دنبال پاسخ به یک سوال کلیدی بودیم: در کتابخانه مهارت‌هایی که ربات دارد، کدام مهارت در حال حاضر برای تمرین مفیدتر است؟

EES در نهایت می‌تواند به ساده‌سازی تمرینات مستقل برای روبات‌ها در محیط‌های استقرار جدید کمک کند، اما در حال حاضر، با چند محدودیت همراه است. برای شروع، آنها از میزهایی استفاده کردند که تا سطح زمین پایین بودند، که باعث می شد ربات اشیاء خود را راحت تر ببیند. کومار و سیلور همچنین یک دسته قابل اتصال را چاپ سه بعدی کردند که گرفتن قلم مو را برای Spot آسان‌تر می‌کرد. این ربات برخی از موارد را تشخیص نداد و اشیاء را در مکان های اشتباه شناسایی کرد، بنابراین محققان این خطاها را به عنوان خرابی حساب کردند.

دادن تکلیف به روبات ها

محققان خاطرنشان می کنند که سرعت تمرین حاصل از آزمایش های فیزیکی را می توان با کمک یک شبیه ساز تسریع کرد. به جای اینکه ربات به طور مستقل روی هر مهارت کار کند، در نهایت می تواند تمرین واقعی و مجازی را با هم ترکیب کند. آنها امیدوارند سیستم خود را با تاخیر کمتری سریعتر کنند و EES را مهندسی کنند تا بر تاخیرهای تصویربرداری که محققان تجربه کرده اند غلبه کند. در آینده، آنها ممکن است الگوریتمی را بررسی کنند که به جای برنامه‌ریزی برای اصلاح مهارت‌ها، روی دنباله‌ای از تلاش‌های تمرینی استدلال می‌کند.

فعال کردن روبات ها برای یادگیری روی دانفی زو، استادیار دانشکده محاسبات تعاملی در فناوری جورجیا و دانشمند محقق در NVIDIA AI، که در این کار دخالتی نداشت، می‌گوید خود آنها هم فوق‌العاده مفید و هم بسیار چالش برانگیز است. در آینده، روبات‌های خانگی به انواع خانواده‌ها فروخته می‌شوند و انتظار می‌رود که طیف وسیعی از وظایف را انجام دهند. ما نمی توانیم همه چیزهایی را که آنها باید از قبل بدانند برنامه ریزی کنیم، بنابراین ضروری است که آنها بتوانند یاد بگیرند. روی کار. با این حال، رها کردن روبات ها برای کاوش و یادگیری بدون راهنمایی می تواند بسیار کند باشد و ممکن است منجر به عواقب ناخواسته شود. تحقیقات سیلور و همکارانش الگوریتمی را معرفی می‌کند که به روبات‌ها اجازه می‌دهد تا مهارت‌های خود را به‌طور مستقل و به روشی ساختاریافته تمرین کنند. این یک گام بزرگ به سمت ایجاد ربات های خانگی است که می توانند به طور مداوم تکامل یابند روی خودشون.»

سیلور و کومار، محققان موسسه هوش مصنوعی، استفن پرولکس و جنیفر بری، به علاوه چهار عضو CSAIL: دانشجوی دکترای دانشگاه نورث ایسترن و محقق مدعو، لینفنگ ژائو، دانشجوی دکترای MIT EECS، ویلی مک‌کلینتون، و اساتید MIT EECS، لسلی پک کیلبلینگ و تام، هستند. پرز کار آنها تا حدی توسط مؤسسه هوش مصنوعی، بنیاد ملی علوم ایالات متحده، دفتر تحقیقات علمی نیروی هوایی ایالات متحده، دفتر تحقیقات نیروی دریایی ایالات متحده، دفتر تحقیقات ارتش ایالات متحده، و MIT Quest for Intelligence پشتیبانی شد. منابع محاسباتی عملکرد از MIT SuperCloud و Lincoln Laboratory Supercomputing Center.