محققان بینایی محیطی را در مدل‌های هوش مصنوعی تقویت می‌کنند

دید محیطی انسان را قادر می‌سازد تا اشکالی را ببیند که مستقیماً در خط دید ما نیستند، البته با جزئیات کمتر. این توانایی میدان دید ما را گسترش می دهد و می تواند در بسیاری از موقعیت ها مفید باشد، مانند تشخیص وسیله نقلیه ای که از کنار به ماشین ما نزدیک می شود.

برخلاف انسان، هوش مصنوعی دید محیطی ندارد. تجهیز مدل‌های بینایی رایانه‌ای به این توانایی می‌تواند به آن‌ها کمک کند تا خطرات نزدیک‌تر را به طور مؤثرتری تشخیص دهند یا پیش‌بینی کنند که آیا یک راننده انسانی متوجه شی روبرو می‌شود یا خیر.

محققان MIT با برداشتن گامی در این مسیر، یک مجموعه داده تصویری ایجاد کردند که به آنها اجازه می‌دهد دید محیطی را در مدل‌های یادگیری ماشین شبیه‌سازی کنند. آنها دریافتند که مدل‌های آموزشی با این مجموعه داده‌ها، توانایی مدل‌ها را برای تشخیص اشیاء در حاشیه بصری بهبود می‌بخشد، اگرچه مدل‌ها همچنان بدتر از انسان عمل می‌کنند.

نتایج آن‌ها همچنین نشان داد که برخلاف انسان‌ها، نه اندازه اشیا و نه میزان به هم ریختگی بصری در یک صحنه تأثیر شدیدی نداشتند. روی عملکرد هوش مصنوعی

«یک چیز اساسی وجود دارد روی اینجا. ما مدل‌های مختلفی را آزمایش کردیم، و حتی وقتی آنها را آموزش می‌دهیم، کمی بهتر می‌شوند، اما کاملاً شبیه انسان نیستند. بنابراین، سوال این است: چه چیزی در این مدل ها کم است؟ واشا دوتل، فوق دکترا و یکی از نویسندگان مقاله ای که جزئیات این مطالعه را شرح می دهد، می گوید.

پاسخ به این سوال ممکن است به محققان کمک کند تا مدل های یادگیری ماشینی بسازند که می توانند جهان را بیشتر شبیه انسان ببینند. علاوه بر بهبود ایمنی راننده، چنین مدل‌هایی می‌توانند برای توسعه نمایشگرهایی استفاده شوند که برای مردم راحت‌تر دیده شوند.

به علاوه، آنه هرینگتون MEng ’23، نویسنده اصلی، اضافه می‌کند که درک عمیق‌تر از بینایی محیطی در مدل‌های هوش مصنوعی می‌تواند به محققان کمک کند رفتار انسان را بهتر پیش‌بینی کنند.

او توضیح می‌دهد: «مدل‌سازی بینایی پیرامونی، اگر بتوانیم جوهره آنچه را که در حاشیه نمایش داده می‌شود، به تصویر بکشیم، می‌تواند به ما در درک ویژگی‌هایی در یک صحنه بصری کمک کند که چشمان ما را برای جمع‌آوری اطلاعات بیشتر حرکت می‌دهد.»

نویسندگان مشترک آنها عبارتند از مارک همیلتون، یک دانشجوی کارشناسی ارشد مهندسی برق و علوم کامپیوتر. آیوش تیواری، فوق دکتری؛ سایمون استنت، مدیر تحقیقات موسسه تحقیقات تویوتا؛ و نویسندگان ارشد ویلیام تی فریمن، پروفسور توماس و گرد پرکینز در مهندسی برق و علوم کامپیوتر و عضو آزمایشگاه علوم کامپیوتر و هوش مصنوعی (CSAIL). و روث روزنهولتز، دانشمند پژوهشی اصلی در بخش مغز و علوم شناختی و عضو CSAIL. این تحقیق در کنفرانس بین المللی ارائه خواهد شد روی بازنمایی های یادگیری

هر زمان که انسان در حال تعامل با یک ماشین – یک ماشین، یک ربات، یک رابط کاربری است – بسیار مهم است که بفهمید آن شخص چه چیزی را می بیند. روزنهولتز می گوید که دید محیطی نقش مهمی در این درک دارد.

شبیه سازی دید محیطی

بازوی خود را در مقابل خود دراز کنید و انگشت شست خود را به سمت بالا قرار دهید – ناحیه کوچک اطراف انگشت بند انگشتی شما توسط حفره شما دیده می شود، فرورفتگی کوچک در وسط شبکیه چشم که واضح ترین دید را فراهم می کند. هر چیز دیگری که می توانید ببینید در حاشیه بصری شماست. قشر بینایی شما صحنه ای را با جزئیات و قابلیت اطمینان کمتر نشان می دهد زیرا از آن نقطه تمرکز تیز دورتر می شود.

بسیاری از رویکردهای موجود برای مدل‌سازی دید محیطی در هوش مصنوعی این جزئیات رو به زوال را با محو کردن لبه‌های تصاویر نشان می‌دهند، اما از دست دادن اطلاعاتی که در عصب بینایی و قشر بینایی رخ می‌دهد بسیار پیچیده‌تر است.

برای یک رویکرد دقیق تر، محققان MIT با تکنیکی که برای مدل سازی بینایی محیطی در انسان استفاده می شود، شروع کردند. این روش که به عنوان مدل کاشی کاری بافت شناخته می شود، تصاویر را برای نمایش از دست دادن اطلاعات بصری انسان تغییر می دهد.

آنها این مدل را تغییر دادند تا بتواند تصاویر را به طور مشابه تغییر دهد، اما به روشی انعطاف‌پذیرتر که نیازی به دانستن از قبل اینکه شخص یا هوش مصنوعی چشمان خود را به کجا خواهد برد.

هرینگتون می‌گوید: «این به ما اجازه می‌دهد تا دید محیطی را به همان روشی که در تحقیقات بینایی انسان انجام می‌شود، مدل‌سازی کنیم.

محققان از این تکنیک اصلاح شده برای تولید مجموعه داده عظیمی از تصاویر تغییر یافته استفاده کردند که در مناطق خاصی بافتی تر به نظر می رسد، تا نشان دهنده از دست دادن جزئیاتی باشد که وقتی انسان بیشتر به اطراف نگاه می کند رخ می دهد.

سپس از مجموعه داده برای آموزش چندین مدل بینایی کامپیوتری استفاده کردند و عملکرد آنها را با انسان مقایسه کردند روی یک کار تشخیص شی

ما باید در روش تنظیم آزمایش بسیار هوشمندانه عمل می‌کردیم تا بتوانیم آن را در مدل‌های یادگیری ماشین نیز آزمایش کنیم. ما نمی خواستیم مدل ها را دوباره آموزش دهیم روی یک کار اسباب‌بازی که آنها قرار نبود آن را انجام دهند.» او می‌گوید.

عملکرد عجیب و غریب

به انسان‌ها و مدل‌ها جفت‌هایی از تصاویر تبدیل‌شده نشان داده شد که یکسان بودند، با این تفاوت که یک تصویر دارای یک شی هدف در حاشیه بود. سپس از هر شرکت کننده خواسته شد تا تصویر مورد نظر را انتخاب کند.

چیزی که واقعاً ما را شگفت زده کرد این بود که افراد چقدر در تشخیص اشیاء در حاشیه خود خوب بودند. ما حداقل 10 مجموعه مختلف از تصاویر را بررسی کردیم که بسیار آسان بودند. هرینگتون می افزاید: ما مدام به استفاده از اشیاء کوچکتر و کوچکتر نیاز داشتیم.

محققان دریافتند که مدل‌های آموزشی از ابتدا با مجموعه داده‌هایشان منجر به افزایش عملکرد و بهبود توانایی آنها در تشخیص و تشخیص اشیا می‌شود. تنظیم دقیق یک مدل با مجموعه داده آنها، a process که شامل بهینه سازی یک مدل از پیش آموزش دیده است تا بتواند یک کار جدید را انجام دهد که منجر به افزایش عملکرد کمتر می شود.

اما در هر مورد، ماشین‌ها به خوبی انسان‌ها نبودند و به‌ویژه در تشخیص اجسام در دوردست‌ها بد بودند. عملکرد آنها نیز از الگوهای مشابه انسان ها پیروی نمی کرد.

این ممکن است نشان دهد که مدل‌ها از زمینه به همان روشی که انسان‌ها برای انجام این وظایف تشخیص استفاده می‌کنند، استفاده نمی‌کنند. هرینگتون می گوید: استراتژی مدل ها ممکن است متفاوت باشد.

محققان قصد دارند به کاوش در این تفاوت ها ادامه دهند تا مدلی بیابند که بتواند عملکرد انسان را در حاشیه بصری پیش بینی کند. این می‌تواند سیستم‌های هوش مصنوعی را فعال کند که به رانندگان در مورد خطراتی که ممکن است نبینند، هشدار دهد. آنها همچنین امیدوارند که الهام بخش دیگر محققان برای انجام مطالعات بینایی کامپیوتری با مجموعه داده های عمومی در دسترس خود باشند.

“این کار مهم است زیرا به درک ما کمک می کند که بینایی انسان در حاشیه نباید فقط بینایی ضعیف به دلیل محدودیت در تعداد گیرنده های نوری در نظر گرفته شود، بلکه باید نمایشی باشد که برای انجام وظایف واقعی ما بهینه شده است. جاستین گاردنر، دانشیار دپارتمان روانشناسی دانشگاه استنفورد که درگیر این کار نبود، می‌گوید: پیامدهای جهانی. علاوه بر این، کار نشان می‌دهد که مدل‌های شبکه عصبی، علی‌رغم پیشرفت‌هایشان در سال‌های اخیر، قادر به مطابقت با عملکرد انسان در این زمینه نیستند، که باید منجر به تحقیقات بیشتر هوش مصنوعی برای یادگیری از علوم اعصاب بینایی انسان شود. این تحقیقات آینده به طور قابل توجهی توسط پایگاه داده تصاویر ارائه شده توسط نویسندگان برای تقلید از دید انسان محیطی کمک خواهد کرد.

این کار تا حدی توسط موسسه تحقیقاتی تویوتا و MIT CSAIL METEOR Fellowship پشتیبانی می‌شود.