استدلال و قابلیت اطمینان در هوش مصنوعی

برای اینکه زبان طبیعی شکل مؤثری از ارتباط باشد، طرفین درگیر باید بتوانند کلمات و زمینه آنها را درک کنند، فرض کنند که محتوا تا حد زیادی با حسن نیت به اشتراک گذاشته شده است و قابل اعتماد است، درباره اطلاعاتی که به اشتراک گذاشته می شود استدلال کنند، و سپس آن را در سناریوهای دنیای واقعی اعمال کنید. دانشجویان دکترای MIT که در آزمایشگاه هوش مصنوعی MIT-IBM Watson – Athul Paul Jacob SM ’22, Maohao Shen SM ’23, Victor Butoi, and Andi Peng SM ’23 کارآموزی می کنند – برای حمله به هر مرحله از این کار تلاش می کنند. process که در مدل های زبان طبیعی ساخته شده است، به طوری که سیستم های هوش مصنوعی می توانند برای کاربران قابل اعتمادتر و دقیق تر باشند.

برای رسیدن به این هدف، تحقیقات جیکوب به قلب مدل‌های زبان طبیعی موجود برای بهبود خروجی با استفاده از تئوری بازی‌ها ضربه می‌زند. او می‌گوید علایق او دو جنبه است: «یکی درک روش رفتار انسان‌ها، با استفاده از لنز سیستم‌های چند عاملی و درک زبان، و دومین چیز این است که چگونه از آن به عنوان بینشی برای ساختن هوش مصنوعی بهتر استفاده می‌کنید. سیستم‌ها؟» کار او از بازی تخته‌ای «دیپلماسی» سرچشمه می‌گیرد، جایی که تیم تحقیقاتی او سیستمی را توسعه دادند که می‌توانست رفتارهای انسان را یاد بگیرد و پیش‌بینی کند و به صورت استراتژیک برای دستیابی به یک نتیجه مطلوب و مطلوب مذاکره کند.

“این یک بازی بود که در آن باید اعتماد ایجاد کنید. شما باید با استفاده از زبان ارتباط برقرار کنید. شما باید همزمان با شش بازیکن دیگر نیز بازی کنید، که بسیار متفاوت از انواع حوزه‌های وظیفه‌ای بود که مردم در گذشته با آن‌ها مقابله می‌کردند.» . «در انجام این کار، چالش‌های تحقیقاتی زیادی وجود داشت. یکی این بود: «چگونه انسان ها را الگو می گیرید؟ از کجا می‌دانید که وقتی انسان‌ها تمایل دارند غیرمنطقی عمل کنند؟» جیکوب و مربیان تحقیقاتی‌اش – از جمله استادیار جاکوب آندریاس و گابریله فارینا، استادیار دپارتمان مهندسی برق و علوم کامپیوتر MIT (EECS) و MIT-IBM Watson Yikang Shen از AI Lab – مشکل تولید زبان را به عنوان یک بازی دو نفره بازنویسی کرد.

تیم جیکوب با استفاده از مدل‌های «مولد» و «ممیزکننده» یک سیستم زبان طبیعی را برای تولید پاسخ به سؤالات و سپس مشاهده پاسخ‌ها و تعیین درستی آنها ایجاد کرد. اگر آنها باشند، سیستم هوش مصنوعی یک امتیاز دریافت می کند. اگر نه، هیچ امتیازی پاداش نمی گیرد. مدل‌های زبانی معمولاً تمایل به توهم دارند و باعث می‌شود کمتر قابل اعتماد باشند. این الگوریتم یادگیری بدون پشیمانی به طور مشترک از یک مدل زبان طبیعی استفاده می‌کند و پاسخ‌های سیستم را تشویق می‌کند تا درست‌تر و قابل اعتمادتر باشند، در حالی که راه‌حل‌ها را نزدیک به اولویت‌های مدل زبان از پیش آموزش‌دیده نگه می‌دارد. جیکوب می‌گوید که استفاده از این تکنیک همراه با یک مدل زبان کوچک‌تر، احتمالاً می‌تواند آن را با عملکرد مشابه یک مدل چندین برابر بزرگ‌تر کند.

هنگامی که یک مدل زبان نتیجه ای ایجاد می کند، محققان در حالت ایده آل می خواهند که اعتماد به نسل آن با دقت آن همخوانی داشته باشد، اما اغلب اینطور نیست. توهمات ممکن است با مدلی که اطمینان بالایی را گزارش می‌کند در زمانی که باید پایین باشد رخ دهد. Maohao Shen و گروهش، با مربیان Gregory Wornell، استاد مهندسی Sumitomo در EECS، و محققان آزمایشگاهی با IBM Research Subhro Das، Prasanna Sattigeri و Soumya Ghosh – به دنبال رفع این مشکل از طریق کمی‌سازی عدم قطعیت (UQ) هستند. شن می‌گوید: «هدف پروژه ما کالیبره کردن مدل‌های زبان در زمانی است که کالیبراسیون ضعیفی دارند. به طور خاص، آنها به مشکل طبقه بندی نگاه می کنند. برای این منظور، Shen به یک مدل زبان اجازه می دهد تا متن آزاد تولید کند، که سپس به یک کار طبقه بندی چند گزینه ای تبدیل می شود. به عنوان مثال، آنها ممکن است از مدل بخواهند یک مسئله ریاضی را حل کند و سپس از آن بپرسند که آیا پاسخی که ایجاد کرده درست است به عنوان “بله، نه، یا شاید”. این کمک می کند تا مشخص شود که آیا مدل بیش از حد اعتماد دارد یا کمتر.

با خودکارسازی این، تیم تکنیکی را توسعه داد که به تنظیم خروجی اطمینان توسط یک مدل زبان از پیش آموزش‌دیده کمک می‌کند. محققان یک مدل کمکی را با استفاده از اطلاعات حقیقت پایه آموزش دادند تا سیستم آنها بتواند مدل زبان را تصحیح کند. شن توضیح می‌دهد: «اگر مدل شما در پیش‌بینی‌اش بیش از حد مطمئن باشد، ما می‌توانیم آن را تشخیص دهیم و اعتماد به‌نفس کمتری در آن ایجاد کنیم، و بالعکس. تیم تکنیک خود را ارزیابی کرد روی چندین مجموعه داده معیار محبوب برای نشان دادن میزان تعمیم آن به وظایف غیرقابل مشاهده برای تنظیم مجدد دقت و اطمینان پیش‌بینی‌های مدل زبان. شن می‌گوید: «بعد از آموزش، می‌توانید این تکنیک را بدون هیچ نظارت دیگری در کارهای جدید وصل کنید و به کار ببرید. “تنها چیزی که شما نیاز دارید داده های آن کار جدید است.”

ویکتور بوتوی همچنین توانایی مدل را افزایش می دهد، اما در عوض، تیم آزمایشگاهی او – که شامل جان گوتاگ، پروفسور دوگالد سی. جکسون در علوم کامپیوتر و مهندسی برق در EECS است. محققین آزمایشگاهی لئونید کارلینسکی و روجریو فریس از IBM Research. و شرکت‌های وابسته آزمایشگاهی هیلد کونه از دانشگاه بن و وی لین از دانشگاه فناوری گراتس – در حال ایجاد تکنیک‌هایی هستند که به مدل‌های زبان بینایی اجازه می‌دهد درباره آنچه که می‌بینند استدلال کنند، و در حال طراحی اعلان‌هایی برای باز کردن توانایی‌های یادگیری جدید و درک عبارات کلیدی است. .

استدلال ترکیبی تنها جنبه دیگری از تصمیم گیری است process بوتوی توضیح می‌دهد که ما از مدل‌های یادگیری ماشینی می‌خواهیم که عملکردشان را انجام دهند تا در موقعیت‌های دنیای واقعی مفید باشند. بوتوی می گوید: «شما باید بتوانید به صورت ترکیبی درباره مسائل فکر کنید و وظایف فرعی را حل کنید، مثلاً اگر می گویید صندلی در سمت چپ فرد قرار دارد، باید هم صندلی و هم فرد را بشناسید. شما باید مسیرها را درک کنید.» و پس از آن که مدل «چپ» را فهمید، تیم تحقیقاتی می‌خواهد مدل بتواند به سؤالات دیگری که مربوط به «چپ» است، پاسخ دهد.

بوتوی توضیح می‌دهد که به‌طور شگفت‌انگیزی، مدل‌های زبان بینایی درباره ترکیب‌بندی به خوبی استدلال نمی‌کنند، اما می‌توان با استفاده از مدلی که می‌تواند «شاهد را رهبری کند»، به آنها کمک کرد. این تیم مدلی را توسعه دادند که با استفاده از تکنیکی به نام انطباق با رتبه پایین مدل‌های زبان بزرگ (LoRA) بهینه شد و آموزش دید. روی یک مجموعه داده مشروح به نام Visual Genome که دارای اشیایی در یک تصویر و فلش هایی است که روابطی مانند جهت ها را نشان می دهد. بوتوی می‌گوید در این مورد، مدل LoRA آموزش‌دیده برای گفتن چیزی در مورد روابط «چپ» هدایت می‌شود، و سپس از این خروجی عنوان برای ارائه زمینه و ارائه مدل زبان بینایی استفاده می‌شود، و این کار را «به‌طور قابل‌توجهی آسان‌تر» می‌کند. .

در دنیای رباتیک، سیستم‌های هوش مصنوعی با استفاده از بینایی و زبان کامپیوتری با محیط اطراف خود درگیر می‌شوند. تنظیمات ممکن است از انبار تا خانه متغیر باشد. اندی پنگ و مربیان پروفسور HN Slater MIT در هوانوردی و فضانوردی، جولی شاه و چوانگ گان، از آزمایشگاه و دانشگاه ماساچوست در آمهرست، تمرکز دارند. روی کمک به افراد با محدودیت های فیزیکی، با استفاده از دنیای مجازی. برای این کار، گروه پنگ در حال توسعه دو مدل تجسم هوش مصنوعی – یک “انسان” که نیاز به حمایت و یک عامل کمکی دارد – در یک محیط شبیه سازی شده به نام ThreeDWorld. تمرکز کردن روی در تعاملات انسان/روبات، این تیم از پیشینیان معنایی گرفته شده توسط مدل‌های زبانی بزرگ استفاده می‌کند تا به هوش مصنوعی کمک کند تا بفهمد عامل «انسان» ممکن است قادر به انجام چه توانایی‌هایی نباشد و انگیزه‌های پشت اعمال «انسان» با استفاده از زبان طبیعی. این تیم به دنبال تقویت تصمیم گیری متوالی کمک کننده، ارتباط دو طرفه، توانایی درک صحنه فیزیکی، و بهترین روش مشارکت است.

بسیاری از مردم فکر می‌کنند که برنامه‌های هوش مصنوعی باید مستقل باشند، اما من فکر می‌کنم که بخش مهمی از آن است process پنگ می‌گوید این است که ما ربات‌ها و سیستم‌هایی برای انسان‌ها می‌سازیم و می‌خواهیم دانش بشری را منتقل کنیم. ما نمی خواهیم یک سیستم کاری را به روشی عجیب انجام دهد. ما از آنها می خواهیم که این کار را به روشی انسانی انجام دهند که ما بتوانیم آن را درک کنیم.»