آسان‌تر کردن بررسی پاسخ‌های یک مدل هوش مصنوعی

با وجود قابلیت‌های چشمگیر، مدل‌های زبانی بزرگ بسیار عالی هستند. این مدل های هوش مصنوعی گاهی اوقات با تولید اطلاعات نادرست یا پشتیبانی نشده در پاسخ به یک پرس و جو «توهم» می کنند.

با توجه به این مشکل توهم، پاسخ‌های یک LLM اغلب توسط حقیقت‌سنجی انسان تأیید می‌شود، به‌ویژه اگر یک مدل در یک محیط پر خطر مانند مراقبت‌های بهداشتی یا مالی به کار گرفته شود. با این حال، فرآیندهای اعتبارسنجی معمولاً از افراد می‌خواهد اسناد طولانی ذکر شده توسط مدل را بخوانند، کاری که آنقدر سخت و مستعد خطا است که ممکن است در وهله اول برخی از کاربران را از استقرار مدل‌های هوش مصنوعی مولد باز دارد.

برای کمک به اعتبارسنجی‌های انسانی، محققان MIT یک سیستم کاربرپسند ایجاد کردند که افراد را قادر می‌سازد تا پاسخ‌های یک LLM را با سرعت بیشتری تأیید کنند. با استفاده از این ابزار که SymGen نام دارد، یک LLM پاسخ هایی را با نقل قول هایی تولید می کند که مستقیماً به مکان در یک سند منبع، مانند یک سلول معین در پایگاه داده اشاره می کند.

کاربران ماوس را روی بخش‌های برجسته شده از پاسخ متن آن می‌چرخانند تا داده‌هایی را ببینند که مدل مورد استفاده برای تولید آن کلمه یا عبارت خاص است. در عین حال، بخش های برجسته نشده به کاربران نشان می دهد که کدام عبارات برای بررسی و تأیید نیاز به توجه بیشتری دارند.

ما به مردم این توانایی را می‌دهیم که به طور انتخابی تمرکز کنند روی بخش‌هایی از متن باید بیشتر نگران باشند. شانون شن، دانشجوی فارغ التحصیل مهندسی برق و علوم کامپیوتر و یکی از نویسندگان این مقاله می‌گوید: در پایان، SymGen می‌تواند به مردم اعتماد بیشتری نسبت به پاسخ‌های یک مدل بدهد، زیرا آن‌ها می‌توانند به راحتی نگاه دقیق‌تری داشته باشند تا اطمینان حاصل شود که اطلاعات تأیید شده است. کاغذ روی SymGen.

شن و همکارانش از طریق یک مطالعه کاربر دریافتند که SymGen زمان تأیید را در مقایسه با روش‌های دستی حدود 20 درصد افزایش داده است. SymGen با تسهیل سریع‌تر و آسان‌تر اعتبارسنجی خروجی‌های مدل برای انسان‌ها، می‌تواند به افراد کمک کند تا خطاهای موجود در LLM‌های مستقر در شرایط مختلف دنیای واقعی، از تولید یادداشت‌های بالینی گرفته تا خلاصه کردن گزارش‌های بازار مالی را شناسایی کنند.

شن ملحق شد روی مقاله توسط نویسنده همکار و دانشجوی فارغ التحصیل EECS، لوکاس توروبا هنیگن. دانشجوی فارغ التحصیل EECS Aniruddha “Ani” Nrusimha; برنهارد گپ، رئیس ابتکار داده خوب؛ و نویسندگان ارشد دیوید سونتاگ، استاد EECS، عضو کلینیک MIT Jameel، و رهبر گروه یادگیری ماشین بالینی آزمایشگاه علوم کامپیوتر و هوش مصنوعی (CSAIL). و یون کیم، استادیار EECS و عضو CSAIL. این تحقیق اخیراً در کنفرانس ارائه شده است روی مدل سازی زبان

ارجاعات نمادین

برای کمک به اعتبارسنجی، بسیاری از LLM ها برای تولید نقل قول ها طراحی شده اند که به اسناد خارجی به همراه پاسخ های مبتنی بر زبان آنها اشاره می کند تا کاربران بتوانند آنها را بررسی کنند. شن می‌گوید، با این حال، این سیستم‌های راستی‌آزمایی معمولاً به‌عنوان یک فکر بعدی طراحی می‌شوند، بدون در نظر گرفتن تلاشی که افراد برای بررسی استنادهای متعدد لازم است.

هوش مصنوعی مولد برای کاهش زمان کاربر برای انجام یک کار در نظر گرفته شده است. شن می‌گوید: اگر برای تأیید اینکه مدل چیزی معقول می‌گوید باید ساعت‌ها وقت صرف کنید و تمام این اسناد را مطالعه کنید، در این صورت استفاده از نسل‌ها در عمل کمتر مفید است.

محققان به مشکل اعتبارسنجی از دیدگاه انسان هایی که کار را انجام خواهند داد، نزدیک شدند.

یک کاربر SymGen ابتدا داده هایی را در اختیار LLM قرار می دهد که می تواند در پاسخ به آن ارجاع دهد، مانند جدولی که حاوی آمار یک بازی بسکتبال است. سپس، به جای درخواست فوری از مدل برای تکمیل یک کار، مانند تولید یک خلاصه بازی از آن داده ها، محققان یک مرحله میانی را انجام می دهند. آنها مدل را وادار می کنند تا پاسخ خود را به شکل نمادین ایجاد کند.

با این اعلان، هر بار که مدل می خواهد کلماتی را در پاسخ خود ذکر کند، باید سلول خاصی را از جدول داده که حاوی اطلاعاتی است که به آن ارجاع می دهد بنویسد. به عنوان مثال، اگر مدل بخواهد عبارت “Portland Trailblazers” را در پاسخ خود ذکر کند، آن متن را با نام سلول در جدول داده ای که حاوی آن کلمات است جایگزین می کند.

«از آنجایی که ما این مرحله میانی را داریم که متن را در قالب نمادین دارد، می‌توانیم ارجاعات واقعاً دقیقی داشته باشیم. Torroba Hennigen می‌گوید، برای هر بازه متنی در خروجی، این دقیقاً همان جایی است که در داده‌های آن مطابقت دارد.

سپس SymGen هر مرجع را با استفاده از یک ابزار مبتنی بر قانون حل می کند که متن مربوطه را از جدول داده ها در پاسخ مدل کپی می کند.

شن می افزاید: «به این ترتیب، ما می دانیم که یک کپی کلمه به کلمه است، بنابراین می دانیم که هیچ خطایی در بخشی از متن که با متغیر داده واقعی مطابقت دارد، وجود نخواهد داشت.

اعتبار سنجی ساده

مدل به دلیل روش آموزش می تواند پاسخ های نمادین ایجاد کند. مدل‌های زبان بزرگ، مجموعه‌ای از داده‌ها از اینترنت تغذیه می‌شوند و برخی از داده‌ها در «فرمت نگهدارنده مکان» ثبت می‌شوند که در آن کدها جایگزین مقادیر واقعی می‌شوند.

وقتی SymGen از مدل می خواهد که یک پاسخ نمادین ایجاد کند، از ساختار مشابهی استفاده می کند.

ما دستور را به روشی خاص برای ترسیم طراحی می کنیم روی شن می افزاید: قابلیت های LLM.

در طول یک مطالعه کاربر، اکثر شرکت‌کنندگان گفتند که SymGen تأیید متن تولید شده توسط LLM را آسان‌تر کرده است. آنها می توانند پاسخ های مدل را حدود 20 درصد سریعتر از زمانی که از روش های استاندارد استفاده می کردند، تأیید کنند.

با این حال، SymGen با کیفیت داده های منبع محدود شده است. LLM می تواند یک متغیر نادرست را ذکر کند، و یک تأیید کننده انسانی ممکن است عاقلانه تر نباشد.

علاوه بر این، کاربر باید داده های منبع را در قالبی ساختاریافته، مانند جدول، برای تغذیه به SymGen داشته باشد. در حال حاضر، سیستم فقط با داده های جدولی کار می کند.

با حرکت رو به جلو، محققان در حال تقویت SymGen هستند تا بتواند متن دلخواه و سایر اشکال داده را مدیریت کند. با این قابلیت، به عنوان مثال، می تواند به اعتبار بخشی از خلاصه اسناد قانونی ایجاد شده توسط هوش مصنوعی کمک کند. آنها همچنین قصد دارند SymGen را با پزشکان آزمایش کنند تا بررسی کنند که چگونه می تواند خطاها را در خلاصه های بالینی ایجاد شده توسط هوش مصنوعی شناسایی کند.

این کار تا حدی توسط Liberty Mutual و MIT Quest for Intelligence Initiative تامین می شود.