علیرغم خروجی چشمگیر، هوش مصنوعی مولد درک منسجمی از جهان ندارد

مدل‌های زبان بزرگ می‌توانند کارهای چشمگیری انجام دهند، مانند نوشتن شعر یا تولید برنامه‌های رایانه‌ای قابل اجرا، حتی اگر این مدل‌ها برای پیش‌بینی کلمات بعدی در یک متن آموزش دیده باشند.

چنین قابلیت‌های شگفت‌انگیزی می‌تواند اینطور به نظر برسد که مدل‌ها به طور ضمنی در حال یادگیری برخی از حقایق کلی درباره جهان هستند.

اما طبق یک مطالعه جدید، لزوماً اینطور نیست. محققان دریافتند که یک نوع محبوب از مدل هوش مصنوعی مولد می‌تواند مسیرهای رانندگی در شهر نیویورک را با دقت تقریباً کامل ارائه دهد – بدون اینکه نقشه داخلی دقیقی از شهر ایجاد کند.

با وجود توانایی عجیب این مدل در جهت یابی موثر، زمانی که محققان برخی از خیابان ها را بستند و مسیرهای انحرافی را اضافه کردند، عملکرد آن به شدت کاهش یافت.

هنگامی که آنها عمیق تر حفاری کردند، محققان دریافتند که نقشه های نیویورک که مدل به طور ضمنی تولید می کند، خیابان های زیادی را که وجود ندارد، بین شبکه منحنی دارند و تقاطع های دور را به هم متصل می کنند.

این می‌تواند پیامدهای جدی برای مدل‌های هوش مصنوعی مولد مستقر در دنیای واقعی داشته باشد، زیرا مدلی که به نظر می‌رسد در یک زمینه خوب عمل می‌کند، در صورت تغییر جزئی کار یا محیط ممکن است خراب شود.

“یک امید این است که، چون LLM ها می توانند همه این چیزهای شگفت انگیز را در زبان انجام دهند، شاید بتوانیم از همین ابزارها در سایر بخش های علم نیز استفاده کنیم. اشش رامباچان، نویسنده ارشد، استادیار اقتصاد و محقق اصلی در آزمایشگاه اطلاعات و سیستم های تصمیم گیری MIT می گوید: اما این سوال که آیا LLM ها در حال یادگیری مدل های منسجم جهانی هستند، بسیار مهم است اگر بخواهیم از این تکنیک ها برای دستیابی به اکتشافات جدید استفاده کنیم. (درپوش).

رامباچان ملحق شد روی مقاله ای درباره کار توسط نویسنده اصلی کیون وفا، فوق دکترای دانشگاه هاروارد. جاستین وای چن، دانشجوی کارشناسی ارشد مهندسی برق و علوم کامپیوتر (EECS) در MIT. جان کلاینبرگ، استاد علوم کامپیوتر و علوم اطلاعات دانشگاه تیش در دانشگاه کرنل؛ و Sendhil Mullainathan، استاد MIT در بخش های EECS و اقتصاد، و عضو LIDS. این تحقیق در کنفرانس ارائه خواهد شد روی سیستم های پردازش اطلاعات عصبی

معیارهای جدید

محققان تمرکز کردند روی نوعی مدل هوش مصنوعی مولد که به عنوان ترانسفورماتور شناخته می شود، که ستون فقرات LLMهایی مانند GPT-4 را تشکیل می دهد. ترانسفورماتورها آموزش دیده اند روی حجم عظیمی از داده های مبتنی بر زبان برای پیش بینی نشانه بعدی در یک دنباله، مانند کلمه بعدی در یک جمله.

اما اگر دانشمندان بخواهند تعیین کنند که آیا یک LLM مدل دقیقی از جهان را تشکیل داده است یا خیر، به گفته محققان، اندازه‌گیری دقت پیش‌بینی‌های آن به اندازه کافی دور از ذهن نیست.

به عنوان مثال، آنها دریافتند که یک ترانسفورماتور می تواند تقریباً هر بار بدون درک هیچ یک از قوانین، حرکات معتبر را در یک بازی Connect 4 پیش بینی کند.

بنابراین، این تیم دو معیار جدید را توسعه دادند که می تواند مدل دنیای ترانسفورماتور را آزمایش کند. محققان ارزیابی های خود را متمرکز کردند روی دسته ای از مسائل به نام اتوماسیون محدود قطعی یا DFA.

یک DFA یک مشکل با توالی ای از حالت ها است، مانند تقاطع هایی که باید برای رسیدن به مقصد طی کرد، و یک روش مشخص برای توصیف قوانینی که باید در طول مسیر دنبال کرد.

آنها دو مشکل را برای فرمول بندی به عنوان DFA انتخاب کردند: ناوبری روی خیابان های شهر نیویورک و بازی تخته ای اتللو.

ما به تخت‌های آزمایشی نیاز داشتیم که بدانیم مدل جهانی چیست. وفا توضیح می‌دهد که اکنون، ما می‌توانیم با جدیت به این فکر کنیم که بازیابی آن مدل جهانی به چه معناست.

اولین معیاری که آنها ایجاد کردند، به نام تمایز توالی، می‌گوید که یک مدل یک مدل جهانی منسجم را تشکیل می‌دهد اگر دو حالت مختلف مانند دو تخته اتللو متفاوت را ببیند و تشخیص دهد که چگونه آنها متفاوت هستند. دنباله ها، یعنی لیست های مرتب شده از نقاط داده، چیزی است که ترانسفورماتورها برای تولید خروجی استفاده می کنند.

متریک دوم که فشرده‌سازی دنباله نام دارد، می‌گوید یک ترانسفورماتور با یک مدل جهانی منسجم باید بداند که دو حالت یکسان، مانند دو تخته اتللو یکسان، دنباله‌ای یکسان از مراحل بعدی احتمالی دارند.

آنها از این معیارها برای آزمایش دو کلاس رایج ترانسفورماتور استفاده کردند که یکی آموزش دیده است روی داده های تولید شده از توالی های تولید شده به طور تصادفی و دیگر روی داده های تولید شده توسط استراتژی های زیر

مدل های جهان نامنسجم

به‌طور شگفت‌انگیزی، محققان دریافتند که ترانسفورماتورهایی که به‌طور تصادفی انتخاب می‌کنند، مدل‌های جهانی دقیق‌تری را تشکیل می‌دهند، شاید به این دلیل که در طول آموزش، طیف گسترده‌تری از مراحل بعدی بالقوه را مشاهده کردند.

وفا توضیح می‌دهد: «در اتللو، اگر دو رایانه تصادفی را ببینید به جای بازیکنان قهرمانی، در تئوری مجموعه کاملی از حرکات ممکن را خواهید دید، حتی حرکات بدی که بازیکنان قهرمانی انجام نمی‌دهند».

حتی با وجود اینکه ترانسفورماتورها تقریباً در هر نمونه جهت‌های دقیق و حرکت‌های معتبر اتللو را تولید می‌کنند، این دو معیار نشان می‌دهند که تنها یکی از آنها یک مدل جهانی منسجم برای حرکت‌های اتللو ایجاد می‌کند، و هیچ‌کدام در شکل‌گیری مدل‌های جهان منسجم در مثال راه‌یابی عملکرد خوبی نداشتند.

محققان پیامدهای این موضوع را با اضافه کردن مسیرهای انحرافی به نقشه شهر نیویورک نشان دادند که باعث از کار افتادن همه مدل‌های ناوبری شد.

من از اینکه به محض اینکه یک مسیر انحرافی اضافه کردیم، چقدر سریع عملکرد بدتر شد، شگفت زده شدم. وفا می‌گوید اگر فقط 1 درصد از خیابان‌های ممکن را ببندیم، دقت بلافاصله از نزدیک به 100 درصد به تنها 67 درصد کاهش می‌یابد.

زمانی که نقشه‌های شهر را که مدل‌ها تولید کرده بودند، بازیابی کردند، مانند یک شهر خیالی نیویورک به نظر می‌رسیدند که صدها خیابان از هم تلاقی می‌کردند. روی بالای شبکه نقشه ها اغلب شامل پل هوایی های تصادفی بالای خیابان های دیگر یا خیابان های متعدد با جهت گیری غیرممکن بودند.

این نتایج نشان می‌دهد که ترانسفورماتورها می‌توانند به طرز شگفت‌آوری در وظایف خاصی بدون درک قوانین عمل کنند. محققان می گویند اگر دانشمندان بخواهند LLM هایی بسازند که بتواند مدل های دقیق جهان را ثبت کند، باید رویکرد متفاوتی در پیش بگیرند.

اغلب، ما می بینیم که این مدل ها کارهای چشمگیر انجام می دهند و فکر می کنیم که حتماً چیزی در مورد جهان فهمیده اند. امیدوارم بتوانیم مردم را متقاعد کنیم که این سوالی است که باید با دقت در مورد آن فکر کرد و نیازی نیست به آن اعتماد کنیم. روی رامباچان می گوید: شهود خودمان برای پاسخ به آن.

در آینده، محققان می‌خواهند با مجموعه‌ای از مشکلات متنوع‌تر، مانند مشکلاتی که برخی از قوانین فقط تا حدی شناخته شده‌اند، مقابله کنند. آن‌ها همچنین می‌خواهند معیارهای ارزیابی خود را برای مسائل علمی و دنیای واقعی اعمال کنند.

این کار تا حدی توسط ابتکار علم داده هاروارد، کمک هزینه تحصیلی پژوهشی بنیاد ملی علوم، کمک هزینه تحصیلی دانشکده Vannevar Bush، کمک هزینه همکاری Simons، و کمک هزینه از بنیاد مک آرتور تأمین می شود.