استفاده از زبان برای درک ماشین ها

زبان طبیعی ایده ها، اعمال، اطلاعات و مقاصد را از طریق زمینه و نحو منتقل می کند. علاوه بر این، حجم هایی از آن در پایگاه های داده موجود است. این آن را به منبع عالی داده برای آموزش سیستم های یادگیری ماشین تبدیل می کند روی. دو دانشجوی کارشناسی ارشد مهندسی در برنامه پایان نامه MEng 6A در MIT، Irene Terpstra ’23 و Rujul Gandhi ’22، با مربیان آزمایشگاه هوش مصنوعی MIT-IBM Watson کار می کنند تا از این قدرت زبان طبیعی برای ساختن سیستم های هوش مصنوعی استفاده کنند.

با پیشرفت بیشتر محاسبات، محققان به دنبال بهبود سخت افزاری هستند که اجرا می کنند روی; این به معنای نوآوری برای ایجاد تراشه های کامپیوتری جدید است. و از آنجایی که ادبیات در حال حاضر موجود است روی اصلاحاتی که می توان برای دستیابی به پارامترها و عملکرد خاصی انجام داد، ترپسترا و مربیان و مشاورانش آنانتا چاندراکاسان، رئیس دانشکده مهندسی MIT و پروفسور مهندسی برق و علوم کامپیوتر وانوار بوش، و شین ژانگ، محقق IBM، در حال توسعه یک الگوریتم هوش مصنوعی هستند که در طراحی تراشه کمک می کند.

من در حال ایجاد یک گردش کار برای تجزیه و تحلیل سیستماتیک این هستم که چگونه این مدل های زبانی می توانند به طراحی مدار کمک کنند process. آنها چه قدرت استدلالی دارند و چگونه می توان آن را در طراحی تراشه ادغام کرد process؟” ترپسترا می گوید. و سپس روی طرف دیگر، اگر ثابت شود که به اندازه کافی مفید است، [we’ll] ببینید آیا می‌توانند به طور خودکار تراشه‌ها را خودشان طراحی کنند و آن را به یک الگوریتم یادگیری تقویتی متصل کنند.

برای انجام این کار، تیم Terpstra در حال ایجاد یک سیستم هوش مصنوعی است که می تواند تکرار کند روی طرح های مختلف این به معنی آزمایش با مدل‌های مختلف زبان بزرگ از قبل آموزش‌دیده (مانند ChatGPT، Llama 2، و Bard)، با استفاده از یک زبان شبیه‌ساز مدار منبع باز به نام NGspice است که پارامترهای تراشه را به صورت کد دارد، و یک الگوریتم یادگیری تقویتی. با درخواست‌های متنی، محققان می‌توانند پرس و جو کنند که چگونه تراشه فیزیکی باید برای دستیابی به یک هدف خاص در مدل زبان اصلاح شود و راهنمایی برای تنظیمات ارائه شود. سپس این به یک الگوریتم یادگیری تقویتی منتقل می شود که طراحی مدار را به روز می کند و پارامترهای فیزیکی جدید تراشه را خروجی می دهد.

ترپسترا می‌گوید: «هدف نهایی ترکیب قدرت‌های استدلال و دانش پایه‌ای است که در این مدل‌های زبانی بزرگ ایجاد می‌شود و آن را با قدرت بهینه‌سازی الگوریتم‌های یادگیری تقویتی ترکیب می‌کنیم و خود تراشه را طراحی می‌کنیم.»

روژول گاندی با خود زبان خام کار می کند. گاندی به عنوان دانشجوی کارشناسی در MIT، زبان‌شناسی و علوم کامپیوتر را مورد بررسی قرار داد و آنها را در کار خود با هم قرار داد. گاندی می‌گوید: «من به ارتباط، هم بین انسان‌ها و هم بین انسان‌ها و رایانه‌ها علاقه داشتم.

ربات‌ها یا دیگر سیستم‌های هوش مصنوعی تعاملی حوزه‌ای هستند که ارتباطات باید برای انسان‌ها و ماشین‌ها درک شود. محققان اغلب با استفاده از منطق رسمی دستورالعمل هایی را برای روبات ها می نویسند. این کمک می کند تا اطمینان حاصل شود که دستورات به طور ایمن و مطابق با هدف دنبال می شوند، اما درک منطق رسمی برای کاربران دشوار است، در حالی که زبان طبیعی به راحتی ارائه می شود. برای اطمینان از این ارتباط روان، گاندی و مشاورانش یانگ ژانگ از IBM و استادیار MIT چوچو فان در حال ساخت تجزیه‌کننده‌ای هستند که دستورالعمل‌های زبان طبیعی را به فرمی مناسب برای ماشین تبدیل می‌کند. سیستم گاندی با استفاده از ساختار زبانی کدگذاری شده توسط رمزگذار-رمزگشا مدل T5 از پیش آموزش دیده، و مجموعه داده ای از دستورات مشروح و پایه انگلیسی برای انجام وظایف خاص، کوچکترین واحدهای منطقی یا گزاره های اتمی را که در یک دستورالعمل موجود هستند، شناسایی می کند.

گاندی می‌گوید: «وقتی دستورالعمل‌های خود را ارائه کردید، مدل تمام وظایف فرعی کوچک‌تری را که می‌خواهید انجام دهید، شناسایی می‌کند. سپس، با استفاده از یک مدل زبان بزرگ، هر زیرکار را می‌توان با اعمال و اشیاء موجود در دنیای ربات مقایسه کرد، و اگر به دلیل شناسایی نشدن یک شی خاص یا یک عمل، هیچ کار فرعی را نتوان انجام داد. امکان پذیر نیست، سیستم می تواند همانجا متوقف شود تا از کاربر کمک بخواهد.”

این رویکرد تقسیم دستورالعمل‌ها به وظایف فرعی همچنین به سیستم او اجازه می‌دهد وابستگی‌های منطقی بیان شده به زبان انگلیسی را درک کند، مانند «تکلیف X را انجام دهید تا زمانی که رویداد Y اتفاق بیفتد». گاندی از مجموعه داده‌ای از دستورالعمل‌های گام به گام در حوزه‌های وظایف ربات مانند ناوبری و دستکاری با تمرکز استفاده می‌کند. روی وظایف خانگی. او می‌گوید استفاده از داده‌هایی که درست به روشی نوشته می‌شوند که انسان‌ها با یکدیگر صحبت می‌کنند، مزایای زیادی دارد، زیرا به این معنی است که کاربر می‌تواند در مورد روش بیان دستورالعمل‌های خود انعطاف‌پذیرتر باشد.

یکی دیگر از پروژه های گاندی شامل توسعه مدل های گفتاری است. در زمینه تشخیص گفتار، برخی از زبان‌ها به عنوان «منبع کم» در نظر گرفته می‌شوند، زیرا ممکن است تعداد زیادی گفتار رونویسی شده در دسترس نداشته باشند یا اصلاً شکل نوشتاری نداشته باشند. او می گوید: «یکی از دلایلی که من برای این کارآموزی در آزمایشگاه هوش مصنوعی MIT-IBM Watson AI درخواست کردم، علاقه به پردازش زبان برای زبان های کم منابع بود. بسیاری از مدل‌های زبان امروزی بسیار مبتنی بر داده‌ها هستند، و زمانی که به‌دست آوردن همه آن داده‌ها به این آسانی نیست، در آن زمان است که باید از داده‌های محدود به طور موثر استفاده کنید.»

گفتار فقط جریانی از امواج صوتی است، اما انسان در حال مکالمه به راحتی می تواند بفهمد که کلمات و افکار از کجا شروع و به کجا ختم می شوند. در پردازش گفتار، هم انسان ها و هم مدل های زبان از واژگان موجود خود برای تشخیص مرزهای کلمات و درک معنی استفاده می کنند. در زبان های کم یا بدون منبع، واژگان نوشتاری ممکن است اصلا وجود نداشته باشد، بنابراین محققان نمی توانند برای مدل ارائه کنند. در عوض، مدل می‌تواند یادداشت کند که چه توالی‌های صوتی با هم بیشتر از بقیه اتفاق می‌افتند و استنباط کنند که ممکن است کلمات یا مفاهیم جداگانه باشند. در گروه تحقیقاتی گاندی، این کلمات استنباط‌شده سپس در یک شبه واژگان جمع‌آوری می‌شوند که به عنوان یک روش برچسب‌گذاری برای زبان کم منبع عمل می‌کند و داده‌های برچسب‌گذاری شده را برای کاربردهای بعدی ایجاد می‌کند.

گاندی می گوید که برنامه های کاربردی برای فناوری زبان “تقریباً در همه جا وجود دارد”. می‌توانید تصور کنید که مردم می‌توانند با نرم‌افزارها و دستگاه‌ها به زبان مادری خود، یعنی گویش مادری‌شان تعامل داشته باشند. می توانید تصور کنید که همه دستیارهای صوتی را که استفاده می کنیم بهبود ببخشید. می توانید تصور کنید که از آن برای ترجمه یا تفسیر استفاده می شود.