آیا LLMS می تواند به طراحی داروها و مواد بعدی ما کمک کند؟

در process کشف مولکول هایی که خواص لازم برای ایجاد داروها و مواد جدید را دارند ، دست و پا گیر و گران است ، مصرف منابع محاسباتی گسترده و ماه های کار انسانی برای محدود کردن فضای عظیم نامزدهای بالقوه.

مدل های بزرگ زبان (LLM) مانند chatgpt می توانند این کار را ساده تر کنند process، اما این امکان را برای درک و استدلال در مورد اتمها و پیوندهایی که یک مولکول را تشکیل می دهند ، به همان روشی که با کلماتی انجام می دهد که جملات تشکیل می دهند ، یک مانع علمی را ارائه داده است.

محققان آزمایشگاه MIT و MIT-IBM Watson AI یک رویکرد امیدوارکننده را ایجاد کردند که LLM را با سایر مدل های یادگیری ماشین معروف به مدل های مبتنی بر نمودار تقویت می کند ، که به طور خاص برای تولید و پیش بینی ساختارهای مولکولی طراحی شده اند.

روش آنها از LLM پایه برای تفسیر نمایش داده های زبان طبیعی که خصوصیات مولکولی مورد نظر را مشخص می کند ، استفاده می کند. به طور خودکار بین ماژول های پایه LLM و ماژول های AI مبتنی بر نمودار تغییر می کند تا مولکول را طراحی کند ، منطقی را توضیح دهد و یک برنامه گام به گام برای سنتز آن ایجاد کند. این متن ، نمودار و تولید مرحله سنتز ، ترکیب کلمات ، نمودارها و واکنش ها را در یک واژگان مشترک برای مصرف LLM در هم می آمیزد.

در مقایسه با رویکردهای مبتنی بر LLM موجود ، این تکنیک چند حالته مولکول هایی را ایجاد می کند که مشخصات کاربر را بهتر مطابقت می دهد و احتمالاً دارای یک برنامه سنتز معتبر هستند و نسبت موفقیت را از 5 درصد به 35 درصد بهبود می بخشد.

این همچنین از LLMS بهتر از 10 برابر اندازه آن و این که مولکول ها و مسیرهای سنتز را فقط با بازنمایی های مبتنی بر متن طراحی می کنند ، بهتر عمل می کند ، نشان می دهد که چندمزد بودن برای موفقیت سیستم جدید مهم است.

وی گفت: “این می تواند امیدوارم یک راه حل پایان به پایان باشد که در آن ، از ابتدا تا پایان ، ما کل را خودکار می کنیم process طراحی و ساخت مولکول. اگر یک LLM فقط در چند ثانیه می تواند جواب را به شما بدهد ، این یک صرفه جویی در وقت برای شرکت های دارویی خواهد بود. ” روی این تکنیک

نویسندگان Sun شامل نویسنده اصلی باند لیو ، دانشجوی فارغ التحصیل دانشگاه نوتردام است. Wojciech Matusik ، استاد مهندسی برق و علوم کامپیوتر در MIT که رهبری گروه طراحی و ساخت محاسباتی در آزمایشگاه علوم کامپیوتر و هوش مصنوعی (CSAIL) است. منگ جیانگ ، استادیار دانشگاه نوتردام ؛ و نویسنده ارشد جی چن ، دانشمند ارشد تحقیقات و مدیر آزمایشگاه MIT-IBM Watson AI. این تحقیق در کنفرانس بین المللی ارائه خواهد شد روی یادگیری بازنمایی.

بهترین های هر دو جهان

مدل های بزرگ زبان برای درک تفاوت های ظریف شیمی ساخته نشده اند ، این یکی از دلایلی است که آنها با طراحی مولکولی معکوس می جنگند ، process شناسایی ساختارهای مولکولی که عملکرد یا خاصیت خاصی دارند.

LLMS متن را به بازنمایی به نام نشانه ها تبدیل می کند ، که آنها برای پیش بینی پی در پی کلمه بعدی در یک جمله استفاده می کنند. اما مولکول ها “ساختارهای نمودار” هستند که از اتم ها و پیوندها بدون ترتیب خاص تشکیل شده اند و رمزگذاری آنها به عنوان متن پی در پی دشوار است.

از طرف دیگر ، مدل های قدرتمند AI مبتنی بر نمودار ، اتم ها و پیوندهای مولکولی را به عنوان گره ها و لبه های بهم پیوسته در یک نمودار نشان می دهند. در حالی که این مدل ها برای طراحی مولکولی معکوس محبوب هستند ، آنها به ورودی های پیچیده نیاز دارند ، نمی توانند زبان طبیعی را درک کنند و نتایج عملکردی را که تفسیر آن دشوار است ، درک کنند.

محققان MIT یک LLM را با مدل های AI مبتنی بر نمودار در یک چارچوب یکپارچه ترکیب کردند که از هر دو جهان بهترین نتیجه را می گیرد.

Llamole ، که مخفف مدل زبان بزرگ برای کشف مولکولی است ، از LLM پایه به عنوان دروازه بان برای درک پرس و جو کاربر استفاده می کند-یک درخواست ساده به زبان برای یک مولکول با خاصیت خاص.

به عنوان مثال ، شاید یک کاربر به دنبال یک مولکول باشد که می تواند به سد خونی مغزی نفوذ کند و HIV را مهار کند ، با توجه به اینکه دارای وزن مولکولی 209 و خصوصیات پیوند خاصی است.

همانطور که LLM متن را در پاسخ به پرس و جو پیش بینی می کند ، بین ماژول های نمودار تغییر می کند.

یک ماژول از یک مدل انتشار نمودار برای تولید ساختار مولکولی شرط شده استفاده می کند روی الزامات ورودی یک ماژول دوم از یک شبکه عصبی نمودار برای رمزگذاری ساختار مولکولی تولید شده در نشانه های مصرف LLM ها استفاده می کند. ماژول نمودار نهایی یک پیش بینی کننده واکنش نمودار است که به عنوان ورودی یک ساختار مولکولی میانی در نظر گرفته می شود و یک مرحله واکنش را پیش بینی می کند و به دنبال مجموعه دقیق مراحل برای ساختن مولکول از بلوک های ساختمانی اساسی است.

محققان نوع جدیدی از نشانه های ماشه را ایجاد کردند که به LLM می گوید چه زمانی هر ماژول را فعال می کند. هنگامی که LLM یک توکن “طراحی” را پیش بینی می کند ، به ماژول ای تغییر می یابد که یک ساختار مولکولی را طراحی می کند ، و هنگامی که یک نشانه “یکپارچهسازی با سیستمعامل” را پیش بینی می کند ، به ماژول برنامه ریزی رتروسنتتیک تغییر می یابد که مرحله واکنش بعدی را پیش بینی می کند.

سان می گوید: “زیبایی این امر این است که هر آنچه که LLM قبل از فعال کردن یک ماژول خاص ایجاد می کند ، در آن ماژول تغذیه می شود. ماژول در حال یادگیری است که به روشی کار کند که مطابق با آنچه پیش آمده است.”

به همان شیوه ، خروجی هر ماژول رمزگذاری شده و به نسل تغذیه می شود process از LLM ، بنابراین می فهمد که هر ماژول چه کاری انجام داده و پیش بینی نشانه ها را ادامه خواهد داد روی آن داده ها

ساختارهای مولکولی بهتر و ساده تر

در پایان ، للامول تصویری از ساختار مولکولی ، توصیف متنی از مولکول و یک برنامه سنتز گام به گام را ارائه می دهد که جزئیات روش ساخت آن را ارائه می دهد ، به واکنشهای شیمیایی فردی.

در آزمایشات شامل طراحی مولکول هایی که با مشخصات کاربر مطابقت دارند ، للامول از 10 LLM استاندارد ، چهار LLM تنظیم شده خوب و یک روش خاص دامنه خاص استفاده می کند. در عین حال ، با تولید مولکولهای با کیفیت بالاتر ، میزان موفقیت برنامه ریزی رتروسنتز را از 5 درصد به 35 درصد افزایش داد ، به این معنی که آنها ساختارهای ساده تری و بلوک های ساختمانی کمتری داشتند.

لیو می گوید: “به تنهایی ، LLMS تلاش می کند تا چگونه مولکول ها را سنتز کنند زیرا به برنامه ریزی چند مرحله ای نیاز دارد. روش ما می تواند ساختارهای مولکولی بهتری ایجاد کند که ترکیب آنها نیز آسان تر است.”

برای آموزش و ارزیابی للامول ، محققان دو مجموعه داده را از ابتدا ساختند زیرا مجموعه داده های موجود از ساختارهای مولکولی حاوی جزئیات کافی نبود. آنها صدها هزار مولکول ثبت شده را با توضیحات زبان طبیعی تولید شده AI و الگوهای توضیحات سفارشی تقویت کردند.

مجموعه داده هایی که آنها برای تنظیم دقیق LLM ساخته اند شامل الگوهای مربوط به 10 خاصیت مولکولی است ، بنابراین یک محدودیت للامول این است که برای طراحی مولکول ها با توجه به فقط آن 10 خاصیت عددی آموزش داده می شود.

در کار آینده ، محققان می خواهند للامول را تعمیم دهند تا بتواند هرگونه خاصیت مولکولی را در خود جای دهد. علاوه بر این ، آنها قصد دارند ماژول های نمودار را برای تقویت میزان موفقیت رتروسنتز للامول بهبود بخشند.

و در دراز مدت ، آنها امیدوارند که از این رویکرد برای فراتر از مولکول ها استفاده کنند ، LLM های چندمودال را ایجاد کنند که می تواند انواع دیگر داده های مبتنی بر نمودار را انجام دهد ، مانند سنسورهای بهم پیوسته در یک شبکه برق یا معاملات در یک بازار مالی.

چن می گوید: “للامول امکان استفاده از مدل های بزرگ زبان را به عنوان واسط برای داده های پیچیده فراتر از توصیف متنی نشان می دهد ، و ما پیش بینی می کنیم آنها پایه ای باشند که با سایر الگوریتم های هوش مصنوعی برای حل هرگونه مشکل نمودار ارتباط برقرار می کنند.”

این تحقیق تا حدودی توسط آزمایشگاه MIT-IBM Watson AI ، بنیاد ملی علوم و دفتر تحقیقات نیروی دریایی تأمین می شود.