کمک به افراد غیرمتخصص در ساخت مدل های پیشرفته هوش مصنوعی مولد

تأثیر هوش مصنوعی هرگز عادلانه نخواهد بود اگر تنها یک شرکت باشد که مدل‌ها را بسازد و کنترل کند (بدون ذکر داده‌هایی که در آنها وجود دارد). متأسفانه، مدل‌های هوش مصنوعی امروزی از میلیاردها پارامتر تشکیل شده‌اند که باید برای به حداکثر رساندن عملکرد برای هر مورد استفاده، آموزش داده و تنظیم شوند و قدرتمندترین مدل‌های هوش مصنوعی را برای اکثر افراد و شرکت‌ها دور از دسترس قرار دهند.

MosaicML با ماموریتی شروع کرد که آن مدل ها را در دسترس تر کند. این شرکت که جاناتان فرانکل دکترای سال 23 و استادیار MIT مایکل کاربین را به عنوان یکی از بنیانگذاران آن می‌شمارد، پلتفرمی را توسعه داده است که به کاربران امکان آموزش، بهبود و نظارت بر مدل‌های منبع باز را با استفاده از داده‌های خود می‌دهد. این شرکت همچنین مدل های منبع باز خود را با استفاده از واحدهای پردازش گرافیکی (GPU) از Nvidia ساخته است.

این رویکرد باعث شد تا یادگیری عمیق، زمینه‌ای نوپا از زمانی که MosaicML برای اولین بار شروع شد، برای سازمان‌های بیشتری قابل دسترسی باشد، زیرا هیجان در مورد هوش مصنوعی مولد و مدل‌های زبان بزرگ (LLM) پس از انتشار Chat GPT-3.5 منفجر شد. همچنین MosaicML را به یک ابزار مکمل قدرتمند برای شرکت‌های مدیریت داده تبدیل کرد که متعهد شدند به سازمان‌ها در استفاده از داده‌های خود بدون ارائه آن به شرکت‌های هوش مصنوعی کمک کنند.

سال گذشته، این استدلال منجر به خرید MosaicML توسط Databricks، یک شرکت ذخیره‌سازی داده، تجزیه و تحلیل و هوش مصنوعی جهانی شد که با برخی از بزرگترین سازمان‌های جهان کار می‌کند. از زمان خرید، شرکت‌های ترکیبی یکی از بهترین LLM‌های منبع باز و همه‌منظوره را که تاکنون ساخته شده‌اند، منتشر کرده‌اند. این مدل که با نام DBRX شناخته می شود، معیارهای جدیدی را در کارهایی مانند درک مطلب، سوالات دانش عمومی و پازل های منطقی تعیین کرده است.

از آن زمان، DBRX به عنوان یکی از سریع ترین LLM های منبع باز موجود شهرت پیدا کرده است و به ویژه در شرکت های بزرگ مفید است.

با این حال، فرانکل می‌گوید که DBRX بیش از این مدل بسیار مهم است زیرا با استفاده از ابزارهای Databricks ساخته شده است، به این معنی که هر یک از مشتریان این شرکت می‌توانند با مدل‌های خود به عملکرد مشابهی دست یابند که تأثیر هوش مصنوعی مولد را تسریع می‌کند.

فرانکل می‌گوید: «راستش، دیدن این که جامعه کارهای جالبی با آن انجام می‌دهد بسیار هیجان‌انگیز است. برای من به عنوان یک دانشمند، این بهترین بخش است. این مدل نیست، همه چیز شگفت انگیزی است که جامعه انجام می دهد روی بالای آن اینجاست که جادو اتفاق می افتد.»

کارآمد ساختن الگوریتم ها

فرانکل قبل از آمدن به MIT برای ادامه تحصیل در مقطع دکترا در سال 2016، مدرک لیسانس و فوق لیسانس خود را در رشته علوم کامپیوتر در دانشگاه پرینستون گرفت. روی در MIT، او مطمئن نبود که در چه زمینه ای از محاسبات می خواهد مطالعه کند. انتخاب نهایی او مسیر زندگی او را تغییر خواهد داد.

فرانکل در نهایت تصمیم گرفت تمرکز کند روی نوعی هوش مصنوعی که به یادگیری عمیق معروف است. در آن زمان، یادگیری عمیق و هوش مصنوعی همان هیجان گسترده امروزی را برانگیخت. یادگیری عمیق حوزه مطالعاتی چند دهه ای بود که هنوز ثمره زیادی به بار نیاورده بود.

فرانکل می‌گوید: «فکر نمی‌کنم کسی در آن زمان پیش‌بینی کند که یادگیری عمیق به همان شکلی که اتفاق افتاد منفجر شود. «افراد آگاه فکر می‌کردند که این منطقه واقعاً تمیز است و مشکلات حل‌نشده زیادی وجود دارد، اما عباراتی مانند مدل زبان بزرگ (LLM) و هوش مصنوعی مولد در آن زمان واقعاً استفاده نمی‌شدند. روزهای اولیه بود.»

همه چیز با انتشار مقاله ای که اکنون بدنام توسط محققان گوگل در سال 2017 منتشر شد، شروع به جالب شدن کرد، که در آن آنها نشان دادند که معماری جدید یادگیری عمیق معروف به ترانسفورماتور به طور شگفت انگیزی در ترجمه زبان موثر بوده و در تعدادی از برنامه های کاربردی دیگر، از جمله نویدبخش است. تولید محتوا

در سال 2020، ناوین رائو، یکی از بنیانگذاران و مدیر فنی شرکت موزائیک، به فرانکل و کاربین ایمیل زد. رائو مقاله ای را خوانده بود که این دو با هم نوشته بودند و در آن محققان راهی برای کوچک کردن مدل های یادگیری عمیق بدون قربانی کردن عملکرد نشان دادند. رائو جفت را به میدان فرستاد روی راه اندازی یک شرکت هانلین تانگ که با رائو کار کرده بود به آنها پیوست روی یک استارتاپ قبلی هوش مصنوعی که توسط اینتل خریداری شده بود.

بنیانگذاران با خواندن شروع کردند روی تکنیک‌های مختلفی برای سرعت بخشیدن به آموزش مدل‌های هوش مصنوعی مورد استفاده قرار می‌گیرند، و در نهایت چندین مورد از آنها را ترکیب می‌کنند تا نشان دهند که می‌توانند یک مدل را برای انجام طبقه‌بندی تصویر چهار برابر سریع‌تر از آنچه قبلاً به دست آمده بود آموزش دهند.

فرانکل می گوید: «ترفند این بود که هیچ ترفندی وجود نداشت. “من فکر می کنم ما مجبور شدیم 17 تغییر مختلف در روش آموزش مدل ایجاد کنیم تا بتوانیم آن را بفهمیم. فقط کمی اینجا و کمی آنجا بود، اما معلوم شد که برای افزایش سرعت باورنکردنی کافی بود. این واقعاً داستان موزاییک بوده است.»

تیم نشان داد که تکنیک‌های آن‌ها می‌تواند مدل‌ها را کارآمدتر کند، و آنها یک مدل زبان بزرگ منبع باز را به همراه یک کتابخانه منبع باز از روش‌های خود در سال 1402 منتشر کردند. آنها همچنین ابزارهای تجسمی را توسعه دادند تا به توسعه دهندگان اجازه دهند گزینه های آزمایشی مختلف را برای مدل های آموزشی و در حال اجرا ترسیم کنند.

صندوق E14 MIT در دور تأمین مالی Mosaic’s Series A سرمایه گذاری کرد و فرانکل می گوید که تیم E14 راهنمایی های مفیدی را در اوایل ارائه کرده است. روی. پیشرفت Mosaic گروه جدیدی از شرکت‌ها را قادر ساخت تا مدل‌های هوش مصنوعی تولیدی خود را آموزش دهند.

فرانکل می‌گوید: «دموکراتیک‌سازی و یک زاویه منبع باز در مأموریت موزاییک وجود داشت. این چیزی است که همیشه به قلب من نزدیک بوده است. از زمانی که دانشجوی دکترا بودم و GPU نداشتم چون در آزمایشگاه یادگیری ماشین نبودم و همه دوستانم GPU داشتند. من هنوز هم این احساس را دارم. چرا همه ما نمی توانیم شرکت کنیم؟ چرا همه ما نمی توانیم این کارها را انجام دهیم و به علم بپردازیم؟»

نوآوری منبع باز

Databricks همچنین در تلاش بود تا مشتریان خود را به مدل‌های هوش مصنوعی دسترسی دهد. این شرکت خرید MosaicML خود را در سال 1402 به مبلغ 1.3 میلیارد دلار نهایی کرد.

فرانکل می‌گوید: «در Databricks، ما یک تیم مؤسس از دانشگاهیان را درست مثل ما دیدیم. ما همچنین تیمی از دانشمندان را دیدیم که فناوری را درک می کنند. Databricks دارای داده است، ما یادگیری ماشین را داریم. شما نمی توانید یکی را بدون دیگری انجام دهید و بالعکس. این فقط یک مسابقه واقعاً خوب بود.”

در ماه مارس، Databricks DBRX را منتشر کرد که به جامعه منبع باز و شرکت‌ها قابلیت‌های LLM خود را که قبلاً به مدل‌های بسته محدود می‌شد، می‌ساخت.

فرانکل می‌گوید: «چیزی که DBRX نشان داد این است که می‌توانید بهترین LLM منبع باز در جهان را با Databricks بسازید. “اگر شما یک شرکت هستید، امروز آسمان محدودیت دارد.”

فرانکل می‌گوید تیم Databricks با استفاده از DBRX به صورت داخلی در طیف گسترده‌ای از وظایف تشویق شده است.

او می‌گوید: «این در حال حاضر عالی است، و با کمی تنظیم دقیق بهتر از مدل‌های بسته است. شما برای همه چیز بهتر از GPT نخواهید بود. این روش کار نمی کند. اما هیچ کس نمی خواهد همه مشکلات را حل کند. همه می خواهند یک مشکل را حل کنند. و ما می‌توانیم این مدل را سفارشی کنیم تا برای سناریوهای خاص واقعا عالی باشد.»

همانطور که Databricks به پیشروی مرزهای هوش مصنوعی ادامه می‌دهد و رقبا همچنان مبالغ هنگفتی را برای هوش مصنوعی سرمایه‌گذاری می‌کنند، فرانکل امیدوار است صنعت منبع باز را به عنوان بهترین مسیر رو به جلو ببیند.

فرانکل می‌گوید: «من به علم معتقدم و به پیشرفت معتقدم و از اینکه در حال حاضر در حال انجام چنین علم هیجان‌انگیزی به عنوان یک رشته هستیم، هیجان‌زده هستم. من همچنین به صراحت اعتقاد دارم، و امیدوارم که دیگران از گشاده رویی به روشی که ما داریم استقبال کنند. اینگونه بود که از طریق علم خوب و اشتراک گذاری خوب به اینجا رسیدیم.»