طراحی یک روش جدید برای بهینه سازی سیستم های هماهنگ پیچیده

هماهنگی سیستمهای تعاملی پیچیده ، خواه حالت های مختلف حمل و نقل در یک شهر یا اجزای مختلف که باید با هم کار کنند تا یک روبات مؤثر و کارآمد ایجاد کنند ، موضوعی مهم برای مقابله با طراحان نرم افزار است. اکنون ، محققان MIT با استفاده از نمودارهای ساده به عنوان ابزاری برای نشان دادن رویکردهای بهتر در بهینه سازی نرم افزار در مدلهای یادگیری عمیق ، روش کاملاً جدیدی برای نزدیک شدن به این مشکلات پیچیده ایجاد کرده اند.

آنها می گویند که روش جدید ، پرداختن به این کارهای پیچیده را به حدی ساده می کند که می تواند به یک نقاشی متناسب باشد روی پشت دستمال.

رویکرد جدید در ژورنال شرح داده شده است معاملات تحقیقات یادگیری ماشین، در مقاله ای توسط دانشجوی دکترا ورودی وینسنت ابوت و پروفسور گیوئل زردینی از آزمایشگاه MIT برای سیستم های اطلاعات و تصمیم گیری (LIDS).

زردینی می گوید: “ما یک زبان جدید برای صحبت در مورد این سیستم های جدید طراحی کردیم.” این “زبان” مبتنی بر نمودار جدید به شدت مبتنی بر روی او توضیح می دهد که چیزی به نام تئوری دسته بندی است.

همه اینها مربوط به طراحی معماری اساسی الگوریتم های رایانه است – برنامه هایی که در واقع به سنجش و کنترل قسمت های مختلف مختلف سیستم که بهینه سازی می شوند ، به پایان می رسند. “این مؤلفه ها قطعات مختلفی از یک الگوریتم هستند ، و آنها باید با یکدیگر صحبت کنند ، اطلاعات تبادل ، بلکه میزان مصرف انرژی ، مصرف حافظه و غیره را نیز به خود اختصاص دهند روی. ” چنین بهینه سازی ها بسیار دشوار هستند زیرا هر تغییر در یک قسمت از سیستم به نوبه خود می تواند باعث تغییر در سایر قسمت ها شود ، که می تواند سایر قسمت ها را تحت تأثیر قرار دهد ، و بنابراین onبشر

محققان تصمیم گرفتند تمرکز کنند روی کلاس خاص الگوریتم های یادگیری عمیق ، که در حال حاضر موضوع داغ تحقیق هستند. یادگیری عمیق اساس مدلهای بزرگ هوش مصنوعی ، از جمله مدل های بزرگ زبان مانند ChatGPT و مدل های تولید تصویر مانند Midjourney است. این مدل ها داده ها را توسط یک سری “عمیق” از ضرب ماتریس که با سایر عملیات ها در هم می آمیزند ، دستکاری می کنند. اعداد موجود در ماتریس پارامترهایی هستند و در طول دوره های آموزشی طولانی به روز می شوند و این امکان را برای یافتن الگوهای پیچیده فراهم می کند. مدل ها شامل میلیاردها پارامتر ، محاسبه گران قیمت و از این رو باعث بهبود مصرف منابع و بهینه سازی ارزشمند می شوند.

نمودارها می توانند جزئیات عملیات موازی را نشان دهند که مدل های یادگیری عمیق از آن تشکیل شده اند ، و روابط بین الگوریتم ها و سخت افزار واحد پردازش گرافیک موازی (GPU) را که اجرا می کنند ، نشان می دهد روی، توسط شرکت هایی مانند NVIDIA تهیه شده است. زردینی می گوید: “من از این موضوع بسیار هیجان زده ام ، زیرا” ما به نظر می رسد زبانی را پیدا کرده ایم که الگوریتم های یادگیری عمیق را توصیف می کند ، صریحاً همه چیزهای مهم را نشان می دهد ، که اپراتورهایی است که شما از آنها استفاده می کنید ، “به عنوان مثال مصرف انرژی ، تخصیص حافظه و هر پارامتر دیگری که می خواهید برای آن بهینه شوید.

بخش عمده ای از پیشرفت در یادگیری عمیق ناشی از بهینه سازی کارآیی منابع است. آخرین مدل Deepseek نشان داد که یک تیم کوچک می تواند با تمرکز با مدل های برتر OpenAI و سایر آزمایشگاه های اصلی رقابت کند روی راندمان منابع و رابطه بین نرم افزار و سخت افزار. به طور معمول ، در به دست آوردن این بهینه سازی ها ، “مردم برای کشف معماری های جدید به آزمایش و خطای زیادی نیاز دارند.” به عنوان مثال ، یک برنامه بهینه سازی گسترده به نام Flashattion بیش از چهار سال طول کشید تا توسعه یابد. اما با چارچوب جدیدی که آنها ایجاد کردند ، “ما واقعاً می توانیم به روشی رسمی تر به این مشکل نزدیک شویم.” و همه اینها به صورت بصری در یک زبان گرافیکی دقیقاً تعریف شده نشان داده شده است.

او می گوید ، اما روش هایی که برای یافتن این پیشرفت ها “بسیار محدود” هستند. “من فکر می کنم این نشان می دهد که یک شکاف اساسی وجود دارد ، به این دلیل که ما یک روش رسمی رسمی برای ارتباط یک الگوریتم به اجرای بهینه آن نداریم ، یا حتی واقعاً درک می کنیم که چند منبع برای اجرای آن خواهد داشت.” اما اکنون ، با روش جدید مبتنی بر نمودار آنها ابداع شده ، چنین سیستمی وجود دارد.

نظریه رده ، که زیربنای این رویکرد است ، روشی برای توصیف ریاضیات مؤلفه های مختلف یک سیستم و روش تعامل آنها به روشی عمومی و انتزاعی است. دیدگاه های مختلف می تواند مرتبط باشد. به عنوان مثال ، فرمول های ریاضی می تواند مربوط به الگوریتم هایی باشد که آنها را پیاده سازی می کنند و از منابع استفاده می کنند ، یا توضیحات سیستم می تواند مربوط به “نمودارهای رشته ای یکپارچه” باشد. این تجسمات به شما امکان می دهد مستقیماً در اطراف بازی کنید و با روش اتصال و تعامل قطعات مختلف آزمایش کنید. به گفته وی ، آنچه آنها ایجاد کردند “نمودارهای رشته ای است روی استروئیدها ، “که شامل بسیاری از کنوانسیون های گرافیکی دیگر و بسیاری از خواص دیگر است.

ابوت می گوید: “تئوری دسته بندی را می توان به عنوان ریاضیات انتزاع و ترکیب تصور کرد.” “هر سیستم ترکیبی را می توان با استفاده از تئوری دسته بندی توصیف کرد ، و می توان رابطه بین سیستم های ترکیبی نیز مورد بررسی قرار گرفت.” او می گوید ، قوانین جبری که به طور معمول با توابع همراه هستند ، می توانند به عنوان نمودارها نیز نشان داده شوند. “بنابراین ، بسیاری از ترفندهای بصری که می توانیم با نمودارها انجام دهیم ، می توانیم با ترفندها و توابع جبری ارتباط برقرار کنیم. بنابراین ، این مکاتبات را بین این سیستم های مختلف ایجاد می کند.”

در نتیجه ، او می گوید ، “این یک مشکل بسیار مهم را حل می کند ، به این معنی که ما این الگوریتم های یادگیری عمیق را داریم ، اما آنها به وضوح به عنوان مدل های ریاضی درک نمی شوند.” او می گوید با نمایندگی از آنها به عنوان نمودارها ، امکان نزدیک شدن به آنها به طور رسمی و منظم امکان پذیر می شود.

نکته ای که این امکان پذیر است ، درک بصری واضح از روش نمایش موازی فرآیندهای دنیای واقعی با پردازش موازی در GPU های رایانه ای چند هسته ای است. ابوت می گوید: “از این طریق ،” نمودارها می توانند یک عملکرد را نشان دهند ، و سپس روش اجرای بهینه را نشان دهند روی یک GPU. “

الگوریتم “توجه” توسط الگوریتم های یادگیری عمیق که به اطلاعات کلی و متنی نیاز دارند ، استفاده می شود و یک مرحله کلیدی از بلوک های سریالی است که مدل های بزرگ زبان مانند ChatGPT را تشکیل می دهند. Flashattion یک بهینه سازی است که سالها برای توسعه به طول انجامید ، اما منجر به بهبود شش برابر در سرعت الگوریتم های توجه شد.

با استفاده از روش خود در الگوریتم تثبیت شده فلاشیت ، زردینی می گوید: “در اینجا ما قادر به استخراج آن هستیم ، به معنای واقعی کلمه روی یک دستمال. ” او سپس می افزاید: “خوب ، شاید این یک دستمال بزرگ باشد.” اما این نکته را در مورد این نکته که رویکرد جدید آنها می تواند برخورد با این الگوریتم های پیچیده را ساده کند ، آنها را عنوان کردند ، آنها عنوان مقاله تحقیق رسمی خود را عنوان کردند روی کار “flashattention روی یک دستمال. “

این روش ، ابوت می گوید ، “بر خلاف روشهای غالب ، بهینه سازی می شود که به سرعت به سرعت حاصل شود.” در حالی که آنها در ابتدا این رویکرد را به الگوریتم Flashattention موجود در حال حاضر به کار برد ، بنابراین اثربخشی آن را تأیید می کنند ، “امیدواریم که اکنون از این زبان برای خودکارسازی تشخیص پیشرفت ها استفاده کنیم ،” می گوید: Zardini ، که علاوه بر اینکه یک محقق اصلی در لیدها است ، استادیار و استادیار Nancy Allen ، استاد عمران و سیستم های مهندسی محیط زیست ، و یک تجاوز به سازمان ، و یک تجاوز به سازمان ، و یک عضو عضو

این طرح این است که در نهایت ، آنها این نرم افزار را توسعه می دهند تا جایی که “محقق کد خود را بارگذاری می کند ، و با الگوریتم جدید شما به طور خودکار آنچه را می توان بهبود بخشید ، چه چیزی می تواند بهینه سازی شود ، و شما یک نسخه بهینه شده الگوریتم را به کاربر باز می گردانید.”

علاوه بر اتوماسیون بهینه سازی الگوریتم ، زردینی خاطرنشان می کند که تجزیه و تحلیل قوی از چگونگی ارتباط الگوریتم های یادگیری عمیق با استفاده از منابع سخت افزاری امکان طراحی سیستماتیک سخت افزار و نرم افزار را فراهم می کند. این خط کار با تمرکز زردینی ادغام می شود روی طراحی مشترک ، که از ابزارهای تئوری دسته برای بهینه سازی همزمان اجزای مختلف سیستم های مهندسی شده استفاده می کند.

ابوت می گوید: “به اعتقاد من ،” این تمام زمینه از مدلهای یادگیری عمیق بهینه کاملاً بدون فشار است ، و به همین دلیل این نمودارها بسیار هیجان انگیز هستند. آنها درها را به یک رویکرد منظم برای این مشکل باز می کنند. “

جرمی هوارد ، بنیانگذار و مدیرعامل پاسخ ها می گوید: “من از کیفیت این تحقیق بسیار تحت تأثیر قرار گرفته ام. وی گفت: “این مقاله اولین بار است که من چنین نمادی را برای تجزیه و تحلیل عمیق عملکرد یک الگوریتم یادگیری عمیق دیده ام روی سخت افزار در دنیای واقعی. … مرحله بعدی این است که ببینیم آیا می توان به سود عملکرد دنیای واقعی دست یافت. “

پتار ولیکوویچ ، دانشمند ارشد تحقیقاتی در Google Deepmind و مدرس دانشگاه کمبریج ، که با این کار همراه نبود ، می گوید: “این یک قطعه زیبا از تحقیقات نظری است ، که هدف آن دسترسی زیاد به خوانندگان ناآگاه است – صفتی که به ندرت در مقالات از این نوع دیده می شود.” او می گوید ، این محققان ، “ارتباطات بسیار خوبی هستند ، و من نمی توانم صبر کنم تا ببینم که آنها بعد چه می آیند!”

زبان جدید مبتنی بر نمودار ، که به صورت آنلاین ارسال شده است ، در حال حاضر توجه و علاقه زیادی را از طرف توسعه دهندگان نرم افزار به خود جلب کرده است. یک داور از مقاله قبلی ابوت با معرفی نمودارها خاطرنشان کرد: “نمودارهای مدار عصبی پیشنهادی از دیدگاه هنری عالی به نظر می رسند (تا آنجا که من قادر به قضاوت در مورد این هستم).” “این تحقیقات فنی است ، اما همچنین چشمک زن است!” زردینی می گوید.