یک رویکرد سریع و انعطاف پذیر برای کمک به پزشکان در حاشیه نویسی اسکن های پزشکی

برای چشمی که آموزش ندیده، یک تصویر پزشکی مانند ام آر آی یا اشعه ایکس مجموعه ای تیره از حباب های سیاه و سفید به نظر می رسد. رمزگشایی از کجا یک ساختار (مانند یک تومور) به پایان می رسد و دیگری شروع می شود، می تواند یک مبارزه باشد.

هنگامی که سیستم‌های هوش مصنوعی برای درک مرزهای ساختارهای بیولوژیکی آموزش ببینند، می‌توانند مناطق مورد علاقه‌ای را که پزشکان و کارکنان زیست‌پزشکی می‌خواهند برای بیماری‌ها و سایر ناهنجاری‌ها نظارت کنند، تقسیم‌بندی کنند (یا مشخص کنند). به جای از دست دادن زمان گرانبها برای ردیابی آناتومی با دست در بسیاری از تصاویر، یک دستیار مصنوعی می تواند این کار را برای آنها انجام دهد.

گرفتن؟ محققان و پزشکان باید تصاویر بی شماری را برای آموزش سیستم هوش مصنوعی خود قبل از اینکه بتواند به طور دقیق بخش بندی کند، برچسب گذاری کنند. به عنوان مثال، برای آموزش یک مدل نظارت شده برای درک اینکه چگونه شکل قشر مغز می تواند در مغزهای مختلف متفاوت باشد، باید قشر مغز را در اسکن های MRI متعدد حاشیه نویسی کنید.

با کنارگذاشتن چنین جمع آوری داده های خسته کننده، محققان آزمایشگاه علوم کامپیوتر و هوش مصنوعی MIT (CSAIL)، بیمارستان عمومی ماساچوست (MGH) و دانشکده پزشکی هاروارد چارچوب تعاملی “ScribblePrompt” را توسعه داده اند: ابزاری انعطاف پذیر که می تواند به بخش بندی سریع هر تصویر پزشکی کمک کند. ، حتی انواعی که قبلاً ندیده است.

به جای اینکه انسان ها هر تصویر را به صورت دستی علامت گذاری کنند، این تیم شبیه سازی کرد که چگونه کاربران بیش از 50000 اسکن از جمله MRI، سونوگرافی و عکس ها را در ساختارهای چشم، سلول ها، مغز، استخوان ها، پوست و موارد دیگر حاشیه نویسی می کنند. برای برچسب زدن همه آن اسکن‌ها، تیم از الگوریتم‌هایی برای شبیه‌سازی روش خط‌نویسی و کلیک کردن انسان‌ها استفاده کرد. روی مناطق مختلف در تصاویر پزشکی علاوه بر مناطقی که معمولاً برچسب‌گذاری می‌شوند، این تیم همچنین از الگوریتم‌های سوپرپیکسلی استفاده کرد که بخش‌هایی از تصویر را با مقادیر مشابه پیدا می‌کند تا مناطق جدید بالقوه مورد علاقه محققان پزشکی را شناسایی کند و ScribblePrompt را برای تقسیم‌بندی آنها آموزش دهد. این داده‌های مصنوعی ScribblePrompt را برای رسیدگی به درخواست‌های بخش‌بندی در دنیای واقعی از کاربران آماده کرد.

هالی وونگ SM ’22، دانشجوی دکترای MIT، نویسنده اصلی، می‌گوید: «هوش مصنوعی پتانسیل قابل‌توجهی در تجزیه و تحلیل تصاویر و سایر داده‌های با ابعاد بالا دارد تا به انسان‌ها کمک کند کارها را با بهره‌وری بیشتر انجام دهند. روی مقاله جدیدی در مورد ScribblePrompt و یک شرکت وابسته به CSAIL. ما می خواهیم تلاش های کارکنان پزشکی را از طریق یک سیستم تعاملی تقویت کنیم، نه جایگزین کنیم. ScribblePrompt یک مدل ساده با کارایی برای کمک به تمرکز پزشکان است روی بخش‌های جالب‌تر تحلیل آنها. این روش سریع‌تر و دقیق‌تر از روش‌های تقسیم‌بندی تعاملی قابل مقایسه است و زمان حاشیه‌نویسی را 28 درصد در مقایسه با چارچوب Meta’s Segment Anything Model (SAM) کاهش می‌دهد.»

رابط کاربری ScribblePrompt ساده است: کاربران می‌توانند در ناحیه ناهمواری که می‌خواهند بخش‌بندی شده، خط خطی کنند یا کلیک کنند. روی آن را، و ابزار کل ساختار یا پس زمینه را به عنوان درخواست برجسته می کند. برای مثال می توانید کلیک کنید روی وریدهای فردی در اسکن شبکیه (چشم). ScribblePrompt همچنین می‌تواند ساختاری را که یک کادر محدود شده است علامت‌گذاری کند.

سپس، ابزار می تواند اصلاحات را بر اساس انجام دهد روی بازخورد کاربر اگر می‌خواهید یک کلیه را در سونوگرافی برجسته کنید، می‌توانید از یک جعبه محدود کننده استفاده کنید و سپس اگر ScribblePrompt لبه‌هایی را از دست داد، قسمت‌های دیگری از ساختار را خط خطی کنید. اگر می‌خواهید بخش خود را ویرایش کنید، می‌توانید از «خط‌نویس منفی» برای حذف مناطق خاصی استفاده کنید.

این قابلیت‌های تعاملی خود تصحیح‌کننده، ScribblePrompt را به ابزار ترجیحی در میان محققان تصویربرداری عصبی در MGH در یک مطالعه کاربر تبدیل کرد. 93.8 درصد از این کاربران رویکرد MIT را نسبت به خط پایه SAM در بهبود بخش‌های آن در پاسخ به اصلاحات خط خطی ترجیح دادند. در مورد ویرایش های مبتنی بر کلیک، 87.5 درصد از محققان پزشکی ScribblePrompt را ترجیح دادند.

ScribblePrompt آموزش داده شد روی خط خطی ها و کلیک های شبیه سازی شده روی 54000 تصویر در 65 مجموعه داده، شامل اسکن چشم، قفسه سینه، ستون فقرات، سلول ها، پوست، عضلات شکم، گردن، مغز، استخوان ها، دندان ها و ضایعات. این مدل با 16 نوع تصویر پزشکی از جمله میکروسکوپ، سی تی اسکن، اشعه ایکس، MRI، سونوگرافی و عکس آشنا شد.

بسیاری از روش‌های موجود وقتی کاربران تصاویر را خط خطی می‌کنند، به خوبی پاسخ نمی‌دهند، زیرا شبیه‌سازی چنین تعاملاتی در آموزش دشوار است. برای ScribblePrompt، ما توانستیم مدل خود را مجبور کنیم با استفاده از وظایف تقسیم‌بندی مصنوعی خود، به ورودی‌های مختلف توجه کند.» ما می‌خواستیم چیزی را آموزش دهیم که اساساً یک مدل پایه است روی داده‌های متنوع زیادی دارد، بنابراین به انواع جدیدی از تصاویر و وظایف تعمیم می‌یابد.”

پس از دریافت داده های بسیار، تیم ScribblePrompt را در 12 مجموعه داده جدید ارزیابی کرد. اگرچه قبلاً این تصاویر را ندیده بود، اما با تقسیم بندی کارآمدتر و ارائه پیش بینی های دقیق تر در مورد مناطق دقیقی که کاربران می خواستند برجسته شوند، از چهار روش موجود بهتر عمل کرد.

نویسنده ارشد Adrian Dalca SM ’12, PhD، می گوید: «بخش بندی رایج ترین کار تجزیه و تحلیل تصویر زیست پزشکی است که به طور گسترده هم در عمل معمول بالینی و هم در تحقیقات انجام می شود – که منجر به این می شود که هم بسیار متنوع و هم یک گام مهم و تأثیرگذار باشد. ’16، دانشمند پژوهشی CSAIL و استادیار در MGH و دانشکده پزشکی هاروارد. ScribblePrompt با دقت طراحی شده بود تا عملاً برای پزشکان و محققان مفید باشد و از این رو این مرحله را بسیار سریعتر انجام دهد.

اکثر الگوریتم‌های تقسیم‌بندی که در تجزیه و تحلیل تصویر و یادگیری ماشین ایجاد شده‌اند، حداقل تا حدی مبتنی هستند. روی بروس فیشل، استاد دانشکده پزشکی هاروارد در رادیولوژی و متخصص علوم اعصاب MGH، که در این مقاله نقشی نداشت، می‌گوید توانایی ما برای حاشیه‌نویسی دستی تصاویر است. «مشکل در تصویربرداری پزشکی که در آن «تصاویر» ما معمولاً حجم‌های سه‌بعدی هستند، به‌طور چشمگیری بدتر است، زیرا انسان‌ها هیچ دلیل تکاملی یا پدیدارشناختی برای داشتن صلاحیت در حاشیه‌نویسی تصاویر سه‌بعدی ندارند. ScribblePrompt با آموزش یک شبکه، حاشیه نویسی دستی را قادر می سازد بسیار، بسیار سریعتر و دقیق تر انجام شود. روی دقیقاً انواع تعاملاتی که یک انسان معمولاً با یک تصویر خواهد داشت در حالی که به صورت دستی حاشیه نویسی می کند. نتیجه یک رابط بصری است که به حاشیه نویس ها اجازه می دهد به طور طبیعی با داده های تصویربرداری با بهره وری بسیار بیشتر از آنچه قبلا ممکن بود تعامل داشته باشند.

وونگ و دالکا این مقاله را با دو زیرمجموعه دیگر CSAIL نوشتند: جان گوتاگ، پروفسور دوگالد سی جکسون از EECS در MIT و محقق اصلی CSAIL. و دانشجوی دکترای MIT ماریان راکیچ SM ’22. کار آنها تا حدی توسط شرکت Quanta Computer، مرکز اریک و وندی اشمیت در مؤسسه برود، شرکت Wistron، و موسسه ملی تصویربرداری زیست پزشکی و مهندسی زیستی مؤسسه ملی بهداشت، با پشتیبانی سخت افزاری پشتیبانی شد. مرکز علوم زیستی ماساچوست

کار وانگ و همکارانش در کنفرانس اروپایی 1403 ارائه خواهد شد روی Computer Vision و به عنوان یک سخنرانی شفاهی در کارگاه DCAMI در کنفرانس بینایی کامپیوتر و تشخیص الگو در اوایل سال جاری ارائه شد. به دلیل تأثیر بالینی بالقوه ScribblePrompt در این کارگاه، جایزه کاغذی از نیمکت تا کنار تخت به آنها اعطا شد.