روش جدید قابلیت اطمینان گزارش های تشخیصی رادیولوژیست ها را ارزیابی و بهبود می بخشد

با توجه به ابهام ذاتی در تصاویر پزشکی مانند اشعه X ، رادیولوژیست ها اغلب هنگام توصیف حضور یک آسیب شناسی خاص ، مانند ذات الریه ، از کلماتی مانند “ممکن” یا “احتمالاً” استفاده می کنند.

اما آیا کلماتی که رادیولوژیست ها برای بیان دقیق سطح اطمینان خود از آن استفاده می کنند ، نشان می دهد که چند بار یک آسیب شناسی خاص در بیماران رخ می دهد؟ یک مطالعه جدید نشان می دهد که وقتی رادیولوژیست ها با استفاده از عباراتی مانند “بسیار محتمل” ، نسبت به یک پاتولوژی خاص اعتماد به نفس خود را ابراز می کنند و برعکس می توانند با استفاده از کلمه ای مانند “احتمالاً” اعتماد به نفس کمتری داشته باشند.

با استفاده از داده های بالینی ، یک تیم چند رشته ای از محققان MIT با همکاری محققان و پزشکان در بیمارستان های وابسته به دانشکده پزشکی هاروارد چارچوبی را برای تعیین کمیت رادیولوژیست های قابل اعتماد هنگام ابراز اطمینان با استفاده از اصطلاحات زبان طبیعی ایجاد کردند.

آنها از این رویکرد برای ارائه پیشنهادات واضح استفاده کردند که به رادیولوژیست ها کمک می کند تا عبارات یقین را انتخاب کنند که باعث بهبود قابلیت اطمینان گزارش های بالینی آنها می شود. آنها همچنین نشان دادند که همین تکنیک می تواند با تراز کردن بهتر مدل های کلمات استفاده شده برای بیان اعتماد به نفس با صحت پیش بینی های خود ، کالیبراسیون مدل های زبان بزرگ را اندازه گیری و بهبود بخشد.

این چارچوب جدید با کمک به رادیولوژیست ها با دقت بیشتری توصیف احتمال ابتلا به برخی از آسیب شناسی ها در تصاویر پزشکی ، می تواند قابلیت اطمینان اطلاعات بالینی بحرانی را بهبود بخشد.

Peiqi Wang ، دانشجوی فارغ التحصیل MIT و نویسنده اصلی مقاله می گوید: “کلمات رادیولوژیست استفاده می کنند. آنها بر روش مداخله پزشکان ، از نظر تصمیم گیری برای بیمار تأثیر می گذارند. اگر این پزشکان بتوانند در گزارش خود قابل اطمینان تر باشند ، بیماران ذینفع نهایی خواهند بود.” روی این تحقیق

به او پیوسته است روی مقاله توسط نویسنده ارشد پولینا گولاند ، استاد Sunlin و Priscilla Chou استاد مهندسی برق و علوم کامپیوتر (EECS) ، یک محقق اصلی در آزمایشگاه علوم کامپیوتر MIT و آزمایشگاه هوش مصنوعی (CSAIL) و رهبر گروه بینایی پزشکی. و همچنین باربارا دی لام ، همکار بالینی در مرکز پزشکی Deaconess بث اسرائیل. یینگچنگ لیو ، در دانشجوی فارغ التحصیل MIT ؛ Ameneh Asgari-Targhi ، عضو پژوهشی در ژنرال بریگام ماساچوست (MGB) ؛ Rameswar Panda ، یکی از کارمندان تحقیقاتی در آزمایشگاه MIT-IBM Watson AI ؛ ویلیام م. ولز ، استاد رادیولوژی در MGB و یک دانشمند تحقیقاتی در CSAIL ؛ و تینا کاپور ، استادیار رادیولوژی در MGB. این تحقیق در کنفرانس بین المللی ارائه خواهد شد روی یادگیری بازنمایی.

رمزگشایی عدم اطمینان در کلمات

یک رادیولوژیست که در حال نوشتن گزارشی در مورد اشعه ایکس قفسه سینه است ، ممکن است بگوید که این تصویر یک پنومونی “ممکن” را نشان می دهد ، این یک عفونت است که کیسه های هوا را در ریه ها سوق می دهد. در این حالت ، پزشک می تواند برای تأیید تشخیص ، یک سی تی پیگیری را سفارش دهد.

با این حال ، اگر رادیولوژیست می نویسد که اشعه ایکس پنومونی “احتمالی” را نشان می دهد ، پزشک ممکن است بلافاصله درمان را آغاز کند ، مانند تجویز آنتی بیوتیک ها ، در حالی که هنوز هم برای ارزیابی شدت ، آزمایش های اضافی را انجام می دهد.

وانگ می گوید ، تلاش برای اندازه گیری کالیبراسیون یا قابلیت اطمینان از اصطلاحات مبهم زبان طبیعی مانند “احتمالاً” و “احتمالاً” چالش های بسیاری را نشان می دهد.

روشهای کالیبراسیون موجود به طور معمول متکی هستند روی نمره اعتماد به نفس ارائه شده توسط یک مدل AI ، که نشان دهنده احتمال تخمین مدل از پیش بینی آن صحیح است.

به عنوان مثال ، یک برنامه هواشناسی ممکن است فردا 83 درصد باران را پیش بینی کند. این مدل به خوبی کالیبره شده است اگر در تمام مواردی که احتمال باران 83 درصد را پیش بینی می کند ، تقریباً 83 درصد از زمان باران می بارد.

وانگ می گوید: “اما انسان ها از زبان طبیعی استفاده می کنند ، و اگر این عبارات را به یک شماره واحد ترسیم کنیم ، توصیف دقیقی از دنیای واقعی نیست. اگر شخصی می گوید یک رویداد” احتمالاً “است ، آنها لزوماً به احتمال دقیق مانند 75 درصد فکر نمی کنند.”

به جای تلاش برای ترسیم عبارات یقین به یک درصد واحد ، رویکرد محققان با آنها به عنوان توزیع احتمال رفتار می کند. توزیع طیف وسیعی از ارزشهای ممکن و احتمال آنها را توصیف می کند – به منحنی زنگ کلاسیک در آمار فکر کنید.

وانگ می افزاید: “این به معنای تفاوت های بیشتری از معنای هر کلمه است.”

ارزیابی و بهبود کالیبراسیون

محققان از کارهای قبلی استفاده کردند که رادیولوژیست ها را برای به دست آوردن توزیع های احتمالی مطابق با هر عبارت یقین تشخیصی ، از “بسیار محتمل” گرفته تا “سازگار” بررسی کردند.

به عنوان مثال ، از آنجا که رادیولوژیست های بیشتر معتقدند عبارت “سازگار با” به معنای آسیب شناسی در یک تصویر پزشکی است ، توزیع احتمال آن به شدت به یک قله بلند صعود می کند ، و بیشتر مقادیر در حدود 90 تا 100 درصد جمع می شوند.

در مقابل ، عبارت “ممکن است نشان دهد” عدم اطمینان بیشتری را نشان می دهد ، و منجر به توزیع گسترده تر و زنگ شکل در حدود 50 درصد می شود.

روشهای معمولی کالیبراسیون را با مقایسه چگونگی نمرات احتمال پیش بینی یک مدل با تعداد واقعی نتایج مثبت ارزیابی می کنند.

رویکرد محققان از همان چارچوب کلی پیروی می کند اما آن را گسترش می دهد تا این واقعیت را به حساب آورد که عبارات یقین به جای احتمالات ، توزیع احتمال را نشان می دهند.

برای بهبود کالیبراسیون ، محققان یک مشکل بهینه سازی را تنظیم و حل کردند که چند بار از عبارات استفاده می شود ، تا اعتماد به نفس بهتر با واقعیت هماهنگ شود.

آنها نقشه کالیبراسیون را به دست آوردند که نشان می دهد اصطلاحات یقین که یک رادیولوژیست باید از آن استفاده کند تا گزارش ها برای یک آسیب شناسی خاص دقیق تر شود.

وانگ توضیح می دهد: “شاید ، برای این مجموعه داده ، اگر هر بار که رادیولوژیست می گفت پنومونی” وجود دارد “، آنها این عبارت را به” احتمالاً موجود “تغییر دادند ، در این صورت کالیبراسیون بهتری می شوند.”

هنگامی که محققان از چارچوب خود برای ارزیابی گزارش های بالینی استفاده کردند ، دریافتند که رادیولوژیست ها هنگام تشخیص شرایط مشترک مانند آتلیه ، به طور کلی تحت تأثیر قرار نمی گیرند ، اما با شرایط مبهم تر مانند عفونت ، بیش از حد سازگار هستند.

علاوه بر این ، محققان قابلیت اطمینان مدل های زبان را با استفاده از روش خود ارزیابی کردند و نمایندگی ظریف تری از اعتماد به نفس نسبت به روشهای کلاسیک که متکی هستند ارائه می دهند روی نمرات اعتماد به نفس.

“بارها ، این مدل ها از عباراتی مانند” مطمئناً “استفاده می کنند. اما از آنجا که آنها به پاسخ های خود بسیار اطمینان دارند ، مردم را ترغیب نمی کند که خودشان را تأیید کنند. “

در آینده ، محققان قصد دارند به امید بهبود تشخیص و درمان ، همکاری با پزشکان را ادامه دهند. آنها در تلاشند تا مطالعه خود را گسترش دهند تا داده های مربوط به اسکن CT شکم را شامل شود.

علاوه بر این ، آنها علاقه مند به مطالعه چگونگی رادیولوژیست های گیرنده به پیشنهادات بهبود بخش و اینکه آیا می توانند از نظر ذهنی استفاده خود را از عبارات یقین به طور مؤثر تنظیم کنند ، مطالعه کنند.

“بیان یقین تشخیصی جنبه مهمی از گزارش رادیولوژی است ، زیرا بر تصمیمات مدیریتی قابل توجهی تأثیر می گذارد. این مطالعه یک روش جدید برای تجزیه و تحلیل و کالیبراسیون چگونگی بیان رادیولوژیست ها در گزارش های اشعه ایکس قفسه سینه است. روی آتول B. شیناگر ، استادیار رادیولوژی دانشکده پزشکی هاروارد ، که درگیر این کار نبوده است ، می گوید:

این کار تا حدودی توسط یک کمک هزینه Takeda ، آزمایشگاه MIT-IBM Watson AI ، برنامه MIT CSAIL Wistrom و کلینیک MIT Jameel تأمین شد.