3 سوال: آیا باید سیستم های هوش مصنوعی را مانند داروهای تجویزی برچسب گذاری کنیم؟

سیستم‌های هوش مصنوعی به طور فزاینده‌ای در موقعیت‌های مراقبت بهداشتی حیاتی از نظر ایمنی مستقر می‌شوند. با این حال، این مدل‌ها گاهی اطلاعات نادرست را توهم می‌کنند، پیش‌بینی‌های مغرضانه انجام می‌دهند یا به دلایل غیرمنتظره شکست می‌خورند، که می‌تواند عواقب جدی برای بیماران و پزشکان داشته باشد.

در یک مقاله تفسیری منتشر شده امروز در علوم محاسباتی طبیعتاستادیار MIT مرضیه قاسمی و دانشیار دانشگاه بوستون، Elaine Nsoesie، استدلال می‌کنند که برای کاهش این آسیب‌های احتمالی، سیستم‌های هوش مصنوعی باید با برچسب‌هایی با استفاده مسئولانه، مشابه برچسب‌های اجباری سازمان غذا و داروی ایالات متحده همراه شوند. روی داروهای تجویزی

اخبار MIT با قاسمی در مورد نیاز به چنین برچسب‌هایی، اطلاعاتی که باید منتقل کنند و روش اجرای رویه‌های برچسب‌گذاری صحبت کرد.

س: چرا ما به برچسب های استفاده مسئولانه برای سیستم های هوش مصنوعی در تنظیمات مراقبت های بهداشتی نیاز داریم؟

الف: در یک محیط بهداشتی، ما موقعیت جالبی داریم که پزشکان اغلب به آن تکیه می کنند روی تکنولوژی یا درمان هایی که به طور کامل درک نشده اند. گاهی اوقات این عدم درک اساسی است – به عنوان مثال مکانیسم پشت استامینوفن – اما گاهی اوقات این فقط یک محدودیت از تخصص است. به عنوان مثال، ما از پزشکان انتظار نداریم که بدانند چگونه یک دستگاه MRI را سرویس کنند. در عوض، ما از طریق FDA یا سایر آژانس‌های فدرال، سیستم‌های صدور گواهینامه داریم که استفاده از یک دستگاه پزشکی یا دارو را در یک محیط خاص تأیید می‌کنند.

نکته مهم این است که دستگاه‌های پزشکی قراردادهای خدماتی نیز دارند – اگر دستگاه MRI شما کالیبره نشده باشد، یک تکنسین از سازنده آن را تعمیر می‌کند. برای داروهای تایید شده، سیستم‌های نظارت و گزارش پس از بازار وجود دارد تا بتوان به عوارض یا رویدادهای نامطلوب رسیدگی کرد، برای مثال اگر به نظر می‌رسد بسیاری از افرادی که دارو مصرف می‌کنند دچار بیماری یا آلرژی شده‌اند.

مدل‌ها و الگوریتم‌ها، چه دارای هوش مصنوعی باشند و چه نباشند، بسیاری از فرآیندهای تأیید و نظارت طولانی‌مدت را کنار می‌گذارند، و این چیزی است که ما باید مراقب آن باشیم. بسیاری از مطالعات قبلی نشان داده اند که مدل های پیش بینی نیاز به ارزیابی و نظارت دقیق تری دارند. به طور خاص با هوش مصنوعی مولد جدیدتر، ما به کارهایی اشاره می کنیم که نشان داده است تولید تضمینی مناسب، قوی یا بی طرفانه نیست. چون نظارت یکسانی نداریم روی پیش‌بینی‌های مدل یا تولید، گرفتن پاسخ‌های مشکل‌ساز یک مدل حتی دشوارتر خواهد بود. مدل‌های تولیدی که در حال حاضر توسط بیمارستان‌ها استفاده می‌شود، ممکن است مغرضانه باشد. داشتن برچسب‌های استفاده یکی از راه‌های اطمینان از این است که مدل‌ها سوگیری‌هایی را که از پزشکان انسانی آموخته شده یا نمرات پشتیبانی تصمیم‌گیری بالینی نادرست در گذشته را خودکار نمی‌کنند.

س: مقاله شما چندین مؤلفه یک برچسب استفاده مسئولانه برای هوش مصنوعی را شرح می‌دهد، که از رویکرد FDA برای ایجاد برچسب‌های نسخه پیروی می‌کند، از جمله استفاده تأیید شده، مواد تشکیل دهنده، عوارض جانبی بالقوه، و غیره. این برچسب‌ها چه اطلاعات اصلی را باید منتقل کنند؟

الف: چیزهایی که یک برچسب باید آشکار کند زمان، مکان و روش استفاده از مدل است. به عنوان مثال، کاربر باید بداند که مدل ها در یک زمان خاص با داده های یک نقطه زمانی خاص آموزش داده شده اند. به عنوان مثال، آیا شامل داده‌هایی می‌شود که همه‌گیری کووید-19 را شامل می‌شد یا نه؟ اقدامات بهداشتی بسیار متفاوتی در طول کووید وجود داشت که می توانست بر داده ها تأثیر بگذارد. به همین دلیل است که ما از افشای مدل “مواد تشکیل دهنده” و “مطالعات تکمیل شده” دفاع می کنیم.

برای مکان، ما از تحقیقات قبلی می دانیم که مدل هایی که در یک مکان آموزش دیده اند، وقتی به مکان دیگری منتقل می شوند، عملکرد بدتری دارند. دانستن اینکه داده‌ها از کجا آمده‌اند و چگونه یک مدل در آن جمعیت بهینه شده است، می‌تواند به اطمینان از آگاهی کاربران از «عوارض جانبی بالقوه»، «هشدارها و اقدامات احتیاطی» و «واکنش‌های نامطلوب» کمک کند.

با یک مدل آموزش دیده برای پیش بینی یک نتیجه، دانستن زمان و مکان آموزش می تواند به شما کمک کند تا در مورد استقرار به طور هوشمندانه قضاوت کنید. اما بسیاری از مدل‌های مولد به‌طور باورنکردنی انعطاف‌پذیر هستند و می‌توانند برای بسیاری از کارها استفاده شوند. در اینجا، زمان و مکان ممکن است چندان آموزنده نباشد و جهت گیری صریح تری در مورد «شرایط برچسب زدن» و «استفاده تأیید شده» در مقابل «استفاده غیرمجاز» وارد عمل شود. اگر توسعه‌دهنده‌ای یک مدل تولیدی را برای خواندن یادداشت‌های بالینی بیمار و ایجاد کدهای صورت‌حساب آینده‌نگر ارزیابی کرده باشد، می‌تواند آشکار کند که این مدل نسبت به پرداخت بیش از حد برای شرایط خاص یا عدم شناخت سایرین سوگیری دارد. کاربر نمی‌خواهد از همین مدل مولد برای تصمیم‌گیری در مورد اینکه چه کسی به یک متخصص ارجاع می‌شود، استفاده کند، حتی اگر بتواند. این انعطاف پذیری دلیلی است که ما از جزئیات بیشتر حمایت می کنیم روی روش استفاده از مدل ها

به طور کلی، ما طرفدار این هستیم که باید بهترین مدلی را که می توانید با استفاده از ابزارهای موجود آموزش دهید. اما حتی پس از آن، باید افشای زیادی وجود داشته باشد. هیچ مدلی قرار نیست کامل باشد. به عنوان یک جامعه، اکنون می‌دانیم که هیچ قرصی کامل نیست – همیشه خطری وجود دارد. ما باید همان درک را از مدل های هوش مصنوعی داشته باشیم. هر مدلی – با یا بدون هوش مصنوعی – محدود است. ممکن است پیش‌بینی‌های واقع‌بینانه و آموزش‌دیده از آینده‌ی بالقوه به شما ارائه دهد، اما آن را با هر مقداری که مناسب است انجام دهید.

س: اگر برچسب‌های هوش مصنوعی پیاده‌سازی شوند، چه کسی برچسب‌گذاری را انجام می‌دهد و برچسب‌ها چگونه تنظیم و اجرا می‌شوند؟

الف: اگر قصد ندارید از مدل خود در عمل استفاده شود، پس افشاگری هایی که برای یک نشریه تحقیقاتی با کیفیت بالا انجام می دهید کافی است. اما هنگامی که قصد دارید مدل خود را در یک محیط رو به انسان مستقر کنید، توسعه دهندگان و توسعه دهندگان باید برچسب گذاری اولیه را انجام دهند. روی برخی از چارچوب های ایجاد شده قبل از استقرار باید اعتبار این ادعاها وجود داشته باشد. در یک محیط حیاتی ایمنی مانند مراقبت های بهداشتی، بسیاری از سازمان های وزارت بهداشت و خدمات انسانی می توانند درگیر شوند.

برای توسعه دهندگان مدل، من فکر می کنم که دانستن اینکه شما باید محدودیت های یک سیستم را برچسب گذاری کنید، باعث می شود تا توجه دقیق تری به process خود اگر بدانم که در مقطعی باید جمعیتی را که یک مدل بر اساس آن آموزش دیده است را فاش کنم، نمی خواهم فاش کنم که فقط آموزش دیده است. روی به عنوان مثال، گفتگو از کاربران مرد چت بات.

فکر کردن در مورد چیزهایی مانند افرادی که داده ها جمع آوری می شوند روی، در چه بازه زمانی، حجم نمونه چقدر بود و اینکه چگونه تصمیم گرفتید چه داده هایی را شامل یا حذف کنید، می تواند ذهن شما را در برابر مشکلات احتمالی در استقرار باز کند.