یادگیری عمیق برای تصویربرداری بیوفوتونیک

3 یادگیری عمیق برای تصویربرداری بیوفوتونیک

در دهه گذشته ، تصویربرداری نوری زیست پزشکی شاهد تحول گسترده ای از سیستم های اسکن سریع تا الگوریتم های تجزیه و تحلیل خودکار تصویر بوده است. علاوه بر این ، پیشرفت هایی مانند افزایش عمق نفوذ ، ویژگی مولکولی ، دستیابی سریعتر به تصویر و وضوح فضایی بالا برای نظارت بر بیمار در کنار تخت و تشخیص برای درمان های شخصی سودمند است.   با این حال ، به دلیل محدودیت های عملی سیستم های نوری ، با دستیابی سریع به داده های بسیار حل شده و بدون سر و صدا ، چالش های خاصی پیش می آید. اخیراً ، الگوریتم های یادگیری عمیق برای رفع این نیازهای برآورده نشده در تصویربرداری بیوفوتونیک استفاده شده است و نتایج طاقت فرسایی را برای طیف گسترده ای از برنامه ها نشان داده است. این برنامه ها بیشتر در این بخش مورد بحث قرار خواهد گرفت.

3.1 خنثی سازی تصویر / رفع خط

شبکه های عصبی عمیق را می توان تقریباً برای هر نوع ترکیبی از ورودی و خروجی طراحی کرد. یکی از راه های استفاده از شبکه های عصبی عمیق تغذیه تصاویر پر سر و صدا یا با وضوح پایین به ورودی شبکه مولد و استفاده از تصاویر با وضوح یا سطح نویز دلخواه به عنوان خروجی است. شبکه مولد ، که ویژگی های تصاویر با وضوح بالا را می آموزد ، می تواند بعداً برای بهبود تصویر استفاده شود. شبکه های تولیدی با استفاده از میانگین خطای مربع یا نوع مشابه عملکرد از دست دادن ، اغلب منجر به تصاویر بیش از حد صاف در خروجی می شوند. یک روش معمول برای حفظ ویژگیهای با فرکانس بالا ساخت شبکه خصمانه تولیدی (GAN) است که در بخش 2.5 توضیحات بیشتری داده شد. به زودی ، شبکه GAN شامل یک شبکه مولد برای تولید یک تصویر و یک شبکه تبعیض آمیز برای تخمین کیفیت تصویر تولید شده توسط مولد است. نوعی از این معماری ، به نام شبکه خصمانه تولید Wasserstein (WGAN) ، که از فاصله Wasserstein به عنوان یک تابع از دست دادن استفاده می کند ، اخیراً برای بهبود وضوح تصاویر OCT 59 استفاده شده است. یک شبکه خصمانه تولید مشروط (cGAN) جایگزین ، حساس به لبه گزارش شد کارآمد در برابر صدای لکه ها. این کاهش نویز لکه برای تصاویر OCT که از cGAN 60 حساس به لبه استفاده می شود ، نشان داده شد. اجرای دیگری از رویکرد GAN با معیارهای اضافی از دست دادن محتوای برای ایجاد همزمان صدا و وضوح فوق العاده توموگرافی انسجام نوری 61 پیشنهاد شد. این افت محتوا محاسبه شد از تفاوت بین ویژگی های استخراج شده از تصویر واقعی و تصویر تولید شده. علاوه بر تصاویر OCT ، رویکرد GAN با موفقیت برای تصاویر میکروسکوپی فلورسانس به کار گرفته شد ، و امکان ایجاد یک تفکیک پذیری فوق متغیر بدون استفاده از تنظیمات بیش از حد پیچیده را فراهم می کند 43. رویکرد دستیابی به وضوح فوق العاده با یادگیری عمیق علاوه بر این در بخش 3.7 بحث شده است.

در تمام مثال های فوق ، شبکه های عصبی عمیق الگوهایی را از داده ها آموختند ، که امکان افزایش رزولوشن و نسبت سیگنال به نویز را به طور همزمان فراهم می کند. این باعث می شود که این روش ها در مقایسه با روش های کلاسیک بهبود تصویر ، که معمولاً یکی از دو پارامتر کیفیت را با هزینه پارامتر دیگر بهبود می بخشند ، سودمند هستند.

3.2 تقسیم بندی معنایی

تقسیم بندی معنایی یک کار طبقه بندی پیکسل است ، جایی که هر پیکسل از یک تصویر نمایانگر یک کلاس است. تقسیم بندی معنایی به طور گسترده ای در آسیب شناسی دیجیتال برای کاربردهایی مانند تقسیم بافت ، تقسیم هسته و تشخیص ضایعات 62 مورد استفاده قرار می گیرد. به همین ترتیب ، تقسیم بندی معنایی تصاویر میکروسکوپی ، مانند تصاویر چند مدی غیرخطی 37 ، 63 ، تصاویر OCT 64 و تصاویر فلورسانس ، با استفاده از رمزگذارهای خودکار ( بخش 2.4 را ببینید) علاقه محقق را جلب می کند. آثار فوق الذکر از شبکه های نوع U-net 65 استفاده می کنند که یک ساختار رمزگذار خودکار با اتصالات ویژه بین رمزگذار و شبکه رمزگشاست. یکی دیگر از ویژگی های بارز U-net ، عملکرد کاهش وزن است که طبقه بندی نادرست پیکسل های مرزی یک جسم را به شدت مجازات می کند ، بنابراین اجازه می دهد تا اشیا closely واقع در یک مکان را به طور موثر تقسیم کنند. تحقیقات قبلی تقسیم بندی معنایی تصاویر چند مدلی غیرخطی (CARS ، TPEF ، SHG) از بافت ریه را با استفاده از معماری U-net 63 و مناطق بافتی دستگاه گوارش با استفاده از معماری SegNet (به شکل 7 پایین را ببینید) به ترتیب 37 ، 66 نشان داد. به همین ترتیب ، نویسندگان مقاله اخیر تحقیق 38 قلب Drosophila را در تصاویر توموگرافی کامپیوتری نوری بر اساس معماری شبکه U تقسیم بندی کردند (شکل 7 را ببینید). علاوه بر این ، در یک کار اخیر 37 نشان داده شده است که تقسیم بندی معنایی مبتنی بر CNN عملکرد بهتری را در مقایسه با روش های سنتی یادگیری ماشین بدست آورده است.

علاوه بر CNN ها ، شبکه های عصبی مکرر نیز نتایج امیدوار کننده ای را برای تقسیم بندی معنایی مجموعه داده CamVid 67 ، 68 نشان داده اند. در یک کار اخیر 69 از RNN برای تقسیم بندی پریمیزیم در تصاویر میکروسکوپی اسکلتی رنگ آمیزی شده با H&E استفاده شده و در مقایسه با شبکه U عملکرد بهتری داشته است معماری. RNN ها می توانند اطلاعات مکانی جهانی یک تصویر را بازیابی کنند ، که عملکرد تقسیم معنایی را بهبود می بخشد 69