3D Brain Tumor Segmentation Using U-Net And Transformer

Creative Commons License

Asana E., Keleş A., Çelebi F. V.

7. INTERNATIONAL MARMARA SCIENTIFIC RESEARCH AND INNOVATION CONGRESS, İstanbul, Türkiye, 27 Ocak 2024, ss.7-8

  • Yayın Türü: Bildiri / Özet Bildiri
  • Basıldığı Şehir: İstanbul
  • Basıldığı Ülke: Türkiye
  • Sayfa Sayıları: ss.7-8
  • Ankara Üniversitesi Adresli: Evet

Özet

Beyin hücrelerinin anormal bir şekilde büyümesiyle ortaya çıkan doku, tümör olarak tanımlanır. Beyin dokusu ve tümörlü bölgelerin görüntülenmesi için kullanılan en yaygın yöntem Manyetik Rezonans (MR) yöntemidir. Farklı türlere sahip beyin tümörleri doğası gereği farklı boyutlarda ve ölçülerde olabilmektedir. Beyin tümörünün uzmanlar tarafından hızlı ve doğru bir şekilde teşhis edilmesi, tedavi planını ve tahmini yaşam süresininbelirlenmesinde kritik rol oynamaktadır. 2-boyutlu ve 3-boyutlu manyetik rezonans görüntüler kullanılarak derin öğrenme yöntemleriyle gerçekleştirilen beyin tümörü segmentasyonu tıbbi görüntü işleme alanında önemli bir yere sahiptir. Bu çalışmamızda, alan yazında yaygın kullanılan U-Net evrişimsel sinir ağı ve Transformer modellerinin bir sentezi olarak öne çıkan UNETR modeli kullanılmıştır. Veri seti olarak 3-boyutlu görüntülerden oluşan ve bu model ile çalışılmamış olan BraTS2020 veri seti kullanılmıştır. Kod çözücü tarafta kullanılan U-Net, global değişkenlere nazaran yerel değişkenlerle daha iyi performans sergilerken, kodlayıcı tarafta kullanılan Transformer mimarisi ise global değişkenlerde daha iyi performans sergilemektedir. Bu iki yapının bir arada kullanılmasıyla geliştirilen model sayesinde daha anlamlı ve başarılı beyin tümörü segmentasyon sonuçları elde edilmektedir. Veri ön işleme teknikleri kullanılarak veri setinde yer alan 3-boyutlu görüntülerden derinlik katmanı çıkarılarak 2-boyutlu görüntülerden oluşan bir veri seti daha oluşturulmuştur. 2D UNETR ile segmente edilen görüntüler, eklenen 2 yoğun katman ile (dense layer) tümörün varlığına göre sınıflandırılmıştır. Benzer yöntemlerin kullanıldığı çalışmalar incelendiğinde, bu modelin derin öğrenme yöntemleri arasında başarılı sonuçlar elde ettiği görülmüştür.

 

Anahtar Kelimeler: Beyin Tümörü, Segmentasyon, U-Net, Transformer, BraTS

3D BRAIN TUMOR SEGMENTATION USING U-NET AND TRANSFORMER

 

ABSTRACT

A tumor is an abnormal growth of brain cells that forms a mass of tissue. As one of the Magnetic Resonance Imaging (MRI) is used to visualize tumor regions and brain tissue with precision and accuracy. Brain tumors can be of different types, size, and shapes by its very nature. Rapid and accurate diagnosis of by experts plays a critical role in determining the treatment plan and survival prediction. Deep learning methods are used for brain tumor segmentation has significant place in the field of medical image processing. In this study, the UNETR model, which stands out as a synthesis of the U-Net convolutional neural network and Transformer models widely used in the literature, was used, and implemented. We used the BraTS2020 dataset which consist of 3D images and has not been studied with this model, as dataset. Since having the ability to operate global dependencies of Transformer is used in the encoder part. The U-net which has better performance with local information, is used in the decoder part. Utilizing the model developed by these two structures together more precise, and successful segmentation results for brain tumor can be achieved. Moreover, a side dataset that consist of 2D images was created by removing the depth layer from the 3D images with preprocessing techniques. The images were classified based on the presence of tumor by using 2 dense layers after being segmented by 2D UNETR. The model is performing significantly good results among proposed deep learning methods in similar studies.

 

Keywords: Brain Tumor, Segmentation, U-Net, Transformer, BraTS