Uzaktan Algılama Görüntülerinde Eksik Dalga Boylarına Dayanıklı Ve Farklı Hassas Tarım Uygulamalarına Adapte Olabilen Çok Modlu Transformer Tabanlı Anlamsal Bölütleme Modeli Geliştirilmesi


Ülkü İ. (Yürütücü), Tanrıöver Ö. Ö., Ar H.

TÜBİTAK Projesi, 2024 - 2025

  • Proje Türü: TÜBİTAK Projesi
  • Başlama Tarihi: Aralık 2024
  • Bitiş Tarihi: Mart 2025

Proje Özeti

Yakın kızılötesi (NIR) ve kısa dalga kızılötesi (SWIR) dalga boyları sağlıklı bitkilerin tespiti için kritik öneme sahiptir. Hassas tarım (PA) uygulamaları için bu dalga boylarındaki bilgilerin birlikte kullanılması önemlidir. Ancak atmosfer koşulları veya sensör problemleri nedeniyle, uzaktan algılama yoluyla elde edilen bu dalga boylarında bilgi eksikliği yaşanmaktadır. Proje, farklı PA uygulamaları için hem eğitim hem de çıkarım (inference) aşamalarında NIR ve SWIR dalga boylarında eksik bilgi olduğu durumlara dayanıklı, çok modlu Transformer tabanlı bir anlamsal bölütleme modeli tasarlamanın, tüm dalga boyları mevcut olduğunda elde edilen doğruluk oranlarına benzer sonuçlar sağlayıp sağlamayacağını araştırmaktadır. Ayrıca, parametre-etkin düşük-sıra adaptasyon (LoRA) yaklaşımının bu model ile kullanılmasının, az sayıda parametre ile depolama yükü olmadan farklı PA uygulamaları için uygunluğu incelenecektir.

 

Bu proje, yürütücüye, multispektral görüntüleri kullanarak anlamsal bölütleme uygulama deneyimlerine dayanan uzmanlık alanını genişletme fırsatı sunmaktadır. Yürütücünün çok modlu model tasarımı konusunda deneyimi yoktur. Bu proje ile yürütücü, çoklu görev öğrenimiyle multispektral görüntüler için çok modlu model geliştirme ve eksik modalitelerde özelleştirme becerileri kazanacaktır. Çok modlu modelleme, literatürde giderek önem kazanmaktadır. Yürütücü, bu alanlarda uzmanlaşarak gelecekteki çalışmalara katkı sunacak ve yapay zekâ ile tarım bilimlerini birleştiren disiplinlerarası iş birliklerine zemin hazırlayacaktır.

 

Literatürde uzaktan algılama alanında NIR ve SWIR dalga boylarındaki eksiklikleri ele alan çalışmalar yetersizdir. Bu proje, çoklu görev öğrenimi yaklaşımı ile NIR ve SWIR dalga boylarında olası bilgi eksikliklerine dayanıklı, çok modlu Transformer tabanlı bir model geliştirerek özgün bir çözüm sunmayı hedeflemektedir. Ayrıca, ilk kez LoRA adaptasyonu bu durum için kullanarak farklı PA uygulamalarında parametre kaynaklı depolama yükü olmadan yüksek doğruluk sağlayacak bir model geliştirilecektir. Böylece, hem eğitim hem de çıkarım aşamalarında eksik dalga boyu bilgisine dayanıklı özgün bir model geliştirilerek farklı PA uygulamaları için genel bir çerçeve oluşturulacaktır.

 

Projenin ilk aşamasında, eğitim sırasında bilgi eksikliği olduğunda bile yüksek doğruluk sağlayabilen anlamsal bölütleme modeli geliştirilmesi amaçlanmaktadır. Modaliteye özgü intra-modal kodlayıcı, modalite-bağımsız inter-modal kodlayıcı ve konvolüsyonel kod çözücüden oluşacak model, mevcut dalga boylarına özgü özellikleri birleştirerek ortak bir gizli temsil öğrenmeyi ve çok ölçekli özellikleri dikkate almayı hedeflemektedir. İkinci aşamada, geliştirilen modelin çıkarım aşamasında eksik bilgiye dayanıklı hale gelmesi ve öğrenilebilir parametre sayısının azalması için LoRA adaptasyonu uygulanacaktır. Eğitilen büyük modelin ağırlıkları dondurularak sadece Transformer bloklarındaki sorgu ve değer katmanlarına eklenen adaptasyon katmanları öğrenilecektir.

 

Bu proje önerisi, sürdürülebilir çevre dostu tarım tekniklerinin yaygınlaşmasına öncülük ederek verimliliği arttırmayı ve çevresel etkileri azaltmayı hedeflemektedir. Bitki hastalıklarının erken tespiti sayesinde pestisit kullanımını düşürerek hem üretim maliyetlerini hem de çevre kirliliğini azaltacaktır. Tarım arazilerinin etkin izlenmesi, verimliliği artırarak kaynak tasarrufu sağlayacaktır. Ayrıca proje, küresel dijital tarım pazarında rekabetçiliği artırarak Türkiye'nin tarım ürünleri ihracatına katkı sağlayacaktır. Tüm bu beklenen etkiler, küresel pazardaki 2053 yılı net sıfır emisyon hedeflerinin ve Türkiye’nin yeşil ve dijital dönüşümle uyumlu tarım politikalarının desteklenmesine katkı sağlayacaktır.