Acil vaka bildirimleri için Türk işaret dili tanıma

---

Tezin Türü: Yüksek Lisans

Tezin Yürütüldüğü Kurum: Ankara Üniversitesi, Fen Bilimleri Enstitüsü, ELEKTRİK-ELEKTRONİK MÜHENDİSLİĞİ ANABİLİM DALI, Türkiye

Tezin Onay Tarihi: 2020

Tezin Dili: Türkçe

Öğrenci: GÜRKAN BİLİCİ

Danışman: SELÇUK TAŞCIOĞLU

Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu

Özet:

Tezde, acil durum bildiren farklı işaretler için kelime bazlı ve aparattan bağımsız, görüntü işleme tabanlı bir Türk işaret dili tanıma yaklaşımı geliştirilmiştir. Bu yaklaşımda, işaret dili hareketinin süresinden bağımsız olarak tanımlanması için tanımlama çerçeveleri (identification frames) kavramı ortaya konulmuştur. İşaret dili tanımlamada hareket miktarının büyüklüğüne göre ellerin hareketine ya da şekilsel özelliklerine dayalı özniteliklerin kullanılabileceği gösterilmiştir. Tezde hareketi yapan kişinin kameraya olan uzaklığından bağımsız, harekete dayalı özgün bir öznitelik çıkarma yaklaşımı geliştirilmiştir. Bu kapsamda, görüntü dizilerinde el hareketlerinin miktarının ölçülmesi için hareket alanı büyüklüğüne dayalı bir yaklaşım geliştirilmiştir. Geliştirilen Türk işaret dili tanıma yaklaşımı ile kamera görüntülerinde el hareketleri ile tarif edilen Türkçe acil durum kelimelerinin tanımlanması büyük ölçüde sağlanmıştır. Bu çalışmada, sistem başarımını doğrudan etkileyebilecek ton karşıtlığı (kontrast) ve parlaklık farklılıkları gibi bozucu etkilerin azaltılması ve görüntüde gerekli iyileştirmelerin sağlanması amacıyla bir dizi filtreleme işlemi kullanılmıştır. İşaret dili el hareketlerini tanımak için öncelikle görüntüdeki el kısımlarının doğru bir şekilde tespit edilmesi sağlanmalıdır. Bunun için önişlem olarak ten rengi bölütleme ile görüntüdeki ten kısımları ayrıştırılmış ve yüzün merkez bilgileri kullanılarak ellerin tespit edilmesi sağlanmıştır. Türk işaret diline özgü veri tabanı olmadığından, tanımlama için gerekli olan veri kümesi sekiz kişi tarafından on bir farklı işaretin beşer kez tekrarlanması sonucunda elde edilmiştir. Çıkarılan öznitelikler olasılıksal sinir ağı sınıflandırıcısı ile sınıflandırılmış ve Monte Carlo çapraz doğrulaması yoluyla elde edilen başarım sonuçları sunulmuştur. Bunun yanı sıra, eğitimde kullanılan kişilerin sınıflandırma başarımı üzerindeki etkisi de incelenmiştir.