Derin öğrenme kullanarak işaret dili rakam tanıma

---

Tezin Türü: Yüksek Lisans

Tezin Yürütüldüğü Kurum: Ankara Üniversitesi, Fen Bilimleri Enstitüsü, ELEKTRİK-ELEKTRONİK MÜHENDİSLİĞİ ANABİLİM DALI, Türkiye

Tezin Onay Tarihi: 2021

Tezin Dili: Türkçe

Öğrenci: HACER GÜLER

Danışman: MURAT HÜSNÜ SAZLI

Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu

Özet:

El hareketleri insan yaşamının birçok alanında büyük rol oynamaktadır. İnsanlar iletişim esnasında sıklıkla el hareketlerinden yararlanır. Temelde el hareketlerinden oluşan işaret dili ise dünya nüfusunun %5'inden fazlasını oluşturan işitme engelli bireyler arasındaki tek iletişim aracıdır. İşaret dili yüz ifadesi, göz, kaş, dil ve dudak hareketlerinin beraberindeki el ve kol hareketleriyle oluşan bir tür görsel dildir. İşaret dili rakam tanıma problemi ise işaret dilinin temelini oluşturur. Farklı ülkeler ve hatta zaman zaman bir ülkenin içindeki bölgelerin bile kendi işaret dili vardır. Ancak birkaç istisnai durum dışında işaret dillerinde rakamlar aynı el hareketleri ile aktarılmaktadır. Bu tez çalışması kapsamında farklı veri setlerindeki görüntülerin bir araya getirilip ön işleme tekniklerinin uygulanmasıyla bu problem için yeni bir veri setinin oluşturulması ve derin öğrenme mimarilerinin kullanılmasıyla işaret dili rakamlarının sınıflandırılması amaçlanmıştır. Bu amaç doğrultusunda 19653 görüntü içeren ve daha önce herhangi bir çalışmada kullanılmayan bir veri seti oluşturulmuştur. Ardından önerilen modellerden 3 farklı evrişimli sinir ağı modeli sunulmuştur. Eğitilen ağların test aşaması gerçekleştirilerek performans analizi yapılmıştır ve modellerin başarım oranları kıyaslanmıştır. Nihai olarak oluşturulan modelde eğitim veri setinde %100, test veri setinde ise %99,3 sınıflandırma doğrulama başarısı elde edilmiştir.