Emotion recognition using deep learning focusing on the hand and facial expressions
Tezin Türü: Yüksek Lisans
Tezin Yürütüldüğü Kurum: Ankara Üniversitesi, Fen Bilimleri Enstitüsü, Türkiye
Tezin Onay Tarihi: 2024
Tezin Dili: İngilizce
Öğrenci: HASANAIN JAWAD RADEEF
Danışman: Yılmaz Ar
Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu
Özet:Duygusal gösterimlerin yol açtığı davranışsal ve fizyolojik tepkileri kullanarak çeşitli duygusal durumların ölçülmesi, tanımlanması ve tanınması, duygu tanıma olarak bilinir. Tartışma yaratma ve sosyal medya da dahil olmak üzere birçok görevdeki sayısız kullanımı nedeniyle duygu tanımlama çok önemli bir alandır. Bilgisayar sistemleri ve araçlarının insan etkilerini algılayıp yorumlamasını sağlayan bir analiz ve zeka sistemi, akıllı etkileşimi tasarlarken ve sunarken uyumlu bir insan-bilgisayar ekosistemi yaratır. Son yıllarda, yüz ve el hareketleriyle ifade edilen duyguların tanınmasına yönelik sağlam sistemlerin geliştirilmesine odaklanılarak, duygusal bilgi işlem alanına olan ilginin arttığı görüldü. Çalışmamızda, derin öğrenme tekniklerini kullanarak el ve yüz duygu tanıma alanındaki son gelişmelerin kapsamlı bir incelemesini ve analizini sunuyoruz. Duygu tanıma, insan-bilgisayar etkileşiminde çok önemli bir rol oynuyor ve derin öğrenmeyi kullanarak el ve yüz duygu tanıma alanındaki gelişmelere, zorluklara ve gelecekteki potansiyel eğilimlere ilişkin fikir sağlıyor. Toplum, insan-makine etkileşimini içeren teknolojileri giderek daha fazla benimserken, doğru ve etik açıdan sağlam duygu tanıma sistemleri geliştirmek, kusursuz ve empatik arayüzler oluşturmak için gerekli hale geliyor. Araştırma ayrıca, iyi bilinen derin öğrenme tekniklerinin karşılaştırmalı bir incelemesini de içeriyor; performans göstergelerini, hesaplama etkinliğini ve dinamik yüz ifadeleriyle karşı karşıya kaldığında dayanıklılığı değerlendiriyor. Ayrıca bu araştırma, modellerin çeşitli alanlara ve veri kümelerine uygulanabilirliğini incelemektedir. Bu çalışmada, yüz ifadelerinin yedi türe ayrıldığı, yüz hareketi tanıma için yaygın olarak kullanılan iki veri tabanı olan RAF-DB ve FEER 2013 olmak üzere iki veri tabanı kullandık: öfke, tiksinme, şaşkınlık, mutluluk, korku, üzüntü ve nötr. . Bu iki veritabanındaki görüntüleri üç derin tanıma algoritması kullanarak eğittik ve test ettik ve umut verici sonuçlar gösterdik. Çalışmalarımıza temel olarak geleneksel yöntemle başlıyoruz. Daha sonra 34th ResNet (He vd., 2016), MobileNet-V3(Howard ve diğerleri2017) ve Wider ResNet50-2'nin (Zagoruyko ve Komodakis, 2016) derin öğrenme tekniklerini içeren daha karmaşık bir yönteme geçiyoruz. Görüntünün farklı bölümlerine odaklanıyoruz: bir kanal yüz için, diğeri sağ el için ve diğeri sol el için. Daha sonra, yüzden duygu tanıma konusunda daha önce yapılan benzer çalışmalardan elde edilen bazı ölçümlere dayalı farklı teknikleri gösteriyoruz. Yüz Ġfadesi Tanıma 2013 (FER2013) ve RAdboud Yüzler Veritabanı (RAF-DB) veri setleri üzerinde temel bir model oluşturuyoruz ve çeşitli veriler üzerinde CNN kullanma deneyimimize göre katman başına yeni katman ve nöron sayısını seçiyoruz. Setler. Deneme yanılma yaklaşımı ideal öğrenme oranını ve diğer güçlendirme parametrelerini belirler. ImageNet veri seti üzerinde önceden eğitilmiş ResNet50v2'yi kullanarak el pozisyonuna göre yumruk, süper, kaybeden ve zafer etiketlerini tahmin etme. %69,41'lik test doğruluğuyla Wider ResNet50-2 (Zagoruyko ve Komodakis, 2016) modeli (Zagoruyko ve Komodakis, 2016), FER2013 veri kümesinde en iyi performansı gösterir. Orijinal Wider ResNet50-2 modeli 68 milyon parametre içermesi nedeniyle diğerlerine göre oldukça karmaşık ve büyüktür. Ancak parametre sayısını 66 milyona düşürdük. ResNet 34 %68,57, Mobile Net V 3 ise %66,09 doğruluk oranına ulaştı. Daha geniş olan ResNet50-2 (Zagoruyko ve Komodakis, 2016), %87,23 ile RAF-DB'de en iyi test doğruluk puanına ulaşır. Ek olarak, boru hattımızı MTCNN yüz algılama modelini kullanarak uyguluyoruz ve nasıl performans gösterdiğini görmek ve davranışını daha iyi anlamak için gerçek dünya verilerini kullanarak test ediyoruz. Diğer algoritmalarla yaptığımız çalışmalarda kullanılan aynı iki veritabanı için daha düşük doğruluk puanları elde ettik. ResNet 34 ve MobileNet gibi, ResNet 34 %86,32, Mobile Net V 3 ise %83,44 doğruluk oranına ulaştı. Modelin verimliliğini değerlendirmek için kafa karışıklığı matrisi ve etiket başına hassasiyet, hatırlama ve F1 puanı dahil diğer önlemler kullanıldı. Ġlk olarak, model tarafından üretilen çok sayıda hatanın yanı sıra çeşitli etiketlerde her hatanın meydana gelme sıklığını gösteren karışıklık matrisine bakalım. Derecelendirme sisteminin etkinliğini arttırmanın bir yoludur. Veri setinde ikiden fazla sınıf varsa veya sınıflar arasındaki gözlem miktarında farklılıklar varsa sınıflandırma doğruluğu zorlayıcı olabilir. Karışıklık matrisi, doğruluk, hatırlama ve F1-Skorunun hesaplanması yoluyla, belki bir sınıflandırma modeliyle bağlantılı zaferler ve eksiklikler hakkında daha derin bir anlayış kazanabiliriz. Bu faktörler, sınıflandırma sisteminin genel doğruluğundan çok, sistem performansının daha ayrıntılı bir şekilde anlaşılmasını sağlamaya odaklanmıştır. Ġyimser tahminlerin doğruluğu doğrulukla ilişkilidir. Geri çağırma ise yalnızca iyi olayların belgelenmesine odaklanır ve F1 puanı hem hatırlamayı hem de kesinliği hesaba katan adil bir değerlendirme sunar. F1 skorunda, harmonik ortalama kullanılarak kesinlik ve hatırlamaya eşit ağırlık verilir. Ayrıca, optimal sonuçlarımızın RAF-DB ve FER2013 veri setlerinden elde edilen diğer güncel sonuçlarla karşılaştırmalı bir analizini gerçekleştirdik. Bu arama modeli WiderResNet50-2'nin doğruluğu, FER2013 ve RAF-DB üzerinde değerlendirildiğinde tüm alternatif arama modellerini geride bırakıyor. Bunun tersine, bazı araştırmacılar birden fazla veri kümesinin tek, daha kapsamlı bir veri kümesinde entegrasyonuna güvenirken, bizim yaklaşımımız herhangi bir birleştirme metodolojisi kullanmadan her veri kümesini ayrı ayrı kullanmaktır. Ġlk modellerle karşılaştırıldığında, her model için özelleştirme katmanlarını kullanmamız eş zamanlı olarak çıkarım için gereken süreyi artırır ve toplam model parametresi sayısını azaltır. Yukarıda belirtilenler aracılığıyla, bu araştırma, derin öğrenme tekniklerini kullanarak yüz ve el hareketlerinden duygu tanıma alanındaki ilerlemelere ve zorluklara kapsamlı bir genel bakış sunmakta ve daha etkileşimli ve güçlendirici deneyimler elde etmek için insan-makine etkileşimi tekniklerinin nasıl geliştirilebileceğinin anlaşılmasına katkıda bulunmaktadır. Ayrıca araştırma, insan-bilgisayar etkileşim sistemlerini iyileştirme potansiyeline vurgu yaparak, daha doğru ve bağlama duyarlı bir anlayış için yüz ve el hareketi tanımanın entegrasyonunu araştırıyor. Kaydedilen kayda değer ilerlemeye rağmen. Anahtar kelimeler: Duygu Tanıma, Derin Öğrenme, ResNet, Mobile Net