Klasik ve Görsel-Dil Tabanlı Görüntü Açıklama Modelleri İçin Tekrarlanabilir Gerçek Zamanlı Değerlendirme Çerçevesi
27.Otomatik Kontrol Ulusal Konferansı (TOK 2026), Ankara, Türkiye, 8 - 10 Ekim 2026, ss.1-8, (Tam Metin Bildiri)
- Yayın Türü: Bildiri / Tam Metin Bildiri
- Basıldığı Şehir: Ankara
- Basıldığı Ülke: Türkiye
- Sayfa Sayıları: ss.1-8
- Ankara Üniversitesi Adresli: Evet
Özet
Gerçek zamanlı görüntü açıklama sistemleri, görme engellilere yönelik yardımcı teknolojilerden otonom kontrol sistemlerine kadar geniş bir alanda kritik rol oynamaktadır. Literatürde yeni model geliştirmeye odaklanılırken, farklı yaklaşımların gerçek zamanlı çalışma koşullarında sistematik ve adil kıyaslanması sınırlı kalmaktadır. Bu çalışmada, klasik dikkat tabanlı CNN-LSTM mimarisi ile ön eğitimli görsel-dil modeli BLIP’in gerçek zamanlı performansını analiz eden tekrarlanabilir bir değerlendirme çerçevesi sunulmaktadır. Önerilen çerçeve çıkarım gecikmesi, çıktı üretim hızı, kare düşürme oranı ve zamansal kararlılık metriklerini ortak bir tek elemanlı kuyruk hattında bütüncül olarak değerlendirmektedir. Deneysel bulgular, her iki backend’de de Greedy ve Beam-5 çözümleme stratejileri arasında hız, açıklama kalitesi, kare düşürme ve zamansal davranış açısından yapılandırmaya bağlı farklılıklar bulunduğunu; Legacy Greedy’nin en düşük gecikme ve en yüksek çıktı üretim hızını sağladığını, ancak hiçbir yapılandırmanın bütün değerlendirme ölçütlerinde sürekli üstünlük göstermediğini ortaya koymaktadır.
Real-time image captioning systems play a critical role in a wide range of fields, from assistive technologies for visually impaired individuals to autonomous control systems. While the literature primarily focuses on developing new models, the systematic and fair comparison of different approaches under real-time operating conditions remains limited. In this study, we present a reproducible evaluation framework for analyzing the real-time performance of a classical attention-based CNN-LSTM architecture and the pre-trained vision-language model BLIP. The proposed framework jointly evaluates inference latency, caption throughput, frame-drop ratio, and temporal stability through a shared single-element queue pipeline. Experimental findings show that, for both backends, the Greedy and Beam-5 decoding strategies produce configuration-dependent differences in speed, caption quality, frame dropping, and temporal behavior; Legacy Greedy achieves the lowest latency and the highest caption throughput, while no configuration consistently outperforms the others across all evaluation metrics.