Makı̇ne öğrenmesı̇ ı̇le sürü robotları ı̇çı̇n savaş stratejı̇sı̇ modelı̇

ÜMİT ULUSOY

Makı̇ne öğrenmesı̇ ı̇le sürü robotları ı̇çı̇n savaş stratejı̇sı̇ modelı̇

Tezin Türü: Yüksek Lisans

Tezin Yürütüldüğü Kurum: Ankara Üniversitesi, Fen Bilimleri Enstitüsü, BİLGİSAYAR MÜHENDİSLİĞİ ANABİLİM DALI, Türkiye

Tezin Onay Tarihi: 2019

Tezin Dili: Türkçe

Öğrenci: ÜMİT ULUSOY

Danışman: MEHMET SERDAR GÜZEL

Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu

Özet:

Bu çalışma, iki boyutlu robot simülasyon platformunda (Robocode) gerçekleşen hem tekli hem de çok ajanlı sistemlere farklı makine öğrenmeye dayalı çözümler önermektedir. Bu dinamik ve programlanabilir platform, çeşitli savaş stratejileri kullanarak robotların çevreleriyle ve birbirleriyle etkileşime girmelerini sağlar. Makine öğrenmesi temelli modellerden biri olan Pekiştirmeli Öğrenme ise bu tarz bir problemin uygulanmasında popüler çözümlerden biridir. Bununla birlikte, özellikle sürekli devam problemler için alanlarda, alan sorunu derinleşmektedir. Temel olarak, Pekiştirmeli Öğrenmenin (PÖ) ana dezavantajlarından biri, basit görevler için sadece birkaç parametre kullanılarak işlevin tanımlanabileceği uygun bir ödül işlevi tasarlamaktır, oysa ödül işlevinin amacını daha karmaşık bir şekilde tahmin etmek zor olabilir. Son araştırmalar, Yapay Sinir Ağı(YSA) tabanlı yaklaşımların bu zorluklarla başa çıkabileceğini, iki boyutlu veya bir boyutlu verilerinden kontrol stratejileri öğrenmeyi de başardığını kanıtlamıştır. Tekli robotlar için PÖ algoritmalarının bu sorunlara ek olarak, robot sayısı arttıkça ve sistemlerin çok robotlu sistemler gibi davranması gerektiğinde, genel algoritma tasarım gereksinimleri daha da karmaşık hale gelmektedir. Bu çalışmada, bu kapsam dahilinde önerilen sistem farklı savaş senaryoları dikkate alınarak doğrulanmıştır. İlk olarak, Pekiştirmeli Öğrenme algoritması tarafından eğitilmiş tek robot, tek bir robota karşı savaşmıştır. Ayrıca, Pekiştirmeli Öğrenme algoritması tarafından eğitilmiş robotlardan çok robotlu ve merkezi bir noktadan yönetilmeyen bir sistem daha tasarlanmıştır. Tasarlanan bu sistem ile oyunun kurallarına göre diğer sürü robotları ile savaşlar yapılmıştır. Üçüncü durumda ise robot, geleneksel bir Yapay Sinir Ağı tabanlı bir sistem kullanılarak eğitilmiştir. Daha sonra, Yığılmış Otomatik Kodlayıcılar(YOK) temel alan derinlemesine öğrenmeye dayalı bir mimari, eğitimli robotların rakip robotlara karşı savaşmasına izin verecek şekilde tasarlanmış ve kullanılmıştır. Pekiştirmeli Öğrenme tabanlı sistemin performansı ve denetlenen öğrenme teknikleri, bu problem için farklı senaryolar kullanılarak karşılaştırılmıştır. Dördüncü olarak ise Genetik Algoritma ile bireysel robotlar geliştirilmiştir. Tüm durumlar için alınan sonuçlar neticesinde Yapay Sinir Ağları tabanlı yaklaşımın diğer yöntemlere göre üstünlüğü ortaya net bir şekilde çıkmaktadır.