Yapay zekalar Atari’de kapıştı

Elon Musk'ın yapay zeka girişimi OpenAI, 1980'lerden kalan bir tekniği geliştirip kullanarak Atari oyunlarında Google DeepMind'ı geride bıraktı.

Haber Özeti

Tam Sürüm

Yapay zeka araştırmacıları pek çok kez, geçmişte kullanılmış ve modası geçmiş yöntemleri alıp revize ederek kullanmıştır. Elon Musk’ın açık kaynaklı yapay zeka girişimi Open AI da 1980’lerden bu yana kullanılmayan ‘nöroevrim‘ adı verilen bir yöntemi canlandırarak günümüzde kullanmaya uygun sonuçlar elde etti.

Open AI Araştırma Yöneticisi Ilya Sutskever tarafından yönetilen ekip, evrim stratejileri adı verilen bir grup algoritma üzerine çalışıyordu. Bu algoritmalar optimizasyon problemlerini çözmek için geliştirilmişti. Adına rağmen bu yaklaşımın biyolojik evrimle çok az ilgisi var. Sistem soyut anlamda başarılı bireylerin, karakteristik özelliklerini sonraki nesillere aktarmasına dayanıyor. Araştırmacılar bu algoritmaları aldı ve derin yapay sinir ağlarıyla daha iyi çalışarak geniş ölçekli bilişim sistemleri üzerinde kullanılabilecek hale getirdi.

Testlerde başarı elde edildi

Ekip algoritmaların etkinliğini doğrulamak için bunları, destekli öğrenmenin ölçütü olarak görülen bir dizi sorunu çözmek için kullandı. Destekli öğrenme tekniği Google’ın DeepMind adlı yapay zekasının da dünya Go şampiyonunu yenmek için kullandığı yöntem.

Algoritmaların çözmesi beklenen engellerden birisi de zamanında Atari için geliştirilmiş bazı bilgisayar oyunlarını oynamaktı. 2013 yılında DeepMind, Deep Q-Learning yöntemini kullanarak bu oyunlardan 7’sini başarıyla oynamıştı. Bir diğer test ise, algoritmanın bir fizik motorunda, sanal bir insanı, yürümesini sağlayacak şekilde kontrol etmesiydi.

Bunu gerçekleştirmek için algoritma önce rastgele bir yöntem geliştiriyor. Daha sonra bu rastgele yöntemin, küçük değişikliklerle birkaç yüz kopyasını çıkarıp her birini tek tek deniyor. Daha sonra bu yöntemlerin başarılı versiyonlarına ağırlık verilerek yeniden tek bir yöntem oluşturuluyor. Bu deneme yanılma süreci, sistem oyunu başarılı bir şekilde oynayabilen bir yöntem geliştirene kadar devam ediyor.

1 yıllık problemi 1 saatte çözdü

Atari üzerinde sadece bir saat boyunca çalışan algoritma, DeepMind’ın ulaşmak için bir yıl uğraştığı seviyeye ulaştı. Yürüme problemini çözmek ise sistemin sadece 10 dakikasını aldı. Aynı problem için Google’ın yaklaşımı 10 saat uğraşmıştı.

Bu ciddi performans artışının en önemli sebebi yöntemin ‘paralelleştirilebilir’ olması. Yani sistemin ürettiği farklı algoritmalar çalışırken birbiriyle çok fazla iletişim kurmasına gerek olmadan işlem yürütülebiliyor. DeepMind’ın yönteminde ise çok daha fazla iletişim gerekiyor. Bu da işlemcilerin kapasitesini zorluyor.

Open AI’ın yaklaşımı, geri yayılım (backpropagation) adı verilen teknikten faydalanmıyor. Bu teknik, tüm çıktıları hedeflenen çıktıyla tek tek karşılaştırarak algoritmayı optimize etmeye yarıyor. Bu teknik kullanılmadığında kod çok daha kısa oluyor ve algoritma 2 ila 3 kat daha hızlı bir şekilde çalışabiliyor.

Günlük kullanımda o kadar da etkili değil

Ancak bu yöntemin de sınırlamaları yok değil. Bu tarz algoritmalar genellikle veri etkinliklerine göre karşılaştırılır. Yani bir oyunda belirli bir skora erişmek için gereken düzenleme sayısı. Bu şekilde ölçüldüğünde OpenAI’ın yaklaşımı çok daha başarısız görünüyor. Ancak sistemin asıl amacı küçük değişiklikleri hızlı bir şekilde test etmek olduğu için, yapılan fazladan deneme sayısının olumsuz etkisi, hızdan faydalanarak sıfırlanıyor. Ayrıca görsel sınıflandırma ya da ses tanıma gibi gerçek dünyada daha fazla kullanım alanı olan sorunları çözme konusunda da OpenAI’ın yaklaşımı, geri yayılım kullanan yöntemlere göre neredeyse bin kat daha yavaş.

Yine de çalışma, eski evrimsel yaklaşımların da günümüzde bazı alanlarda işe yarayabileceğini gösteriyor. OpenAI şimdilik bu yöntemleri inceleyen tek ekip.

Kaynak: Singularity Hub

Elon Musk'ın açık kaynaklı yapay zeka girişimi Open AI, 1980'lerden bu yana kullanılmayan 'nöroevrim' adı verilen bir yöntemi canlandırarak günümüzde kullanmaya uygun sonuçlar elde etti. Ekip, evrim stratejileri adı verilen bir grup algoritma üzerine çalışıyordu. Bu algoritmalar optimizasyon problemlerini çözmek için geliştirilmişti. Sistem soyut anlamda başarılı bireylerin, karakteristik özelliklerini sonraki nesillere aktarmasına dayanıyor. Araştırmacılar bu algoritmaları aldı ve derin yapay sinir ağlarıyla daha iyi çalışarak geniş ölçekli bilişim sistemleri üzerinde kullanılabilecek hale getirdi. Atari oyunları üzerinde sadece bir saat boyunca çalışan algoritma, DeepMind'ın ulaşmak için bir yıl uğraştığı seviyeye ulaştı. Yürüme problemini çözmek ise sistemin sadece 10 dakikasını aldı. Aynı problem için Google'ın yaklaşımı 10 saat uğraşmıştı.

Yorum Ekle

Yorum yazmak için tıklayın

Yorumunuz:

e-Bülten Aboneliği