Beyin aktivitelerini kelimelere döken sistem

Yapay sinir ağları insanların duyduğu kelimeleri anlaşılabilir konuşmalara dönüştürmek için kullanıldı. Bu gelişme insanların düşüncelerini okuyabilmek için bir adım olabilir.

fMRI taramaları sayesinde, onlarca yıldır insanlar konuştuğunda ya da başkalarını duyduklarında beynin belirli bölgelerinin harekete geçtiğini biliyoruz. Ancak beyindeki bu değişimleri (düşünceleri) kelimelere dönüştürmek hayli zor bir görevdi. Columbia Üniversitesinden bir ekip derin öğrenmeyi bir konuşma birleştiricisi ile bir arada kullanarak bu zorlu görevi başardı.

Nasıl yapıldı?

Ekip, epilepsi için beyin ameliyatı geçirecek olan beş kişinin beynine geçici elektrotlar yerleştirdi. (Bu ameliyatlara genellikle hastaların nöbetleri hakkında bilgi almak için beyne implantlar yerleştiriliyor.) Katılımcılara daha sonra bazı cümleleri dinlemeleri söylendi ve bu sırada beyinlerinde gerçekleşen aktiviteler derin öğrenme tabanlı konuşma algılama yazılımını eğitmek için kullanıldı. Katılımcılar 40 adet sayının okunmasını dinledi. Yapay zeka daha sonra katılımcının duyduğu şeyin kodunu yine beyin aktivitesine dayanarak çözmeye çalıştı. Elde edilen sonuçlar robotik bir sesle okundu. Katılımcılar, ses birleştiricisinden gelen kelimelerin yüzde 75’inin anlaşılabildiği ifade ettiler. Çalışmanın sonuçları Scientific Reports’ta yayımlandı.

Şimdilik bu teknoloji sadece bu beş hastanın duyduklarına göre kelimeler üretebiliyor ve başka kişilerde çalışmıyor. Ancak bu teknolojinin geliştirilmesiyle birlikte, gelecekte felçli hastaların da konuşma yetilerini kaybetmelerine rağmen çevrelerindeki insanlarla iletişim kurmaları sağlanabilir.

Kaynak: Technology Review