Columbia Engineering ekibi, bir robotun ayna karşısında kendini izleyerek ve insan konuşma videolarını izleyerek gerçekçi dudak hareketleri öğrenmesini sağladı. Robot konuşma ve şarkı söylemeyi sesle senkronize yüz hareketleriyle gerçekleştirebiliyor; araştırma Science Robotics’te yayımlandı.
İnsanlar konuşurken dudak hareketleri büyük önem taşır ve bu yüzden robot yüzleri sıklıkla ‘uncanny valley’ —yani tuhaflık— etkisi yaratır. Columbia Engineering’deki araştırmacılar, bir humanoid yüzün dudak hareketlerini öğrenmesine imkân veren bir yaklaşım geliştirdiler: robot önce kendi yüzünü ayna karşısında deneyerek hareketsel kontrolü keşfetti, sonra insan konuşma ve şarkı videolarını izleyerek sesleri belirli ağız şekillerine bağladı.
Takım, yüzü kontrol eden 26 ayrı motor ve esnek yüz malzemesi kullandı. Robot, binlerce rastgele yüz ifadesi deneyip hangilerinin hangi motor bileşimlerinden oluştuğunu öğrenirken, araştırmacılar bu süreci bir vision-to-action language model (VLA) ile destekledi —yani görsel gözlemi eyleme çeviren bir model. Öğrenme aşamasının ardından robot, YouTube gibi kaynaklardan alınan insan konuşma ve şarkı kayıtlarını izleyerek ses dalgalarına uygun dudak şekillerini eşleştirmeyi öğrendi.
Sonuçlar etkileyici: robot birden çok dilde kelimeleri şekillendirebildi ve bir şarkıyı sesle uyumlu dudak hareketleriyle performe edebildi. Araştırmacılar yine de bazı zorluklar bildirdi; örneğin ‘B’ gibi sert ünsüzlerde ve dudak büzülmesini gerektiren ‘W’ gibi seslerde başarı düşük kaldı, fakat pratik ve veri arttıkça bu yeteneklerin geliştirilebileceği belirtildi. Araştırmanın detayları ve makale için bkz. Science Robotics (DOI: 10.1126/scirobotics.adx3017) ve Columbia Engineering haber duyurusu.
Araştırmacılar bu yeteneğin yalnızca dudak eşleme değil, insanlarla daha doğal iletişim kuran robotlar için bir eksik parçayı tamamladığını söylüyor. Gerçekçi yüz ifadeleri eğitim, eğlence, sağlık ve yaşlı bakımı gibi uygulamalarda önem kazanabilir; ancak ekip aynı zamanda etik ve kötüye kullanım risklerine karşı temkinli ilerlemenin gerektiğini vurguluyor.
Kaynaklar ve Bağlantılar:
- www.sciencedaily.com/releases/2026/01/260116035308.htm
- www.engineering.columbia.edu/about/news/robot-learns-lip-sync
- dx.doi.org/10.1126/scirobotics.adx3017
- youtu.be/3Oc4dZIOU4g
