Duyma engelliler için giyilebilir titreşim tabanlı ses tanıma uygulamaları

Abstract

Duyma engelli kişilerin günlük yaşantısında ses algılaması hayat kalitesi açısından çok önemlidir. Duyma engelli kişiler dışarıda yürürken ya da ev içerisindeyken birçok önemli sesi duyamazlar. Geliştirdiğimiz giyilebilir sistem ile duyma engelliler sesin yönünü ve çevresinde oluşan önemli sesleri ayırt edebilecektir. Mikrofon ve titreşim motorundan oluşan giyilebilir cihazımız kullanıcının sırtına monte edilmiştir. Ses tanıma çalışmasında gerçek-zamanlı uygulamalarda ses parmak izi yöntemi kullanılmıştır. Geliştirdiğimiz giyilebilir cihazda yönü algılamak için ise sınıflandırma tekniği kullanılmıştır. Bu tez çalışmasında yanında konuşan kişinin bağırıp bağırmadığı da tespit edilmiştir. Duyma engelli geliştirmeyi hedeflediğimiz sistem sayesinde kişinin bağırıp bağırmadığını anlayabilecektir ve önemli bir durum varsa bunu algılaması hızlanmaktadır. Bu tez çalışmasında ebeveyn sesi tahmini de yapılmıştır. Kullanan kişinin kendi anne ve baba sesini tanıyacak bir sistem tasarlanmıştır. Bu çalışmaların hepsinde giyilebilir ve titreşim tabanlı bir sistem tasarlanmıştır. Bu çalışma sağır insanların yararına yeni bir fikir sunmaktadır. Burada sunulan bilgilerin, duyma engelliler için sistem geliştirirken ihtiyaç duyulan giyilebilir hesaplama ve insan-bilgisayar etkileşimi alanındaki araştırmalarda bilgilere katkı sağlayacağına inanmaktayız.

Sensing of sound is very important in daily life of deaf people in term of quality of life. When they walk outside or are at home, they are unable to hear many important sounds. Using the wearable vibration-based system we have designed and developed, deaf people can distinguish the direction and importance of sounds occurring around them. Our wearable device consists of a microphone and vibration motor mounted on the user's back. In the study of sound recognition, audio fingerprint method is used in real-time applications. Classification technique is used to sense direction in the developed wearable device. In this thesis, it is determined whether who talks by the one shouts. Thanks to the system we aim at developing, a deaf person can understand whether or not a person shouting and if there is a critical situation, it alerts them to it. In this thesis, a system that enables users to recognize their own parents' voices is designed. In all these studies, a wearable and vibration-based system is designed. This study presents a new idea that will benefit deaf people. The information presented here will contribute to the research in the fields of wearable processing and human-computer interaction, which are required for the development of systems for deaf people.