Bilgisayarlı dudak okuma

Abstract

İnsan bilgisayar etkileşiminde konuşma tanıma sistemleri son yıllarda önemli bir çalışma konusu haline gelmiştir. Konuşan kişinin ses bilgisinin alınarak bu bilgilerin bilgisayarda işlenmesi karmaşık hesapsal süreçleri beraberinde getirmektedir. Bu karmaşıklık sesin tanınmasında önemli bir problem oluşturmaktadır. Bugüne kadar yapılan araştırmalara göre konuşma ile ilgili bilgiler, sadece ses işaretinde değil aynı zamanda görsel işaretlerde de bulunmaktadır. Görsel işaretler olarak beden dili, işaret dili, mimik ve jestler ile dudak hareketleri kabul edilebilir. Çalışmada bu görsel işaretlerden olan dudak hareketleri üzerinde durulmuştur ve bilgisayarlı dudak okuma sistemi geliştirilmiştir. Bilgisayarlı dudak okuma, bir görüntüden hiçbir ses bilgisine ihtiyaç duymadan kişinin ne söylediğinin anlaşılması işlemidir. Tezde bilgisayarlı dudak okuma için gerekli çalışma şeması verilmiş ve sistemi oluşturan alt modüller ayrı ayrı gösterilmiştir. Bilgisayarlı dudak okuma için öncelikle yüzün tespit edilmesi işlemi gerçekleştirilmiştir. Tespit edilen yüz üzerinde dudak okuma gerçekleştirebilmek için önce dudak bölgesi ve ardından dudağın ikili görüntüsü elde edilmiştir. Bu aşamada dudak bölgesi bulma ve dudak tespiti için yeni yöntemler önerilmiştir. Dudağın ikili görüntüsü elde edildikten sonra bilgisayarlı dudak okumada kullanılabilecek özellikler çıkarılmıştır. Türkçede sesli harflerden (a, e, ı, i, o, ö, u, ü) oluşan hecelerin söylendiği 56 farklı görüntü alınmıştır. Bu görüntüler kullanılarak PCA yöntemine dayalı bir tanıma sistemi gerçekleştirilmiştir. 56 görüntüden 24 tanesi eğitim için 32 tanesi ise test için kullanılmış ve sistemde %25 oranında başarım sağlanmıştır. Ayrıca test aşamasında yakın benzerlik gösteren sesliler (ı-i, o-ö, u-ü) düşünüldüğünde bu başarım %50 civarında olmaktadır. Anahtar Kelimeler: Dudak Okuma, İşaret Dili, Dudak Tespiti, Temel Bileşen Analizi (PCA). Speech recognition systems have recently been one of the major study areas in human-computer interaction. Audio processing in computers consists of very complex operations. This complexity results in significant problems. Recent studies show that not only audio but also visual signs include information related with speech. Body language, sign language, gestures and lip movements may be accepted as visual signs. In this study,lip movements are examined, and an automatic lipreading system is implemented. Automatic lipreading is a process of understanding what a person says from a scene without a need of audio information. In this thesis required flowchart for automatic lipreading is given and the modules of the system are shown separately. First, face detection operation was done for automatic lipreading. After that in order to be able to perform lipreading, lip area was found and binary lip image was obtained. In this phase, new methods were suggested to find lip area and detect lip. Next, features for automatic lipreading were extracted. 56 different videos including Turkish vowels (a, e, ı, i, o, ö, u, ü) were recorded. A recognition system based on PCA method was realized by using these videos. 24 of these videos were used for training and 32 of them were used for testing and 25% of success was achieved. Also, in the test phases the success is increased to 50% if misrecognized similar vowels (o-ö, ı-i, u-ü) are not taken in to account. Keywords: Lipreading, Sign Language, Lip Detection, Principle Component Analysis (PCA).