İşaret dilinin bilgisayarlı yorumlanması

Abstract

Bu tez çalışmasında işitme engellilerin kullandığı, işaret dilinin bilgisayarlı yorumlanması hedeflenmiştir. Bunun için, işaret dilinde kullanılan kelimelerinin temsil şeklini belirlemek ve bu şekli kullanarak sınıflandırma işlemlerinin yapılması gerekmektedir.İlk olarak, verilerin elde edileceği videoda elin hareketinin takibi gerçekleştirilmiştir. Nesne takibi için ortalama kayma algoritması kullanılmıştır. Böylece zaman içinde elin şeklindeki değişim ve yörüngesi elde edilmektedir. Bir sonraki aşamada elde edilen yörüngeden özellik vektörleri çıkarılmaktadır. El şeklinin özellik vektörlerini çıkarmak için, Zernike momentler hesaplanmaktadır. Son olarak da çeşitli el işaretlerinin tanınması için saklı Markov model sınıflandırması önerilmiştir. Tanıma işleminde eğitilmiş sistemdeki işaretler arasındaki benzerliğe göre karar verilmektedir. In this thesis, it is aimed to interpret sign language used by deaf people based on computer. For this, it is required to determine representations for words used in the sign language and perform classification by using these representations. First of all, hand motion tracking in the video where datas are extracted from was implemented. For object tracking, mean shift algorithm was used. Thus, change in hand shape in time and trajectory of hand were obtained. In the next step, the feature vectors were extracted from the obtained trajectory. To extract hand shape feature vectors, Zernike moments were computed. Finally, hidden Markov model classification was proposed for various types of hand gesture recognition. The decision regarding in recognition was made based on similarity among signs in the trained system.