Yüz görüntüleri kullanılarak gerçek zamanlı nabız sayımı

Abstract

Nabız sayımında geleneksel temaslı yöntemlerin kullanılması kişi için zahmetli ve temas nedeniyle rahatsız edici olabilmektedir. Bu işlemi temassız ve daha pratik hale getirmek için kişilerin el, yüz gibi ten bölgeleri görüntülerinden nabız sayımı yaklaşımları önerilmiştir. Bu çalışmada yüz bölgesi kullanılarak kişilerin gerçek zamanlı temassız nabız sayımı yapılmıştır. Bu yapılırken literatürde ten bölgelerinden nabız sinyali çıkarmak için önerilen yaklaşımların performanslarını geliştirmek adına çeşitli yaklaşımlar önerilmiştir. Yüz tespit algoritmaları sonucu elde edilen yüz karakteristik noktaları ile oluşan yüz maskesine, bu bölgeye dahil olmayan alın bölgesini ekleme; karakteristik noktaları hareket gürültüsüne karşı daha dayanıklı yapma; ten bölgeleri ortalaması çıkarma adına elmacık kemiği bölgesi kullanımı ve olasılık tabanlı ten rengi tespiti; ağırlıklandırılmış yerel polinom regresyonu ile sinyal yumuşatma işlemi şeklindeki yaklaşımlarla literatürdeki nabız sinyali çıkarma algoritmalarının performansları artırılmıştır. Literatürde en çok kabul gören yöntemlerden olan POS yaklaşımının başarısı herkesin kullanımına açık DEAP veri seti üzerinde yapılan testlerde sinyal kalitesi anlamında yaklaşık 2dB artırılırken, ölçüm sonuçları hatası 1 BPM azaltılmış olup sistem bu veri seti üzerinde yaklaşık 3,2 BPM ortalama hata ile ölçüm yapabilmiştir. Algoritma, önerilen yaklaşımlarla kayıtlı videolar üzerinde çalıştırılabiliyor olmasının yanı sıra gerçek zamanlı olarak da kişilerin nabız sayımını yapabilmektedir. The use of conventional contact methods in pulse counting can be troublesome for the person and uncomfortable due to contact. In order to make this process contactless and more practical, pulse count approaches have been suggested from the skin region images of people, such as hands and face. In this study, real-time contactless pulse counting was performed using the facial region images. In doing so, various approaches have been suggested to improve the performance of the proposed approaches to extract the pulse signal from the skin regions. With the suggestions such as adding forehead area to the mask formed by facial characteristic points obtained from face detection algorithms; making characteristic points more robust against motion noise; the use of the cheekbone region and the probability-based skin color determination for the extraction of the skin regions; the use of weighted local polynomial regression and signal softening, the performance of pulse signal extraction algorithms in the literature has been increased. The performance of the POS approach, one of the most widely accepted methods in the literature, was increased by approximately 2dB in terms of signal quality in the tests performed on the publicly available DEAP dataset, while the measurement results error was reduced by 1 BPM, and the proposed improvements were able to measure the pulses with a mean error of approximately 3.2 BPM on this data set. The algorithm can be operated on recorded videos with proposed approaches, as well as counting real-time pulses of people.