Zaman-uzamsal özniteliklerin çıkarımı ile arşivvideolarında leke onarma

Abstract

Gelecek nesillere yol gösterici niteliği olan arşiv belgelerinden biri de videolardır. Arşiv videoları sayısal filmlerin keşfinden önce analog filmler kullanılarak çekilmekteydi. Fakat bu analog filmler üzerinde, uygun olmayan saklanma koşullarından dolayı bazı bozulmalar meydana gelmektedir. Sıklıkla karşılaşılan bozulma türlerinden olan lekeler filmlerin üzerinde biriken kir ve toz parçacıklarından dolayı oluşmaktadır. Sayısala dönüştürülme işleminden önce bu tür bozulmaların onarımının yapılması gerekmektedir. Arşiv videoların tarihi ve kültürel miras niteliğinde olması nedeniyle onarım günümüzde üzerinde oldukça durulan bir konu olmuştur. Arşiv videolarında bulunan veri miktarı fazlalığı nedeniyle, insan görme sisteminden esinlenerek geliştirilen yöntemler kullanılarak film karesinin tamamını incelemek yerine belirgin noktalara odaklanılmakta ve bu sayede işlem ve zaman maliyeti düşürülmektedir. Bu çalışmada video içboyamada lekelerin onarımı problemi üzerine odaklanılmıştır. Lekelerin onarımı, leke konumlarının tespiti ve bu bölgelerin giderilmesi olmak üzere iki adımdan oluşmaktadır. Lekelerin arka plana zıt kontrastta olmasından dolayı insan görme sistemin önemli bir yönü olan görsel çıkarım haritası, leke tespit adımında kullanılmıştır. Lekelerin giderilmesinde ise yerel özniteliklerin kullanımına bağlı bir yaklaşım geliştirilmiştir. Tez kapsamında yerel öznitelik olarak ölçeklemeden bağımsız öznitelik dönüşümü (SIFT), hızlandırılmış gürbüz özniteliği (SURF), Harris köşe algılayıcı ve maksimal kararlı uç bölgeler (MSER) öznitelikleri kullanılmıştır. Bu bağlamda leke onarımı probleminde bulunan iki adımın her biri için iki ayrı yöntem geliştirilmiştir. Geliştirilen yöntemler son yıllarda sunulan çalışma ve literatürde bulunan temel yöntemlerle karşılaştırılmıştır. Deneysel çalışmalarda önerilen yöntemlerin karşılaştırılan yöntemlere göre daha başarılı sonuçlar verdiği gözlemlenmiştir. One of the archive documents that guide the future generations is videos. Archive videos were shot using analog films before the discovery of digital films. However, some degradations occur on these analog films due to improper storage conditions. Blotches, one of the most common types of degradations, occur due to dirt and dust particles accumulating on the films. Such degradations need to be repaired before being converted into numbers. Since the archive videos are of historical and cultural heritage, repair has been a highly emphasized subject today. Due to the large amount of data contained in archive videos, instead of examining the entire film frame by using methods developed inspired by the human vision system, focus is placed on specific points, thereby reducing process and time costs. In this study, the problem of repairing blotches in video inpainting is focused. It consists of two steps: repairing the blotches, determining the blotch locations and removing these areas. The visual saliency map, which is an important aspect of the human vision system, is used in the blotch detection step because of the contrast of the blotches against the background. An approach based on the use of local attributes has been developed to remove blotches. Within the scope of the thesis, scale-invariant feature transform (SIFT), speed up robust features (SURF), Harris corner detector and maximally stable extremal regions (MSER) features are used as local features. In this context, two different methods have been developed for each of the two steps in the blotch repair problem. The methods developed are compared with the basic methods in the study and literature presented in recent years. It has been observed that the performance of the proposed methods in the experimental studies yielded more successful results than the compared methods.