Handwritten text recognition using deep learning

Abstract

El yazısı karakter tanıma, bilgi çıkarma ve insan-bilgisayar etkilerini uygulamaları da dahil olmak üzere çeşitli gelişmiş uygulamalar için önemli bir temel sağlayan yapay zeka uygulamalarından biridir. Bu tez, el yazısı metninin dijital bir forma çevrilebilmesi için tek bir el yazısı karakterini sınıflandırmaya çalışır. Tam bir kelimeyi veya metni sınıflandırmak için, öncelikle yapılması gereken adım metin satırlarının doğru algılanmasıdır. A4 boyutunda taranmış bir belgenin orijinal görüntüsünü bölerek metin satırlarının eğrilik açısına göre tüm metin satırlarını algılayabilen bir metin satırı algılama sistemi geliştirilmiştir. Metin satırlarında yer alan her bir harf görüntüsü tespit edilerek daha sonra tanınması için derin öğrenme ağına giriş olarak verilir. Derin öğrenme ağının eğitim aksaması için kamuya açık bir veri setiyle birlikte kullanılan ve her bir harfin 2200 görüntüsünü içeren kendi el yazımızdan oluşturulmuş bir veri kümesi de hazırlanmıştır. Yapay sinir ağının eğitimi için toplamda 26 x 7800 = 202, 800 adet resim kullanılmıştır. MATLAB kullanılarak taranan bir dokümanı görüntü biliminde alabilen ve metin satırları algılaması, harf tespiti ve harf tanıma sonuçlarını verebilen bir GUI sistemi tasarlanmıştır. Çeşitli belge türlerindeki farklılıklara ve içerdikleri gürültüye bağlı olarak istenilen sonucu elde etmek için farklı parametre de ayarlanabilmektedir. Handwritten alphabet recognition is one of the Arti cial Intelligence applications which provides important fundamental for various advanced applications, including information retrieval and human-computer interaction applications. This thesis seeks to classify an individual handwritten character so that handwritten text can be translated to a digital form. To classify a complete word or text, the rst and foremost step is the accurate detection of text lines. A text line detection system is developed which can detect all text lines based on the skew angle of text lines by dividing the original image of an A4 size scanned document. Individual alphabets are detected from each text line at a later stage to give the input to a deep neural network for recognition. A dataset of our own handwriting is also prepared that includes 2200 images of each alphabet, which is mixed with another publicly available dataset for the training phase of the deep learning network. A total of 26 7800 = 202; 800 images are used for the training of the neural network. A GUI system using MATLAB is developed which can input a scanned document in image form, and can give an output of text lines detection, alphabet detection and alphabets recognition. A set of dierent parameters can also be changed to get the desired output depending upon the variations in dierent types of documents.