During this spring, I spent two months at the Multimedia Signal Processing Group led by Prof. Dietmar Saupe at the University of Konstanz. During this stay I had the opportunity to meet many researchers who work in blind image and video quality assessment and pursue my research work.

From left to right: Domonkos Varga, Vlad Hosu, Hui Men, Dietmar Saupe, Franz Hahn, Hanhe Lin, Mohsen Jenadeleh.

My work focused on the problem of blind image quality assessment where the objective is to evaluate the quality of digital images without any prior knowledge on the types of distortions. I used Convolutional Neural Networks (CNN) to address this problem. First of all, I elaborated a patch selection algorithm in order to carefully select the most discriminative and informative patches from the training images to enhance the training efficiency. To realize that, I studied professional photography rules and human visual principles. It has been observed that, human visual attention does not distribute evenly within an image. That means some regions play more important roles than other regions when people viewing photos.

Motivated by these observations, several criteria have been developed to perform patch selection: overlapping constraint, saliency constraint, and pattern diversity constraint. These patches were ranked with respect to their saliency. A pre-trained and fine-tuned VGG16 CNN was utilized as a feature extractor for each patches. Finally, a Support Vector Regression (SVR) machine was exploited to learn the mapping function from the CNN features to the perceived quality scores. The experiments were conducted on the LIVE In the Wild Image Quality Challenge Database which contains widely diverse authentic image distortions on a large number of images captured using a representative variety of modern mobile devices.

I really enjoyed the work with experienced researchers and the usage of the department’s high performance computing tools. I thank the Multimedia Signal Processing Group and the SFB-TRR 161 for the support and the funding.

Research Stay in Konstanz

Domonkos Varga graduated with M.Sc. degree in electrical engineering from the Budapest University of Technology and Economics (BME) in 2013. Currently he is a third year PhD student at the Institute for Computer Science and Control, Hungarian Academy of Sciences (MTA SZTAKI) in the Machine Perception Laboratory (MPLab). His main research interests are primarily in the field of image processing and machine learning with a focus on video analytics.

Leave a Reply

Mit dem Eintrag in das nachstehende Feld können Sie unter Angabe eines Namens einen Kommentar hinterlassen.

Personenbezogene Daten
Sie haben die Möglichkeit die Kommentarfunktion ohne Angabe von personenbezogenen Daten unter einem Pseudonym zu nutzen.
Name - Bei dieser Angabe handelt es sich um eine Pflichtangabe. Der von Ihnen gewählte Name wird mit dem von Ihnen verfassten Kommentar veröffentlicht.
E–Mailadresse - Bitte beachten Sie, dass die Angabe Ihrer E–Mailadresse zur Nutzung der Kommentarfunktion nicht erforderlich ist. Auch im Falle einer Eingabe wird die E-Mailadresse nicht verwendet, auch nicht veröffentlicht. Bitte lassen Sie dieses Feld unausgefüllt.
Webseite - Die Angabe Ihrer Webseite ist freiwillig. Die von Ihnen angegebene Webseite wird zusammen mit Ihrem Kommentar veröffentlicht.

Nach den §§ 21, 22 LDSG haben Sie das Recht, auf Antrag unentgeltlich Auskunft über die von der Universität Stuttgart und Universität Konstanz über Sie gespeicherten Daten zu erhalten und bei unrichtig gespeicherten Daten deren Berichtigung zu verlangen (Auskunfts- und Berichtigungsrecht). Ein Auskunfts- oder Berichtigungsersuchen richten Sie bitte schriftlich an die Geschäftsstellen des SFB-TRR 161 an der Universität Stuttgart (E-Mail: sfbtrr161[at]visus.uni-stuttgart.de) bzw. der Universität Konstanz (E-Mail: sfbtrr161[at]uni-konstanz.de).