Überblick von Ähn­lichkeits­maßen bew­ertet von Men­sch und Mas­chine [aus: Rit­ter et al: Sim­pli­fy­ing Acces­si­bil­i­ty With­out Data Loss: An Explorato­ry Study on Object Pre­serv­ing Keyframe Culling, S.9]

In Zusam­me­nar­beit mit Prof. Dr. Dr. Gisela Susanne Bahr vom Flori­da Insti­tute of Tech­nol­o­gy führte die Stiftung­spro­fes­sur Media Com­put­ing unter der Leitung von Jun.-Prof. Dr. Marc Rit­ter eine explo­rative Studie im Bere­ich der Bilderken­nung in Video­ma­te­r­i­al durch. Ins­beson­dere geht es um die Reduzierung von Video-Keyframes unter Erhal­tung aller rel­e­van­ten Objek­tin­stanzen, welche im Rah­men des TrecVid Instance Search Wet­tbe­werbs 2015 [Link] aus­gewählt wur­den und in vier Stun­den Video­ma­te­r­i­al der BBC Serie “East Enders” erkan­nt wer­den soll­ten.

Bei der Analyse von Video­ma­te­r­i­al erfol­gt zunächst eine Auswahl von einzel­nen Keyframes, die repräsen­ta­tiv für die jew­eilige Szene ste­hen. Um redun­dante Bilder­in­halte zu ver­mei­den ist die Anzahl der aus­gewählten Keyframes pro Szene so ger­ing wie möglich zu hal­ten, was durch eine fehlende Trainigsmöglichkeit des Algo­rith­mus’ erschw­ert wird. Im Gegen­satz zu anderen Forsch­ern, die eine starre Anzahl von Keyframes auswählen (z.B. ein Keyframe pro Sekunde), entsch­ieden sich die Forsch­er für eine Auswahl­meth­ode, die sich an der Länge der Szene ori­en­tiert, da sich Objek­t­po­si­tio­nen inner­halb län­ger­er Szenen verän­dern kön­nen. In ihrer Studie sortierten die Forsch­er dann manuell die übri­gen Dup­likate aus und ver­sucht­en die ange­wandten Auswahlkri­te­rien objek­tiv zu evaluieren und mit com­put­ergestützten Maßen maschinell nachzustellen. Dabei erre­icht­en sie eine Reduzierung der repräsen­ta­tiv­en Keyframes um 84% bei Erhalt von 82% aller Instanzen der auftre­tenden Objek­tk­lassen.

Die Vorstel­lung der Ergeb­nisse der Studie erfol­gt im Juli diesen Jahres auf der Con­fer­ence on Human-Com­put­er Inter­ac­tion Inter­na­tion­al (HCII) in Toron­to, Kana­da.

Pub­lika­tion: Rit­ter, Marc; Kow­erko, Dan­ny; Hus­sein, Hus­sein; Heinzig, Manuel; Schloss­er, Tobias; Man­they, Robert & Bahr, Gisela Susanne: Sim­pli­fy­ing Acces­si­bil­i­ty With­out Dat­aloss: An Explorato­ry Study on Object Pre­serv­ing Keyframe Cul­li­ung. In: Uni­ver­sal Access in Human-Com­put­er Inter­ac­tion. Part of Human Com­put­er Inter­ac­tion Inter­na­tion­al (HCII) 2016, At Toron­to, Cana­da, Vol­ume: LNCS, 12 S. [Link]