Auch in diesem Jahr beteiligte sich die Junior­pro­fes­sur Media Com­put­ing am alljährlichen TrecVid Instance Search Wet­tbe­werb. Die inter­na­tionale wis­senschaftliche Eval­u­a­tion­skam­pagne TRECVID ist eine etabilierte Serie von Work­shops, die sich auf die inhalts­basierte Infor­ma­tion­s­gewin­nung und Auswer­tung dig­i­taler Videos konzen­tri­ert. Jedes Jahr stellen sich Teil­nehmer ein­er neuen real­ität­sna­hen Auf­gabe, die Forsch­er divers­er inter­na­tionaler Insti­tute in einem Wet­tbe­werb ver­suchen best­möglich zu lösen. Die TRECVID-erfahre­nen Forsch­er der Junior­pro­fes­sur Media Com­put­ing und der Pro­fes­sur Medi­en­in­for­matik der Tech­nis­chen Uni­ver­sität Chem­nitz nah­men nun­mehr zum drit­ten Mal teil, dieses Jahr in den Kat­e­gorien “Instance Search Auto­mat­ic Run” (AR) und “Instance Search Inter­ac­tive Run” (IR).

Ziel war die Verbesserung der Vor­jahres-Ergeb­nisse unter Nutzung von Open Source Tools auf Con­sumer Hard­ware. Dabei soll­ten vor allem speziell entwick­elte Anno­ta­tion­swerkzeuge zur kol­lab­o­ra­tiv­en Nutzung über ein Webin­ter­face zum Ein­satz kom­men mit denen mehr Ground-Truth Dat­en pro Zeit­ein­heit erzeugt wer­den kön­nen. Außer­dem wur­den Zeit­en erfasst um u.a. die effizien­testen Nutzer für den inter­ak­tiv­en Run zu bes­tim­men. Dat­en-Grund­lage des Wet­tbe­werbs war auch dieses Mal wieder die britis­che TV-Serie “Eas­t­en­ders”. Im Wet­tbe­werb galt es bes­timmte Rollen der Serie an einem definierten Ort automa­tisiert zu ermit­teln.  Dazu erfol­gte im ersten Schritt nach der Extrak­tion der sog. Keyframes deren Anno­ta­tion durch Markieren von Per­so­n­en mit Bound­ing Box­en (mit­tels Rechteck­en, siehe Abbil­dung) und Meta­da­te­nan­re­icherung mit Ortsin­for­ma­tio­nen. Zur Per­so­n­en- und Ort­sklas­si­fika­tion wur­den dann im zweit­en Schritt neu­ronale Net­ze (CNNs — Con­vo­lu­tion­al Neur­al Net­works) trainiert. Da aufeinan­der­fol­gende Bilder am sel­ben Ort mit großer Wahrschein­lichkeit zu ein­er Szene (Shot) gehören, wur­den Ähn­lichkeitsmetriken angwandt, um Bilder einem Shot und damit ein­er Grup­pen­num­mer zuzuord­nen. Schritt drei bein­hal­tete ein Re-Rank­ing der Ergeb­nisse der CNNs durch Mit­telung der CNN-Kon­fi­den­zw­erte aller Bilder ein­er Gruppe. Schließlich fol­gte im inter­ak­tiv­en Run die manuelle Eval­u­a­tion der Ergeb­nisse mit Hil­fe des Webin­ter­faces durch den zeit­ef­fizien­testen Annotator.

Die Forsch­er erziel­ten mit ihrer Meth­ode eine durch­schnit­tliche Tre­f­fer­quote von 31,8% im Inter­ac­tive Run und 14,4% im Auto­mat­ic Run, wobei die Top 10 Präzi­sion 90,5% (IR) und 49,7% (AR) betrug. Damit erre­ichte die TU Chem­nitz den 2. Platz im Inter­ac­tive Run und den 5. Platz im Auto­mat­ic Run.

 

In Zusam­me­nar­beit mit der 3D Micro­mac AG fan­den Mitar­beit­er der Junior­pro­fes­sur Media Com­put­ing eine Möglichkeit die qual­i­ta­tive Analyse von Laser­schweißprozessen zu opti­mieren. Dies gelang durch die Kom­bi­na­tion von mod­ell­basiert­er Bild­ver­ar­beitung mit neuer Kam­er­at­e­ch­nolo­gie, die Auf­nah­men mit 2.000 Bildern pro Sekunde bei ein­er Auflö­sung von 1024 ×768 Pix­eln erlaubt. Die Ergeb­nisse dieser Arbeit stellen die Forsch­er vom 1.- 2. Dezem­ber 2016 auf dem Forum Bild­ver­ar­beitung in Karl­sruhe vor.

Die 3D Micro­mac AG ist ein Spezial­ist auf dem Gebi­et der Laser­mikrobear­beitung und somit abhängig von präzisen Analy­sen ihrer Prozesse. Im Mikrom­e­ter­bere­ich sind Hochgeschwindigkeit­sauf­nah­men der Schmelz­zone meist die einzige Möglichkeit für die Qual­ität­sein­schätzung. Ein mehrstu­figes OpenCV-basiertes Bild­ver­ar­beitungsver­fahren mod­el­lierte dabei mit Hil­fe ein­er Ellipse die Schmelz­zone während des Laser­schweißprozess­es. Die Para­me­ter dieser Ellipse wur­den dann als Funk­tion der Zeit durch lin­eare Regres­sion approx­imiert, was Rückschlüsse auf die Auswirkun­gen ver­schieden­er Fak­toren, wie z.B. Laser‑, Werk­stoff- und Werkzeug­pa­ra­me­ter auf das Fügeergeb­nis ermöglicht. Die Arbeit zeigte beispiel­sweise einen lin­earen Zusam­men­hang zwis­chen der Schmelz­zo­nen­fläche und der Laser­leis­tung. Der­ar­tige Ableitun­gen von Geset­zmäßigkeit­en sind erweit­er­bar auf andere Gerätepa­ra­me­ter und erlauben kün­ftig eine com­put­ergestützte Opti­mierung dieser Para­me­ter in Bezug auf die gewün­schte Schmelz­zo­nen­ge­ome­trie. Weit­er­hin soll es möglich sein neue tech­nis­che Ver­fahren wie das Pulsen des Inert­gasstromes durch Charak­ter­isierung der Schmelz­zo­nen­dy­namik und Lokalisierung unge­woll­ter Arte­fak­te (z.B. Spritzer) zu evaluieren.

Pub­lika­tion: Kow­erko, Dan­ny; Rit­ter, Marc; Man­they, Robert; John, Björn & Grimm, Michael: Quan­tifizierung der geometrischen Eigen­schaften von Schmelz­zo­nen bei Laserschweißprozessen

In Zusam­me­nar­beit mit Prof. Dr. Dr. Gisela Susanne Bahr vom Flori­da Insti­tute of Tech­nol­o­gy führte die Stiftung­spro­fes­sur Media Com­put­ing unter der Leitung von Jun.-Prof. Dr. Marc Rit­ter eine explo­rative Studie im Bere­ich der Bilderken­nung in Video­ma­te­r­i­al durch. Ins­beson­dere geht es um die Reduzierung von Video-Keyframes unter Erhal­tung aller rel­e­van­ten Objek­tin­stanzen, welche im Rah­men des TrecVid Instance Search Wet­tbe­werbs 2015 [Link] aus­gewählt wur­den und in vier Stun­den Video­ma­te­r­i­al der BBC Serie “East Enders” erkan­nt wer­den sollten.

Bei der Analyse von Video­ma­te­r­i­al erfol­gt zunächst eine Auswahl von einzel­nen Keyframes, die repräsen­ta­tiv für die jew­eilige Szene ste­hen. Um redun­dante Bilder­in­halte zu ver­mei­den ist die Anzahl der aus­gewählten Keyframes pro Szene so ger­ing wie möglich zu hal­ten, was durch eine fehlende Trainigsmöglichkeit des Algo­rith­mus’ erschw­ert wird. Im Gegen­satz zu anderen Forsch­ern, die eine starre Anzahl von Keyframes auswählen (z.B. ein Keyframe pro Sekunde), entsch­ieden sich die Forsch­er für eine Auswahl­meth­ode, die sich an der Länge der Szene ori­en­tiert, da sich Objek­t­po­si­tio­nen inner­halb län­ger­er Szenen verän­dern kön­nen. In ihrer Studie sortierten die Forsch­er dann manuell die übri­gen Dup­likate aus und ver­sucht­en die ange­wandten Auswahlkri­te­rien objek­tiv zu evaluieren und mit com­put­ergestützten Maßen maschinell nachzustellen. Dabei erre­icht­en sie eine Reduzierung der repräsen­ta­tiv­en Keyframes um 84% bei Erhalt von 82% aller Instanzen der auftre­tenden Objektklassen.

Die Vorstel­lung der Ergeb­nisse der Studie erfol­gt im Juli diesen Jahres auf der Con­fer­ence on Human-Com­put­er Inter­ac­tion Inter­na­tion­al (HCII) in Toron­to, Kanada.

Pub­lika­tion: Rit­ter, Marc; Kow­erko, Dan­ny; Hus­sein, Hus­sein; Heinzig, Manuel; Schloss­er, Tobias; Man­they, Robert & Bahr, Gisela Susanne: Sim­pli­fy­ing Acces­si­bil­i­ty With­out Dat­aloss: An Explorato­ry Study on Object Pre­serv­ing Keyframe Cul­li­ung. In: Uni­ver­sal Access in Human-Com­put­er Inter­ac­tion. Part of Human Com­put­er Inter­ac­tion Inter­na­tion­al (HCII) 2016, At Toron­to, Cana­da, Vol­ume: LNCS, 12 S. [Link]

Mitar­beit­er der Junior­pro­fes­sur Media Com­put­ing und der Inten­ta GmbH reicht­en eine Forschungsar­beit zum The­ma der Klas­si­fizierung von Audio­ereignis­sen, wie Sprache und für den Pflege­bere­ich typ­is­che Geräusche, auf der Kon­ferenz für Elek­tro­n­is­che Sprachsig­nalver­ar­beitung (ESSV) in Leipzig von 2. bis 4. März 2016 ein.

Im Rah­men der Forschung zeich­neten die Forsch­er typ­is­che Sprach- sowie nicht-Sprach­se­quen­zen, wie Schreie, brechende Scheiben, Möbelver­rück­en, etc. mit 58 Proban­den auf und annotierten diese manuell. Die Extrahierung der Sprach­merk­male, unterteilt in zeitab­hängige und fre­quen­z­ab­hängige Merk­male, ergab, dass Sprachereignisse auf­grund ihrer spek­tralen Struk­turen bess­er klas­si­fiziert wer­den kön­nen als nicht-Sprachereignisse. Anschließend nutzten die Forsch­er vielver­sprechende Klas­si­fika­toren zur Ein­teilung der akustis­chen Ereignisse in ver­schiedene Klassen. Die besten Ergeb­nisse erre­ichte dabei der Klas­si­fika­tor SMO (engl.: sequen­tial min­i­mal opti­miza­tion) mit 92,5%.

Pub­lika­tion: Hus­sein, Hus­sein; Rit­ter, Marc; Man­they, Robert & Heinzig, Manuel: Acoustic Event Clas­si­fi­ca­tion for Ambi­ent Assist­ed Liv­ing and Health­care Envi­ron­ments. In: Kon­feren­z­pa­per auf der 27. Kon­ferenz Elek­tro­n­is­che Sprachsig­nalver­ar­beitung 2016, Leipzig. [Link]