2024-03-19 | Anmelden
 
 

TrecVid Instance Search 2016

Webin­ter­face für Anno­ta­tion [Quelle: S. Kahl: Präsen­ta­tion TUC at TrecVid 2016

Auch in diesem Jahr beteiligte sich die Junior­pro­fes­sur Media Com­put­ing am alljährlichen TrecVid Instance Search Wet­tbe­werb. Die inter­na­tionale wis­senschaftliche Eval­u­a­tion­skam­pagne TRECVID ist eine etabilierte Serie von Work­shops, die sich auf die inhalts­basierte Infor­ma­tion­s­gewin­nung und Auswer­tung dig­i­taler Videos konzen­tri­ert. Jedes Jahr stellen sich Teil­nehmer ein­er neuen real­ität­sna­hen Auf­gabe, die Forsch­er divers­er inter­na­tionaler Insti­tute in einem Wet­tbe­werb ver­suchen best­möglich zu lösen. Die TRECVID-erfahre­nen Forsch­er der Junior­pro­fes­sur Media Com­put­ing und der Pro­fes­sur Medi­en­in­for­matik der Tech­nis­chen Uni­ver­sität Chem­nitz nah­men nun­mehr zum drit­ten Mal teil, dieses Jahr in den Kat­e­gorien “Instance Search Auto­mat­ic Run” (AR) und “Instance Search Inter­ac­tive Run” (IR).

Ziel war die Verbesserung der Vor­jahres-Ergeb­nisse unter Nutzung von Open Source Tools auf Con­sumer Hard­ware. Dabei soll­ten vor allem speziell entwick­elte Anno­ta­tion­swerkzeuge zur kol­lab­o­ra­tiv­en Nutzung über ein Webin­ter­face zum Ein­satz kom­men mit denen mehr Ground-Truth Dat­en pro Zeit­ein­heit erzeugt wer­den kön­nen. Außer­dem wur­den Zeit­en erfasst um u.a. die effizien­testen Nutzer für den inter­ak­tiv­en Run zu bes­tim­men. Dat­en-Grund­lage des Wet­tbe­werbs war auch dieses Mal wieder die britis­che TV-Serie “Eas­t­en­ders”. Im Wet­tbe­werb galt es bes­timmte Rollen der Serie an einem definierten Ort automa­tisiert zu ermit­teln.  Dazu erfol­gte im ersten Schritt nach der Extrak­tion der sog. Keyframes deren Anno­ta­tion durch Markieren von Per­so­n­en mit Bound­ing Box­en (mit­tels Rechteck­en, siehe Abbil­dung) und Meta­da­te­nan­re­icherung mit Ortsin­for­ma­tio­nen. Zur Per­so­n­en- und Ort­sklas­si­fika­tion wur­den dann im zweit­en Schritt neu­ronale Net­ze (CNNs — Con­vo­lu­tion­al Neur­al Net­works) trainiert. Da aufeinan­der­fol­gende Bilder am sel­ben Ort mit großer Wahrschein­lichkeit zu ein­er Szene (Shot) gehören, wur­den Ähn­lichkeitsmetriken angwandt, um Bilder einem Shot und damit ein­er Grup­pen­num­mer zuzuord­nen. Schritt drei bein­hal­tete ein Re-Rank­ing der Ergeb­nisse der CNNs durch Mit­telung der CNN-Kon­fi­den­zw­erte aller Bilder ein­er Gruppe. Schließlich fol­gte im inter­ak­tiv­en Run die manuelle Eval­u­a­tion der Ergeb­nisse mit Hil­fe des Webin­ter­faces durch den zeit­ef­fizien­testen Annotator.

Die Forsch­er erziel­ten mit ihrer Meth­ode eine durch­schnit­tliche Tre­f­fer­quote von 31,8% im Inter­ac­tive Run und 14,4% im Auto­mat­ic Run, wobei die Top 10 Präzi­sion 90,5% (IR) und 49,7% (AR) betrug. Damit erre­ichte die TU Chem­nitz den 2. Platz im Inter­ac­tive Run und den 5. Platz im Auto­mat­ic Run.

 

 

Kommentare

Keine Kommentare ... bis jetzt.
 
Projektgeber

Gef M BMBF

Gef M BMBF

LocalizeIt wird durch das Bundesministerium für Bildung und Forschung BMBF und die BMBF Innovationsinitiative Unternehmen Region von August 2014 bis Juli 2019 gefördert und durch den Projektträger PtJ betreut.

Projektnehmer

Logo TU trans cropp

Logo MI

Logo MC TRANS

localizeIT ist ein Projekt der
Stiftungsjuniorprofessur Media Computing und der Professur Medieninformatik der Technischen Universität Chemnitz

Forschungspartner

Intenta Logo

3D MicroMag Logo

IBS Logo

Kontakt

Dr. rer. nat. Danny Kowerko
Tech­ni­sche Uni­ver­si­tät Chem­nitz
Fakul­tät für Infor­ma­tik
Juniorpro­fes­sur Medi­a Computing
Straße der Natio­nen 62
09111 Chemnitz