2024-03-19 | Anmelden
 
 

Expertise

Die Bild­ver­ar­beitung ist ein Schw­er­punkt der Stiftungsju­nior­pro­fes­sur Media Com­put­ing, die aus der Pro­fes­sur Medi­en­in­for­matik her­vorge­gan­gen ist. In vie­len Pro­jek­ten, wie dem Vorgänger­pro­gramm der Inno­Pro­fil-Ini­tia­tive sachs­Me­dia, kon­sti­tu­tion­ierten sich eine Rei­he wichtiger wis­senschaftlich­er Erken­nt­nisse und Soft­wa­reen­twick­lun­gen, welche in der Inno­Pro­fil-Trans­fer-Ini­tia­tive local­izeIT fort­ge­führt werden.

Die neu gegrün­dete Stiftungsju­nior­pro­fes­sur Media Com­put­ing ist inter­diszi­plinär aus­gelegt. Erfahrun­gen aus der Bild­ver­ar­beitung wer­den mit Wis­sen über virtuelle 3D-Wel­ten verknüpft, um drei­di­men­sion­ale Abbilder eines Objek­tes oder ein­er Videoszene erstellen zu kön­nen und durch die Möglichkeit­en dieser Darstel­lung ein besseres Lokalisierungsergeb­nis und eine ansprechende Visu­al­isierung von Resul­tat­en zu gewährleis­ten. Erken­nt­nisse aus dem Bere­ich der Audiover­ar­beitung ver­voll­ständi­gen und verbessern die Lokalisierung mith­il­fe der physikalis­chen Eigen­schaften audi­tiv­er Signale.

3D-Lokalisierung in Mehrkameravideoaufnahmen

Mehrkam­er­aauf­nah­men eines geschlosse­nen Raumes treten typ­is­cher­weise in Überwachungsszenar­ien auf, seien diese sicher­heit­stech­nisch, medi­zinisch oder wirtschaftlich motiviert. Im kom­merziellen Bere­ich existieren bere­its einige erfol­gre­iche Ansätze und Real­isierun­gen. Her­aus­forderun­gen beste­hen aber nach wie vor darin, Verdeck­un­gen zu ver­ar­beit­en. Sobald beobachtete Objek­te zeitweise außer Sicht ger­at­en, bricht die Nachver­fol­gung in der Regel ab. Ein weit­eres Prob­lem stellt die Über­gabe von Objek­ten zu ver­schiede­nen Kam­eras dar. Lässt sich beispiel­sweise ein Raum nur durch den Ein­satz mehrerer Kam­eras in sein­er Gesamtheit erfassen, muss das ver­fol­gte Objekt von ein­er Kam­era zur näch­sten übergeben werden.

Lokalisierung und semantische Verknüpfung von Bilddaten

Bilda­gen­turen haben einen täglichen Bild­durch­satz im oberen fünf bis sechsstel­li­gen Bere­ich. Eine solche Menge lässt sich nicht mehr sin­nvoll händisch mit Beschrei­bun­gen verse­hen. Hier sind automa­tis­che Ver­fahren notwendig, die eine konkrete Lokalisierung der Auf­nahme möglich machen. Typ­isch ist beispiel­sweise die Auf­nahme­si­t­u­a­tion eines roten Tep­pichs bei der Berli­nale. Hier wer­den in kürzester Zeit zahlre­iche Pho­togra­phien akquiri­ert. Mit mod­er­nen Kam­eras kom­men die Bilder automa­tisch mit GPS-Koor­di­nat­en und Auf­nah­mezeit­punkt in die Daten­bank, aber ohne weit­ere seman­tis­che Beschrei­bung. Wenn Ver­lage im Bil­darchiv recher­chieren, sind oft­mals wed­er die GPS-Koor­di­nat­en noch der genaue Auf­nah­mezeit­punkt des gewün­scht­en Bildes bekan­nt. Hier kön­nen zwei Meth­o­d­en helfen: Web­ser­vices stellen eine Verbindung zu Ereignis­daten­banken sowie Geoin­for­ma­tio­nen her, so dass zumin­d­est die Auf­nahme­si­t­u­a­tion “Berli­nale” ermit­tel­bar ist. Für die weit­ere seman­tis­che Analyse des Mate­ri­als müssen Ver­fahren der Bilderken­nung herange­zo­gen wer­den, um beispiel­sweise Pose oder Blick­rich­tung ein­er auf dem roten Tep­pich fotografierten Per­son zu erkennen.

Integration von Audioereignissen in die Echtzeitanalyse

In bes­timmten Sit­u­a­tio­nen ist eine videobasierte Lokalisierung unzure­ichend. Ist beispiel­sweise zu wenig respek­tive gar kein Licht vorhan­den oder treten uner­wartet Verdeck­un­gen durch Objek­te auf oder beschlägt auch nur die Linse, kön­nen keine brauch­baren Infor­ma­tio­nen mehr extrahiert wer­den. Hier unter­stützt die Audio­analyse die Lokalisierung im Raum und ermöglicht es, Sit­u­a­tio­nen genauer einzuschätzen. So kann beispiel­sweise bei der Raumüberwachung über­prüft wer­den, ob eine Per­son schre­it, spricht oder schweigt. Der­ar­tige Infor­ma­tio­nen kön­nen in der Betreu­ung von Demen­zkranken im eige­nen Heim wichtig sein.

Lokalisierung in Verarbeitungsprozessen

In der Fab­rikpro­duk­tion wer­den Werk­stücke zunehmend automa­tisch bear­beit­et. Beispiel dafür ist die Lasertech­nik, mit deren Hil­fe Werk­stücke geschweißt, gefräst und geschnit­ten wer­den kön­nen. Hier­für ist eine sehr genaue visuelle Analyse des Prozess­es notwendig, wobei die aktuelle Posi­tion des Werk­stück­es im Ver­gle­ich zum Laserg­erät sehr genau zu bes­tim­men ist, um auch auf kle­in­stem Raum präzise arbeit­en zu kön­nen. Gle­ichzeit­ig muss die Bil­d­analyse in den Ver­ar­beitung­sprozess inte­gri­ert wer­den, um ein externes Ein­greifen und Steuern zu ermöglichen sowie beson­dere Aspek­te der Inter­ak­tion zu berücksichtigen.

Deviceless 3D-Steuerung

Das Ziel dieses Arbeits­bere­ich­es beste­ht in der automa­tis­chen Kalib­rierung von Pow­er­walls, also Inter­ak­tions­flächen, die durch mehrere Pro­jek­toren ein großes stere­oskopis­ches Bild erzeu­gen. Prob­leme treten hier vor allem in den Rand­bere­ichen der einzel­nen Pro­jek­tor­bilder auf: Verz­er­run­gen und Farb­schwankun­gen sind hier nur mit aufwendi­gen manuellen Ver­fahren und auch nicht immer voll­ständig zu bere­ini­gen. Hierzu sollen mehrere Kam­eras das Zusam­men­spiel einzel­ner Pro­jek­toren erfassen und darüber hin­aus die Inter­ak­tion des Nutzers mit dem Sys­tem ges­tat­ten. Diese Kam­eras wiederum pro­duzieren eigene Verz­er­run­gen und Farbab­we­ichun­gen. Kom­plex­er wird die Prob­lematik vor allem in Räu­men, in denen nicht genü­gend Tiefe herrscht, als dass eine Kam­era das Gesamt­bild überwachen kön­nte. Hier müssen wieder mehrere Kam­eras mit unter­schiedlichen Per­skpek­tiv­en einge­set­zt werden.

 
 
Projektgeber

Gef M BMBF

Gef M BMBF

LocalizeIt wird durch das Bundesministerium für Bildung und Forschung BMBF und die BMBF Innovationsinitiative Unternehmen Region von August 2014 bis Juli 2019 gefördert und durch den Projektträger PtJ betreut.

Projektnehmer

Logo TU trans cropp

Logo MI

Logo MC TRANS

localizeIT ist ein Projekt der
Stiftungsjuniorprofessur Media Computing und der Professur Medieninformatik der Technischen Universität Chemnitz

Forschungspartner

Intenta Logo

3D MicroMag Logo

IBS Logo

Kontakt

Dr. rer. nat. Danny Kowerko
Tech­ni­sche Uni­ver­si­tät Chem­nitz
Fakul­tät für Infor­ma­tik
Juniorpro­fes­sur Medi­a Computing
Straße der Natio­nen 62
09111 Chemnitz