Auf Basis der Vorar­beit­en zur Klas­si­fika­tion von Vogelgesän­gen basierend auf neu­ronalen Fal­tungsnet­zen (CNNs — Con­vo­lu­tion­al Neur­al Net­works) gelang es uns in einem eigens dafür aufge­baut­en Audio-Daten­satz einen Algo­rith­mus zu entwick­eln, der es erlaubt über 94 Klassen aus dem Bere­ich assistiertes Leben (AAL) automa­tisiert zu erken­nen. Dazu gehören die Kat­e­gorien Musik, Tiere, men­schliche Geräusche und heimische/Innenraumgeräusche. Die Güte der Klas­si­fika­tion ist mit über 82% Accu­ra­cy ver­gle­ich­bar mit den Spitzen­werten ander­er Bench­marks aus dem Bere­ich Geräusch/Audioklassifikation. Die Ergeb­nisse wur­den erfol­gre­ich bei Top-Lev­el A‑Konferenz ACM Mul­ti­me­dia ein­gere­icht und wer­den dort in diesem Herb­st in Niz­za im Rah­men eines Demon­stra­tors vorgestellt [1]. Das Demo-Video kann unter https://youtu.be/PpiL89t9_kY einge­se­hen werden.

Am 05. Sep­tem­ber trifft sich die Inno­Profle­Trans­fer-Inti­ta­tive zum let­zten Mal mit Stiftern, beteiligten Wis­senschaftlern und Gästen in Chem­nitz. Ver­anstal­tungs­de­tails find­en Sie hier: https://www.tu-chemnitz.de/informatik/mc/events_current.php

Es wird Über­sichtsvorträge mit High­lights aus fünf Jahren Forschung zu den fünf Schw­er­punkt-The­menge­bi­eten von Local­izeIT geben. Wir zeigen wie Fragestel­lun­gen der Klas­si­fika­tion und Lokali­sa­tion von indus­triellen Prozessen, Objek­ten und Per­so­n­en im Raum gelöst wer­den mit klas­sis­ch­er Bild- und Audiover­ar­beitung aber auch mit mod­er­nen Meth­o­d­en aus dem Bere­ich kün­stlich­er Intel­li­genz. Hier wur­den vor allem mit sog. (tiefen) neu­ronalen Fal­tungsnet­zen (CNNs — Con­vo­lu­tion­al Neur­al Net­works) Erfolge erzielt, z.B. bei der Erken­nung von Vogel­stim­men [1] und Ambi­ent-assist­ed-liv­ing rel­e­van­ten Geräuschen [2], aber auch im Bere­ich der automa­tis­chen CNN-basierten Klas­si­fika­tion von laser­basierten Schnittprozessen von Hal­bleit­er-Wafern [3].

Die Vorträge wer­den weit­er­hin Ein­blicke geben in den Auf­bau mod­ern­er Clus­ter- und GPU-Rechen­tech­nik mit tech­nis­chen Lösun­gen zum verteil­ten Rech­nen, zum Massendaten­han­dling, sowie den Auf­bau und Ein­satz eines mod­er­nen Audio-Video-Labors.

Vogelge­sangserken­nung basierend auf neu­ronalen Net­zen — das gibt es jet­zt auch als Anwen­dung für Android-Geräte im Android App Store. Erkan­nt wer­den die 500 häu­fig­sten Voge­larten aus Nord Ameri­ka und Deutsch­land. Die App wurde inzwis­chen mehr als 100.000mal herun­terge­laden und hat dabei eine über 4 Sterne Bew­er­tung erzielt. Den wis­senschaftlichen Hin­ter­grund find­en Sie in den Pub­lika­tion von Ste­fan Kahl in der Rubrik Pub­lika­tio­nen oder in der Local­ize-IT Pro­jekt-Lit­er­aturver­wal­tung Zotero. Die Ver­ar­beitung erfol­gt teil­weise auf unser­er im Pro­jekt beschafften GPU-Work­sta­tion. Diese App ist eine Zusam­me­nar­beit des Cor­nell Lab of Ornithol­o­gy und der Tech­nis­chen Uni­ver­sität Chem­nitz. Ein weit­er­führen­der Artikel find­et sich hier.

Die Mitar­beit­er der Ini­tia­tive organ­sieren zwei Work­shops Anfang 2019, um Ihre Forschung zu präsen­tieren, aber auch um Gäste aus ähn­lichen Forschungs­ge­bi­eten zum Diskurs einzu­laden. Als Schw­er­punk­te bei­der Ver­anstal­tun­gen wer­den maschinelle Lern­ver­fahren ins­beson­dere Deep Learn­ing Meth­o­d­en im Vorder­grund ste­hen und das natür­lich im Anwen­dungs­feld der Lokalisierung von und in audio­vi­suellen Medi­en. Das umfasst The­menge­bi­et wie Objekt- und Per­son­en­erken­nung und Ver­hal­tens­analyse im Raum, basierend auf Audio- und (Mul­ti­sen­sor-) Videoaufnahmen.

Zunächst begin­nen wir mit einem Dok­toran­den-Work­shop vom 05.–07.02.2019 der Medi­en­in­for­matik­er der TU Chem­nitz und Hochschule Mit­twei­da, das im Tagungszen­trum der IBS gGmbH in Laubusch stat­tfind­en wird. Weit­ere Details find­en sich hier.

Im März 2019 find­et dann am Woch­enende vom 16./17.03. unser nationaler wis­senschaftlich­er Local­izeIT-Work­shop im Rah­men der Chem­nitzer Lin­ux-Tage statt. Beson­ders gefragt sind Beiträge, die natür­liche und sog. kün­stliche Intel­li­genz gegenüber­stellen oder kom­binieren. Weit­er­führende Infor­ma­tio­nen find­en sich auf unseren Stiftungsju­nior­pro­fes­sur­web­seite.

Aktuell sind im Pro­jekt Stellen als wis­senschaftliche Mitar­beit­er zu besetzen:

https://www.tu-chemnitz.de/verwaltung/personal/stellen/257080_14_Si.php

https://www.tu-chemnitz.de/verwaltung/personal/stellen/257080_13_Si.php

Weit­er­hin sind in ver­gle­ich­baren The­men Stellen als wis­senschaftliche Hil­fkraft verfügbar.

Oben: North­ern Car­di­nal (Foto von Andy Morf­few) Unten: Spek­tro­gramm des Gesangs

Beim inter­na­tion­al renom­mierten wis­senschaftlichen Wet­tbe­werb Image­CLEF bestand die Her­aus­forderung in der Sek­tion Life­Clef in Jahr 2017 unter anderem in der Klas­si­fika­tion von 1500 Voge­larten anhand ihres Gesangs in über 12.000 Audio-Auf­nah­men (Bird­CLEF 2017). Unter den ca. 100 Anmel­dun­gen wur­den schlussendlich von fünf inter­na­tionalen Forschungs­grup­pen Ergeb­nisse ein­gere­icht. ESF-Pro­mo­tion­sstu­dent Ste­fan Kahl von der Stiftungsju­nior­pro­fes­sur Media Com­put­ing an der Fakultät für Infor­matik der TU Chem­nitz erar­beit­ete in Koop­er­a­tion mit Prof. Dr. Hol­ger Klinck von der Cor­nell Uni­ver­si­ty (Cor­nell Lab of Ornithol­o­gy, CLO) und Prof. Rit­ter von der Hochschule Mit­twei­da (FB Medi­en­in­for­matik) ein Konzept, das die Audiosig­nale von mehr als 36.000 Train­ings-Sam­ples in Bilder kon­vertiert um damit ein kün­stlich­es neu­ronales Netz zu trainieren, welch­es möglichst gut auf Vogelge­sang adap­tiert. Mit diesem Ansatz kon­nte eine Genauigkeit von fast 70% erre­icht wer­den, was den 2. Platz hauchdünn hin­ter der Spitzen­po­si­tio­nen im Wet­tbe­werb bedeutet. Die Ergeb­nisse wur­den auf der Image­CLEF Kon­ferenz in Dublin mit einem entsprechen­den wis­senschaftlichen Beitrag präsentiert.

In den fol­gen­den Monat­en soll gemein­sam mit dem CLO ein mobiles Mon­i­tor­ing-Sys­tem entste­hen, das die Erken­nung von 650 Voge­larten der USA in Echtzeit ermöglicht. Ziel ist die flächen­deck­ende Überwachung von Migra­tion und Bestand zur Erhal­tung der Bio­di­ver­sität gefährde­ter Regio­nen. Ein erster Pro­to­typ ist bere­its jet­zt auf einem Rasp­ber­ry Pi lauf­fähig und soll im Mai 2018 mit Beginn der Brutzeit im Nord-Osten der USA zum Ein­satz kom­men. Der aktuelle Stand ist unter der Live Demo und Android App ist auf der Web­seite des Cor­nell Lab of Ornithol­o­gy zu sehen: https://birdnet.cornell.edu/

Radiobeitrag im Deutsch­landra­dio: http://ondemand-mp3.dradio.de/file/dradio/2018/04/11/birdnet_mit_kuenstlicher_intelligenz_vogelarten_dlf_20180411_1645_0f30779c.mp3

Screen­shot der grafis­chen Nutze­r­ober­fläche der Curve­fit-Weban­wen­dung im Kon­text eines physikalis­chen Praktikumsversuchs

Bei der 6. Auflage der ISCET, welche dieses Jahr im Infor­matik-Begeg­nungszen­trum Laubusch stat­tfand, wurde von den mehr als 30 Sum­mer School-Teil­nehmern der Beitrag “A web-based appli­ca­tion  for data visu­al­i­sa­tion and non-lin­ear regres­sion analy­sis includ­ing error cal­cu­la­tion for lab­o­ra­to­ry class­es in nat­ur­al and life sci­ences” auf den 1. Platz gewählt. Dabei wurde sowohl Qual­ität des Vor­trags als auch der schriftlichen Pub­lika­tion im Tagungs­band bew­ertet. Bei der ISCET Sum­mer School tre­f­fen sich junge Forsch­er der TU Chem­nitz und inter­na­tionaler Uni­ver­sitäten aus Mon­golei, Litauen, Rus­s­land, Chi­na und Pak­istan zum wis­senschaftlichen, aber auch kul­turellen Aus­tausch. Teil des Konzepts ist es Studierende bere­its frühzeit­ig her­anzuführen ihre Forschung in ein­er schriftlichen Arbeit für den ISCET-Tagungs­band zu schreiben und diese dann zur Sum­mer School zu präsen­tieren und Anknüp­fungspunk­te für Koop­er­a­tionspro­jek­te suchen. 

Ein Schw­er­punkt beste­ht in sog. Bil­dung­stech­nolo­gien. Die von Titus Keller im Rah­men seines Forschung­sprak­tikums ent­standene Web­browser­an­wen­dung, die unter curvefit.tu-chemnitz.de erre­ich­bar ist, wurde dabei in den Kon­text der Durch­führung physikalis­ch­er Prak­tikumsver­suche gestellt. Dort kön­nten exper­i­mentell ermit­telte Dat­en in Zukun­ft direkt dig­i­tal erfasst, gespe­ichert, vorver­ar­beit­et, graphisch visu­alis­ert und mit­tels Regres­sion­s­analyse aus­gew­ertet und per URL-Export als Gesamt­pro­jekt geteilt wer­den. Das erlaubt dem Betreuer in bei der Bew­er­tung des zu erstel­len­den Pro­tokolls bessere Nachvol­lziehbarkeit, da jed­er Berech­nungss­chritt trans­par­ent doku­men­tiert ist. Auch Größt­fehler­a­b­schätzung inkl. Fehler­fortpflanzung sind inner­halb der graphis­chen Ober­fläche abbild­bar. Per­spek­tivisch lassen sich über den ein­fachen Weblink-basierten Export ver­suchsspez­i­fis­che Muster-Pro­jek­te in ein­er Daten­bank hin­ter­legen.  Damit wird die Weban­wen­dung für eine bre­ite Com­mu­ni­ty an Forsch­ern inter­es­sant, da sich ein­er­seits fach­spez­i­fis­che Formeln und Fol­ge­berech­nun­gen durch­führen und und per Link teilen ließen, wie es Nutzer von Cloud­spe­ich­ern gewohnt sind. Wert wurde darauf gelegt möglichst mit Open-Source-basierten Lösun­gen zu arbeit­en, die in Forschung und Lehre frei einge­set­zt wer­den kön­nen. Rechen­zen­tren kön­nten das Webtool dann kün­ftig zen­tral hosten und für Studierende und Mitar­beit­er instal­la­tions- und kosten­frei nutzbar machen.

Lei­der wird uns auch der Kol­lege Dr. Hus­sein Hus­sein ver­lassen Rich­tung FU Berlin. Inter­essierte find­en Deti­ails zur Stel­lenauss­chrei­bung hier:

https://www.tu-chemnitz.de/verwaltung/personal/stellen/257090_1_Si.php

Orig­i­nal Einzel­bild und fehler­hafte Struk­turen nach der Ver­ar­beitung (aus: Man­they et al: A Frame­work For Gen­er­a­tion Of Test­sets
For Recent Mul­ti­me­dia Work
ows, S. 7]

Robert Man­they, Steve Con­rad und Jun.-Prof. Dr. Marc Rit­ter von der Stiftung­spro­fes­sur Media Com­put­ing der Tech­nis­chen Uni­ver­sität Chem­nitz entwickl­ten ein Frame­work für die Gener­ierung von Test­sets in mul­ti­me­di­alen Work­flows, das sie im Juli diesen Jahres auf der Con­fer­ence on Human-Com­put­er Inter­ac­tion Inter­na­tion­al (HCII) in Toron­to, Kana­da, präsentieren.

Das Frame­work bietet Möglichkeit­en für die Anwen­dung ver­schieden­er Funk­tio­nen, um Test­se­quen­zen zu gener­ieren, deren Einzel­bilder spezielle Muster bein­hal­ten. Diese Muster dienen dazu, nur schw­er erkennbare oder nur sel­ten auftre­tende Fehler im Video­ma­te­r­i­al zu provozieren und die erzeugten Sequen­zen mit dem Aus­gangs­ma­te­r­i­al zu ver­gle­ichen. Auf diese Weise kann fest­gestellt wer­den, ob sich der jew­eilige Fehler im Video­ma­te­r­i­al befind­et ohne eine kom­plette Sich­tung des Orig­i­nals vornehmen zu müssen. Bish­er wur­den meist fer­tige Videoauf­nah­men oder Bilder ver­wen­det, die jedoch nicht in ihrer Auflö­sung etc. an neue Anforderun­gen angepasst wer­den kon­nten ohne dabei Arte­fak­te zu erzeu­gen und somit Fehler bere­its im Tes­taus­gangs­ma­te­r­i­al zu gener­ieren. Mit dem Frame­work ist es nun möglich, die Test­sets beliebig zu gener­ieren und für die gegebe­nen Anforderun­gen zu optimieren.

Pub­lika­tion: Man­they, Robert; Con­rad, Steve & Rit­ter, Marc: A Frame­work For Gen­er­a­tion of Test­sets for Recent Mul­ti­me­dia Work­flows. In: Uni­ver­sal Access in Human-Com­put­er Inter­ac­tion. Part of Human Com­put­er Inter­ac­tion Inter­na­tion­al (HCII) 2016, Toron­to, Cana­da, Vol­ume: LNCS, 9 S. [Link]

In diesem Sinne wün­schen wir allen inter­essierten Lesern und Part­nern der Ini­tia­tive ein gesun­des und erfol­gre­iches Jahr 2016!

Ihr local­izeIT-Team