MIT-Professor entwickelt Maschinen, die das menschliche Gehör übertreffen können

Der Professor am Massachusetts Institute of Technology (MIT), Paris Smaragdis, arbeitet an der Entwicklung von Maschinenhörtechnologien, die besser sind als das menschliche Gehör. Er trat 2025 der Fakultät des MIT bei, mit dem Ziel, Computersysteme zu schaffen, die das Verständnis des menschlichen Gehörs übertreffen können. Solche Systeme könnten Verkehrsunfälle durch das Hören von quietschenden Reifen und metallischen Kollisionen lokalisieren und Warnungen ausgeben, wenn industrielle Bohrer bei geothermischen Bohrungen kurz vor dem Versagen stehen.

Smaragdis' Team konzentriert sich auf maschinelles Lernen, um einzelne Klänge aus gemischten Geräuschen zu isolieren, intelligente Geräte zu entwickeln, die das menschliche Gehör verbessern, sowie bessere Werkzeuge zur Erstellung und Analyse von Musik zu schaffen. Smaragdis wuchs in Griechenland auf, studierte Bass am Berklee College of Music in Boston und erwarb seinen Master- und Doktortitel am Media Lab des MIT. Zu Beginn seiner Karriere wählte er einen unkonventionellen Weg. Viele Studenten im Media Lab nutzen Signalverarbeitungstechniken, um Maschinen beim Verarbeiten von Geräuschen zu helfen, aber er wandte sich dem maschinellen Lernen zu, da diese Methode Vorteile bietet, die traditionelle Techniken nicht erreichen können.

Maschinelles Lernen und Hörtechnologie

Er weist darauf hin, dass das menschliche Gehör noch nicht vollständig verstanden ist. "Wir können den Computern nicht einfach sagen, wie sie hören sollen", erklärt er, weshalb sie aus Daten lernen müssen.

Im Mitsubishi Electric Research Laboratory entwickelte Smaragdis ein KI-System, das in der Lage ist, den Audio-Track von Videos zu scannen, um die Ereignisse auf dem Bildschirm zu bestimmen. Zum Beispiel kann ein jubelndes Publikum ohne Analyse des Videos auf spannende Momente eines Fußballspiels hinweisen. Diese Forschung fand später Anwendung in persönlichen Aufnahmegeräten, Verkehrskontrollsystemen und Mobiltelefonen. An der University of Illinois Urbana-Champaign nutzte sein Team neuronale Netzwerke, um einzelne Klänge aus Audio-Mischungen zu isolieren. Diese Technologie erregte die Aufmerksamkeit des Produktionsteams der Dokumentarserie "The Beatles: Get Back" im Jahr 2021, das Smaragdis einlud, bei der Bereinigung von Archivaufnahmen zu helfen.

Diese Aufnahmen standen jedes Mal vor unterschiedlichen Herausforderungen. In einem Abschnitt spielt John Lennon Musik, während Paul McCartney Schlagzeilen aus einer Zeitung liest und scherzhaft George Harrison erwähnt. Smaragdis erklärt, dass das Team nach einer technischen Lösung suchte, die alle Probleme gleichzeitig angehen kann, anstatt jedes Problem einzeln zu behandeln. Sein Beitrag half dem Team, den Emmy Award 2022 für die beste Tonbearbeitung in einem nicht-fiktionalen oder Reality-Programm zu gewinnen.

Werkzeuge für Musiker und Wissenschaftler

Nach 15 Jahren in Illinois wechselte Smaragdis zum MIT, um sich mit den zunehmend interdisziplinären Herausforderungen in diesem Bereich zu befassen. Sein Team verfolgt derzeit zwei Hauptziele. Das erste ist, Computer für Musiker nützlicher zu machen, einschließlich der Entwicklung von Systemen, die lernen, wie man Musik hört, um konstruktives Feedback geben zu können. "Wir wollen die Musiker nicht durch Computer ersetzen", betont er. Das zweite Ziel ist die Schaffung grundlegender Werkzeuge, damit Wissenschaftler und Künstler Audio verarbeiten, analysieren und manipulieren können. Sein Team untersucht Algorithmen für komplexe Signalverarbeitung, bei denen traditionelle Referenzrahmen, einschließlich Abtastrate und Kontextfenster, nicht festgelegt oder sogar undefiniert sind.

Er erklärt, dass dies auf noch unerforschte Rechenstrukturen hinweist, die möglicherweise effektiver mit Audio umgehen können. Sie untersuchen auch, wie große Sprachmodelle in die Spracherkennung und Audioverbesserung integriert werden können. Smaragdis weist darauf hin, dass der ideale Weg, KI für Klang und Musik zu nutzen, noch nicht entdeckt wurde. Er betont die Bedeutung praktischer Übungen, da nur wenige seiner Studenten Erfahrung im Bereich der Klangverarbeitung haben, damit sie intuitiv sehen und hören können, wie Gleichungen in konkrete Dinge umgesetzt werden.

Zukünftiges Potenzial der Maschinenhörtechnologie

Smaragdis' Forschung hat nicht nur die Grenzen des Maschinenhörens technisch vorangetrieben, sondern erkundet auch neue Möglichkeiten an der Schnittstelle von Musik und Wissenschaft. Sein Team arbeitet daran, Systeme zu schaffen, die in der Lage sind, Audio zu verstehen und zu analysieren, was weitreichende Auswirkungen auf die Musikproduktion und wissenschaftliche Forschung hat. Mit dem Fortschritt der KI wird der Anwendungsbereich der Maschinenhörtechnologie weiter wachsen, und in Zukunft könnten sie Kreativen und Wissenschaftlern leistungsfähigere Werkzeuge bieten, um ihre Effizienz und Kreativität zu steigern.