MIT教授が人間の聴覚を超える聴音ロボットを開発

麻省理工学院（MIT）教授パリス・スマラギディス（Paris Smaragdis）は、人間よりも優れた機械聴取技術の開発に取り組んでいる。彼は2025年に麻省理工学院の教職に就き、人間の聴覚理解を超えるコンピュータシステムの創造を目指している。このようなシステムは、叫び声や金属の衝突音を聴くことで交通事故を特定したり、地熱掘削の工業用ドリルが破損する前に警告を発することができる。

スマラギディスのチームは機械学習に焦点を当て、混合音から個別の音を分離することに取り組んでいる。また、人間の聴覚を強化する知能デバイスの開発や、音楽の創造と分析のためのより良いツールの構築にも力を入れている。スマラギディスはギリシャで育ち、ボストンのバークリー音楽院でベースを学び、麻省理工学院メディアラボで修士号と博士号を取得した。キャリアの初期には、一般的ではない道を選んだ。多くのメディアラボの学生は信号処理技術を用いて機械に音を処理させるが、彼は機械学習に転向し、このアプローチが従来の技術にはない利点を提供することを認識した。

機械学習と聴覚技術

彼は、人間は自身の聴覚の仕組みを完全には理解していないと指摘する。「私たちはコンピュータに聴き方を単に教えることはできない」と彼は述べ、したがってコンピュータはデータから学ぶ必要があると説明している。

三菱電機研究所で、スマラギディスは映像の音声トラックをスキャンして映像上で起こるイベントを判断する人工知能システムを構築した。例えば、轟音を上げる人々は、映像を分析することなくサッカーの試合の盛り上がりを示唆することができる。この研究は後に個人用録画機、交通監視システム、携帯電話に応用された。イリノイ大学アーバナ・シャンペーン校では、彼のチームが神経ネットワークを利用して音声の混合から個別の音を分離した。この技術は2021年のドキュメンタリー・ミニシリーズ『ビートルズ：ゲット・バック』（“The Beatles: Get Back”）制作チームの注目を集め、彼らはスマラギディスにアーカイブ録音の整理を手伝うよう依頼した。

これらの録音はそれぞれ異なる課題に直面していた。あるクリップでは、ジョン・レノン（John Lennon）が音楽を演奏し、ポール・マッカートニー（Paul McCartney）が新聞の見出しを読み上げ、ジョージ・ハリスン（George Harrison）について冗談を言っている。スマラギディスは、チームがすべての問題に対処するための技術的解決策を探していると述べ、各問題を個別に扱うのではなく、全体として解決することを目指している。彼の貢献は、チームが2022年エミー賞（Emmy Award）の非フィクションまたはリアリティ番組の音声編集賞を受賞するのに役立った。

音楽家と科学者のためのツール

イリノイ州で15年間働いた後、スマラギディスは麻省理工学院に移り、この分野で増加する学際的な問題の解決に取り組んでいる。彼のチームは現在、2つの主要な目標を追求している。第一は、音楽家にとってコンピュータがより有用になるようにすることであり、音楽を聴く方法を学ぶシステムを構築し、建設的なフィードバックを提供できるようにすることだ。「私たちはコンピュータが音楽家を置き換えることを望んでいない」と彼は強調している。第二は、科学者やアーティストが音声を処理、分析、操作できる基本的なツールを構築することである。彼のチームは、従来の参照フレームワーク、サンプリングレートやコンテキストウィンドウが固定されていない、または未定義である複雑な信号処理アルゴリズムを探求している。

彼は、これは未だ探求されていない計算構造を示唆しており、音声をより効率的に処理できる可能性があると述べている。彼らはまた、大規模言語モデルを音声認識や音声強化に導入する方法を探求している。スマラギディスは、音声や音楽に関する理想的な人工知能の使用方法はまだ発見されていないと指摘している。彼は実践的な授業を強調しており、彼の学生の中には音声計算に経験がある者が少ないため、彼らが方程式が具体的なものにどのように変わるかを直感的に見ることができるようにしている。

機械聴取技術の未来の可能性

スマラギディスの研究は、技術的に機械聴取の限界を押し広げるだけでなく、音楽と科学の交差点で新たな可能性を探求している。彼のチームは、音声を理解し分析できるシステムの構築に取り組んでおり、これは音楽創作や科学研究に深遠な影響を与える。人工知能の進歩に伴い、機械聴取技術の応用範囲は拡大し続け、将来的には創作者や科学者により強力なツールを提供し、彼らの作業効率と創造性を向上させることが期待される。