- 斯马拉吉迪斯致力于开发超越人类听觉的机器聆听技术。
- 他的团队专注于从混合声音中分离个别声音，增强人类听觉。
- 斯马拉吉迪斯的技术曾协助《甲壳虫乐队：重回》制作团队清理录音。
- 他希望计算机能为音乐家提供建设性反馈，而非取代他们。
麻省理工学院（MIT）教授帕里斯·斯马拉吉迪斯（Paris Smaragdis）正致力于开发比人类更优秀的机器聆听技术。他于2025年加入麻省理工学院教职，旨在创造出能够超越人类听觉理解的计算机系统。这样的系统可借由聆听尖叫的轮胎声和金属的碰撞声来定位交通事故，也可在地热钻井的工业钻头即将破裂时发出警告。
斯马拉吉迪斯的团队专注于机器学习，致力于从混合声音中分离出个别声音，开发增强人类听觉的智能设备，以及创建和分析音乐的更佳工具。斯马拉吉迪斯在希腊长大，曾在波士顿的伯克利音乐学院学习低音，并在麻省理工学院媒体实验室获得硕士及博士学位。在职业生涯初期，他选择了一条不常见的道路。许多媒体实验室的学生使用信号处理技术来帮助机器处理声音，但他转向了机器学习，因为这种方法提供了传统技术无法比拟的优势。
机器学习与听觉技术
他指出，人类并未完全理解自身的听觉方式。“我们不能仅仅告诉计算机如何聆听，”他表示，因此它们必须从数据中学习。
在三菱电机研究实验室，斯马拉吉迪斯建立了人工智能系统，能够扫描影片音轨以判断画面上发生的事件。例如，轰鸣的人群可以在不分析影片的情况下暗示足球比赛的精彩瞬间。这项研究后来应用于个人录像机、交通监控系统和手机。在伊利诺伊大学厄本那-香槟校区，他的团队利用神经网络从音频混合中分离出个别声音。这项技术引起了2021年纪录片迷你系列《甲壳虫乐队：重回》（“The Beatles: Get Back”）制作团队的注意，他们邀请斯马拉吉迪斯协助清理档案录音。
这些录音每次都面临不同的挑战。在一段片段中，约翰·列侬（John Lennon）弹奏音乐，而保罗·麦卡尼（Paul McCartney）则在阅读报纸头条并开玩笑提及乔治·哈里森（George Harrison）。斯马拉吉迪斯表示，团队寻找一种技术解决方案以应对所有问题，而不是单独处理每个问题。他的贡献帮助团队获得了2022年艾美奖（Emmy Award）的非虚构或现实节目声音编辑奖。
音乐家与科学家的工具
在伊利诺伊州工作了15年后，斯马拉吉迪斯转到麻省理工学院，致力于解决该领域日益出现的跨学科问题。他的团队目前追求两个主要目标。第一个是使计算机对音乐家更有用，包括学习如何聆听音乐的系统，以便能够提供建设性反馈。“我们不希望用计算机取代音乐家，”他强调。第二个是建立基本工具，以便科学家和艺术家能够处理、分析和操控音频。他的团队正在探索复杂信号处理的算法，其中传统的参考框架，包括采样率和上下文窗口，并不固定或甚至未定义。
他表示，这指向尚未被探索的计算结构，可能会更有效地处理音频。他们还在探索如何将大型语言模型引入语音识别和音频增强中。斯马拉吉迪斯指出，使用人工智能进行声音和音乐的理想方式尚未被发现。他强调实践课程，因为他的学生中很少有人在声音计算方面有经验，这样他们可以直观地看到和听到方程式如何变成具体的事物。
机器聆听技术的未来潜力
斯马拉吉迪斯的研究不仅在技术上推进了机器聆听的界限，更在音乐和科学的交汇处探索新的可能性。他的团队致力于创建能够理解和分析音频的系统，这对于音乐创作和科学研究都有深远影响。随着人工智能的进步，机器聆听技术的应用范围将不断扩大，未来或许能为创作者和科学家提供更强大的工具，提升他们的工作效率和创造力。