据新智元报道，清华大学电子工程系与字节跳动火山语音团队合作，于上周推出一款认知导向的开源听觉大语言模型SALMONN（Speech Audio Language Music Open Neural Network），该模型不仅能够感知和理解各种类型的音频输入，还涌现出多语言和跨模态推理等高级能力。目前SALMONN能够胜任英语语音识别、英语到中文的语音翻译、情感识别、音频字幕生成、音乐描述等语音和音频任务，同时涌现出多种在模型训练中没有专门学习过的多语言和跨模态能力，涵盖非英语语音识别、英语到（中文以外）其他语言的语音翻译、对语音内容的摘要和关键词提取、基于音频的故事生成、音频问答、语音和音频联合推理等任务。
Github仓库：
https://github.com/bytedance/SALMONN/
Demo链接：
https://bytedance.gith
© 版权声明
文章版权归作者所有，未经允许请勿转载。
关注公众号，免费获取chatgpt账号
相关文章
暂无评论...
AI中国(aicn.me)致力于收集与AI相关的热门工具，包括但不限于ChatGPT、AI视频、AI办公、AI语音等领域，并为广大AI爱好者提供学习平台，降低获取学习资源的成本。同时，同步分享最新的行业前沿AI工具和网站，旨在帮助AI爱好者不断探索AI技术的发展。
