复旦大学团队研发“眸思”大模型及“听见世界”App

复旦大学团队研发“眸思”大模型及“听见世界”App

IT之家 3 月 2 日消息，据复旦大学官方公众号，在复旦大学自然语言处理实验室 (FudanNLP) 师生的努力下，基于多模态大模型“复旦?眸思”(MouSi) 为视障者量身打造的“听见世界”App 上线。

这套系统仅需一枚摄像头、一对耳机，就能将画面转化为语言，且支持描绘场景、提示风险等功能。“听见世界”App 可为视障者日常生活需求设计三种模式。

• 街道行走：该模式下，“眸思”能够细致扫描道路情况，提示潜在风险。

• 自由问答：可帮助视障者走进博物馆、艺术馆、公园，捕捉四周景象每个细节，可用声音构建丰富的生活场景，官方演示图显示，该 App 还可实现转述电视画面内容等功能。

• 寻物：该模式为视障者提供日常物件的寻觅功能，官方称其为“可靠管家”。

▲ 图源复旦大学，下同

据悉，预计今年 3 月，“听见世界”App 将完成第一轮测试，并在中国一、二线城市和地区同步开启试点，根据算力部署情况进行推广。

IT之家注：复旦大学自然语言处理实验室（FudanNLP）此前开发了 MOSS 大模型，2023 年 4 月宣布正式开源，成为国内首个插件增强的开源对话语言模型。半年时间后，多模态模型“眸思”问世。