简介阅读
宾夕法尼亚州立大学的研究人员开发了一款新型导航工具，有望重塑视觉障碍人士的数字辅助体验。 这款名为NaviSense的智能手机系统利用人工智能实时识别物体，并通过音频和触觉提示引导用户接近目标。团队在丹佛举行的ACM SIGACCESS ASSETS ’25会议上展示了这项技术，并荣获最佳观众选择海报奖。 NaviSense旨在修复辅助导航软件长期存在的问题：当前许多工具依赖人工支持团队，部分则需要预先加载物体库。 宾夕法尼亚州立大学Evan Pugh讲席教授、电气工程系A. Robert Noll Chair教授Vijaykrishnan Narayanan指出，这限制了灵活性：“以前，物体
宾夕法尼亚州立大学的研究人员开发了一款新型导航工具，有望重塑视觉障碍人士的数字辅助体验。
这款名为NaviSense的智能手机系统利用人工智能实时识别物体，并通过音频和触觉提示引导用户接近目标。团队在丹佛举行的ACM SIGACCESS ASSETS ’25会议上展示了这项技术，并荣获最佳观众选择海报奖。
NaviSense旨在修复辅助导航软件长期存在的问题：当前许多工具依赖人工支持团队，部分则需要预先加载物体库。
宾夕法尼亚州立大学Evan Pugh讲席教授、电气工程系A. Robert Noll Chair教授Vijaykrishnan Narayanan指出，这限制了灵活性：“以前，物体模型需要预先加载到服务内存中才能被识别，这效率极低，且使用时用户灵活性大打折扣。”团队因此转向AI突破这一瓶颈。
该应用连接到运行大型语言模型（LLMs）和视觉语言模型（VLMs）的外部服务器，无需依赖静态物体数据库即可解读语音指令、扫描环境并识别目标。Narayanan强调：“借助VLMs和LLMs，NaviSense能基于语音命令实时识别环境中的物体，无需预加载模型——这是该技术的重要里程碑。”
团队在与视觉障碍参与者进行广泛访谈后设计了这款应用。计算机工程博士生、首席学生研究员Ajay Narayanan Sridhar表示：“这些访谈让我们充分了解了视觉障碍人士面临的实际挑战。”
NaviSense会监听用户的语音请求，搜索空间并过滤无关物体；当需要澄清时，会主动提出后续问题——这种对话式反馈提供了许多现有工具难以实现的灵活性。
该应用的突出功能之一是手部引导：系统通过监测手机移动跟踪用户的手，然后给出方向提示帮助他们触及目标。Sridhar称：“目前确实没有现成的解决方案能主动引导用户的手到物体位置，但这项功能在我们的调查中被反复提及。”
团队在受控环境中对12名参与者进行了测试，用户将NaviSense与两款商业产品对比。结果显示：NaviSense缩短了搜索时间，检测精度更高，参与者反馈整体体验更好。
一位用户评价：“我喜欢它能提示物体的位置——左或右、上或下，然后精准定位，一下子就能找到。”
团队目前正在优化功耗和模型效率，Narayanan表示该工具已接近商业就绪状态：“这项技术离商业发布相当近，我们正在努力使其更易于使用。”
