Apple与哥伦比亚大学联合开发AI导航系统SceneScout，助力视障人士出行
系统概述
- 开发团队：Apple Inc.与哥伦比亚大学研究团队
- 系统名称：SceneScout
- 目标用户：盲人及低视力群体(BLV)
- 核心技术：
- 结合Apple Maps API
- 基于GPT-4o核心的多模态大语言模型
- 功能特点：生成个性化环境描述，提供更直观、具体的导航信息
核心功能
1. 路线预览(Route Preview)
- 预测行程中的道路状况
- 提供以下关键信息：
- 人行道质量
- 十字路口特征
- 附近公交站情况
2. 虚拟探索(Virtual Exploration)
- 按需探索开放场景
- 示例：用户可查询"公园附近的安静住宅区"
- 输出特点：
- 从行人视角解读可见内容
- 生成结构化文本信息
- 支持短/中/长三种输出格式
- 适配各类屏幕阅读器
测试数据
- 测试规模：10位视障用户(多数具有科技行业背景)
- 测试结果：
- AI生成描述的准确率：72%
- 虚拟探索功能获得高度评价
- 用户反馈：
- 该功能可有效替代传统信息获取方式
- 为日常出行带来极大便利
研究现状
- 相关论文已发布于arXiv预印本平台
- 尚未经过同行评审
关键点总结：
- 专为视障用户设计的街景导航辅助系统
- 结合地图API与多模态大语言模型
- 测试显示72%的AI描述准确，虚拟探索功能广受好评
