CareAssist: 通过多模态感知和LLM支持日常自闭症照护

研究问题

研究表明，由照护者主导的早期干预对自闭症谱系障碍（ASD）儿童有益。然而，照护者往往需要在家长和干预者这两种角色之间切换，因此在动态的日常互动中，他们可能难以识别并解读那些值得干预的时刻。基于关系的干预程序通常由临床医生主导的回顾性视频分析，帮助照护者反思此类时刻；但这种工作流程既耗时又高度依赖专业知识，难以大规模推广。同时，现有的自闭症辅助工具大多侧重于以儿童为中心的技能练习或行为监测，对照护者提供的支持却十分有限。本研究探讨了利用多模态感知和大语言模型（LLM）来支持照护者视频回顾辅导的流程。

研究过程

我们与 7 位自闭症领域专家共同设计了 CareAssist。系统融合时间同步的视频与光电容积描记（PPG）信号，识别涉及情绪失调或社交参与度较低、值得关注和干预的互动时刻，并生成基于具体情境的时刻级指导和活动结束后的总结。

我们在一项涉及 56 个家庭的实地研究中，以专家标注评估关键时刻的检测表现，并基于专家定义的评价标准比较三种提示策略。此外，我们报告了一项照护者试点案例研究，作为照护者视角的说明性证据。

研究发现

定量分析与定性反馈表明，多模态检测优于基线模型；结构化提示改善了部分专家评分维度，同时揭示了清晰度、情境适切性与伦理适宜性之间的权衡。

这些发现展示了多模态感知与大语言模型支持临床环境之外、可扩展的离线照护者辅导的潜力，也指出了未来部署所需的保障措施与设计要求。