Human-Centered AI（主讲：李飞飞 Fei-Fei Li）—— 本季最后一讲，不讲任何新算法，而是一场把“人”放回 AI 中心的收官报告：讲题是“我们所看见的与我们所珍视的——以人为视角的 AI”。全讲沿三个“看”展开：先讲“造 AI 看人类所看”——从 5.4 亿年前三叶虫的光敏细胞与寒武纪大爆发，到受心理学启发却失败的部件模型、统计机器学习的登场、Biederman 的“三万到十万个视觉类别”猜想如何催生 ImageNet，再到 2012 年数据×算力×算法的历史性汇合，以及此后的场景图、Visual Genome、零样本关系识别、图像描述，和至今未解决的动态场景多主体活动理解；再讲“造 AI 看人类所不看”——细粒度识别的超人能力、用街景汽车当研究社会的透镜、Stroop 效应与变化盲视揭示的注意极限、手术室纱布清点与医疗差错、从棋盘错觉引出的偏见与公平问题，以及从模糊掩蔽、联邦学习直到“特殊镜头+软件协同设计”的隐私保护；最后讲“造 AI 看人类所愿见”——面对劳动力焦虑主张“增强而非取代”，走进医院的手卫生监测、ICU 活动监测、原居安老三大环境智能案例，再进入具身智能：LLM+VLM 驱动的“野外”机械臂、以 1,400 人问卷决定任务清单的 BEHAVIOR 基准（今天的最优算法在无特权信息设定下得零分）、数字孪生与脑电波控制的机器人烹饪，最后以“AI 应当成为增强人类的工具，而非取代人类的工具”为整个课程收束。
这场报告的标题是“我们所看见的与我们所珍视的：以人为视角的 AI”（What We See and What We Value: AI with the Human Perspective）。它的起点——既是进化的起点、也是技术的起点——是视觉的起源。第一讲曾提过：视觉来到动物世界，要追溯到 5.4 亿年前。确切地说，是三叶虫（trilobites）发展出了光敏细胞（photosensitive cells），用以感知外部世界。按照 Andrew Parker 等动物学家的说法，视觉的出现引爆了一场进化的军备竞赛：动物要么进化、要么死亡。这场军备竞赛带来了动物的物种大爆发，也就是动物学家所说的寒武纪大爆发（Cambrian explosion），或称“进化的大爆炸”。
不必惊讶的是，视觉直到今天仍然是许许多多动物的主要感官智能系统（诚然并非所有动物都用视觉，但很多都用），也是人类的主要感官系统之一。我们用视觉做一切事情：从生存到工作、娱乐、社交、学习与成长，不一而足。
技术史这边，课上曾简单讲过：计算机视觉诞生于 20 世纪 60 年代的“夏季视觉项目”（Summer Vision Project）——试图让几个本科 生在一个夏天里“构建出视觉系统的重要部分”。这与 AI 的整部历史一脉相承：我们往往对北极星（目标）看得很清楚，却严重低估了抵达所需的时间。老师直言，今天我们大概仍在经历这一点，但已经发生了很多：从赋能自动驾驶汽车，到理解图像，再到生成式 AI 革命——视觉在其中扮演着巨大角色，而且在许多部分引领着浪潮。
所以，是时候换一个角度、既回望历史又面向未来地审视这个领域：我们从哪里来，要到哪里去？这个讨论之所以重要，是因为已经发生的一切，将在很大程度上塑造将要发生的一切。
老师把整场报告组织成三块：
先做一点回顾：人类的视觉到底有多强？有一个半个世纪前的经典实验：播放一段你从未看过的视频，播放频率只有 10 Hz——每一帧在屏幕上只停留约 100 毫秒——即便如此，人眼要在一个毫无先验知识的复杂场景中检测出目标（在这个实验里是一个人）依然毫无问题。这个实验凸显了人类视觉理解、尤其以物体为中心的理解的超凡能力。
围绕世纪之交，神经生理学家开始用脑电信号测量人类“看见”的速度：让受试者戴上 EEG 帽，考察人脑把复杂物体归入“动物”这类范畴的能力。结果表明：虽然这是个非常复杂的任务，人类却能在刺激呈现后约 150 毫秒完成——考虑到我们颅骨之下不过是“湿件（wetware）”，这个速度相当惊人。
神经生理学家还告诉我们：物体理解是人类视觉智能中极其重要的功能，重要到大脑里存在专门的神经对应物——有 dedicate 于面孔的区域（face area）、dedicate 于场景/位置的区域（place area）、dedicate 于身体部位的区域（body-part area）。这说明进化确实花了漫长的时间打磨我们在物体识别上的视觉智能。
以上历史铺垫，成就了计算机视觉领域的一条主线：几十年前，物体识别成为视觉智能的基础构件（fundamental building block），我们希望让机器也拥有它。问题的原始定义是：给定一张图像，如何让计算机说出图中有什么物体？这对人类毫不费力；但你们已经学过足够的计算机视觉，知道在数学上，识别任何一个物体都面临无穷无尽的可能性——光照、纹理、背景、遮挡、视角、缩放……凡此种种。所以这本质上是一个困难的任务。
深度学习之前的历史同样有趣，其中有一些解决“通用可泛化物体识别”的英雄式尝试。
第一波尝试直接受心理学启发。我们有时会自我内省（甚至内省过度到妨碍自己）：我们认为人类是把物体“按部件组合”来识别的——看到物体，能看出几何部件，再把部件组合成不同物体。用预先设计好的部件或形状、以特定方式组合起来做识别，就是物体识别的第一波浪潮，相关模型从 70 年代、80 年代一直延续到 90 年代。当然，它并没有真正奏效——数学上漂亮而简洁，但不work。
第二波尝试是 AI 领域一个真正重要的时代：统计机器学习（statistical machine learning）的开端——计算机编程与统计建模的联姻。随着这场联姻，我们开始意识到：世界如此复杂，无论是视觉智能、语言智能还是其他智能问题，要泛化就必须学习参数；用手工调整的模型很难获得好的学习效果。我们由此知道需要数据（尽管当时并不知道需要多少），也知道需要设计/架构出具备学习能力的统计模型，配以不同的学习规则。正因如此，那个年代模型百花齐放：随机场（random fields）、贝叶斯网络（Bayes nets）、支持向量机（SVM）等等。到 21 世纪第一个十年，物体识别已取得不少进展，甚至出现了以少量物体类别为内容的国际基准测试，鼓励各家算法同台比较——整个领域在一步一步共同推进。
正如课程里讲过的，物体识别的最后一次解锁，又回到了认知科学。心理学家 Irv Biederman 很早就猜想：人类能识别的物体数量极其庞大——这在常识上很直觉——但他真正把这个猜想变成了数字。老师戏称其为“Biederman 数”：他猜想儿童到六七岁时，已经能识别大约 30,000 到 100,000 个不同的视觉类别。这个数字从哪里来？一是查词典数名词，二是关于儿童如何识别不同物体的视觉研究。
对当时的计算机视觉领域来说，这是一个令人清醒、甚至令人望而生畏的数字：直到 21 世纪头一个十年的中段，与人类的经验相比，我们一直在用极少的物体类别和极少的图像做研究。这正是 ImageNet 项目的动机：认真对待这个数字，构建一个与 Biederman 猜想同一量级的数据集——约 22,000 个物体类别、超过 1,500 万张图像。当然，这也是各位走进这门课的起点：有了 ImageNet 提供的大数据，从卷积神经网络（如今则是 Transformer 等等）开始的强大算法，开始在大数据上真正展现出力量。
把“Biederman 数”放回它的学术背景。Biederman 最著名的工作是 1987 年的部件识别理论（Recognition-by-Components，RBC）：他主张人眼能把物体分解成约几十种几何基元（geons）的组合，因此能用很小的“部件词汇量”组合出海量的可辨别物体——这正是“30,000–100,000 个视觉类别”估计的理论基础，也解释了这个数字为何远大于部件本身的数量。有趣的是，本讲 2.3 节里 70–90 年代“部件组合”式的识别模型，恰恰就是这一心理学构想在 CV 里的直接投影；而 Biederman 数字在 2000 年代的另一次投影，就是 ImageNet：正式论文口径约为 21,841 个类别（WordNet 子树）、1,400 多万张标注图像，后续的 ILSVRC 挑战赛每年从中抽取 1,000 类、约百万量级图像供全球算法同场竞技。“心理学家给出一个数，数据集工程师认真把它造出来”——这是本讲反复出现的主线（认知科学启发 CV）最典型的一次。
快速的历史是这样的：ImageNet 诞生数年后，卷积神经网络把物体识别的大门轰然打开。今天我们拥有了这样的算法：给它看世界上任何一张图片，它都能识别其中的物体，无论大小、无论朝向。是否 100% 解决了？没有——总有长尾问题等待解决；但就工业应用而言，这个问题已经走了很远的路、可以说趋于成熟。
而正如大家所知，这一切都汇聚在一个时间点上——2012 年：ImageNet 挑战赛提供了数据，卷积神经网络（AlexNet）提供了算法，当年还用上了两块 GPU 提供算力。三种要素汇聚在一起，带来了深度学习的时刻——深度学习的诞生。本课程中也讲过，过去十多年里 ImageNet 挑战赛催生的各种架构：从 CNN 到 ResNet 等等。这就是深度学习革命的开端。
但是，对视觉智能的求索不会止步于给场景里的物体贴标签。看这样的两组画面：如果只标注物体，两张图都不过是“一只羊驼（llama）和一个人”；可当第二张图里的羊驼与人以另一种姿态出现时，故事就完全不同了——物体相同，关系迥异。认知科学家再一次走在了计算机科学家前面：知名心理学家 Jeremy Wolfe 写过一篇漂亮的论文，明确指出物体之间的关系必须作为复杂自然场景理解的一部分被编码。受此启发，计算机视觉开始研究“如何理解关系”。
这里的早期代表，正是此前刚来给大家上过课的 Ranjay Krishna 的博士论文：用场景图（scene graph）作为表示来学习物体关系。场景图由实体节点（物体）构成，节点之间的连接（connectivity）定义关系，有时还带定义物体属性的属性关系。哪怕简单到“只有两个人、一个人喂另一个人吃蛋糕”的画面，凭借视觉场景本身的丰富性，也能生成一张相当稠密的场景图。场景图是 Ranjay 在物体识别纪元之后的工作，为此他们构建了 Visual Genome 数据集，把物体关系与场景描述汇集到一起。
老师觉得尤其有趣的一项工作是对不寻常物体关系的零样本学习（zero-shot learning）。举例来说：“人骑马”很常见，“人戴帽子”也很常见，但“马戴帽子”总体上很少见；在大数据训练的时代，这类数据很难大量获得——因为本来就没多少。而利用组合式的场景图表示，可以先学习更常见的关系，再在表示空间里推导出罕见关系。另一个例子：“人生在椅子上”“消防栓在草坪上”都是常见关系，但“人生在消防栓上”就难得见到数据——借助组合表示，这件事也做成了。论文中的结果显示，Ranjay 当时的工作在识别率上达到了同类方法的最佳水平。
Visual Genome 的规模与场景图的后续。Visual Genome（CVPR 2017）最终收录约 10.8 万张图像，包含约 540 万条区域描述、230 万条物体关系、280 万条属性，还带问答对，是视觉-语言研究的重要基础设施之一。场景图生成（Scene Graph Generation）此后发展成一个独立方向（如 Neural Motifs 及后续各类消息传递/Transformer 方法），并被广泛用于视觉问答、图像检索与组合式零样本识别——本讲“组合常见关系、推导罕见关系”的思路正是这一方向的核心价值。
但只有关系还不够：能够真正讲一个丰富得多的故事、用自然语言来表达，是下一个大目标。2014 年前后——距离 AlexNet 那个时刻只有两年，但领域演化已经快得惊人——老师所在团队受“卷积神经网络 + 语言模型 LSTM”组合的启发，开始攻关这个问题。这就是 Andrej Karpathy 的博士论文工作：他们是最早展示图像描述（image captioning）/ 看图讲故事的团队之一；密集描述（dense captioning）也是该组工作的一部分，出自 Justin Johnson——本课程的共同讲师之一。2015 到 2018 年间，大量工作涌现，把这个问题的解法不断推进。当然，今天借助多模态大语言模型，这个问题又被抬高到了另一个层级——而这一切正是从那条工作线开始的。
老师在此特别感慨：她本人作为世纪初入行的计算机视觉科学家，对领域解决问题之快感到惊讶——一旦有了数据、有了神经网络算法，图像描述这样一个看似高不可攀的问题，几年内就被大幅攻下。
真正更难的问题在动态场景：动态场景里的关系更复杂、运动更复杂，而且相机在动、场景中的主体（actors）也能做各种各样的事情。在与 Ehsan Adeli 及实验室多位学生的合作中，他们研究多物体、多主体的活动理解（multi-object multi-actor activity understanding）——这是一项较新的工作，几年前才发表。要在动态场景中捕捉这些主体之间、主体与活动之间的关系，至今仍是一个未解决的问题。而它的影响将极其深远：各位身处硅谷，每天都在听闻机器人的热潮——如果我们梦想拥有与我们朝夕共处的日常机器人，机器人就必须解决这个问题：理解场景有多复杂、人们在做什么、谁在做什么、接下来会发生什么。这仍未解决。
除了以上内容，课程中还讲过一些没时间展开的相关方向：3D 计算机视觉、人体姿态理解，当然还有生成式 AI 与生成模型。这一切都说明：自现代 AI 复兴以来，计算机视觉这个领域的发展速度快得惊人。
“AI 反哺脑科学”已有实绩。Yamins 与 DiCarlo 等人 2014 年起的一系列工作表明：在视觉识别任务上训练的深度网络，其中层特征能较好预测灵长类腹侧视觉流（IT 皮层）的神经响应；此后社区出现了 Brain-Score 等基准，用神经数据为视觉模型“打分”，模型预测脑活动的能力成了 CV 论文里的常规指标。这与老师在本课程第 1 讲介绍 Hubel & Wiesel 的简单/复杂细胞如何启发卷积网络形成了一个完整的闭环：神经科学塑造了深度学习，深度学习又成了神经科学的建模语言。
第一部分到此告一段落。老师照例展示了为这部分工作做出贡献的大量学生与合作者，并向他们致谢。
第二部分的主题，是把 AI 推向人类能力之外——可以称之为“超人（superhuman）”能力。例如：大多数人叫不出几种恐龙（有些小朋友倒是能叫出很多），遑论成千上万种鸟、数以万计的车型。这一方向就是老师所称的细粒度物体分类（fine-grained object categorization）——人类天生就不擅长它。坦率地说，这仍是一个没有完全解决的问题：在生成式 AI 时代，大家大谈多模态 LLM，这个问题多少被忽视、不再主流，但它终将重新发挥重要作用。
在早期的细粒度鸟类识别工作里，他们用了一个约 4,000 例的鸟类数据集。结果呈现出清晰的规律：沿着物种树向上走、类别名称越通用，误差越低；反过来说，读入细粒度层级时，模型仍然会犯大量错误——算法尚未完全就绪。
另一项老师觉得非常有意思的工作：几年前，实验室的一组学生训练了一个按品牌-型号-年份（make, model, year）分类的细粒度汽车分类器——1970 年代以后，由此定义的车型数以千计。然后他们取来 Google 街景在全美约一百到两百个大城市拍摄的图像，用这个细粒度检测器识别街上的汽车，把计算机视觉当作研究社会模式的透镜：结果显示，车型分布与教育水平高度相关、与收入高度相关；论文中还展示了与投票模式、甚至与环境模式的高度相关。这是一条用 CV 研究社会的有趣路径——而且没有任何个人、甚至任何一群人能够轻易做到。AI 真正在拓展人类所“见”的边界。
这项“街景汽车-社会科学”研究的公开版本。该工作即 Gebru 等人发表于 PNAS（2017）的研究：团队用约 5,000 万张 Google 街景图像、覆盖美国 200 个城市，以细粒度检测器识别出约 2,200 万辆汽车，再由车型分布（价位、品牌等）在邮区层面估计人口统计特征，预测结果与人口普查数据高度吻合，并可外推至投票倾向等社会指标。它常被视为“计算机视觉作为社会测量仪器”的代表作，也开启了关于此类研究伦理边界的讨论——恰好呼应本讲“强大的能力必须配上人的视角”的主题。
为了把“AI 超越人类”这个观点讲透，老师现场做了几个测试——人类其实有自己的局限。前一节我们刚刚庆祝过人类视觉的强大，现在也要看看它的另一面。
第一个是著名的视觉冲突测试——Stroop 测试：屏幕上的字大家都认识，但如果要求你尽快读出每个字被染成的“颜色”、从左到右从上到下，你会发现这并不容易——试着连续读出“红、黄、绿、紫、蓝、黑、橙”，它会一路与你“打架”。这是视觉注意之间的冲突。
第二个例子：两张交替闪烁的图片之间隐藏着一处变化——一处其实相当大的变化（图中飞机的发动机）。课堂上大家花了一会儿才找到。这就是著名的心理学现象——变化盲视（change blindness）。
两个实验说明了什么？Stroop 测试中，字的语义与字的颜色两条加工通路相互竞争，读词是高度自动化的技能，于是命名颜色的反应时被显著拉长，干扰量 \(\Delta\mathrm{RT} = \mathrm{RT}_{\text{不一致}} - \mathrm{RT}_{\text{中性}}\) 稳定为正——这就是“视觉注意会打架”的定量表达。变化盲视则揭示了另一件事：我们对场景的知觉远没有想象中完整——当变化伴随闪烁等视觉中断时，大脑无法把两帧“逐像素比对”，只能依赖稀疏的注意采样，于是连“发动机消失”这样的大改动也可能视而不见。需要注意，它与“看不见大猩猩”的无意视盲（inattentional blindness）是一对近亲：前者强调跨时间的比较失败，后者强调注意缺席下的知觉失败。两者共同指向同一结论：人类视觉是高效但有损的系统，注意是稀缺资源。
这些测试本身很有趣，但它指向的结论并不有趣：人类的注意力是有限的。在某些工作场景里，这种注意限制可能带来致命（dire）的后果。
医疗差错（medical error）是美国医疗系统第三大死因。“把剪刀缝在病人身体里”是医疗差错最具标志性的画面，但差错的种类远不止于此：药学差错、手术流程差错、文书差错、诊断差错……必须非常小心。以手术室为例：说实话，剪刀通常不会被留在体内，但更小的东西会——缝合针、一小块纱布之类。而今天，这些物品的清点大部分仍靠人工：手术室里有专门的核对清单（checklist）逐项核对；一旦清点发现缺漏，手术就必须暂停——平均而言，这个暂停接近一个小时。想想病人在这一个小时里面临的风险：细菌暴露、出血……仅仅因为必须找到那件遗落的东西。
如果有办法用 AI 帮助医生、外科医生跟踪物品，那将无比强大。课堂上展示了一个演示：用 AI 实时清点纱布等物品——需要说明，这只是演示而非部署系统，保真度也还没到临床水准，但它展示了“让 AI 看人类所不看”的又一种可能：不知疲倦、不遗漏的机器注意。
老师接着展示了自己最喜欢的视觉错觉之一（并直接公布了答案）：著名的棋盘阴影错觉（checker shadow illusion）——棋盘上的方格 A 与 B，灰度/亮度完全相同，却让人难以置信；下方把两格连通对照后，人人都会恍然大悟“哦，当然一样”。可为什么即便证据摆在眼前，再看上图时错觉依然如故？因为进化已经把我们“预先接线（pre-wired）”成按常识物理去理解世界：物体的形状、光源的位置、阴影如何形成——这些假设深植于我们的视觉发育之中，以至于我们很难换一种方式去看。
老师想借这个错觉说明的要点是：人类的视觉系统本身带有偏差（bias）。这种偏差可能来自进化的构造，可能来自我们的社会经验，也可能来自我们接触过的数据。而其中一些偏差是有害的：当偏差发作时，就会对某一群人、某个社群造成不公平。我们必须对此保持警惕。就在几年前，人脸识别算法还不够好：它对某些肤色、甚至某些性别的识别明显好于其他人群——而这会带来真实后果：想想自动驾驶，想想众多医疗应用。我们必须持续警惕。到 2025 年的今天，不能说这个问题已经解决，但老师个人感到欣慰的是：如今有如此多的人在关注它——不仅在学术界，也在工业界；而几年前这个问题还很新，很多人甚至根本没有注意。
算法偏见的两份标志性报告。Buolamwini 与 Gebru 的 Gender Shades（2018）系统测评了多款商用性别识别 API，发现对深肤色女性的错误率显著高于浅肤色男性，最大差距超过 30 个百分点，直接推动多家厂商改进；2019 年 NIST 的 FRVT 公开报告进一步在数百个算法、上亿余次比对中发现亚裔与非裔面孔的误匹配率数倍于白人面孔。这两项工作与本讲观点一致：偏见不是抽象风险，而是可测量、可追踪、必须被工程化消除的缺陷——前提是有人肯去测量。
还有另一种意义上的“不看”——而且有意思的是，有时“不看”恰恰是我们想要的，因为我们想要尊重隐私。问题于是变成：如何造出一个帮人“看”的 AI，同时又不让它看到人们不希望被看到的东西？这是一个很深的问题——既是技术问题，也是人的问题。
从技术视角看，机器学习的隐私保护有很多思路，这里只从视觉的角度列举。几年前实验室写过一篇论文：在病房或患者家中部署智能相机，帮助医生更好地“看见”病人——但即便在这样的场景里，也必须处理面孔、全身信息、甚至居家环境被暴露的问题。潜在的技术方案包括：模糊（blurring）、掩蔽（masking）、降维（dimensionality reduction）；也可以采用完全不同的进路——例如联邦学习（federated learning），让数据不必全部发送到服务器；以及加密等等。
在这些之上，老师特意介绍了一项并非出自本实验室、但她非常喜欢的工作（由 Carl 组的学生主导）：在视频里识别人的动作、同时尊重人的隐私。比如要拍摄一个孩子在场景中活动的视频：用模糊、失焦等手段固然可以保护隐私，但信息损失大到“你可能根本不知道这个人在做什么”——而许多应用的目标恰恰就是知道人在做什么。这项工作采用了硬件+软件结合的方案：他们手工打磨了一枚特殊镜头（lens），让镜头本身以特定方式过滤视觉数据——效果是：镜头实际拍进相机的内容（展示中的顶行）已经大幅保护了隐私——看不清人脸、看不清身体；但由于这枚镜头是与一段软件协同设计的，系统仍能保留运动与人体活动信息，而不泄露面孔信息。老师直言：她非常欣赏这项工作的精神——想“看见”人、以保护人；但不想看得太多，因为要尊重隐私。
回望第二部分的几条线索：有时我们推动 AI（如细粒度鸟类识别）超越人类能力，那是超人的能力；有时我们清楚人类不擅长——我们有偏差、有注意问题——于是想让 AI 来帮助我们；有时我们则真的处于“不希望任何人看见”的情境——那就要问：如何让 AI 继续提供帮助，而不侵犯这些隐私关切？
同样地，这一部分也有众多合作者与学生参与，老师一并向他们致谢。
最后一部分：造 AI 看人类想要看见的东西。而且我们不止要谈“看”——要把“看见”与“行动”连接起来。
想想今天社会对 AI 的焦虑，最大的来源之一是劳动（labor）。头条新闻总在说：劳动力受到威胁、机器人正在抢走工作。真相是复杂的。否认工作会变化是错误的：人类历史上每一次技术变革都引起过劳动力市场的变化，其中一些非常痛苦，甚至曾把社会推向内战与战争；但另一方面，这种变化有时不可避免。这里做一个小小的离题：我们听到的许多“劳动威胁论”总让人联想到体力劳动；但在过去两年，生成式 AI 冲击最剧烈的其实是白领工作——尤其是软件工程和办公室里的分析类工作。劳动市场确实在变。
但与此同时，也必须认识到 AI 能帮上忙：我们在许多场景面临根本性的人力短缺，尤其是在老年照护与医疗健康领域。一方面，现代医学的进步延长了人类预期寿命，社会不可避免地走向更长寿——这是好事；但另一方面，照护者严重短缺：年轻人需要去工作，这是社会与经济保持活力的来源，那么——谁来照护我们的老人？谁来照护我们的慢病病人？即使在美国的医院里，医护人员（尤其是护士）的流失也极其严重，我们没有足够的手、耳朵和眼睛去帮助病人。
所以，与其执念于“取代（replace）”这个词，不如换成一个更建设性的词：“增强（augment）”——各位在前面手术室的例子里已经窥见一斑。
在健康领域，有太多空间缺一双“眼睛”——从手术室到病房、到药房、再到家庭。老师把这些地方称为健康的暗空间（dark spaces of health）。实验室（其中 Ehsan Adeli 主导了大量工作）长期研究的问题，就是面向健康的环境智能（ambient intelligence for health）：把智能传感器与机器学习算法结合起来，从医疗场景中提炼关乎健康的关键洞察，以便及时提醒病人、家属或医生、及时施救。更完整的论述在几年前发表的综述论文中。下面给出三个案例。
第一个案例是手卫生（hand hygiene）项目——它其实在新冠疫情之前很久就开始了。手卫生对压低院内感染极其重要：院内感染（hospital-acquired infection）是美国医院里病人死亡的主要原因之一，每年致死人数约为车祸的三倍，而且极难控制——大多数病菌就是这样从一个病房传到另一个病房、彼此交融滋生的。医院怎么办？尝试雇人工审计员——可我们前面刚说过，连护士都不够，更别说雇审计员；而且人也雇不够、还会疲劳、还有前面讲过的注意问题——人工审计根本不是可规模化的方案。也有过技术尝试，比如 RFID 徽章：若佩戴者靠近水槽或洗手液装置，系统就“提示”此人（大概率是医生护士）正在洗手——但这太不特异了：医院病房和走廊都很小，站在旁边不等于真的在洗手。
于是在几年前，团队启动了这个项目：部署保护隐私的智能传感器——只采集深度信息（画面呈现为蓝色调的深度视频），再用计算机视觉算法对动作分类：这个人洗手了没有？结果：把算法输出与人类检测结果分别同真值相比，算法比人类好得多、也稳定得多——几乎要让四个人同时盯看同一段视频才能追上一个 AI 的水平，而这在现实中根本不可行；若是单人检测，其检出密度稀疏得没法用。
第二个案例是 ICU（重症监护室）。ICU 是病人与生死搏斗的地方，也是消耗美国 GDP 约 1% 的地方——让 ICU 尽可能有效又安全，是头等大事。ICU 的核心目标之一是让病人安全地转出 ICU——进入过渡病房（step-down unit）甚至回家。而重症医学最重要的经验之一，是帮助病人活动：恰当的活动——称为早期活动（mobilization）——实际上对康复至关重要。但这件事很棘手：需要护士协助、需要医生下医嘱、必须以正确的方式活动、要在指定的时间活动、还要对活动进行评估——桩桩件件都不容易。团队与 Stanford 医院以及犹他州的 Intermountain 医院合作，在 ICU 病房部署智能传感器，帮助医生监测病人的活动——具体监测四类动作：下床、上床、下椅、上椅。这些事对我们健康人来说不假思索，但对 ICU 病人真的性命攸关。AI 能够完成这类检测与预测，对医生帮助极大——尤其是在人力短缺的时候。
最后一个例子是原居安老（aging in place）。它在太多层面上都至关重要：老年人希望独立、健康地住在自己家里。老师回忆疫情之初，老年人群体的死亡惨重——很大程度上与医院系统被击穿、过载有关。因此，把老年人安全、妥善地留在家里照护，意义极其重大。借助智能传感器，可以做到感染的早期检测（尤其是用热成像相机）、活动能力监测（与 ICU 中的思路相同）、睡眠模式与饮食模式的理解——所有这些都是 AI 与智能传感器的用武之地。
环境智能的后续走向。这一方向的研究此后从病房扩展到手术室活动识别（器械传递、术中流程与安全核查）、居家养老（跌倒检测、异常行为发现）与临床文书自动化；技术上则与多模态时序模型、联邦学习隐私框架逐步结合。与此同时，它也催生了大量跨学科讨论：部署中的知情同意、数据最小化、对护理工作流的影响等——恰好是本讲“技术视角+人的视角缺一不可”的注脚。老师在讲义中反复强调的“深度传感器优先”路线，也已成为医疗视觉部署的主流设计。
但还有一个问题：如果装上智能传感器之后，人手仍然不够呢？智能传感器的本质是信息采集系统——它不能走过去帮病人翻身，也不能给老人端水送药。这就引出了本讲最后一个技术话题：具身智能（embodied AI）——其中很大一部分就是机器人学。
老师坦言对此格外兴奋，因为它闭合了感知与行动之间的回路。回想本讲开头的寒武纪大爆发：眼睛一旦出现，动物便开始移动。机器人学正是我们闭合“看”与“做”的地方。但这件事并不容易：机器人尽管令我们兴奋，今天仍然非常非常慢、非常非常笨拙，很难泛化到一般化的情境。当今机器人研究已经取得巨大进展，Stanford 无疑是机器人学习的中心之一；但大多数工作仍受限于特定设置：短时程的抓放（pick and place）任务、轶事式的实验安排、缺乏标准化基准。接下来分享实验室的两项工作。
第一项工作是几年前开始的：如何把机器人带进“野外（in the wild）”。如果我们必须预先指定机器人能做的任务集合，那是不令人满意的；对照今天的 LLM——它完全“活在野外”，你跟它聊什么都行。于是学生们想缩小这个差距：能否给机器人一条开放式的指令——任何指令，无需在封闭世界里预先训练一切——机器人也能完成一些任务？比如：训练集里见过的门是“那样的门”，到了野外却是“这样的门”。目标就是：野外泛化。
做法是借用 LLM 与视觉-语言模型（VLM）的最新进展，整体管线如下：用 LLM 与 VLM 生成指令集；用 VLM 识别、理解环境；再把理解结果转化为机械臂可以执行的运动规划图（motion planning map）。具体过程拆开看非常直观：指令“打开上面的抽屉”进来，LLM 把它翻译成字面意义上的代码；代码里出现了 drawer、handle 这样的语义信息，于是被送往 VLM，在场景中检测出抽屉与把手；检测结果反过来更新环境信息、更新运动规划图——以热图（heatmap）的形式呈现：机械臂应当关注哪里、不应当关注哪里。接着再给一条指令：“小心那个花瓶”——同样，LLM 生成代码，送 VLM 检测出花瓶，再更新运动规划图；这一次是负向的热图，因为要避开它。把两张图合并，就得到了一张标明“去哪里、避哪里”的完整热图；再对旋转、夹爪、速度等分别做运动规划，机械臂即可执行。因为全程使用 LLM 与 VLM，系统摆脱了“在封闭世界里训练机器人”的老问题，走向了更可泛化的“野外”。课堂上展示的实测任务覆盖铰接物体操作、取餐巾、扫地、取吐司、摆餐桌，乃至应对执行过程中的在线干扰等等。
第二项工作回应整个机器人领域的短板：缺乏好基准。我们仍在实验室里做实验，而真实世界要复杂得多、不确定得多、差异大得多、交互性强得多、有社会性、充满多任务。反观自然语言处理与计算机视觉，都曾极大地受益于为训练与基准而建立的大规模数据集。于是实验室启动了一个项目：建设一个生态化的机器人学习环境，鼓励研究者在大规模、多样化的活动集合上做基准测试——这就是 BEHAVIOR：Benchmark for Everyday Household Activities in Virtual, Interactive and Ecological Environments（虚拟、交互、生态化环境中的日常家务活动基准）。
这里有一个与本讲主题（人类价值）直接相关的问题：谁有资格决定机器人该做哪些任务？老师打趣：每个做机器人的研究生都只想要两个任务——一个洗衣、一个洗碗（全场笑）。这很好，但走出研究生生活之后，我们究竟应该让机器人替我们做什么？
团队的选择是：不自己拍脑袋列任务清单，而是做一次“以人为中心”的调查——去问人（老师笑称：是问人类，不是问机器人）。课堂上现场测试了一把：“想让机器人帮你清洁厨房地板吗？”——要。“铲雪呢？”——要。“叠衣服？”——要。“做早餐呢？”——答案就开始混合了。“拆圣诞礼物呢？”——不要！老师点评：人们是不一样的；拆礼物这件事，机器人也许能做得相当好，但我们不想要它做。问卷里甚至有“替你买结婚戒指”这样的任务——能想象吗？
正式的做法是尊重人类偏好：团队从美国、欧洲等地劳工部门的政府调查中汇总出数千项日常活动任务，再到线上招募尽可能多样的受访者（老师坦承多样性仍有改进空间），最终有 1,400 人作答——告诉我们哪些任务他们希望机器人帮忙——再据此排序。结果：和研究生的心愿一致，大家最想让机器人做的是清洁——刷马桶、清洁地板名列前茅；而人们不想要机器人替自己打壁球、买结婚戒指，甚至不愿它代劳给婴儿调米粉——有太多任务对我们人类具有情感与社会的意义。这样，团队第一次拥有了有原则的方式来决定“训练机器人的 1,000 个任务是什么”：也就是人类更希望获得帮助的那些任务。
任务清单定了，接下来是虚拟环境：团队扫描、获取了 50 个真实世界的 3D 场景——从餐馆、公寓到杂货店、办公室；采集了超过 10,000 个 3D 物体资产（老师注明这个数字已经过时，实际更多），每个资产都带丰富属性：铰接性（articulation）、可变形性（deformability）等等；然后搭建仿真环境——这一部分与 NVIDIA 的 Omniverse 团队合作，追求物理、感知、交互三个维度上的高质量，尤其纳入热传导、透明性、可变形等物理效应。团队还通过人类用户研究把 BEHAVIOR 环境与其他环境做了感知真实度的对比评测；物理交互的示例包括布料与液体的仿真——这项工作里藏着的细节之多，远超 slides 所能展示。
那么基准的结果如何？老师给出的数字相当扎心：今天的算法仍然做不了 BEHAVIOR 的任务。评测设定从严格到宽松排列：最顶一行——也是我们最希望机器人达到的设定——不给任何特权信息（no privileged information），把机器人直接放进环境里让它做任务。用当今的机器人算法在若干 BEHAVIOR 任务上测试：性能为零。只有开始给出特权信息、或做出让任务变简单的假设——比如“魔法移动（magic motion）”、完美记忆等——成绩才开始回升。老师对学生们的寄语是：只看顶行，你会为今天的机器人感到沮丧；但作为研究生，你应该深受鼓舞——因为那意味着我们还有巨大的成长空间。
这仍是实验室里正在进行的工作：团队正用 BEHAVIOR 学习机器人策略、推动收集更有意思的数据，甚至把它用于认知科学研究。另一个方向是数字孪生（digital twin）：在数字环境与真实环境中分别为 BEHAVIOR 建立孪生体——这是检验真实到仿真（real-to-sim）迁移的绝佳方式；当然，这同样是未解问题、前路漫长。课堂上播放的实测视频里，一台机器人以原始速度（未加速）清理房间——观众能直观感受它有多慢；最后它总算完成了，老师说“万岁”；但失误也摆在眼前：抓不起瓶子、走错方向、把东西放错地方——仍有大量错误。此外，团队还在用这套环境研究视障患者——把患者置于安全的虚拟环境中进行研究，是一种很好的研究范式。
最后一件“真的超级酷”的技术工作（也是本讲展示的最后一项技术内容）：团队正与心理学家和医生合作，研究用脑电波控制机器人。演示画面里，一位研究生戴着 EEG 帽，头部发出的指令直接驱动一条机械臂，完全凭“想法”烹制了一顿日式料理。这里没有任何侵入式脑机接口——一切来自头皮采集的电信号。当然，需要先“预训练这些想法”：要预先以拿起（lift）、放置（place）、放下（drop）等基本动作训练机械臂；在此基础上，一整顿餐全部由脑波完成。老师感叹：这真的很科幻，而它就发生在去年。她对未来的期待是：把视觉、感知、机器人与临床场景结合起来——这条路的前方，是帮助重度瘫痪的病人。
这场“脑波做饭”演示的公开对应与领域走向。斯坦福 2024 年发布的 NOIR（Neural Signal Operated Intelligent Robots）系统即以非侵入式脑电（如 SSVEP 等范式）驱动机械臂完成包括烹饪在内的长程日常任务，与本讲演示相符；同期还出现了植入式电极意念控制（如 Neuralink 植入者的下棋演示）等路线——非侵入式安全但带宽低，侵入式带宽高但有手术风险，“脑机接口驱动的具身智能”正在两条路线间赛跑。另一条平行线是具身基础模型：RT-2、OpenVLA、π0 等把互联网级视觉-语言预训练迁移到机器人操作，BEHAVIOR 系列基准（含 BEHAVIOR-1K 及后续的 BEHAVIOR Vision Suite 等工具）则继续为这个方向提供生态化的评测场地——与老师“先有可信的基准，再谈可靠的机器人”的主张一致。
以这一讲收束，再回望整个 CS231N：这门课从一个看似简单的问题——“给一张图像打上标签”——出发，一路铺陈出深度学习与计算机视觉的完整版图。前段（第 1–6 讲）先把地基打牢：从计算机视觉的历史与图像分类任务出发，经线性分类器、损失函数、正则化与优化，进入神经网络与反向传播，再到卷积神经网络与 AlexNet/VGG/GoogLeNet/ResNet 等经典架构——这正是本讲第二部分回顾的“2012 三要素汇合”的具体展开。中段（第 7–8 讲）转向序列与注意力：RNN/LSTM/GRU 建模时序，注意力机制与 Transformer 登场——它们既是本讲“图像描述（CNN+LSTM）”的技术后继，也是今天多模态大模型与 LLM+VLM 机器人管线的共同源头。第三段（第 9–12 讲）把视觉能力铺开到任务与系统：目标检测与分割、视频理解、大规模分布式训练、自监督学习——恰对应本讲所说“从物体到关系、到动态场景”的未竟之路。第四段（第 13–16 讲）进入生成与三维：VAE/扩散模型与 GAN、3D 表示与 NeRF/3DGS、以及 CLIP 与视觉-语言多模态——即本讲反复提及的“生成式 AI 革命”的技术底座。最后两讲（第 17–18 讲）落到具身与人心：机器人学习把视觉变成行动，本讲再以“以人为中心的 AI”为全部内容接上最后一环——技术的每一步，最终都要回答“它如何帮助人、如何尊重人”。十八讲连成一条线：从看见，到理解，到生成，到行动，再到守护看见这一切的人。
本讲为 2025 春季 CS231N 的最后一讲。老师以一句话为课程作结：我们真正想造的，是帮助人的 AI——它是人类的增强与放大工具，而非取代工具。谢谢大家，课程完结。