概述
这一章的核心是:
智能体(Intelligent Agent) 是能够围绕目标主动执行任务的人工智能系统。它会感知环境、制定计划、调用工具,并根据反馈持续调整行动。
理解智能体时,可以抓住一条主线:
感知环境 → 明确目标 → 制定计划 → 执行动作 → 获取反馈 → 修正计划与搜索引擎和普通聊天机器人相比,智能体最突出的特征是:
- 目标驱动:围绕某个需要完成的任务持续工作
- 主动行动:能够调用工具并影响数字环境或物理环境
- 闭环反馈:执行后检查结果,并据此继续调整
- 持续性:可以在多轮行动中保持上下文、记忆与任务状态
本章属于概念与应用导论,重点是理解工作机制、类型、应用和安全边界,不涉及复杂数学推导。老师也明确说明本章没有单独作业。
目录
从聊天机器人到智能体
智能体的定义
智能体是能够:
- 感知环境
- 根据目标进行决策
- 通过行动影响环境
- 观察结果并持续修正
的人工智能系统。
这里的环境既可以是物理世界,也可以是数字世界:
- 自动驾驶汽车:道路、车辆、行人、交通信号
- 游戏 NPC:地图、玩家位置、游戏规则
- 编程智能体:代码文件、测试结果、终端输出、项目依赖
- 海洋智能体:卫星、浮标、无人船、AUV 和海洋环境数据
智能体通常处在持续循环中:
观察当前情况 → 选择下一步行动 → 检查行动结果 → 调整后续行动搜索引擎、聊天机器人与智能体
| 系统 | 主要能力 | 主动行动 | 典型例子 |
|---|---|---|---|
| 搜索引擎 | 根据关键词查找网页或资料 | 通常不主动 | 查找论文、新闻、教程 |
| 聊天机器人 | 理解问题并生成对话式回答 | 通常不主动 | 问答、翻译、文本总结 |
| 智能体 | 围绕目标规划步骤、调用工具并根据反馈调整 | 可以 | 编程助手、任务规划助手、自动化办公助手 |
判断一个系统是否具有智能体特征,重点看它能否:
- 追踪目标
- 主动调用工具
- 执行多步任务
- 观察执行结果
- 根据反馈继续行动
TIP聊天界面只是交互形式。一个系统即使使用聊天窗口,只要具备目标追踪、工具调用和闭环调整能力,也可以属于智能体。
【PPT 图片占位符|第 25 或 26 页】
插入“搜索引擎、聊天机器人与智能体的区别”对比图或表格。
智能体的核心能力与基本组成
四大核心能力
| 核心能力 | 含义 | 作用 |
|---|---|---|
| 感知(Perception) | 获取环境信息并理解当前状态 | 为决策提供输入 |
| 规划(Planning) | 将目标拆解为可执行步骤 | 决定如何完成任务 |
| 调用工具(Tool Use) | 使用外部程序、服务或设备 | 将决策转化为实际操作 |
| 持续调整(Adjustment) | 根据反馈更新计划和行动 | 形成闭环并适应变化 |
六大基本组成
智能体可以进一步分成六个基本部分:
感知 + 目标 + 规划 + 行动 + 记忆 + 反馈感知(Perception)
感知是智能体获取环境信息、理解当前状态的过程,也是决策和行动的起点。
软件智能体常见的感知来源:
- 用户输入:自然语言指令、查询、命令
- 网页内容:网页文本、实时信息、API 数据
- 文件系统:文档、代码、配置文件
- 数据库:结构化数据、用户信息
- 终端输出:程序运行结果、错误信息
- 程序日志:系统事件、调试信息
具身智能体还可以通过传感器获得:
- 图像与视频
- 声音
- 温度、湿度和压力
- 光学、电磁和化学信号
- 触觉、嗅觉等信息
老师强调,传感器和芯片能够覆盖人类无法直接感知的频段与微弱信号,因此机器的感知范围可以超过人的生理感知范围。
目标(Goal)
目标描述智能体希望达到的最终状态,是后续规划和行动的驱动力。
| 目标 | 问题 |
|---|---|
| “帮我学习人工智能” | 范围模糊,完成标准不清 |
| “把第三章搜索算法整理成一页复习提纲,并生成五道选择题” | 范围明确、结果可衡量、便于拆解 |
清晰目标通常需要说明:
- 任务范围
- 输出形式
- 数量或质量要求
- 允许和禁止的操作
- 完成标准
规划(Planning)
规划是把目标拆解为一系列可执行步骤,并根据环境变化动态调整。
规划的三个重要特点:
-
层次分解
将复杂目标逐层拆成子目标,直到形成可执行动作。 -
非线性与动态性
遇到时间冲突、资源不足或新信息时,重新安排步骤与顺序。 -
多目标权衡
在时间、费用、便利性、舒适度等指标之间进行选择。
例如,旅行规划智能体需要:
确定出发地和目的地→ 查询交通方式→ 比较时间、费用和换乘→ 生成行程→ 根据延误或用户反馈调整规划能力使智能体能够处理多步任务,也使系统从固定规则执行走向目标驱动的动态决策。
行动(Action)
行动是智能体真正影响环境的环节。
数字环境中的常见行动:
- 搜索网页
- 运行代码
- 读写文件
- 查询或更新数据库
- 调用地图、日历和提醒服务
- 分析终端输出和日志
- 发送消息或调用其他应用
物理环境中的行动:
- 控制无人车、无人船或 AUV
- 操作机械臂
- 调节空调、加热器和工业设备
- 完成采样、搬运和巡检
大语言模型擅长理解和生成语言;连接外部工具后,模型的规划可以转化为可观察的操作。
记忆(Memory)
记忆用于保存任务上下文和历史经验。
| 类型 | 保存内容 | 作用 |
|---|---|---|
| 短期记忆 | 当前任务的指令、参数、中间结果和环境状态 | 保持多步任务连贯 |
| 长期记忆 | 用户偏好、历史任务、常用规则和成功经验 | 支持个性化与长期优化 |
例如:
- 短期记忆:记住本次资料需要“面向本科生”“包含五道选择题”
- 长期记忆:记住某位学生偏好树荫较多的校园路线
反馈(Feedback)
反馈用于判断行动是否有效推动目标达成。
常见反馈信号:
- 测试是否通过
- 用户是否满意
- 搜索结果是否相关
- 程序是否报错
- 任务是否超时
- 路径是否拥堵
- 采样结果是否符合要求
TIP没有反馈时,系统更接近一次性的命令执行器。反馈使智能体能够持续修正、适应环境并完成动态任务。
智能体的工作循环
智能体的基本工作循环可以写成:
输入:用户目标、当前环境信息、可用工具
1. 感知当前环境,收集与目标相关的信息2. 分析目标,将任务拆成可执行步骤3. 当任务尚未完成时: 3.1 选择当前最合适的行动 3.2 调用工具或执行操作 3.3 观察行动结果 3.4 若结果偏离目标或出现错误,则修正计划4. 输出结果,并说明依据和剩余限制也可以概括为:
观察(Observe)→ 决策(Decide)→ 行动(Act)→ 反馈(Feedback)→ 再次观察【PPT 图片占位符|第 10 页】
插入“观察—决策—行动—反馈”的闭环工作循环图。
软件智能体与具身智能
老师在课堂中将智能体进一步区分为:
- 软件智能体:主要在计算机、手机、服务器和网络环境中行动
- 具身智能体(Embodied Agent):拥有传感器、执行器和物理身体,可以直接影响现实世界
具身智能可以理解为:
数字大脑 + 物理感知 + 物理执行机器人、自动驾驶设备、无人船和 AUV 都可以成为具身智能体。其发展同时受到算法、芯片、传感器、电池、电机、机械结构和控制系统的限制。
智能体的类型
按照“智能体依据什么选择下一步行动”,课堂将智能体分为五类:
| 类型 | 决策依据 | 典型例子 | 主要局限 |
|---|---|---|---|
| 反应式智能体 | 当前输入与预设规则 | 恒温器、简单游戏 NPC | 缺少长期规划 |
| 基于目标的智能体 | 能否达到目标状态 | 路径规划、任务清单助手 | 目标不清时效果差 |
| 基于效用的智能体 | 哪个方案的综合效用更高 | 旅行方案比较 | 需要定义“更好”的标准 |
| 学习型智能体 | 历史经验和反馈数据 | 推荐系统、个性化学习 | 依赖数据与反馈 |
| 大语言模型智能体 | 自然语言理解、规划、工具和记忆 | 编程智能体、科研助手 | 可能幻觉,需要监督 |
【PPT 图片占位符|第 28 页】
插入“反应式—目标型—效用型—学习型—大语言模型智能体”的类型谱系图。
反应式智能体
反应式智能体根据当前环境输入立即响应,常用“条件—动作”规则表示:
如果满足条件 A,就执行动作 B核心特征:
- 即时响应
- 主要依据当前感知
- 不依赖长期记忆
- 缺少复杂的多步规划
- 适合规则明确、状态变化快的场景
例:恒温器
设定温度为 22°C:
检测室温→ 若温度低于设定值,开启加热→ 若温度高于设定值,关闭加热或开启制冷→ 温度变化后重新检测恒温器会形成感知—行动循环,但它不会提前制定一套长期降温计划。
例:游戏 NPC
检测玩家位置→ 若玩家距离小于 5 m→ 立即执行攻击其行为主要由当前输入和预设规则决定。
基于目标的智能体
基于目标的智能体会围绕某个最终状态,选择能够实现目标的动作序列。
核心特征:
- 关注最终目标
- 支持多步规划
- 根据实时环境重新评估路径
- 能够调整行动计划
例:校园路线规划
目标:
将学生从宿舍送到教室,并保证准时到达。
智能体需要考虑:
- 步行、共享单车或自动驾驶车辆
- 多条可选路线
- 距离和步行速度
- 上课前的人流拥堵
- 红绿灯和临时障碍
- 学生的课程表
任务流程:
设定“准时到达教室”的目标→ 规划交通方式与路线→ 感知实时路况→ 遇到拥堵时重新规划→ 到达目标地点基于效用的智能体
当多个方案都可以实现目标时,基于效用的智能体会建立可量化的评价标准,选择综合表现更好的方案。
常见效用指标:
- 费用
- 时间
- 舒适度
- 换乘便利性
- 风险
- 用户偏好
例:旅行方案选择
比较高铁和飞机:
| 指标 | 高铁 | 飞机 |
|---|---|---|
| 票价 | 通常较低 | 通常较高且波动较大 |
| 站到站耗时 | 中等、较稳定 | 飞行时间较短 |
| 换乘便利性 | 车站通常更接近市区 | 机场接驳与值机耗时较多 |
不同用户可能获得不同推荐:
- 时间紧迫:提高“耗时”的权重
- 预算有限:提高“费用”的权重
- 行动不便:提高“舒适度和少换乘”的权重
老师还以舟山出行为例:可以选择到宁波乘高铁、大巴、飞机或顺风车。智能体需要先了解用户更重视时间、费用还是换乘便利性,再给出方案。
学习型智能体
学习型智能体通过积累经验和反馈数据,不断改进表现。
核心学习循环:
收集用户行为→ 分析偏好→ 更新模型参数→ 生成新推荐→ 获取新的用户反馈常见反馈数据:
- 浏览记录
- 点击
- 评分
- 停留时间
- 选择与放弃行为
例:推荐系统
用户观看、点击或评分后,系统更新用户偏好模型,下一次优先推荐更可能感兴趣的内容。
例:校园路线偏好
智能体多次观察到某位学生选择树荫较多的路线:
观察选择→ 识别“偏好阴凉”的模式→ 提高树荫覆盖率的权重→ 后续优先推荐树荫路线→ 根据学生反馈继续更新课堂还将学习型智能体与前面学过的降维联系起来:面对大量复杂用户数据,可以通过提取少量主要特征来简化用户模型,再据此进行个性化推荐。
大语言模型智能体
大语言模型智能体以 LLM 为核心,并结合:
- 工具调用
- 记忆管理
- 上下文管理
- 任务分解
- 自我检查
- 人类确认
完成从语言理解到实际行动的跨越。
典型流程:
任务理解→ 制定计划→ 调用工具→ 观察结果→ 修正计划→ 输出结果关键能力
| 能力 | 含义 | 示例 |
|---|---|---|
| 工具调用 | 使用外部程序或服务 | 搜索网页、运行代码、查询数据库 |
| 上下文管理 | 保存当前任务的重要约束 | 记住资料需要“面向本科生” |
| 任务分解 | 将复杂目标拆成有序步骤 | 先读文件,再总结,再出题 |
| 自我检查 | 比较执行结果与预期目标 | 测试失败后重新定位错误 |
| 人类确认 | 在关键操作前暂停并请求批准 | 删除文件、支付、提交代码前确认 |
例:整理课程讲义并出题
用户提出:
请阅读课程讲义,整理本章知识框架,并生成 5 道选择题。
智能体可以依次执行:
读取讲义文件→ 提取目录结构→ 分段总结内容→ 生成选择题→ 检查题目是否覆盖核心知识→ 输出复习资料这个例子完整体现了:
感知文件 → 规划任务 → 调用工具 → 检查结果 → 输出成果【PPT 图片占位符|第 47 页】
插入“读取文件—提取目录—分段总结—生成题目—检查覆盖度—输出结果”的 LLM 智能体工作流图。
实际系统通常是多种类型的组合
智能体类型描述的是系统在某一任务环节中的决策方式,同一个系统可以同时具备多种特征。
例如,校园自动驾驶智能体:
- 规划从宿舍到教室的路线:基于目标
- 比较时间、费用与舒适度:基于效用
- 红灯停车、遇到障碍减速:反应式
- 逐渐学习用户偏好:学习型
- 接收自然语言指令并调用地图工具:大语言模型智能体
老师特别强调,不要把这些类型机械地分成彼此独立的系统。
【PPT 图片占位符|第 33 或 34 页】
插入“校园路线规划”或“反应式与目标型智能体对比”示意图。
编程智能体实践
Vibe Coding
Vibe Coding 指用户用自然语言描述想要的功能,让 AI 编程智能体生成、修改、运行和调试代码,并在反馈中持续迭代。
人的主要工作逐渐转向:
- 描述目标
- 明确业务逻辑
- 检查结果
- 提供修改意见
- 审查安全性与可维护性
- 决定是否交付
AI 智能体主要负责:
- 理解意图
- 生成代码
- 运行测试
- 分析报错
- 修改代码
- 重新验证
核心闭环:
需求描述→ 智能体生成代码→ 自动运行测试→ 根据报错修复→ 继续迭代→ 最终交付例:东海海水温度可视化网页
自然语言需求:
创建一个展示东海近十年海水温度变化趋势的交互式图表网页。
智能体可能执行:
- 解析目标和数据需求
- 选择 HTML、CSS、JavaScript、ECharts 和数据 API
- 生成完整网页代码
- 运行并测试交互功能
- 根据错误自动修改
- 部署并生成可访问的 URL
传统流程可能需要学习前端框架、图表 API 和兼容性调试;Vibe Coding 让学习者把更多精力放在海洋数据、业务逻辑和结果审查上。
【PPT 图片占位符|第 50 或 51 页】
插入“Vibe Coding 核心闭环”或“东海海水温度可视化网页开发流程”图。
三种编程方式的比较
| 维度 | 传统编程 | AI 辅助补全 | Vibe Coding |
|---|---|---|---|
| 人的角色 | 设计并手写大部分代码 | 人主导,AI 提供局部建议 | 人提供需求、反馈和审查 |
| AI 的角色 | 编译、运行、提示错误 | 补全代码、解释和局部调试 | 生成较完整实现并持续修改 |
| 开发效率 | 较低 | 中到高 | 高 |
| 学习门槛 | 高 | 中到高 | 从原型开发角度较低 |
| 工作重点 | 具体实现细节 | 人机协作实现 | 目标、业务逻辑、测试和验收 |
Vibe Coding 体现了从“如何写每一行代码”转向“系统需要完成什么”的变化。
WARNINGVibe Coding 会降低原型开发门槛,同时仍需保留编程与软件工程基础。使用 AI 生成代码时,至少要完成:
- 实际运行程序
- 检查关键逻辑和边界条件
- 验证测试是否充分
- 审查安全性、依赖与权限
- 判断代码是否便于维护
- 理解后再用于作业或正式项目
编程智能体工具
课堂 PPT 列举了几类工具:
| 工具 | 课堂强调的特点 | 适用场景 |
|---|---|---|
| Cursor | 基于 VS Code 的项目级编程助手 | 中大型项目、团队开发 |
| Claude Code | 命令行交互、项目级读写与测试 | 深度控制、快速迭代 |
| TRAE | 面向中文开发者的编程工具 | 中文支持和一般开发 |
| Antigravity | 轻量级原型工具 | 快速原型 |
| Windsurf | 相对低成本的编程助手 | 入门学习、预算有限 |
这些工具发展很快,功能、价格和使用方式应以各自的最新官方资料为准。课堂建议初学者优先体验 Cursor 或 Claude Code,理解“项目级智能体”怎样读取文件、修改代码并运行测试。
Claude Code
Claude Code 是课堂用于说明“编程智能体”的现实案例。它面向真实项目环境,处理的内容包括:
- 文件和目录
- 源代码
- 第三方依赖与环境配置
- 单元测试和集成测试
- 运行日志和错误信息
- 完整项目上下文
例:修复 Python 项目测试失败
用户任务:
请检查 Python 项目中测试失败的原因,修复后重新运行测试,并说明修改内容。
工作流程:
1. 读取测试输出2. 定位失败测试与相关源文件3. 分析错误原因4. 提出修改方案5. 编辑代码6. 重新运行测试7. 若仍失败,根据新反馈继续调整8. 输出修改摘要和测试结果Claude Code 的核心能力可以概括为:
| 能力 | 具体作用 |
|---|---|
| 读取文件 | 理解项目结构、源代码、配置和测试 |
| 写代码 | 生成、修改和重构代码 |
| 执行测试 | 运行测试并捕获结果与日志 |
| 报告结果 | 说明修改内容、测试情况和剩余问题 |
测试通过只能说明已有测试未发现问题,仍需人工检查需求是否理解正确、测试覆盖是否充分、修改是否安全。
【PPT 图片占位符|第 56 页】
插入“读取—定位—提出方案—编辑—测试—持续调整”的 Claude Code 调试闭环图。
海洋科学应用案例
多智能体系统
多智能体系统(Multi-Agent System, MAS) 由多个具有不同职责的智能体协同完成复杂任务。
核心优势:
- 分布式协作:不同智能体各自负责一部分工作
- 任务并行化:同时执行数据采集、分析和报告
- 系统鲁棒性:单个智能体故障时,整体仍可继续运行
- 可扩展性:根据任务动态增减智能体数量
以无人船群为例,可以设置:
- 协调智能体:任务分配、路径规划、冲突解决
- 数据采集智能体:控制传感器、浮标和无人平台
- 数据分析智能体:处理原始数据、识别异常
- 报告生成智能体:整合结果并发布预警
海洋环境监测智能体网络
传统海洋监测面临:
- 海域广阔,监测成本高
- 覆盖范围有限
- 赤潮和污染等事件具有突发性
- 卫星、浮标和无人平台数据来源异构
- 多源数据融合与实时分析困难
智能体网络可以由以下部分组成:
| 智能体 | 主要任务 |
|---|---|
| 卫星观测智能体 | 采集广域遥感数据 |
| 浮标阵列智能体 | 进行定点水质监测 |
| 无人船/无人机智能体 | 机动采样和污染物追踪 |
| 数据融合与决策智能体 | 整合多源信息 |
| 预警发布智能体 | 生成赤潮或污染预警 |
| 知识库智能体 | 保存数据、知识与模型经验 |
工作机制:
实时感知→ 自主规划航线→ 多智能体协同采样→ 融合卫星、浮标和无人平台数据→ 识别异常→ 生成赤潮预警或污染物追踪结果【PPT 图片占位符|第 60 页】
插入“卫星—浮标—无人船/机—数据融合—预警—知识库”的海洋监测智能体网络架构图。
深海机器人自主采样
深海环境具有黑暗、高压、人工操作成本高和风险大的特点。智能体控制的 AUV 可以自主识别目标并完成采样。
工作流程:
1. 感知环境 声呐、摄像头和传感器采集深海信息
2. 识别样本 模型识别生物或矿物样本,并确定位置
3. 精准抓取 机械臂适应水流和压力变化,执行抓取
4. 分类存储 自动分类样本,并同步记录元数据核心价值:
- 减少对潜水员和持续遥控操作的依赖
- 提高采样位置和抓取精度
- 同步整合样本、环境和空间数据
- 支持构建多维深海样本数据库
【PPT 图片占位符|第 61 页】
插入“AUV 感知环境—识别样本—精准抓取—分类存储”的自主采样流程图。
智慧渔业与鱼类迁徙分析
传统渔业可能出现:
- 缺少实时和精准数据
- 难以判断鱼群位置
- 捕捞效率不稳定
- 过度捕捞导致资源衰退
智能体可以整合:
- 卫星遥感数据:海表温度、叶绿素浓度、洋流动态
- 历史迁徙数据:洄游路线、种群数量变化
- 实时海况和作业数据
然后完成:
多源数据融合→ 预测鱼群分布→ 判断合适捕捞时机→ 推荐位置、时间和捕捞量→ 根据新数据继续更新核心价值:
- 避免过度捕捞,支持资源可持续利用
- 减少无效航行和燃油消耗
- 提高捕捞效率
- 为渔业管理提供数据驱动的科学依据
- 在生态保护与经济收益之间进行综合权衡
【PPT 图片占位符|第 62 页】
插入“遥感数据 + 迁徙数据 → AI 分析 → 最优捕捞建议”的智慧渔业示意图。
智能体的风险、伦理与安全
智能体拥有更强的自主决策、工具调用和持续学习能力,其错误可能从“错误回答”进一步扩大为“错误行动”。
需要重点防范:
- 幻觉与错误自信
- 目标误解
- 工具误用
- 权限过大
- 隐私泄露
- 数据偏见与歧视
- 缺乏责任追溯
AI伦理五大原则
| 原则 | 含义 |
|---|---|
| 可解释性(Explainability) | 用户能够理解决策的主要依据,减少黑箱风险 |
| 公平性(Fairness) | 避免因性别、地域等因素产生不合理差异 |
| 鲁棒性(Robustness) | 面对异常输入、攻击和故障时仍能稳定运行 |
| 问责制(Accountability) | 出现问题时能够追溯决策过程并明确责任 |
| 隐私保护(Privacy) | 合法、最小化地处理个人或敏感数据 |
这些原则共同构成负责任智能体的基本治理框架。
模型幻觉
模型幻觉(Hallucination) 指模型生成看似合理、实际与事实不符的内容。
主要成因:
- 模型根据统计关联生成文本,未直接“知道”事实真假
- 训练数据缺少专业领域信息
- 数据本身存在错误或偏差
- 输出可能逻辑连贯,却缺少事实依据
在海洋科学、科研写作和代码执行中,幻觉可能导致:
- 编造论文和数据
- 给出不存在的命令
- 错误解释模型或代码
- 将初始错误带入后续规划并不断放大
应对方法:
- 对关键事实进行独立核查
- 使用权威数据库和原始资料验证
- 引入领域专家审核
- 使用检索增强生成,并保留来源
- 对代码运行测试和安全检查
- 重要任务保存操作日志
WARNING智能体输出具有语言流畅和表达自信的特点。表达方式不能代替事实证据,关键结论必须核验。
目标误解
当目标描述不清时,智能体可能沿着错误方向认真执行。
例如,用户只说:
帮我整理文件。
智能体可能自行把“旧文件”理解为“应删除文件”,造成重要数据丢失。
更安全的指令应说明:
- 允许移动哪些文件
- 禁止删除哪些文件
- 需要保留哪些格式
- 操作范围在哪个目录
- 成功标准是什么
- 哪些操作必须先确认
例如:
将下载目录中超过 30 天的临时图片移动到“待清理”文件夹;保留所有 PDF 和 DOCX;不要删除文件;移动前先列出清单让我确认。
权限控制与沙箱
智能体可能具备:
- 读写文件
- 执行代码
- 访问数据库
- 发送邮件
- 访问网络
- 调用支付或账号功能
权限过大时,错误计划可能造成严重后果。
沙箱(Sandbox) 是与真实系统隔离的受控环境。智能体在沙箱中执行操作时:
- 不能随意访问宿主机敏感文件
- 网络和硬件访问受到限制
- 系统调用受到监控
- 代码输出和错误可以被捕获
- 发生异常时更容易终止和回滚
【PPT 图片占位符|第 69 页】
插入“宿主系统—沙箱环境—受限智能体”的权限隔离示意图。
最小权限原则
最小权限原则(Principle of Least Privilege):
只授予完成当前任务所必需的工具、数据范围和操作权限。
例如,文档总结任务通常只需要:
- 指定文件的读取权限
- 必要时的网页检索权限
它通常不需要:
- 删除文件
- 修改系统设置
- 访问支付账户
- 读取无关私人目录
最小权限可以降低:
- 误删文件
- 越权操作
- 数据泄露
- 恶意指令造成的影响
隐私保护
处理用户信息或敏感海洋数据时,应采用:
-
数据脱敏
删除或替换能够直接识别个人身份的信息。 -
数据最小化
只收集和保存完成任务所需的数据。 -
差分隐私
在统计结果中加入受控随机噪声,降低单个个体被反推的风险。 -
加密传输与存储
防止数据在传输和保存过程中被窃取。 -
权限分级
根据用户和任务限制数据访问范围。
日志、人工确认与责任追溯
重要任务应保留完整操作日志,包括:
- 时间戳
- 执行主体和智能体 ID
- 用户指令
- 工具调用与参数
- 输出结果
- 修改的文件或数据
- 系统环境与依赖版本
- 错误、异常和警告
日志用于:
- 复盘错误
- 定位安全漏洞
- 追踪责任
- 验证智能体是否越权
- 恢复受影响的数据
对于高风险操作,应设置人类确认(Human Confirmation):
识别关键操作→ 说明即将执行的内容和风险→ 请求用户批准→ 根据批准结果执行或中止需要人工确认的典型操作:
- 删除或覆盖文件
- 发送邮件和消息
- 提交代码
- 修改数据库
- 进行支付
- 控制昂贵或危险设备
TIP安全设计的基本思路可以概括为:
明确目标+ 最小权限+ 沙箱隔离+ 人工确认+ 隐私保护+ 完整日志
本章学习重点
必须理解
- 智能体的定义,以及“目标驱动、主动行动、闭环反馈”三个核心特征
- 感知、目标、规划、行动、记忆、反馈六个基本组成
- “观察—决策—行动—反馈”的工作循环
- 反应式、目标型、效用型、学习型和大语言模型智能体的区别
- 一个实际系统可以同时具有多种智能体特征
- 大语言模型智能体的工具调用、上下文、任务分解、自我检查和人工确认
- Vibe Coding 的工作方式,以及人类从代码实现者向需求定义和结果审查者的角色变化
- Claude Code 如何通过读取项目、修改代码、运行测试和持续反馈形成闭环
- 多智能体系统在海洋环境监测、深海采样和智慧渔业中的应用逻辑
- 幻觉、目标误解、权限过大和隐私泄露等风险,以及对应的安全措施
需要会判断的典型问题
- 给出一个系统,判断它更接近搜索引擎、聊天机器人还是智能体
- 给出一个场景,判断其中体现了哪类智能体
- 说明某个任务中的感知、目标、规划、行动、记忆和反馈分别是什么
- 解释 Vibe Coding 与传统编程、AI 辅助补全的区别
- 为海洋场景设计一个简单的智能体工作闭环
- 识别智能体任务中的安全风险,并提出最小权限、沙箱、人工确认和日志方案
本章一句话总结
智能体让人工智能从“生成回答”进一步走向“围绕目标持续行动”,其价值来自感知、规划、工具和反馈的闭环,其可靠使用依赖清晰目标、权限边界、人工监督和责任追溯。