元数据

[!abstract] 阿里云开发者

• 
  阿里云开发者|200
• 书名： 阿里云开发者
• 作者： 公众号
• 简介： 阿里巴巴官方技术号，关于阿里的技术创新均呈现于此。
• 出版时间：
• ISBN：
• 分类：
• 出版社：
• PC地址：https://weread.qq.com/web/reader/5c642b8224d505f5758535f33323339353435343430ab5

高亮划线

面对MCP"工具投毒"，我们该如何应对

📌 以下述一个mcp server的add tool为例，攻击者将恶意代码植入一个伪装成数学计算工具的描述中。该工具表面功能为执行加法运算（add），但在工具描述文件里通过 <IMPORTANT> 语义标签嵌入了隐蔽攻击指令。当AI系统解析工具描述时，会优先处理带有 <IMPORTANT> 标签字段内容，形成以下攻击链：
⏱ 2025-05-13 09:15:13 ^MP-WXS-3239545440-EJLb1IwqbPF3VSDkJu099g-671-830

📌 评估系统是大模型可观测APP内识别和评估模型应用中潜在安全隐患的模块。APP内置20+评估模板，覆盖：语义理解、幻觉、安全性等多个模型评估场景，其中安全检测除了支持内容安全（敏感词检测、毒性评估、个人身份检测）外还包含大模型基础设施安全（MCP 工具链安全）
⏱ 2025-05-13 09:18:40 ^MP-WXS-3239545440-EJLb1IwqbPF3VSDkJu099g-17223-17352

📌 2. 评估模板：内置mcp工具评估模板，检测MCP工具中是否有暗示或者明确提到读取、传输敏感数据、执行可疑代码、引导用户执行危险系统操作或者上传数据行为。
⏱ 2025-05-13 09:18:58 ^MP-WXS-3239545440-EJLb1IwqbPF3VSDkJu099g-17440-17518

读书笔记

本书评论