GA黄金甲颁布大模型安全威胁框架（附下载链接）
颁布功夫 2025-06-27“让每一句人机对话都安全可信，让每一次智能交互都风险可控——这是属于AI时期的安全承诺。
—— GA黄金甲”
媒介：
大说话模型（LLMs）技术获得突破性进展，成为数字经济关键基础设施，同时也引发全新安全挑战。本文基于安全主题技术、实战攻防及安全智库等视角，系统分解大模型安全威胁框架（V1.0），旨在鉴别风险、造订防御战术，保险技术可信、安全、可控发展。
近年来，以ChatGPT、GPT-4、Claude、DeepSeek等为代表的大说话模型(Large Language Models, LLMs)技术获得突破性进展，在全球领域内掀起AI发展热潮。大模型凭借其壮大的进建、泛化和天生能力，推动各行各业的深刻刷新。
在中国，大模型技术亦被视为国度战术性新兴产业的沉要组成部门，多多科技巨头、创业公司、科研机构纷纷推出多元化利用场景的大模型产品与服务。大模型正逐步成为数字经济时期不成或缺的“新一代人为智能基础设施”，其影响力已渗入到社会经济的方方面面，预示着一个智能驱动的新时期的到来。
新兴技术的发展和宽泛利用，往往陪伴着新的安全挑战。只管大模型展示出巨大的利用潜力，但由于其特有的技术个性与交互模式，也带来了传统信息安全之表的全新挑战。大模型拥有复杂决策黑箱、数据深度依赖、内容天堑吞吐、能力动态演化等独有个性，使得大模型利用场景下的安全威胁出现出新的维杜纂复杂性，对国度安全、社会不变和企业发展组成严格挑战。
因而，构建一个全面、系统且拥有前瞻性的大模型安全威胁框架，对于我们鉴别潜在风险、评估现有缝隙、造订有效的防御战术拥有极其沉要的意思。它将援试祗业和机构在享受大模型盈利的同时，可能有针对性地部署安全措施，从而推动掌管任的AI发展，确保大模型技术的可信、安全、可控。
鉴于上述布景，文章将系统梳理并分析当下主流的大模型安全风险与威胁框架，并萦绕大模型利用场景下的安全风险进行分解，从数据、模型自身、模型利用、合规伦理等环节分析大模型可能存在的威胁。
一、大模型安全威胁框架
与传统网络安全威胁相比，大模型利用场景下的威胁不仅继承了传统安全风险，更衍生出一系列与大模型自身个性和利用场景缜密有关的新型威胁。为系统性地理解和应对这些威胁和挑战，我们必须全方位审视大模型系统的各个关键组成部门所面对的潜在威胁。
如下图所示，本章节将从大模型基础设施、数据安全与隐衷、模型自身安全及大模型利用安全等多维度启程，发展有关安全威胁初步探求与分析。
大模型安全威胁框架图
大模型基础设施安全威胁分析
大模型的训练、推理和运行依赖于重大的推算、存储和网络基础设施，这些底层组件的安满是整个大模型系统稳重运行的基石。
1、基础设施硬件安全威胁
大模型运行所依赖的硬件资源（如CPU、GPU、内存、网络设备等）一旦出现安全问题，将直接冲击大模型利用的不变运行与数据安全。
? CPU安全威胁：从硬件主题来看，CPU重要面对微架构攻击威胁、固件与后门威胁、硬件退化及威胁等。不仅可能通过利用微架构缝隙（如分支预测缺点）可实现权限绕过、窃取缓存数据；还可因固件缝隙或预置的硬件后门实现对硬件的未授权节造，粉碎大模型的不变性和齐全性；甚至通过恶意负载加剧硬件退化，导致硬件机能严沉降落或败坏。
? GPU安全威胁：在GPU层面，尤其是在多租户共享的云环境中，攻击者可利用GPU缓存、功耗等物理个性实现共享资源的侧信路攻击，或利用GPU内存泄露缝隙、虚构化缝隙，窃取模型参数与数据或其他租户的数据，粉碎大模型利用运行的平正性和安全性；同时，驱动法式缝隙也为权限提升和远程代码执行提供了可乘之机，直接威胁模型的运算主题。
? 内存安全威胁：Rowhammer攻击或恶意代码注入能批改内存中敏感数据，直接粉碎数据一致性，进而影响大模型利用的靠得住性；而内存泄漏、缓冲区溢出攻击及缓存侧信路攻击则为窃取模型权沉或训练数据打开了通路。
? 网络设备安全威胁：作为支持大模型基础运行环境的沉要组成部门，网络设备面对固件缝隙威胁、中央人攻击威胁、带宽回绝服务攻击威胁。其固件缝隙可导致设备被控，中央人攻击能拦截并篡改传输中的关键数据，而带宽回绝服务攻击则能等闲瘫痪散布式训练和推理所依赖的数据通讯。
2、系统安全威胁
大模型利用的运行依赖于操作系统、利用法式及底层框架。而攻击者一旦针对这些关键组件提议攻击，将对大模型利用安全组成严沉威胁。
? 操作系统威胁：大模型基础设施操作系统层面的威胁与传统操作系统面对的安全威胁根基一致，重要蕴含内核权限提升、系统组件缝隙威胁、恶意软件威胁等。
? 大模型基础框架威胁：大模型的运行依赖TensorFlow、PyTorch、Numpy等基础深度进建框架，其进建框架中存在的设计缺点和缝隙，可能实显炱坏大模型训练过程、窃取或篡改模型参数与训练数据甚至节造大模型利用的运行。
3、供给链安全威胁
攻击者可对大模型供给链提议荫蔽性攻击，通过传染其依赖的第三方组件（如库、API、云服务或知识库），利用第三方组件缝隙或植入恶意代码（如假装成正常更新的依赖包），导致模型运行异常、数据泄露或系统崩溃，威胁模型不变性。重要面对如下威胁。
? 新型的露出面和攻击面。大模型系统及其支持组件在网络上盛开了不用要的服务端口、治理接口或API 端点，或者这些露出面不足足够的身份认证、授权和安全加固措施，从而形成了幽微的攻击面，容易被攻击 者扫描发现并利用来进行未授权接见、数据窃取、回绝服务攻击或进一步渗入。好比，开源跨平台大模型工具 Ollama 存在未授权接见缝隙，攻击者可绕过身份认 证直接接见服务接口，接见获取业务数据、模型参数和配置文件等敏感数据。
? 开源模型文件面对后门投毒威胁�？茨Ｐ屯ǔＪ褂媚Ｐ臀募缶直Ａ艉头址�，将带来大模型本地化部署或装置文件被仿冒并用于执行网络攻击的风险。攻击者通过“高频关键词搜索引擎投毒”、“仿冒网站”等方式， 诱导用户下载伪造的大模型本地部署工具包，传布含有木马病毒等恶意法式。用户环境一旦被植入木马，攻击者即可进一步节造用户服务器，窃取敏感信息、粉碎系统数据，甚至入侵内部网络。同时，用户被诱导装置仿冒的大模型利用APP造成敏感信息泄露。攻击者从非官方渠路颁布仿冒 DeepSeek 等APP装置包的手机木马病毒，诱导用户装置 APP、获得高权限并阻止用户卸载，窃取用户在手机上存储或传输的敏感数据及幼我信息，从而侵害用户幼我隐衷和经济利益。
? 大模型运行环境和基础设施缝隙利用的威胁。大模型多运行在云环境上，那么云环境自身的缝隙等安全问题将会影响到大模型的安全运行。例如 虚构机/容器逃逸、虚构机漂移、不安全挂载、镜像安全、云服务配 置治理安全等。除此之表，大模型底层基础设施的缝隙利用也带来巨大威胁。好比，在大模型开发过程中利用 CI(持续集成)/CD(持续交付部署)基础设施的缝隙在模型推送到出产环境的过程中执行攻击;在大模型部署过程中利用容器和集群系统缝隙执行恶意代码、窃取数据、滋扰服务运行等，造成隐衷信 息泄露;在RAG 利用开发过程中利用向量数据库的缝隙获取未授权的数据、篡改数据、执行恶意代码或提议其他攻击，以获取敏感信息、远程操控恶意代码等。
? 开源组件安全配置问题带来的安全威胁�？醋榧�(如训练框架、模型服务接口)的默认配置常以易用性优先，忽略安全加固(如未启用身份验证、盛开无认证的API 端口等)。攻击者可利用默认配置的缝隙直接入侵模型服务，窃取数据、注入恶意负载或操控模型行为，导致数据 泄露、模型窃取、服务中断等问题。如 Ollama使用了 0.0.0.0 的默认 IP 设置、默认盛开11434 端口且无任何鉴权机造，攻击者可通过公网并利用该脆弱点接见模型的训练数据、参数和配置文件，从而窃取敏感信息或篡改模型行为。
? 供给链劫持带来的叠加威胁。攻击者通过篡改软件、硬件或服务的供给链 环节(开发工具、第三方库、更新包、表包组件、硬件、源码等)， 将恶意代码或后门植入合法产品中，从而在用户使用这些产品时实 施攻击。该方式利用了供给链中的高低游信赖关系，使得恶意代码可能在未被觉察的情况下进入大模型的开发、训练或部署阶段，以“叠加威胁”的方式对大模型的安全性造成大领域的严沉威胁。
大模型数据隐衷与�；ね�
大模型的训练、微调及推理过程对数据高度依赖，其安全性贯通于全性命周期，覆盖整个大模型利用场景的各个层级。从静态存储到动态交互，从模型构建的基石到用户输入的隐衷，任何一环的数据安全失守，都将影响模型的靠得住性和用户信赖，甚至引发严沉的司法与合规�；�。
1、训练数据安全威胁
在训练数据层面，威胁源自其采集、洗濯和标注的全过程。“数据投毒”攻击，即在训练数据集中注入恶意的、有私见的或谬误的信息，可能从源头上诱使模型进建谬误模式，导致其产生谬误的推理、固化的私见或危险的输出。未经充分脱敏的训练数据可能蕴含大量幼我身份信息或受版权�；さ哪谌�，可能被数据提取或逆向还原出来，导致数据隐衷泄露。
而若是大模型训练数据洗濯过程不够美满，并未齐全过滤出蕴含色情、暴力、仇恨、敏感政治话题、隐衷信息等违规内容，训练后的大模型则可能在运行过程中出现有关违规内容。
2、用户数据安全威胁
大模型利用落地的过程中，会产生大量用户数据，用户在交互过程中输入的提醒词、幼我文件和敏感信息等数据。敏感信息可能因隐衷�；げ患盎蚣用艽娲⒈徊嘈怕饭セ鳌⒎聪蛲评淼燃苛┢平�；攻击者可能突破权限限度犯法接见或篡改数据；
此表，用户数据存在未经授权网络、滥用（如贸易揣度或告白定位）的风险，甚至被恶意挖掘用于进一步攻击，这些行为不仅粉碎用户信赖，还可能违反有关司法律规（如GDPR等）。
3、数据存储安全威胁
在数据存储环节，无论是训练数据集、模型权沉文件还是用户日志，若存储系统（如云存储、数据库）存在接见节造不当、加密措施缺失或配置谬误，都可能导致数据被未授权接见、批量下载或恶意篡改，内部人员的恶意行为同样是不成忽视的沉大风险。
4、数据传输安全威胁
在数据交互的动态过程中，模型与用户之间、以及散布式集群节点之间的数据传输，若不足端到端的强加密链路�；�，极易遭逢“中央人攻击”，导致通讯内容被窃听、篡改或劫持。
大模型自身安全威胁分析
大说话模型作为AI系统的主题架构基础，无论是通用型亦或是垂直领域专用模型，均已成为企业主题战术资产。
1、合规与伦理威胁
? 内容合规威胁：大模型在内容天生或信息处置过程中，可能无意或被恶意诱导地天生违反国度司法律规、社会公序良俗、行业规范或特定文化价值观的内容。这蕴含但不限于：涉及色情、暴力、恐怖主义、虚伪信息、离间、加害知识产权、鼓励割裂、种族歧视、张扬邪教、侮辱英烈等各类犯法或有害内容。
? 司法律规监管合规威胁：在数据处置与使用、知识产权等方面，大模型可能面对国度和地域层面司法律规和监管层的合规挑战。
2、提醒词注入攻击
攻击者通过机关奇妙的说话指令，可能糊弄模型、绕过预设的安全防护，诱使其执行非预期的恶意操作。一旦攻击成功，模型可能会泄露隐衷数据、传布虚伪信息或者执行犯法操作，严沉威胁数据安全、信息真实性以及系统的合法合规运行。只管现有防御机造已经选取了输入过滤与对齐微调，但由于匹敌性攻击的大局多样，系统在鲁棒性方面依然存在显著短板，难以有效招架此类威胁。
3、模型窃取/提取攻击
攻击者通过未授权的犯法伎俩获取模型权沉参数，或通过系统性查问指标模型并解析其输出来构建高类似度的代替模型。当大模型利用系统露出了模型的输入输出接口或内部结构细节等信息时，攻击者即可利用这些信息构建定向化查问战术，通过大规模输入向量注入与输出纪录，最终训练出具备职能等效性的克隆模型，威胁企业主题模型资产安全。
大模型利用和智能体安全威胁分析
AI利用系统作为承载和展示AI 能力的软件实体，除了面对AI模型特有的?险表，其自身作为一个利用法式，同样继承了传统软件开发中存在的各类安全缝隙。此类?险涵盖了常?的 Web 利用缝隙(如注入、XSS)、因不安全地处置AI模型输出而引入的新型缝隙(如 AI 天生内容直接执行导致的安全问题)，以及攻击者利用AI利用的业务逻辑缺点进行诓骗或资源滥用。忽视AI利用自身的代码和逻辑安全，将使得AI系统的整体安全性大打折扣，即便其主题AI 模型自身是安全的。
大模型利用和智能体也是一类利用系统，所面对的安全威胁是多方面的，寂仔通例利用的通用安全问题，也有人为智能利用和智能体的特有安全问题。大模型利用平台的前端和后端安全性直接关系到大模型利用安全，平台组件安全问题对大模型的现实利用场景组成多沉威胁。智能体自身可能面对代码缝隙、配置谬误等威胁，易被攻击者利用，导致行为异�；蚴菪孤�，智能体组件间通讯可能被篡改、伪造，粉碎协同工作，如数据传输被截获篡改，影响决策正确性，多智能体协同时，个别智能体被恶意节造或行为异常，会滋扰整体工作执行，甚至引发连锁反映，使整个系统陷入混乱。
1、大模型Web利用安全
大模型利用作为一种人为智能利用系统，同样面对着传统Web 利用所面对的各类已知安全缝隙，如API接口滥用、跨站剧本（XSS）、SQL 注入、跨站要求伪造（CSRF）、 失效的接见节造、安全配置谬误、使用含有已知缝隙的组件、不安全的API 接口和回绝服务攻击，这些缝隙可能被攻击者利用来窃取数据、粉碎系统或获取未授权接见。
2、API安全威胁
大模型利用在挪用表部 API(蕴含模型推理API、数据服务API、第三方工具API等)时，由于API接口自身的设计缺点、认证授权机造幽微、输入参数校验不及、返回数据处置不当或API 网关配置谬误等原因，导致利用受到攻击，如数据泄露、权限提升、回绝服务或被用于进一步攻击其他系统。
重要威胁来自于API接口的未授权使用和API接口服务滥用。
? API 滥用带来大模型算力亏损风险。攻击者编写剧本或者通过僵尸网络(Botnet)利用未限度的API 接口执行高负载工作(如长文本天生、恶意爬虫高频挪用等)，以每秒数百次的频率向模型API接口发送单一但高亏损的要求，模型被迫反复天生无意思长文本，占用大量 GPU 显存和推算资源，导致算力资源耗尽而回绝服务，好比，某大模型曾遭逢每秒2.3亿次恶意要求，导致服务中断。
3、大模型利用组件交互威胁
大模型利用的正常运行必要实现各部件之间的数据传输和通讯，蕴含接见数据库、表部工具、推算资源等。若数据传输或通讯过程中不足加密，攻击者可通过中央人攻击（MITM）截获、篡改API要求与响应，导致敏感信息被窃取或篡改。攻击者还可通过频仍挪用API或系统资源导致关键API不成用或系统资源耗尽，实现回绝服务攻击，使大模型利用系统陷入瘫痪状态。
4、大模型身份与接见节造安全威胁
健全的身份验证和权限治理是保险大模型利用及其所接见资源安全的主题思造。凭据GA黄金甲颁布的《AI就绪的大模型身份与接见治理白皮书（AI-R-IAM）》发现，大模型宽泛利用引入了AI身份（AI Identity）和非人类身份（Non-Human Identity, NHI）。
同时，大模型的利用场景复杂多样，存在用户接见公域、私域大模型，大模型挪用RAG知识库等，除了存在大模型利用自身身份和权限治理缺点之表，相对于与传统的身份与接见治理IAM系统而言，由于在资产属性、内容、节点、细粒度以及集成对接方面的复杂性，同时存在着身份冒用、授权天堑不清或授权过高档风险。
? 大模型利用自身特有的身份和权限治理缺点威胁。在大模型利用中，涉及到模型训练、数据标注、内容审核、利用系统治理员等自身特有的多种用户角色，其权限模型设计不合理、权限划分不清、存在权限矛盾或未能遵循最幼授权准则将会导致某些?色占有超出其工作职责所需的过多权限，或分歧?色之间的权限天堑吞吐，从而可能被内部人员误用、滥用或被表部攻击者利用进行权限提升。
? 大模型利用接见表部资源的身份认证与权限治理威胁。大模型利用在法式逻辑中必要接识趣构的RAG数据库、挪用第三方API、衔接云服务或其他表部系统时，所使用的API 密钥、数据库衔接字符串中的用户名密码、服务账户令牌等身份凭证治理不当，好比，硬编码在代码中以弱加密方式存储、通过不安全的渠路传输，或者这些凭证被授予了超出大模型利用实现其职能所必须的过高权限，导致一旦凭证泄露或大模型利用自身被攻破，攻击者即可利用这些权限进行横向移动、窃取大量数据或粉碎表部系统。
? 多租户大模型利用场景下的身份与权限隔离不当的威胁。在多租户架构的 大模型利用中(即多个独立的客户或用户群体共享统一套大模型基础设施和利用事俘)，由于身份验证、授权机造或数据接见节造逻辑存在缺点或配置不当，导致一个租户的用户或该租户的大模型利用事俘可能通过身份冒用、权限提升或逻辑缝隙等方式，犯法接见其他租户的数据、模型配置或推算资源，从而粉碎多租户间的安全隔离性。
? 与机构现有身份和接见治理IAM系统对接失当的威胁。大模型利用（尤其是私有化部署模式）与机构现有的身份与接见治理(IAM)系统进行集成时，由于集成配置谬误、和谈实现缺点、信赖关系治理不当或企业 IAM 系统自身的安全战术调换未能实时与大模型利用的身份权限治理，可能导致身份认证绕过、会话劫持、权限继承不当或权限提升等安全?险。
5、智能体安全威胁
智能体作为一种典型的大模型利用状态，在自身、组件之间以及多智能体等方面面对多种安全威胁，比力通用共性的安全威胁重要是如下几种。
? 提醒词诱导攻击威胁。攻击者通过精心设计的提醒词（Prompt），诱导智能体挪用恶意工具或执行恶意行为，从而达到攻击主张。攻击者可通过直接输入或间接输入（好比从网页、文档、数据库等表部数据源）特定提醒词扭转智能体行为，实现预期的安全措施绕过、敏感信息提取、恶意号令执行。该攻击利用了智能体自身的职能来实现恶意意图，拥有极高的荫蔽性。
? 回绝服务攻击威胁。攻击者通过诱使智能体陷入推算量极大的循环或过程，大量亏损推算资源，最终以至服务无法正常运行，严沉粉碎智能体生态的不变性与可用性。
? 通讯劫持（中央人攻击）。智能体的正常运行必要实现各部件之间的数据传输和通讯，蕴含接见数据库、表部工具、推算资源等。若数据传输或通讯过程中不足加密，攻击者可通过中央人攻击（MITM）截获、篡改API要求与响应，导致敏感信息被窃取或篡改，智能体行为被恶意把持，影响智能体正常运行及数据安全。
? 工具挪用威胁。智能体（LLM Agent）通过挪用各类表部工具实现职能的拓展，如使用MCP、接见数据库、执行剧本、进行API挪用、RAG和互联网搜索等，这一过程也带来诸多安全威胁。
? 多智能体调度面对横向与纵向双沉威胁。横向层面，因不足中心化节造及靠得住的信赖传递机造，攻击者可伪造身份或把持信赖关系，滋扰工作合作链（好比窃取数据、粉碎资源调度秩序）。纵向层面，依赖关系引发级联攻击风险：主题智能体被攻下后，恶意调度指令通过层级结构迅快扩散，导致攻击呈指数级舒展（好比操控决策引发系统级崩溃）。这两类威胁的共性在于利用了横向露出信赖机造脆弱性的系统拓扑缺点，纵向放大了单点故障风险。
? 身份验证与授权绕过威胁。攻击者利用弱身份认证、令牌泄露或权限治理缝隙，通过暴力破解或凭证伪造伎俩假意合法身份，将导致横向越权接见（突破系统间身份隔离）和纵向权限提升（超过职能操作天堑），进而窃取敏感数据、操控智能体执行恶意活动（如篡改工作链、提议寄生攻击），最终侵蚀整个系统的接见节造系统并引发持续性安全风险。主题问题在于认证机造缺点与权限天堑失效，为攻击链形成提供了齐全蹊径。
二、大模型安全防御系统
由于大模型自身机造原因，导致数据、模型和利用等多层面的安全问题，仅仅通过单一伎俩难以有效节造风险，因而，必要针对大模型利用场景下的多样化威胁，以确保大模型技术在安全可控的前提下持续创新与发展。
必要从技术、治理、律例和生态多个层面构建综合防御系统。在技术层面，防御战术应覆盖大模型运行的各个关键环节。对于基础设施安全，主题在于强化推算、存储和网络资源的物理与环境防护。加强数据安全与隐衷�；�，强化提醒词工程，加强API安全与执行身份认证与授权防护，结合传统网络安全防护技术在大模型利用场景下进行�；�。大模型厂商应沉点提升模型的鲁棒性以招架匹敌性攻击。
除了技术保险，应成立全面且动态的风险评估与治理系统，定期进行风险评估和审计，明确各方在开发、部署和运营中的安全职责。从更宏观的律例层面看，当局应持续推动大模型有关司法律规的造订与美满，强化行业尺度建设，造订大模型安全技术尺度、评估规范和伦理准则，为行业发展提供清澈的规范指引。
此表，应积极构建盛开、合作的安全生态，激励安全厂商、钻研机构、高校以及开发者社区等各方缜密合作，共同研发大模型安全技术和工具，推动知识共享与能力互补。成立健全信息共享机造，实时共享大模型安全威胁、缝隙和最佳实际。
本文对大模型利用场景下的威胁框架进行了初步的索求与分析。随着大模型技术的迅快发展和利用，其安全问题在演变为一个复杂系统。在将来的智能世界中，我们必要以审慎态度和前瞻视野，逐步深刻构建一个全面化、结构化、系统化的威胁框架，这不仅是理解和应对这些复杂威胁的基础，更是保险大模型健全可持续发展的关键一步。
参考资料：
1、《AI就绪的大模型身份与接见治理白皮书（AI-R-IAM）》.GA黄金甲 2025年2月
2、《AI安全风险评估和节造指南》Demon AI Security Handbook 2025年5月
3、《DeepSeek等开源大模型利用 安全防护要求与执行指南》.中国移动 2025年4月
4、OWASP Top 10: LLM & Generative AI Security Risks
下载链接：/u/cms/www/202506/27165532tsiy.pdf
京公网安备11010802024551号