发帖
雷达卡
课程学习：密态大模型的技术原理与实践搭建
主讲人：蚂蚁密算 周爱辉
课程重点：深入解析密态大模型的核心技术机制、实际应用价值，并指导如何从零开始部署推理服务。
一、AI时代下大模型面临的挑战
随着人工智能技术不断向产业渗透，大模型的应用场景日益广泛。然而，高质量、专业化的数据需求持续增长，行业在构建专属大模型过程中遭遇多重障碍。
1. 当前产业落地现状
尽管大模型已在多个领域展开尝试，但受限于数据获取能力与安全顾虑，其深度整合仍面临瓶颈。
2. 主要问题分析
- 供需不匹配：部分机构掌握优质数据资源，却缺乏训练和部署大模型的技术能力；
- 数据安全担忧：数据或模型提供方担心敏感信息外泄，难以信任第三方使用环境；
- 查询内容风险：用户提交的Query可能包含个人隐私或商业机密，在传输和处理中存在泄露隐患；
- 整体影响：上述安全问题严重制约了大模型在真实业务场景中的规模化落地。
3. 蜜台大模型的应对策略
通过引入“密态（MITI）大模型”架构，实现对数据、模型以及用户请求全过程的安全保护，推动高价值信息在可控环境下高效流通与利用。
二、核心技术基础：基于机密计算的安全体系
为保障数据在使用过程中的安全性，密态大模型依托机密计算（Confidential Computing）构建可信执行环境。
1. 机密计算概述
数据生命周期包含三个阶段：存储（At rest）、传输（In transit）、使用（In use）。传统加密手段主要覆盖前两个阶段，而机密计算专注于解决“使用中”的内存数据防护问题。
（1）关键技术：可信执行环境（TEE）
核心本质：TEE是一个隔离的运行空间，仅允许授权程序访问其中的数据，外部系统无法读取或篡改。
典型实例：Enclave（飞地），即TEE的具体实现形式，为特定代码与数据提供硬件级隔离保护。
威胁模型设定：即便在云环境中，云服务商或其他租户也无法获取TEE内部的任何敏感信息。
（2）三大核心特性
- 强隔离性：与普通执行环境（REE）完全隔离，攻击面极小，安全性不依赖于REE的安全状态；
- 内存加密：TEE硬件自动对内存数据进行加密，防止物理层面的数据窃取；
- 远程证明机制：以硬件为信任根，生成可验证的运行环境报告，确保客户端能确认服务端环境的真实性与完整性。
git clone [TrustFlow开源地址]2. 密态大模型的数据流转安全保障
目标是实现“数据可用不可见”，贯穿大模型的推理与后训练全流程。
（1）推理流程中的Query保护
- 模型部署：模型持有者将加密后的模型上传至云端，由系统加载进TEE内，启动API接口供外部调用；
- 远程认证：用户端发起连接请求，TEE生成带有硬件签名的认证报告（含CPU型号、固件版本等），经可信机构验证后建立信任链；
- 加密通信：用户使用推理服务的公钥加密数据密钥，再用该密钥加密Query内容，仅以密文形式传输至TEE；
- 推理执行与返回：TEE内部解密并执行推理任务，结果用相同密钥加密后传回，用户本地完成最终解密。
（2）后训练阶段的数据与模型双重保护
- 参与方准备：模型方与数据方分别加密各自资产并上传至云端；
- 密钥与策略管理：密态数据协同管理器（运行于TEE中）统一托管密钥，并设定使用规则（如“仅限用于SFT微调”）；
- 权限校验与下发：训练应用请求密钥时，管理器检查是否符合预设策略，通过后以加密方式分发；
- 安全训练执行：应用在TEE内解密模型与数据，执行有监督微调（SFT）、强化学习等操作，全程无明文暴露。
docker-compose up3. 实际应用场景示例
案例一：MOTOP7 IM平台的AI安全接入
- 痛点：B端客户希望使用大模型能力处理私聊消息、企业文档等内容，但不愿将原始数据交予第三方；
- 解决方案：采用蜜台大模型实现Query-推理-输出全链路加密，输入输出均为密文；
- 价值体现：有效保护企业机密与用户隐私，促进AI功能在即时通讯场景中的合规落地。
案例二：私域知识库的密态问答系统
- 痛点：企业和个人拥有含敏感信息的知识库，既不敢直接对接公共大模型，又无力承担自建成本；
- 解决方案：本地检索结果与用户Query联合加密后送入云端大模型，模型输出亦加密返回；
- 价值体现：无需自建模型即可安全调用云服务，提升响应质量与业务效率，支持垂直领域知识增强训练。
三、动手实践：搭建密态大模型推理服务
本节介绍如何基于开源框架快速部署一个可运行的密态推理环境。
1. 核心工具：TrustFlow 框架
定位说明：蚂蚁密算推出的开源TEE计算框架，提供机密计算透明化框架（CCTF），支持现有AI应用无缝迁移至TEE环境。
关键能力：集成远程认证代理、数据安全管控模块，适用于机器学习、深度学习及大模型推理等多种场景。
开源地址：相关资源可通过课程页面提供的链接自行获取。
2. 环境配置要求
| 类别 | 具体要求 |
|---|---|
| 硬件 | X86架构服务器（建议配备NVIDIA GPU）；非X86设备请参考VRM官网文档 |
| 网络 | 需具备外网访问能力，便于下载模型资源 |
| 软件 | Python ≥ 3.10；Docker ≥ 19.03 |
| 备注 | 无需专用TEE硬件，普通机器支持仿真部署，技术原理一致 |
3. 部署操作步骤（基于Docker）
- 克隆项目仓库：执行指定命令拉取源码；
- 进入实例目录：切换到课程配套的示例代码路径；
- 启动服务：运行启动脚本，容器化服务将在本地启动。
4. 服务验证
安装依赖：执行
pip install [必要依赖]调用推理服务：运行对应指令
python JWClient.py验证结果：若成功接收到模型返回的明文响应（例如：“你好，有什么可以帮助你吗”），则表明服务部署已生效。
5. 核心机制说明
整体部署架构由三个容器组成，充分体现了CCTF框架在安全性与透明化方面的优势：
- Sidecar容器：提供远程认证代理等功能；
- Envoy容器：承担通信流量的转发任务；
核心原理：密态大模型依托机密计算技术（TEE），实现从大模型推理到后训练全流程中“数据、模型、Query”的全方位安全保护，真正达成“可用不可见”的安全目标。
实操价值：借助基于TrustFlow的CCTF框架，用户无需前期技术积累，即可快速构建密态大模型推理服务，显著降低高安全要求下大模型应用的落地难度。
产业意义：有效破解当前大模型在实际产业场景中面临的安全瓶颈，推动企业和个人更放心地使用私域数据，加速垂直领域专业化大模型的发展与落地。
京公网安备 11010802022788号
