权重估算
FP16/BF16 每参数约 2 字节，INT8 约 1 字节，4 位约 0.5 字节。
平台 · 私有 AI 核心
为企业合理配置的私有 AI。
在实用的单 GPU 或高可用本地配置上运行经验证的 8B–32B 模型，并根据上下文、并发、延迟与可用性需求进行规模配置。
这些配置仅供规划；容量及响应时间必须在确切模型、引擎、硬件与工作负载上测试。
设计合作伙伴路线图 当前构建不包含模型运行时，也不会调用任何模型：所有与模型相关的能力都会明确返回“模型未配置”状态。本页的架构、模型级别与硬件数据均为设计与规模目标，既非实测结果，也不构成受支持的生产规格。
模型、量化、上下文长度、并发智能体及响应目标共同决定真实容量。
实用推理设施，而非超大规模训练集群
- 1基础级
7–9B · 16–24 GB 显存 · 64 GB 内存 · 1–2 TB NVMe
试点、小团队、低并发 - 2标准级
12–14B · 24–32 GB 显存 · 128 GB 内存 · 2 TB NVMe
推荐常规部署 - 3专业级
24–32B · 48 GB ECC · 128–256 GB 内存 · 2–4 TB NVMe
更强推理、中等并发 - 4高可用级
14–32B · 双 48 GB GPU 或双节点 · 256 GB 内存 · 4 TB+
冗余、隔离或高并发
显存规划
参数数量不等于总显存需求
权重只是推理服务的一部分，宣传的最大上下文也并非没有成本。
运行开销
量化元数据、缓冲区、CUDA 图、嵌入/重排模型、适配器及服务均消耗内存。
上下文与并发
KV 缓存随证据长度和同时会话增长，实际限制必须评测。
14B 示例
4 位权重约占 7–8 GB，但这并不代表 8 GB 显存足以安全运行整套服务。
部署方式
让服务器适应运营环境
必须验证整机的散热、供电、驱动、运行时、监控、保修及更换路径。
专用工作站
适合试点、小团队及部门级部署的高性价比选项。
本地机架服务器
适合专业 GPU、冗余存储及数据中心控制的企业集中式选项。
现有私有设施
GPU 虚拟化、容器或 Kubernetes 须通过直通、许可、驱动及运行时验证。
可用性
让韧性与风险匹配
高可用会显著改变成本与运营，因此应按需选择。
单节点
适用于可以接受辅助任务排队及计划维护的标准路径。
热备或主备
第二个获批节点可缩短恢复时间，而无需主动—主动复杂度。
服务分离
推理与检索可隔离，也可在受控网关后部署多个获批工作节点。
持续运行
推理不可用时，安全控制继续工作
GPU 服务不得成为安全平台的单一权威点。
确定性功能继续
扫描器、收集器及策略控制独立于模型推理持续运行。
辅助安全降级
请求可排队、使用较小的获批模型或按策略转为人工审查。
恢复明确可见
部署时定义队列、超时、健康检查、回退、恢复目标及用户通知。
责任
共同运营模式
客户拥有基础设施，并不意味着生命周期与安全决策可以分离。
SentraMind
模型验证、团队集成、提示与检索配置、评估、升级、回滚包及产品支持。
客户
基础设施、网络与身份集成、备份、保留、访问批准、供电、散热及许可接受。
共同责任
容量规划、安全监控、变更批准、事故处理及模型生命周期决策。
平台 · 私有 AI 核心
依据您的证据与工作负载进行配置
在采购硬件前，规模评估将明确部署级别、模型级别、经测试的容量范围、可用性设计及实施范围。