医疗数据的敏感性决定了模型不能只跑在公有云上。把推理与数据都放进院内网，既守住合规底线，也换来可预期的响应速度与运维主动权。
推理在院内服务器完成，病历与患者数据不出内网、不上公有云。
内网闭环运行，不依赖外网链路，网络波动时业务照常。
按并发配置 GPU，热点查询走缓存，算力投入与业务量匹配。
模型版本、调用与降级事件全部记录，满足内审与监管追溯。
部署形态上，支持「单机一体机」「院内 GPU 服务器」「Kubernetes 推理集群」三种形态；模型接入以插件封装，可替换为院内微调模型。
下表为参考配置，用于估算与选型；最终配置以实施评估（并发量、模型规格、知识库规模）后的方案为准。
GPU 1× NVIDIA RTX 4090 24GB 或 L4 24GB；CPU 16 核；内存 64 GB；系统盘 256 GB SSD + 数据盘 1 TB NVMe；模型 14B 4-bit（AWQ / GPTQ）。单卡即可跑通，适合科室试点与演示。
GPU 1× A100 40GB 或 2× L40S 48GB；CPU 32 核；内存 128 GB；数据盘 2 TB NVMe；模型 14B 8-bit 或 32B 4-bit。满足门诊 + 住院日常并发，支持 vLLM 连续批处理。
GPU 4× A100 80GB 或 8× L40S 48GB（张量并行）；CPU 64 核；内存 256 GB 起；数据盘 4 TB NVMe（RAID）；模型 32B 8-bit 或 100B 4-bit。多院区共享推理集群，按科室分配配额。
CPU 16 核 / 内存 32 GB / 1 TB SSD，使用 llama.cpp 加载 14B 4-bit GGUF。仅供功能演示与小规模试用，吞吐低，不建议生产。
| 模型规格 | 权重显存（约） | 建议单卡 | 典型并发 |
|---|---|---|---|
| 14B · 4-bit | 约 9 GB | 24 GB（RTX 4090 / L4 / A10） | 5 – 10 |
| 14B · 8-bit | 约 15 GB | 24 GB 及以上 | 10 – 20 |
| 32B · 4-bit | 约 19 GB | 48 GB（A6000 / A40）或 2×24 GB | 20 – 30 |
| 32B · 8-bit | 约 34 GB | 48 GB 及以上 | 20 – 40 |
从操作系统安装到验收报告，标准实施路径分为八步，全程在内网完成，每一步都有可核对的交付物。
安装操作系统（Ubuntu 22.04 LTS 或 Windows Server 2019+ 64 位）、NVIDIA 驱动与 CUDA、容器运行时（Docker / containerd）；用 nvidia-smi 校验 GPU 可用性与驱动版本，确认满足目标显卡要求。
由商务提供加密介质，包含模型权重、推理服务镜像、知识库种子与校验文件；导入后逐项比对 SHA-256，确认文件完整、未被篡改后再进入下一步。
以 vLLM 加载量化模型（4-bit / 8-bit），启动 OpenAI 兼容服务（/v1/chat/completions），暴露内网端口；配置连续批处理与显存占用上限，压测确认吞吐达标。
导入知识库种子，启动向量库与全文索引，跑一遍处理管道（解析 → 切片 → 向量化 → 入库 → 校验）；确认切片数量与来源元数据完整可追溯。
配置 HIS 只读副本库连接（查询）与写入通道（草稿 → 确认 → 提交）；LIS / PACS 按插件接入；配置数据字典映射，核对字段对照表。
把推理服务地址写入专用智能体系统与业财一体化系统的模型配置项；完成连通性自检与端到端问答验证，确认调用链路与超时策略生效。
仅放行内网访问，配置防火墙与端口策略；开启 RBAC、科室数据隔离、字段级脱敏与全链路审计；关闭不必要的外网出口。
按并发目标做压力测试，抽测评测集（含财务专项题与临床盲测）；演练「模型不可用自动降级规则引擎」与恢复后自动切换，输出验收报告。
完成操作系统、驱动与容器运行时安装，导入加密介质并完成 SHA-256 校验。
启动 vLLM 推理服务，初始化向量库与全文索引，跑通处理管道并核对切片数量。
接入 HIS / LIS / PACS 与业务系统，配置数据字典映射、RBAC 与科室隔离。
按并发目标压测，抽测评测集，演练降级与自动切换，输出验收报告。
面向管理员与业务人员培训，交接运维手册、账号与审计配置。
实施方式上，远程实施为标准服务，上门部署实施为可选。
智能体系统自带「大模型设置 / 模型设置」配置项，本地部署完成后只需把推理服务地址指向院内服务，即可让八项技能走本地模型；模型不可用时自动降级规则引擎。
在「大模型设置」中填入院内推理服务的内网地址与模型名，按需设置超时与重试参数。
使用内置自检发起一次问答请求，确认鉴权、网络与响应格式均正常。
先开启知识问答，再开启病历文书，最后开放写入草稿，逐段观察输出质量。
面向全院启用后，持续查看降级事件与调用记录，确认链路稳定、无异常降级。
结合院内知识库作答，答案附引用溯源，便于核对与追问。
依据就诊信息生成病历、护理记录草稿，供医护人员修改与签署。
对用药、剂量与配伍进行提示，结合院内规则库给出审核意见。
识别危急值并生成报告解读要点，帮助医生快速把握重点。
边界说明：所有 L2 / L3 写入仍走「草稿 → 人审 → 提交」，模型不直写 HIS 主库。
业财一体化平台与智能体共用同一套本地推理服务，财务侧任务同样不出院内网，模型能力直接落在财务人员的日常工作上。
识别票据与单据要素，给出会计科目与摘要建议，由财务人员复核。
系统先完成逐笔比对，定位差异明细，财务人员只看异常部分。
对异常金额与流程给出提示，配合内控规则降低事后审计风险。
用自然语言询问口径与预算，直接返回结果与来源，省去等数过程。
财务人员的角色从「录入与核对」转向「复核与判断」；所有自动生成结果均需人工确认后入账。
上线只是起点。日常运维围绕可用性、可感知、可回滚、可审计四条主线，让本地部署既稳又可控。
周期性探测模型可用性，异常自动切换、恢复自动回切。
降级状态在界面明确提示，避免误以为是模型结果。
模型与服务按版本留档，可回滚到上一版本。
模型版本、调用与降级事件写入审计，可查可溯。
按并发与场景配置 GPU，热点查询走缓存，算力用在该用的地方。
推理与数据均在院内网，仅在使用远程 API 模式时才需外网，该模式可按需关闭。
以下问题来自选型与实施阶段的真实咨询，集中说明硬件门槛、替代方案与数据安全边界。
可以。纯 CPU 兜底档（16 核 / 32 GB 内存）仅供功能演示与小规模试用，吞吐低，不建议用于生产；生产环境建议配置 GPU。
不必。14B 4-bit 单张 24 GB 显卡即可跑通，按并发量升级即可；A100 属于参考配置中的标准档与集群档选项，并非最低要求。
可以。系统兼容 OpenAI 协议，可指向云端模型服务；但使用远程 API 时需外网，数据会经外网链路，该模式可按需关闭。
标准远程实施约 1 个工作日完成安装，含系统对接与压测通常 3 – 5 天，具体视院内配合情况而定。
可以。模型以插件封装，可替换为院内微调模型；替换后沿用同一套推理服务与调用接口。
能。院内为内网闭环运行，不依赖外网；当模型不可用时，系统自动降级到内置规则引擎，业务不中断。
暂不提供在线下载与试用，60 天云端试用不包含医疗大模型；如需评估请联系商务安排演示。
不会。查询走只读副本库，写入一律先草稿、经人审确认后才提交，并回写业务单号留痕。