京东云推出vGPU池化方案，大幅降低AI大模型推理成本

京东云最近推出了vGPU池化方案，可以提供一站式GPU算力池化能力，让GPU利用率提升70%，降低大模型推理成本！ 京东云自主研发的混合多云操作系统云舰，在原有支持混合多云CPU算力池化能力基础上，针对大模型训练所需的泛算力池化能力，增加了针对AI应用所需的调度管理能力，为包括大模型训练在内的多种AI应用提供一站式算力池化解决方案，全面提升资源利用率。 这个方案有四大优势： 1. 算力切分灵活，支持任意比例切分和动态调整机制，可实现按显卡算力、显存做细粒度切分，一张物理卡可供多个容器使用，与整卡算力相比，性能衰减在2%以内。 2. 精细化配额管理，支持灵活的配额管理，按显卡型号/ label 配额，有效保障资源按需分配，提升推理稳定性和训练性能。 3. 多场景适配，适配主流CUDA版本和不同GPU芯片适配，支持TensorFlows、Pytorch 等行业主流的AI训练框架。 4. 多节点管理，支持节点虚拟分组和节点组指定应用使用，全面提升大模型训练效率。