信创模盒ModelHub XC｜适配模型25000+ 完成智谱GLM-5模型部署
2026-03-05
今天，范式旗下信创模盒ModelHub XC完成智谱GLM-5模型在天数智芯天垓150上的部署与验证，并将于近日上线。同时，平台上模型的适配认证数量已超过25000个。本次部署以GLM-5-INT4-Pack8量化模型为核心，依托Docker容器化技术，采用vLLM推理框架，并启用pipeline-parallel与tensor-parallel分布式并行策略，最终对外提供标准OpenAI Chat Completions API服务。部署过程中，通过INT4量化技术对模型权重压缩，降低显存占用，并用Pack8技术提升访存效率与计算吞吐。推理层面采用vLLM框架的显存管理技术与迭代级动态调度机制，减少显存碎片，实现请求级的持续批处理。同时结合张量并行与流水线并行，在多卡环境下进行计算与通信重叠。此次部署验证了国产天数智芯硬件与大模型主流推理框架的深度适配性，实现从模型量化、容器化封装到高性能推理的全链路自主可控，为后续基于信创环境的AI应用开发提供可靠的技术范式。截至目前，信创模盒ModelHub XC已完成超过25000个大模型的适配认证，覆盖昇腾、摩尔线程、天数智芯、海光等主流国产芯片。其中，昇腾系列累计适配模型超过13000个，摩尔线程MTT S4000等芯片适配模型超过6000个，天数智芯系列适配模型突破3000个，海光AI加速卡适配模型超过1500个。模型架构层面，平台已完成对Qwen2、GLM-4、DeepSeek-V2、Llama3、InternLM2等最新一代模型体系的适配，支持多模态、长文本、强化推理等能力。未来，范式将持续进行模型推理性能的优化，推进信创硬件与AI框架的适配工作。
范式集团（港交所代码: 6682）是全球领先的通用人工智能科技公司，以“AI for everyone”为使命，致力于用“AI agent+世界模型”的技术路线赋能千行万业。公司成立于2014年，于2025年实现集团化，下设企业服务（第四范式）、大模型与AGI（万神殿）、消费电子（范式领航）、智慧能源（范式方舟）、智慧体育（范式网动）等业务板块。截至目前，公司已在金融、零售、医疗等领域成功落地超10000+个AI应用，始终致力于推动AI普惠，助力企业实现可持续增长。
