国产大模型之光DeepSeek

当前，AI领域最耀眼的明星，非DeepSeek莫属，其凭借极低成本、免费使用模式，以及媲美全球顶尖模型的卓越性能燃爆AI科技圈。

更令人振奋的是——DeepSeek直接开源！模型权重+推理代码全面开放，不仅支持企业和个人商业化使用，还允许本地部署，让AI技术真正触手可及，加速行业智能化升级。DeepSeek采用了编写PTX汇编的方式优化性能，即直接操作硬件底层指令，大幅提升了AI加速卡的利用率和对不同生态的适应性。

广电五舟作为智算领域的深耕者，专注于打造专业的大模型算力基座与解决方案，与国内外顶尖AI芯片制造商深度合作，针对各行业头部客户关心的DeepSeek大模型在其内部如何部署、高并发全天候运行等方面，就大模型在智能任务分配、对抗训练、数学推理、代码生成与调试等主要领域，展开了大规模、深度适配。考虑到模型推理的算力需求主要取决于模型参数规模、计算精度(BF16/INT8)、输入输出上下文长度、并发用户数量、延迟要求(TTFT/TPOT)及推理框架效率等因素。广电五舟以昇腾架构的高性能AI服务器S800K3为算力基座，响应DeepSeek大模型推理数据处理需求，最终形成了成熟稳定的DeepSeek大模型部署解决方案。

不同版本DeepSeek模型的参数量及其推荐硬件配置

广电五舟深度适配DeepSeek

S800K3作为广电五舟昇腾架构的高性能推理设备，专为推理而优化，单台可提供高达2.2PFLOPS FP16的业界领先算力，双向互联带宽高达392G/s。仅需4台S800K3，便可高效部署DeepSeek-R1和DeepSeek-V3的671B级模型。

在具体的部署落地方面，广电五舟通过自研的五舟智海星图AI平台可高效承载DeepSeek-R1、DeepSeek-V3等大模型的部署。该平台是一款面向大模型推理与应用的高效AI计算平台，深度适配昇腾生态，提供强大的算力调度、资源管理及优化推理能力。支持多模型并行推理，具备弹性扩展能力，可为企业与科研机构提供稳定、低延迟的AI推理服务。

依托S800K3强大的算力基座与五舟智海星图AI平台，广电五舟AI技术团队已成功助力多个行业客户部署DeepSeek-R1系列模型，包括在泛政府行业助力客户成功部署DeepSeek-R1大模型推理、在科研教育行业助力客户成功部署DeepSeek-R1-Distill-Qwen-14B大模型推理、在生物医药行业助力客户成功部署DeepSeek-R1-Distill-Qwen-32B大模型推理。通过本地化推理部署，客户能够在自身物理安全环境下，高效处理海量、多维度的非结构化数据，获得更加精准、智能的推理服务，显著提升业务效率与数据安全性。

截至目前，广电五舟仍在积极协助众多行业用户完成DeepSeek模型的部署，涵盖金融、政府、教育等20+领域，持续推动AI技术在各行业的深度落地，助力企业实现智能化升级。这一系列成功案例，充分展现了广电五舟在大模型推理及AI计算领域的技术实力与影响力。