浪潮信息发布元脑CPU推理服务器,助力大模型高效运行

浪潮信息近日推出全新元脑CPU推理服务器NF8260G7和NF8480G7,专为DeepSeek、千问QwQ等新一代大模型推理场景设计。该系列服务器配备4颗高性能通用CPU与多通道内存系统,结合张量并行策略及AMX加速技术,可单机运行DeepSeek-R1 32B和QwQ-32B推理模型,支持多达20个并发用户请求。通过软硬协同优化,这些服务器不仅为32B规模的大模型推理提供强大算力支持,还适用于云计算、数据库等关键业务场景,展现出高效、灵活且稳定的性能表现。这一创新将进一步推动AI技术在多领域的广泛应用。

Copyright © DoNews 2000-2025 All Rights Reserved
蜀ICP备2024059877号-1