首页>商情资讯>行业新闻

AI PC搭载70B大模型

2025-3-26 9:14:00
  • 算力狂飙,内存开挂

AI PC搭载70B大模型

AI PC 浪潮:大模型适配与硬件革新

在人工智能技术飞速发展的当下,AI 推理为 DeepSeek 一体机带来了极高的市场热度。与此同时,AI PC 对 DeepSeek 大模型的支持能力,也逐渐成为消费者在选购 AI PC 时重点考量的因素。不同配置的 AI PC,能够适配 DeepSeek-R1 系列的多种模型。就日常 AI 功能而言,DeepSeek-R1 70B 大模型基本能满足绝大多数需求,因此也成为了高性能 AI PC 研发的关键方向。

DeepSeek-R1 模型家族与硬件适配

DeepSeek-R1 目前已发布 7 种不同参数量的模型版本,分别为 1.5B、7B、8B、14B、32B、70B 和 671B。这些模型可满足自然语言处理、内容创作等多种场景需求,当然,不同模型对硬件性能的要求也存在差异,模型参数越大,所需的计算资源就越多。

根据京东给出的配置建议,个人消费者在日常学习和生活中,若仅需实现文本生成、基础图像处理等功能,可选择 1.5B、7B 或 8B 模型。这类模型对硬件要求较低,普通的个人笔记本或台式机就能完成 DeepSeek 的本地部署。其中,1.5B 模型最低只需 4G 显卡(如 GTX 1050 及以上),4 核 CPU 和 8G 内存;7B 和 8B 模型则需要 8G 显卡、8 核 CPU 以及 16GB 内存。

若要实现多语言处理、AI 推理、专业图像处理等更复杂的功能,可选择 DeepSeek-R1 14B 或 32B 模型进行本地化部署。不过,这类模型对硬件配置的要求更高。14B 模型需要 16G 显卡(至少 RTX4000Ada 及以上)、12 核 CPU 和 32G 内存;32B 模型则需要 24G 显卡(如 A6000 及以上显卡并行计算)、16 核 CPU 和 64G 内存。

对于大型企业、高端设计以及科研机构等对性能要求极高的场景,可选择 70B 模型。该模型可完成深度学习、复杂数据分析和高级图像处理等复杂任务,目前推荐配置为 2 个 A100 80G 显卡或 4 个 RTX4090 显卡并行,并搭配 32 核 CPU 和 128G 内存。实际上,70B 模型在本地部署后,基本能满足各类日常需求,因此处理器和 PC 厂商都在积极推动 AI PC 运行大模型的技术方案。

硬件厂商的技术突破

AMD 锐龙 AI Max+ 395:性能与能效的双重飞跃

今年 1 月,在 CES 2025 上,AMD 发布了代号为 “Strix Halo” 的锐龙 AI Max 系列处理器,该系列处理器可支持本地化运行 700 亿参数版本的 DeepSeek 大语言模型,为各类生成式 AI 应用提供了强大助力。

锐龙 AI Max 系列采用了先进的 Zen 5 CPU 和 RDNA 3.5 GPU 架构,并运用了芯粒(chiplets)封装技术。每个 Zen 5 CPU 核心位于独立的 CCD 上,最高可配置两个 CCD,提供 16 个 Zen 5 核心。核显最高拥有 40 个 RDNA 3.5 计算单元,还采用了 LPDDR5x 内存标准,内存带宽高达 256GB/s,并集成了 50 TOPS “XDNA 2” NPU。这些配置为 Windows 11 AI+PC 带来了卓越的 AI 性能。

在 AI 性能方面,锐龙 AI Max+ 395 凭借 50 TOPS 的 XDNA 2 架构 NPU,在 LM Studio 中的 AI 性能比 NVIDIA GeForce RTX 4090 高出 2.2 倍,同时功耗降低了 87%。此外,锐龙 AI Max 系列支持高达 128GB 的统一内存,其中最高可将 96GB 用于图形处理,这使得搭载该处理器的系统能够实现高效的多任务处理,并支持运行 700 亿参数的超大规模 AI 模型,使其成为全球首款能运行 700 亿参数模型的 AI PC 处理器。

ROG 幻 X 2025 将首发搭载 AMD 锐龙 AI Max+ 395 处理器。这款笔记本配备 128GB 256bit LPDDR5X 8000MHz 统一内存,支持最大 96GB 动态显存分配,结合 CPU、GPU 和 NPU 总计 126 TOPS 的算力,可轻松实现 AI 大模型的本地部署,并流畅运行各类端侧 AI 应用。

Apple M3 Ultra:Mac Studio 的性能担当

苹果公司近期推出的新款 Mac Studio,凭借其强大的性能,在 AI PC 领域占据了一席之地。新款 Mac Studio 提供 M4 Max 和 M3 Ultra 两种芯片版本供用户选择,M4 Max 型号起售价 16499 元,M3 Ultra 型号起售价 32999 元。M3 Ultra 版本最低配备 96GB 统一内存,最高可选配 512GB,还支持最高达 16TB 的固态硬盘选配。

Mac Studio 的顶配版本可直接在本地运行 deepseek R1 671B 满血版大模型。苹果 M3 Ultra 芯片由两块芯片组合而成,拥有双倍的中央处理器、图形处理器、神经网络引擎和内存带宽,性能十分强劲。无论是处理大规模数据集,还是同时进行动画制作和 3D 场景渲染等复杂任务,都能轻松应对。其最高达 512GB 的统一内存,为运行大语言模型提供了充足的空间。

统一内存架构与 AI PC 的未来

AI PC 要支持百亿级大模型,不仅需要高性能的 CPU、GPU 和 NPU,还需要大容量的存储。一些厂商已经开始推广统一内存架构,苹果 M 系列芯片便是较早采用这一架构的代表。例如,iMac 搭载的 M4 芯片,配备最多 10 核中央处理器,支持最多 32GB 统一内存,内存带宽提升至 120Gb/s。

英特尔下一代 AI PC 旗舰产品 Lunar Lake 处理器也将采用类似设计,将内存封装在芯片之中。这种设计不仅能显著提升数据传输速度和系统响应时间,降低功耗,还能简化主板布局。

能够运行 70B 大模型的 AI PC,能为用户带来更智能、更丰富的 AI 体验。尽管目前相关硬件成本较高,但随着技术的发展和成本的降低,高性价比、支持大参数量模型的 AI PC 有望成为市场主流。