DeepSeek | Memordust

DeepSeek宣布启动开源周活动，下周起将连续公开5个核心技术仓库2月21日，DeepSeek宣布将在未来一周内陆续发布5个开源代码库，展示其最新的技术进展

Fri, 21 Feb 2025 05:05:32 GMT

DeepSeek宣布启动开源周活动，下周起将连续公开5个核心技术仓库

2月21日，DeepSeek宣布将在未来一周内陆续发布5个开源代码库，展示其最新的技术进展。公司表示，当前其在线服务模块已经经过测试，且已成功投入生产环境，具备实际应用能力。作为一个小型团队，DeepSeek强调每次技术进展的分享都将为行业带来新的动力。

公司还表示，将秉承开源精神，抵制象牙塔式的开发模式，倡导纯粹的车库式创业和由社区共同推动的创新力量。DeepSeek希望通过与开源社区的紧密互动，每一行代码的分享都能促进集体的进步，推动整个行业不断发展壮大。

#DeepSeek #开源 #人工智能 #科技

各大手机厂商均已接入DeepSeek-R1目前，华为、小米、荣耀、OPPO、vivo、魅族等多家手机厂商均已接入DeepSeek-R1，以提升AI助手的智能体验

Fri, 14 Feb 2025 17:48:57 GMT

各大手机厂商均已接入DeepSeek-R1

目前，华为、小米、荣耀、OPPO、vivo、魅族等多家手机厂商均已接入DeepSeek-R1，以提升AI助手的智能体验。随着DeepSeek-R1的影响力持续扩大，更多厂商或将在未来加入该生态。

·华为小艺助手上线DeepSeek-R1 Beta版，用户需升级至HarmonyOS NEXT方可使用。
·荣耀YOYO智能体商店上线DeepSeek-R1尝鲜版，适用于MagicOS 8.0及以上机型。
·OPPO方面，即将发布的OPPO Find N5将正式接入DeepSeek-R1，其他机型需等待后续公告。
·vivo宣布将与DeepSeek深度融合，蓝心小V未来将支持图片生成、AI文本创作等功能。
·魅族Flyme AIOS完成适配，首批将支持魅族21系列和Lucky 08，并计划推广至更多设备。
·小米方面，尽管“超级小爱”未正式官宣，但已完成DeepSeek-R1的整合，目前版本暂不支持联网和文件上传。

#DeepSeek #人工智能 #手机 #华为 #小米 #荣耀 #OPPO #魅族

DeepSeek R1 在 GPU 内核优化中超越人工工程师英伟达研究发现，DeepSeek R1可以编写自定义内核，并且“在某些情况下，这些内核比熟练工程师开发的优化内核更好”

Fri, 14 Feb 2025 14:00:36 GMT

DeepSeek R1 在 GPU 内核优化中超越人工工程师

英伟达研究发现，DeepSeek R1可以编写自定义内核，并且“在某些情况下，这些内核比熟练工程师开发的优化内核更好”。在英伟达最新博文中，研究人员指出，DeepSeek R1不仅能够高效生成GPU内核，还在KernelBench基准测试中取得了出色成绩。该模型的优化方案有效加速了FlexAttention计算，在多个基准测试中实现了100%的数值正确性，并在一些更复杂的测试上达到96%的准确度。

DeepSeek R1生成的自定义内核在推理时间缩放和计算效率方面表现优异，能够自动执行计算密集型任务，其解决方案也非常简单，引起了很多人的震惊。有用户测试发现，使用DeepSeek R1进行15分钟的优化循环后，生成的代码在某些情况下比熟练工程师手动优化的内核更高效。

#DeepSeek #内核 #英伟达 #科技 #人工智能

国家广电总局广科院、当虹科技等单位发起成立 DeepSeek 传媒行业应用创新联盟2 月 11 日举办的 DeepSeek 大模型传媒行业应用研讨会上，当虹科技与国家广电总局广科院等多家单位联合发起成立 DeepSeek 传媒行业应用创新联盟，共同迈进 “DeepSeek + 传媒应用” 深度融合的全新合作阶段

Wed, 12 Feb 2025 12:51:40 GMT

国家广电总局广科院、当虹科技等单位发起成立 DeepSeek 传媒行业应用创新联盟

2 月 11 日举办的 DeepSeek 大模型传媒行业应用研讨会上，当虹科技与国家广电总局广科院等多家单位联合发起成立 DeepSeek 传媒行业应用创新联盟，共同迈进 “DeepSeek + 传媒应用” 深度融合的全新合作阶段。当虹科技在会上展示了深度融合 DeepSeek-R1 和 DeepSeek Janus-Pro 的 BlackEye 多模态视听大模型，模型推理能力和效率大幅提升，成本进一步降低。

#DeepSeek #人工智能 #中国

OpenAI 执行长表示：愿与中国合作，拒绝出售公司在巴黎的AI行动峰会上，OpenAI的执行长萨姆·奥特曼（Samuel Harris Altman）表示愿意在AI领域与中国展开合作，并承诺将为此付出最大努力

Wed, 12 Feb 2025 12:27:30 GMT

OpenAI 执行长表示：愿与中国合作，拒绝出售公司

在巴黎的AI行动峰会上，OpenAI的执行长萨姆·奥特曼（Samuel Harris Altman）表示愿意在AI领域与中国展开合作，并承诺将为此付出最大努力。他指出，即使面临美国政府的初步反对，他依然希望推动这项合作实现。奥尔特曼强调，“我认为这是非常重要的，并且我相信我们能够做到”“即使美国政府不同意也会全力以赴”。

此外，奥特曼再次重申，OpenAI不会出售。他回应了关于马斯克和其他投资者提出的974亿美元收购提案，明确表示拒绝此提案，并幽默地表示，如果马斯克愿意，他愿意以97.4亿美元收购推特。

奥特曼的回应是在此前《华尔街日报》报道后，马斯克等投资人曾提出收购OpenAI的计划，涉及可能与AI新创公司xAI合并。奥特曼坚决否认了这一计划，表示OpenAI将继续独立发展。

#人工智能 #OpenAI #DeepSeek #马斯克

AI.com 域名跳转至 DeepSeek，交易仍未明朗知名域名 AI.com 再次变更跳转目标，目前指向国产 AI 模型 DeepSeek

Sun, 09 Feb 2025 02:44:13 GMT

AI.com 域名跳转至 DeepSeek，交易仍未明朗

知名域名 AI.com 再次变更跳转目标，目前指向国产 AI 模型 DeepSeek。这一情况表明，该域名的最终归属仍未确定，持有者可能仍在通过不断切换跳转目标来提高关注度，以期实现高价出售。

此前，该域名曾指向 ChatGPT、谷歌 Gemini 和马斯克的 xAI。分析认为，持有者可能的过高要价阻碍了交易，尽管 OpenAI、谷歌等有购买能力，但自身品牌已确立，域名价值下降，买家或不急于收购。

#DeepSeek #域名 #人工智能 #商业

ai.com

AI Agents That Can Do Anything You Can - ai.com

ai.com lets you create an agent with its own computer, so it can use any application and do any task that you might do.

美参议员提案：下载中国AI或面临最高20年监禁美国密苏里州共和党参议员乔希·霍利（Josh Hawley）近日提出《将美国人工智能能力与中国脱钩法案》，若通过，任何故意下载中国开发的人工智能模型（如DeepSeek）的人，可能面临最高20年监禁及100万美元罚款

Tue, 04 Feb 2025 03:46:58 GMT

美参议员提案：下载中国AI或面临最高20年监禁

美国密苏里州共和党参议员乔希·霍利（Josh Hawley）近日提出《将美国人工智能能力与中国脱钩法案》，若通过，任何故意下载中国开发的人工智能模型（如DeepSeek）的人，可能面临最高20年监禁及100万美元罚款。

该法案旨在全面限制中美AI技术合作，包括禁止从中国进口或向中国出口AI技术，限制美国企业在华开展AI研究及与中企合作，并禁止对中国AI行业投资。此举或加剧中美科技脱钩，影响全球人工智能发展格局。

#美国 #中国 #DeepSeek #人工智能

OpenAI称无计划起诉DeepSeekOpenAI首席执行官Sam Altman星期一（2月3日）说，没有计划起诉DeepSeek

Mon, 03 Feb 2025 16:25:16 GMT

OpenAI称无计划起诉DeepSeek

OpenAI首席执行官Sam Altman星期一（2月3日）说，没有计划起诉DeepSeek。他表明，DeepSeek-R1的确令人震撼，但他相信OpenAI会继续开拓前沿领域，提供优秀的产品，“我们很高兴又迎来一位竞争对手”。

OpenAI曾表示掌握证据显示DeepSeek在训练过程中涉嫌通过“蒸馏”技术使用其数据，违反了相关条款。然而值得注意的是，所谓的“蒸馏”实际上包括了广义和狭义两种形式。在AI领域，广义蒸馏指的是利用已有模型生成的语料进行进一步的训练优化，而狭义蒸馏则是特指通过去噪和精炼数据来提升模型效果。OpenAI所提到的“蒸馏”概念并未明确区分这两者，造成了混淆。与此同时，DeepSeek模型本身使用了自主架构并同时发布了基于开源模型精简的版本，而非直接蒸馏OpenAI的模型。

这一系列的概念模糊和数据来源问题，也暴露了OpenAI在业内的争议，尤其是它自诩为数据使用规范的领头羊，却也未能避免版权问题的困扰。OpenAI曾多次因使用版权受保护的数据而面临知识产权指控。外界质疑，OpenAI的语料来源一直不清晰，且随着其模型广泛渗透互联网，数据污染问题变得更加严重，给AI生成内容带来了潜在的误导性。因此，OpenAI所言的“竞争”可能掩盖了其自身的争议与错误。

#OpenAI #DeepSeek #人工智能 #争议

中国红客联盟澄清与DeepSeek不实合作传闻中国红客联盟2025年2月2日发布声明，明确表示未与人工智能公司DeepSeek有任何合作或联系，也未收到其求助请求

Sun, 02 Feb 2025 20:08:12 GMT

中国红客联盟澄清与DeepSeek不实合作传闻

中国红客联盟2025年2月2日发布声明，明确表示未与人工智能公司DeepSeek有任何合作或联系，也未收到其求助请求。针对近期短视频平台流传的“红客协助抵御国外攻击”内容，联盟指出此类信息多为营销号或网络安全课程销售者编造，提醒公众勿轻信不实传言。

声明强调，中国红客联盟始终坚持爱国、维护网络安全的宗旨，严格规范自身行为，并呼吁公众理性甄别网络信息，及时通过官方渠道举报冒用名义的行为。联盟称将依法追究相关责任，维护网络空间秩序。

#中国 #红客联盟 #DeepSeek #网络安全 #虚假信息

DeepSeek 的联网搜索功能逐步恢复中，但目前仍处于小范围测试阶段，仅对部分用户或特定场景开放

Sun, 02 Feb 2025 20:02:53 GMT

DeepSeek 的联网搜索功能逐步恢复中，但目前仍处于小范围测试阶段，仅对部分用户或特定场景开放。

#快讯 #DeepSeek #调整

台蓝委质疑禁用DeepSeek是“为禁而禁”中国台湾地区数发部以资安考量禁止公务机关使用中国大陆AI模型DeepSeek，国民党立委李彦秀质疑决策是否“为禁而禁”，强调应进一步说明管制范围，避免影响学术研究

Sun, 02 Feb 2025 10:27:49 GMT

台蓝委质疑禁用DeepSeek是“为禁而禁”

中国台湾地区数发部以资安考量禁止公务机关使用中国大陆AI模型DeepSeek，国民党立委李彦秀质疑决策是否“为禁而禁”，强调应进一步说明管制范围，避免影响学术研究。民进党立委则认为，DeepSeek存在高度资安风险，台湾应迅速应对。数发部公告称，公务人员不得向生成式AI提供涉及机密或个人信息的数据。

#中国 #台湾 #DeepSeek #人工智能 #安全

o3-mini 在纯英文语境思考中混用中文今日，OpenAI 发布了新的推理模型 o3-mini

Sat, 01 Feb 2025 11:56:36 GMT

Memordust

OpenAI发布o3-Mini并承认闭源历史错误 OpenAI推出了新的轻量级人工智能模型o3-Mini，旨在提高推理效率并降低成本。该模型专注于编程、数学和科学等领域，目前已通过ChatGPT向免费和付费用户开放，并可通过API获取。Pro用户可无限制使用，Plus和Team用户则有速率限制。免费用户可以通过“Reason”按钮尝试该模型。与此同时，OpenAI的首席执行官‌‌Sam Altman携一众高管回答网友问题时罕见承认OpenAI过去在开源方面一直站在“历史错误的一边”。Altman表示…

o3-mini 在纯英文语境思考中混用中文

今日，OpenAI 发布了新的推理模型 o3-mini。然而，用户使用发现，o3-mini 除了在智力表现上“不太聪明”之外，有时还会在纯英文语境下突然使用中文进行思考。这一现象引起用户猜测是否为蒸馏 DeepSeek-R1 所致。

#OpenAI #DeepSeek #人工智能 #商业

多个科技巨头宣布推出DeepSeek模型服务当地时间1月31日，微软在其Azure AI Foundry和GitHub上提供了DeepSeek R1模型，开发者可以利用这些平台进行实验、迭代，并将DeepSeek模型集成到他们的工作流程中

Sat, 01 Feb 2025 08:40:41 GMT

多个科技巨头宣布推出DeepSeek模型服务

当地时间1月31日，微软在其Azure AI Foundry和GitHub上提供了DeepSeek R1模型，开发者可以利用这些平台进行实验、迭代，并将DeepSeek模型集成到他们的工作流程中。微软CEO纳德拉表示，DeepSeek-R1模型还将在微软AI电脑Copilot+ PC上运行。同日，亚马逊云科技宣布，用户可以通过Amazon Bedrock的自定义模型导入功能试用DeepSeek的R1模型。亚马逊表示，DeepSeek是一家中国人工智能初创公司，其发展势头强劲，并发布了能够以极低的成本达到与基础模型相同性能水平的模型。英伟达宣布，DeepSeek-R1模型已在英伟达官网上作为NVIDIA NIM微服务预览版提供。DeepSeek-R1 NIM微服务可以在单个NVIDIA HGX H200系统上每秒提供多达3872 tokens。

2025年2月1日，硅基流动与华为云宣布合作，推出基于昇腾云服务的DeepSeek R1/V3推理服务。该服务结合自研推理加速引擎，优化模型在昇腾云上的部署，提供与高端GPU媲美的性能，满足大规模商用需求，为稳定、生产级的服务能力提供保障。

#DeepSeek #人工智能 #微软 #亚马逊 #英伟达 #华为 #推理服务 #商业

AMD 称 RX 7900 XTX 运行 DeepSeek 模型的性能领先英伟达 RTX 4080S，部分场合胜过 40901月30日，AMD全球副总裁David McAfee在X平台分享了一张对比图，展示了AMD Radeon RX 7900 XTX显卡在运行DeepSeek-R1 AI模型时，与英伟达RTX 4090和RTX 4080 SUPER的性能差异

Fri, 31 Jan 2025 13:12:00 GMT

AMD 称 RX 7900 XTX 运行 DeepSeek 模型的性能领先英伟达 RTX 4080S，部分场合胜过 4090

1月30日，AMD全球副总裁David McAfee在X平台分享了一张对比图，展示了AMD Radeon RX 7900 XTX显卡在运行DeepSeek-R1 AI模型时，与英伟达RTX 4090和RTX 4080 SUPER的性能差异。测试结果显示，RX 7900 XTX在运行较小体量的模型时，性能超过RTX 4090，最高领先幅度达13%，且全面领先RTX 4080 SUPER。

AMD官方还提供了关于如何在AMD硬件上使用DeepSeek R1模型的说明，并列出了不同型号显卡支持的DeepSeek R1模型参数体量。用户需确保显卡驱动版本为Adrenalin Edition 25.1.1或更高版本，并安装LM Studio 0.3.8或更高版本。

#AMD #显卡 #DeepSeek #人工智能 #英伟达

英伟达宣布 DeepSeek-R1 可在 NVIDIA NIM 上使用英伟达在其官网上发布文章表示，DeepSeek-R1 是一款具备最先进推理能力的开放模型，现已可在 NVIDIA NIM 上使用

Fri, 31 Jan 2025 13:05:13 GMT

英伟达宣布 DeepSeek-R1 可在 NVIDIA NIM 上使用

英伟达在其官网上发布文章表示，DeepSeek-R1 是一款具备最先进推理能力的开放模型，现已可在 NVIDIA NIM 上使用。与直接提供回应不同，DeepSeek-R1 等推理模型会对查询进行多次推理处理，使用连锁思维、共识和搜寻方法来生成最佳答案。

为了帮助开发者安全地试验这些功能并构建他们自己的专用代理，DeepSeek-R1 模型现在可作为 NVIDIA NIM 微服务预览版使用。开发者可以测试和使用应用程序界面 (API)，该界面预计将很快作为可下载的 NIM 微服务提供，这是 NVIDIA AI Enterprise 软件平台的一部分。

#DeepSeek #英伟达人工智能 #商业

美商务部长提名人指责 DeepSeek 盗取技术，拟对华征最高关税美国商务部长提名人卢特尼克（Howard Lutnick）在参议院听证会上指责中国人工智能公司深度求索（DeepSeek）“盗取”美国技术，制造“超廉价”AI模型，誓言对中国征收最高关税，并加强技术出口管制，以维持美国的领导地位

Thu, 30 Jan 2025 17:26:24 GMT

美商务部长提名人指责 DeepSeek 盗取技术，拟对华征最高关税

美国商务部长提名人卢特尼克（Howard Lutnick）在参议院听证会上指责中国人工智能公司深度求索（DeepSeek）“盗取”美国技术，制造“超廉价”AI模型，誓言对中国征收最高关税，并加强技术出口管制，以维持美国的领导地位。他表示，“不能再让中国用我们的工具与我们竞争”，强调将采取更强硬措施限制芯片出口，防止AI技术流向中国。

然而，业内人士指出，深度求索的技术开源自研，并已开源自身产品，与所谓的“盗窃”指控相去甚远。荷兰光刻机巨头阿斯麦（ASML）亦对深度求索的低成本、高效率 AI 模型表示欢迎，认为其解决了行业高成本和能耗问题。谷歌、微软、亚马逊、高通、英伟达等多个企业也曾表示对深度求索创新和研发能力的认可。

与此同时，DeepSeek 遭受大规模 DDoS 攻击，其 AI 服务受到影响。美国 AI 平台也采取封锁措施，Gemini 1206 禁止中文输出，Poe 限制 DeepSeek R1 访问，并以高价提供替代服务。微软 Azure 云平台则上线了 DeepSeek R1 供开发者使用，显示出美企对中国 AI 技术的“复杂”态度。此外，意大利苹果和谷歌商店已禁止下载 DeepSeek 应用，澳大利亚也表示 DeepSeek 并不“安全”。

#DeepSeek #人工智能 #美国 #技术封锁 #贸易战 #不正当竞争

DeepSeek 崛起引发美国巨头恐慌DeepSeek 近期受到来自美国 IP 地址的大规模 DDoS 攻击，导致其线上服务受到影响

Wed, 29 Jan 2025 15:41:27 GMT

DeepSeek 崛起引发美国巨头恐慌

DeepSeek 近期受到来自美国 IP 地址的大规模 DDoS 攻击，导致其线上服务受到影响。奇安信、360 等网络安全公司表示，监测发现 DeepSeek 近期一直遭受大量海外攻击，1月27日起手段升级，除了 DDoS 攻击，还包括大量的密码爆破攻击。DeepSeek 的 AI 服务和数据正面临前所未有的安全考验。DeepSeek 第一时间进行了响应和处理，并暂时限制了+86手机号以外的注册方式。

另有消息显示，Gemini 1206 已封禁中文输出，对中文提问和回答全面拒绝。Poe 平台也限制了 DeepSeek R1 模型的访问，并以更高价格提供服务，宣称与 Fireworks 和 Togethers（美国 AI 公司）合作，确保数据存储在美国。这两家服务商的 API 价格分别为 7 美元和 8 美元，是 DeepSeek 官方 API 价格的数十倍。这些举动被广泛解读为美国企业试图通过技术封锁和商业限制等不正当手段削弱 DeepSeek 在全球市场的竞争力。

#DeepSeek #Gemini #美国 #人工智能 #不正当竞争 #DDoS

橘橘橘子汁 & 🍊

美国佬已经急死了，来看看他们都在干什么
- Gemini 1206 封了所有的中文输出【图 1-5】
- Poe 里面 r1 搞了个 “只将数据传输至 Fireworks/Togethers，一个老美 AI 公司”
更好玩的是，这两家 Provider 的价格一个 7$，一个 8$，是 or 上 DeepSeek 官方 API 的接近 14 倍输入价格，四倍输出价格，这就是福报吗

白宫评估DeepSeek对国家安全影响当地时间1月28日，白宫新闻秘书卡罗琳·莱维特表示，美国正在评估中国人工智能应用DeepSeek对国家安全的潜在风险，特别是涉及知识产权盗窃的可能性

Wed, 29 Jan 2025 08:35:40 GMT

白宫评估DeepSeek对国家安全影响

当地时间1月28日，白宫新闻秘书卡罗琳·莱维特表示，美国正在评估中国人工智能应用DeepSeek对国家安全的潜在风险，特别是涉及知识产权盗窃的可能性。白宫人工智能事务负责人大卫·萨克斯提到，DeepSeek可能通过“蒸馏”技术进行数据窃取。美国国家安全委员会目前正在进行审查，关注该技术可能对美国人工智能产业的影响。

然而，“蒸馏”是AI领域合法且广泛应用的优化技术，旨在缩小模型规模并提升效率。技术论文显示，DeepSeek蒸馏小模型主要基于开源模型(如Qwen、Llama系列)优化，而非直接使用OpenAI的专有数据。DeepSeek发布同时就开源了自身模型及并为公众蒸馏了六个小模型，技术透明，回馈社区，与“窃取”指控形成鲜明对比。

美国政界过去曾多次将中国商品、文化产品甚至日常用品与国家安全挂钩，如大蒜、龙虾、筷子、方便面、豆浆、泡菜、辣条、红枣、奶茶、火锅、煎饼果子、智能冰箱、电热水壶、电风扇、吸尘器、电蚊拍、电饭煲、彩色打印机、激光扫描仪、电动滑板车、电动自行车、电动公交车、太阳能电池板、路由器、平板电视、无人机、起重机、熊猫、熊猫玩偶、围棋、魔方、积木、拼图、陀螺、风筝、太极拳、功夫电影、皮影戏、汉字、剪纸、对联、广场舞、电影、瓷器、草帽、水稻种子、雨伞、快递箱、钢琴、灯泡、玻璃杯、口罩、丝袜、各种情趣玩具等。此次对DeepSeek的质疑延续了这一争议性趋势。

#美国 #人工智能 #安全 #DeepSeek

DeepSeek 使用 Nvidia PTX 实现高效计算优化 DeepSeek 在训练其 V3 模型时，通过使用 Nvidia 的 PTX（并行线程执行）语言进行编程，实现了比标准 CUDA 更高效的性能优化

Wed, 29 Jan 2025 05:17:01 GMT

DeepSeek 使用 Nvidia PTX 实现高效计算优化

DeepSeek 在训练其 V3 模型时，通过使用 Nvidia 的 PTX（并行线程执行）语言进行编程，实现了比标准 CUDA 更高效的性能优化。PTX 是一种中间指令集架构，位于高级 GPU 编程语言和低级机器代码之间，允许进行细粒度的寄存器分配和线程/warp 级别调整，这是传统 CUDA 无法实现的。

为了进一步提升性能，DeepSeek 对 H800 GPU 进行了重新配置，将 132 个流式多处理器中的 20 个专门用于服务器间通信，可能用于数据压缩和解压，以克服处理器连接限制并加速计算。此外，DeepSeek 还实现了高级管道算法，通过超精细的线程/warp 级别调整，最大限度地提高了计算效率。这种深层次的优化展示了 DeepSeek 工程师的技术实力，尽管维护难度较高，但为模型训练提供了显著的性能提升。

#DeepSeek #英伟达 #GPU #人工智能

著名人工智能社区 Hugging Face 的工程师马修·卡里根展示了在本地运行 Deepseek-R1 的完整硬件和软件设置

Wed, 29 Jan 2025 03:59:06 GMT

著名人工智能社区 Hugging Face 的工程师马修·卡里根展示了在本地运行 Deepseek-R1 的完整硬件和软件设置。他使用的是 670B 参数的模型，无蒸馏处理，采用 Q8 量化技术，能够实现全质量推理。整个系统的总成本约为 6000 美元，性价比极高。

硬件方面，主板使用技嘉 MZ73-LM0 或 MZ73-LM1，它们具有 2 个 EPYC 插槽，提供 24 个 DDR5 RAM 通道。CPU 方面，可以使用 2 个 AMD EPYC 9004 或 9005 CPU（任何的）。他强调，LLM 的瓶颈在于内存带宽，因此不需要高端 CPU，如果想降低成本，可以购买 9115 甚至 9015。内存是这套系统的关键部分，为了适应 670B 模型的需求，马修配置了 768GB 的内存，具体是 24 个 32GB 的 DDR5-RDIMM 模块，这样做的目的是充分利用 24 个内存通道，确保内存带宽足够快，从而提升模型的推理速度。尽管这套系统的功耗并不高（低于 400W），但由于需要为两个 EPYC CPU 供电，马修选择了 Corsair HX1000i 电源，这款电源不仅功率足够，还提供了大量的 CPU 电源接口，能够满足系统的供电需求。机箱需要支持完整尺寸的服务器主板，并且要有足够的螺丝安装座，散热器方面，马修选择了兼容 AMD EPYC SP5 插槽
的型号，确保 CPU 在高负载下也能保持稳定运行。为了加速模型的加载过程，马修推荐使用 1TB 或更大容量的 NVMe SSD，在启动模型时，需要将 700GB 的模型数据从 SSD 复制到内存中，NVMe 的高速度可以显著减少加载时间。

软件部分，首先需要安装 Linux 操作系统，然后进入 BIOS 设置，将 NUMA 组数设置为 0，确保模型的每一层数据都交错分布在所有的 RAM 芯片上，从而提升内存吞吐量。接下来，安装 Llama 框架，并下载 700GB 的 DeepSeek-R1-Q8_0 版本。一切就绪后，就可以使用以下代码运行 Deepseek-R1： llama-cli -m ./DeepSeek-R1.Q8_0-00001-of-00015.gguf --temp 0.6 -no-cnv -c 16384 -p "<｜User｜>How many Rs are there in strawberry? <｜Assistant｜>" 。运行后，系统会经历一个短暂的加载过程，随后模型开始在本地思考问题并生成结果。

马修指出，系统生成速度约为 6~8 tokens/s，虽不及 GPU 方案快，但考虑到成本，这完全是一个可接受的折中方案。该方案完全基于 CPU，未使用 GPU，因此成本较低。他特别强调，Q8 量化的 670B 模型在质量上与 Deepseek API 提供的服务几乎没有区别。若想进一步提升速度，可考虑使用 GPU，但成本会大幅增加，例如使用 2 块 H100 GPU 的方案可能需要 10 万美元左右。此外，马修方案还未与 Mac mini 统一内存架构方案进行对比，Mac mini 方案可能在部署上更简单，但扩展性和性价比可能不如这套 EPYC 系统。

社区用户 yhfgyyf 对类似配置进行了测试，使用双路 EPYC 9755 处理器，单 CPU 支持 12 通道 DDR5-4800 内存。测试结果显示，最有效的配置是单 CPU 64-96 核，内存频率越高越好，且无需开启超线程功能。他还提到，实际运行中，512 线程的性能反而不如 128 线程，建议根据需求调整线程数。另一位用户 KPX 提到，Unsloth 的动态量化技术可将 Deepseek 模型压缩到 131GB，最低运行内存需求降至 80GB，为资源有限的用户提供了更多选择。关于性能，token/s 主要取决于等效总带宽，因为 LLM 推理是存储密集型任务，4090 显卡的显存带宽约为 1TB/s，而 CPU 方案通过高频 DDR5 和多通道优化也能达到不错的性能。最重要的是确保 NUMA 节点的负载均衡，否则 token/s 可能会大幅下降。

#非新闻信息 #DeepSeek #本地部署 #教程