著名人工智能社区 Hugging Face 的工程师马修·卡里根展示了在本地运行 Deepseek-R1 的完整硬件和软件设置。他使用的是 670B 参数的模型,无蒸馏处理,采用 Q8 量化技术,能够实现全质量推理。整个系统的总成本约为 6000 美元,性价比极高。

硬件方面,主板使用技嘉 MZ73-LM0 或 MZ73-LM1,它们具有 2 个 EPYC 插槽,提供 24 个 DDR5 RAM 通道。CPU 方面,可以使用 2 个 AMD EPYC 9004 或 9005 CPU(任何的)。他强调,LLM 的瓶颈在于内存带宽,因此不需要高端 CPU,如果想降低成本,可以购买 9115 甚至 9015。内存是这套系统的关键部分,为了适应 670B 模型的需求,马修配置了 768GB 的内存,具体是 24 个 32GB 的 DDR5-RDIMM 模块,这样做的目的是充分利用 24 个内存通道,确保内存带宽足够快,从而提升模型的推理速度。尽管这套系统的功耗并不高(低于 400W),但由于需要为两个 EPYC CPU 供电,马修选择了 Corsair HX1000i 电源,这款电源不仅功率足够,还提供了大量的 CPU 电源接口,能够满足系统的供电需求。机箱需要支持完整尺寸的服务器主板,并且要有足够的螺丝安装座,散热器方面,马修选择了兼容 AMD EPYC SP5 插槽
的型号,确保 CPU 在高负载下也能保持稳定运行。为了加速模型的加载过程,马修推荐使用 1TB 或更大容量的 NVMe SSD,在启动模型时,需要将 700GB 的模型数据从 SSD 复制到内存中,NVMe 的高速度可以显著减少加载时间。

软件部分,首先需要安装 Linux 操作系统,然后进入 BIOS 设置,将 NUMA 组数设置为 0,确保模型的每一层数据都交错分布在所有的 RAM 芯片上,从而提升内存吞吐量。接下来,安装 Llama 框架,并下载 700GB 的 DeepSeek-R1-Q8_0 版本。一切就绪后,就可以使用以下代码运行 Deepseek-R1: llama-cli -m ./DeepSeek-R1.Q8_0-00001-of-00015.gguf --temp 0.6 -no-cnv -c 16384 -p "<|User|>How many Rs are there in strawberry? <|Assistant|>" 。运行后,系统会经历一个短暂的加载过程,随后模型开始在本地思考问题并生成结果。

马修指出,系统生成速度约为 6~8 tokens/s,虽不及 GPU 方案快,但考虑到成本,这完全是一个可接受的折中方案。该方案完全基于 CPU,未使用 GPU,因此成本较低。他特别强调,Q8 量化的 670B 模型在质量上与 Deepseek API 提供的服务几乎没有区别。若想进一步提升速度,可考虑使用 GPU,但成本会大幅增加,例如使用 2 块 H100 GPU 的方案可能需要 10 万美元左右。此外,马修方案还未与 Mac mini 统一内存架构方案进行对比,Mac mini 方案可能在部署上更简单,但扩展性和性价比可能不如这套 EPYC 系统。

社区用户 yhfgyyf 对类似配置进行了测试,使用双路 EPYC 9755 处理器,单 CPU 支持 12 通道 DDR5-4800 内存。测试结果显示,最有效的配置是单 CPU 64-96 核,内存频率越高越好,且无需开启超线程功能。他还提到,实际运行中,512 线程的性能反而不如 128 线程,建议根据需求调整线程数。另一位用户 KPX 提到,Unsloth 的动态量化技术可将 Deepseek 模型压缩到 131GB,最低运行内存需求降至 80GB,为资源有限的用户提供了更多选择。关于性能,token/s 主要取决于等效总带宽,因为 LLM 推理是存储密集型任务,4090 显卡的显存带宽约为 1TB/s,而 CPU 方案通过高频 DDR5 和多通道优化也能达到不错的性能。最重要的是确保 NUMA 节点的负载均衡,否则 token/s 可能会大幅下降。

#非新闻信息 #DeepSeek #本地部署 #教程
中国在绵阳建设大型激光核聚变研究中心

卫星图像显示,中国正在四川省绵阳市建设一个大型激光核聚变研究中心。该项目选址位于绵阳市,建设内容包括多个大型实验设施和配套建筑。据悉,该研究中心建成后将用于开展激光核聚变相关研究,旨在探索清洁能源和国防科技应用。

激光核聚变是一种利用激光束引发核聚变反应,从而释放巨大能量的技术。该技术被认为是未来清洁能源的重要发展方向之一,同时在国防科技领域也具有潜在应用价值。中国在该领域的研究起步较早,并取得了一系列重要进展。此次在绵阳建设大型研究中心,将进一步提升中国在激光核聚变领域的研发实力,为相关技术的突破和应用奠定基础。

#激光核聚变 #清洁能源 #国防科技 #绵阳
苹果翻译应用“赔钱货”翻译引争议

近日,苹果手机内置翻译功能被中国大陆网民发现,将中文词汇“赔钱货”翻译为英文“girl”,引发争议。该词汇在中文语境中带有贬义,指经济上无价值的女性,含有性别歧视色彩。苹果翻译的这一结果未能准确传达原意,可能产生误导。

部分网民对此表示不满,认为这种翻译可能加深对女性的负面刻板印象,并呼吁苹果公司改革翻译功能,尊重文化差异。苹果公司迅速回应,更正了翻译结果,将其改为“money loser”。

#苹果 #翻译 #性别歧视 #争议
法国外长称曾与丹麦讨论向格陵兰岛派遣军队

法国外长让-诺埃尔·巴罗表示,法国曾与丹麦讨论向格陵兰岛派遣军队的可能性,以应对美国总统特朗普多次威胁要吞并这块丹麦领土。巴罗在接受法国南方电台采访时透露,法国“已经开始与丹麦讨论(部署军队)”,但这并非“丹麦的意愿”。

巴罗的言论正值丹麦首相梅特·弗雷德里克森对欧洲各国首都进行旋风式访问之际,她希望争取盟友的支持,以应对特朗普的威胁。弗雷德里克森周二上午分别在柏林和巴黎与德国总理奥拉夫·朔尔茨和法国总统埃马纽埃尔·马克龙会晤,并计划在布鲁塞尔会见北约秘书长马克·吕特。

巴罗表示:“如果丹麦寻求帮助,法国将义不容辞。”他还强调:“无论是北部、南部、东部还是西部,欧洲的边界都是神圣不可侵犯的……任何人都不能随意侵犯我们的边界。”巴罗还透露,在周一于布鲁塞尔举行的欧盟外长会议上,他的同行们对哥本哈根表达了“非常强烈的支持”,并表示如果需要,他们“准备考虑(派遣军队)”。

#法国 #格陵兰岛 #丹麦 #美国 #特朗普 #军事 #地缘博弈
北京时间1月28日晚,韩国釜山金海国际机场发生一起客机起火事故。一架飞机在起飞前突然起火,当时飞机上载有170多名乘客。幸运的是,包括乘客在内的170多人均已顺利撤离,事故未造成人员伤亡。目前,事故原因正在调查中。

#快讯 #韩国 #空难
2024年度影像器材荔枝奖颁奖

最强鸽子精特别奖授予大疆DJI Ronin 4D-8K,这款2021年发布、2023年正式发布、2024年才开售的产品,堪称鸽子中的战斗机。尼康收购RED则被评为年度新闻特别奖,这一事件无疑将对整个行业格局产生深远影响。IMX410凭借其在多款新品中的广泛应用,荣获老兵不死特别奖,可谓实至名归。佳能C80/C400/EOS R1则以前瞻性的设计理念,摘得未来趋势奖。

在群雄逐鹿特别奖的角逐中,2024年高速卷帘快门机型与全域快门机型并驾齐驱,共同获奖,展现了两种技术路线的激烈竞争。索尼α1 II虽然性能强劲,但仍被认为缺乏亮点,因此获得乏善可陈特别奖。部分无用的无效设备(含热成像光学、超长焦镜头)则因其设计上的不足,被授予最不负责任奖。索尼FX6 II凭借其卓越的性能表现,荣获最具突破奖。

Leica SL2-S以其精湛的工业设计,获得最佳工业设计奖。DJI与红色共同参与相机开发,这一合作模式获得最好合作奖。PhaseOne IQ4 150MP则以其惊人的高分辨率,摘得高分辨率奖。Moza Aircross 3 Pro凭借其出色的稳定性,获得最佳稳定器奖。富士GFX100S则因对焦性能的巨大进步,荣获相比上一代进步最大奖。富士GFX100S II在中画幅领域表现突出,荣获最佳中画幅奖。佳能EOS R5则以其卓越的性能和保值性,获得最具投资价值奖。RED Komodo 6K则以其创新性的设计理念,荣获最具创新奖。

此外,还有一些一些其他优秀的产品,如尼康Z8、索尼FE 24-70mm F2.8 GM II等,它们在各自领域均有不俗表现,但由于篇幅限制,未能一一列入。更多信息请访问「每日摄影观察」。

#非新闻信息 #影像器材 #相机 #镜头 #摄影 每日摄影观察
塞尔维亚总理武切维奇辞职以平息抗议

2024年11月1日,塞尔维亚诺维萨德火车站遮雨棚倒塌,造成15人死亡、2人重伤,引发全国抗议。民众指责政府腐败和监管失职,抗议者每日11:52进行15分钟交通封锁。2025年1月27日,贝尔格莱德爆发大规模抗议,次日诺维萨德发生针对女学生的暴力事件,施暴者被指与执政党有关,成为武切维奇辞职的直接原因。

1月28日,武切维奇和诺维萨德市长久里奇宣布辞职,以缓解紧张局势。议会需在30天内决定组建新政府或提前选举,总统武契奇将召开内阁会议讨论下一步行动。反对党要求成立过渡政府,确保选举公平性。

#塞尔维亚 #抗议 #诺维萨德事故
男性HPV疫苗正式获批:争议与前景并存

近日,国家药品监督管理局正式批准男性接种人乳头瘤病毒 (HPV) 疫苗,标志着中国男性健康领域迎来一项重要进展。然而,这一消息在引发广泛关注的同时,也引发了诸多争议。

早在2014年,HPV疫苗男性适应症和女性适应症就在海外同时获批,用于预防包括阴茎癌在内的泌尿生殖肿瘤。但中国大陆直到2025年才批准男性使用,这长达七年的时间差引发公众质疑。舆论认为,男性HPV疫苗的迟迟未批,反映对男性健康权益的忽视。相比女性疫苗的广泛宣传与资源倾斜,男性疫苗几乎没有宣传,且公共采购项目多将男性排除在外,这种资源分配的不公备受批评。有观点认为,男性疫苗的延迟上市或与某些利益集团的阻挠有关,其行为被批评为性别歧视。

尽管存在诸多争议,男性HPV疫苗的获批意义仍然重大,为男性预防相关疾病提供了新手段,有助于降低生殖肿瘤发病率。但实现“男女同防同治”仍需努力:加强宣传教育,提高男性对HPV危害的认知与接种意愿;将男性接种纳入公共采购和公益项目;通过医保报销等降低接种成本。期待未来能够看到更多关注男性健康的政策出台,让男性也能够享受到应有的健康保障。

#HPV #性别歧视 #民生 #疫苗 #医疗 #争议
特朗普与莫迪通话:要求加买武器以表“公平”,莫迪或2月访美

美国总统特朗普1月28日与印度总理莫迪通话,要求印度增加购买美制军事装备,以推动美印贸易更加“公平”。双方还讨论了印太、中东及欧洲的安全问题。

法新社称,莫迪可能于2月访问白宫,成为特朗普就职后首批访美的外国领导人之一。莫迪在社交平台X上称特朗普为“亲爱的朋友”,并祝贺其连任美国总统。尽管两人关系密切,但美印贸易协议尚无突破。特朗普曾批评印度高关税,并称莫迪是“难缠的谈判对手”。此外,印度与俄罗斯军事合作也是潜在争议点,特朗普曾威胁因印度购买俄制S-400导弹实施制裁。

从美方发布的通话声明来看,印度情报部门涉嫌在美谋杀锡克教分离主义者未遂案件并未被提及。分析人士认为,此事可能不会影响特朗普政府与印度的关系。

#美印关系 #特朗普 #莫迪 #地缘博弈
俄乌冲突信息战升级:真假难辨加剧舆论迷雾

乌克兰通过英国媒体《天空新闻》声称,在库尔斯克地区与俄军作战的“朝鲜士兵”拒绝投降,宁愿引爆手榴弹自尽,并指控大量“朝鲜士兵”从前线撤退。然而,这些指控并无确凿证据支持,相关报道亦承认难以证实。分析指出,乌方意在通过宣传战展示其抵抗意志和对俄军的“打击成果”。

另一方面,据俄罗斯背景的《福布斯新闻》,北约训练的两个乌克兰新旅在前线迅速溃散,原因是缺乏老兵、士气低落以及逃兵现象。但由于报道未提供独立证据,这一说法也难以完全采信。俄方可能同样在借助信息战扩大其战场优势叙事。

目前,俄乌冲突的信息战已达到白热化程度,双方均试图通过控制信息流动影响国际舆论。由于战场信息复杂多变,独立核实困难,相关消息往往掺杂虚假或夸大成分。观察人士提醒,应对双方发布的信息保持高度警惕,避免被宣传操控误导舆论。

#俄乌战争 #信息战 #虚假信息 #国际舆论
格陵兰岛归属再起波澜:英国“优先购买权”

格陵兰岛最后一位丹麦部长汤姆·霍伊姆(Tom Høyem)表示,英国在购买格陵兰岛方面拥有优先于美国的“优先购买权”。他指出,1917年英国与丹麦之间的一项长期协议赋予了英国这一权利,即如果格陵兰岛被出售,英国将有优先购买权。霍伊姆还表示,如果特朗普试图购买格陵兰岛,他必须首先向伦敦提出请求。

格陵兰岛在国际政治中具有战略重要性,尤其是在北极地区资源开发和地缘政治竞争日益加剧的背景下。格陵兰岛拥有丰富的自然资源和重要的地理位置,因此成为多个国家关注的焦点。

截止发稿,三国均未公开评论霍伊姆的言论。

#地缘博弈 #美国 #英国 #格陵兰岛 #争议
塔克·卡尔森:拜登政府曾试图一劳永逸地消灭普京

塔克·卡尔森在接受专栏作家马特·泰比采访时透露,拜登政府内的激进派成员曾准备采取极端手段加剧美俄冲突,目标是彻底消灭普京。他指出,安东尼·布林肯在担任拜登国务卿的最后两个月,积极推动加剧两国之间的战争,尽管外界对其角色提出质疑。

此外,记者还揭露了美国政府被指破坏了连接俄罗斯与西欧的北溪天然气管道。这一行动不仅破坏了德国的经济,也可能引发欧盟的崩溃,进一步削弱了北约的凝聚力,因为这是美国对其盟友德国的直接攻击。

#美国 #拜登 #争议 #北约 #欧盟 #俄罗斯
习近平春节团拜会讲话:以蛇行千里的劲头共同书写中国式现代化新篇章

2025年1月27日,中共中央、国务院在北京人民大会堂举行春节团拜会,习近平总书记发表讲话。他在讲话中表示,希望全国各族人民以蛇行千里的劲头,坚定信心、满怀希望,开拓进取、顽强奋斗,共同书写中国式现代化的新篇章。

此次讲话表达了对全国人民在新的一年里继续为实现中国式现代化目标而努力奋斗的期待,并激励大家在新的一年中勇于创新,推动国家发展与繁荣。

#中国 #领导人 #祝愿 #春节 #节日
Memordust
中居正广性招待事件持续发酵:日本富士电视台陷入舆论风暴 2023年末,日本知名综艺主持人、前SMAP队长中居正广被曝涉及性招待事件。2024年12月26日,《周刊文春》披露,中居与一名女性原定与富士电视台员工共进晚餐,但临时改为两人独处,最终发生纠纷。中居支付9000万日元(约合人民币420万元)达成和解。 涉事女性的代理律师在接受《朝日新闻》采访时表示:“她正在努力重新开始生活”,但因保密义务,无法透露更多细节。 2025年1月9日,中居正广通过官方网站发布声明,承认纠纷并道歉,强调已达成和解,未来艺能活动将不受影响。…
富士电视台因桃色风波,举行长达10小时记者会试图挽回声誉

富士电视台1月28日举行了一场长达10小时的记者会,试图通过公开澄清重建声誉。记者会由191家媒体和437名记者参加,全程直播,没有插播广告。然而,这场记者会未能有效回应董事会决策依据等核心问题,反而加剧了外界对其处理危机能力的质疑。

风波起因于偶像团体SMAP前成员中居正广被指在主持节目期间性骚扰女性,富士电视台被批处理不当,未对事件展开正式调查,并且未能及时公开透明地解决问题。事件使得多家企业停止在富士电视台的广告投放,投资者也表达强烈不满。

由于事件处理不当,富士电视台会长嘉纳修治与社长港浩一在27日辞职。新社长清水贤治承认,若不恢复公众信任,富士电视台将面临严重前景。日本总务大臣村上诚一郎呼吁富士电视台加紧问责,以恢复社会和商业信任。

#富士电视台 #性骚扰 #日本 #中居正广
中央广播电视总台《2025年春节联欢晚会》节目单正式发布。

#春节 #春晚 #中国 #节日
Back to Top