杜洛夫庆祝农历新年并谈中国在人工智能领域崛起背后教育模式的竞争力
杜洛夫在其频道中发布文章庆祝中国新年（Chinese New Year），并以中国AI初创公司DeepSeek的成功为例，讨论了中国在人工智能领域的快速进步。他指出，这一成就并非偶然，而是长期以来中国学生在数学和编程国际奥林匹克竞赛中表现优异的结果。中国的中学教育体系借鉴了苏联模式，以激烈竞争为核心，能够培养出众多顶尖人才。
相比之下，西方教育体系往往避免竞争，禁止公开学生成绩和排名，以减少学生压力。然而，这种做法也削弱了优秀学生的动力，使他们对学术失去兴趣，转而投向电子游戏等更具竞争性的领域。杜洛夫认为，现实世界的竞争无处不在，无论是体育、商业还是科技，排名和优胜劣汰都是真实存在的。他以AI行业的基准测试为例，强调DeepSeek的优越性，并预测如果美国的中学教育体系不进行根本性改革，中国在科技领域的主导地位将变得不可避免。
#杜洛夫 #教育 #人工智能 #中国
杜洛夫在其频道中发布文章庆祝中国新年（Chinese New Year），并以中国AI初创公司DeepSeek的成功为例，讨论了中国在人工智能领域的快速进步。他指出，这一成就并非偶然，而是长期以来中国学生在数学和编程国际奥林匹克竞赛中表现优异的结果。中国的中学教育体系借鉴了苏联模式，以激烈竞争为核心，能够培养出众多顶尖人才。
相比之下，西方教育体系往往避免竞争，禁止公开学生成绩和排名，以减少学生压力。然而，这种做法也削弱了优秀学生的动力，使他们对学术失去兴趣，转而投向电子游戏等更具竞争性的领域。杜洛夫认为，现实世界的竞争无处不在，无论是体育、商业还是科技，排名和优胜劣汰都是真实存在的。他以AI行业的基准测试为例，强调DeepSeek的优越性，并预测如果美国的中学教育体系不进行根本性改革，中国在科技领域的主导地位将变得不可避免。
#杜洛夫 #教育 #人工智能 #中国
阿里发布超大规模MoE模型Qwen 2.5-Max
1月29日凌晨，阿里云公布了其全新的通义千问 Qwen 2.5-Max 超大规模 MoE 模型。该模型预训练数据超过20万亿 tokens。目前开发者可在 Qwen Chat 平台免费体验模型，企业和机构也可通过阿里云百炼平台直接调用新模型 API 服务。
在 Arena-Hard、LiveBench、LiveCodeBench 和 GPQA-Diamond 等基准测试中，Qwen2.5-Max 表现超越了 DeepSeek V3，同时在 MMLU-Pro 等其他评估中也展现出了极具竞争力的成绩。阿里云的基座模型在大多数基准测试中都展现出了显著的优势。阿里云称随着后训练技术的进步，下一个版本 Qwen2.5-Max 将会达到更高水平。
#通义千问 #Qwen #阿里 #人工智能
1月29日凌晨，阿里云公布了其全新的通义千问 Qwen 2.5-Max 超大规模 MoE 模型。该模型预训练数据超过20万亿 tokens。目前开发者可在 Qwen Chat 平台免费体验模型，企业和机构也可通过阿里云百炼平台直接调用新模型 API 服务。
在 Arena-Hard、LiveBench、LiveCodeBench 和 GPQA-Diamond 等基准测试中，Qwen2.5-Max 表现超越了 DeepSeek V3，同时在 MMLU-Pro 等其他评估中也展现出了极具竞争力的成绩。阿里云的基座模型在大多数基准测试中都展现出了显著的优势。阿里云称随着后训练技术的进步，下一个版本 Qwen2.5-Max 将会达到更高水平。
#通义千问 #Qwen #阿里 #人工智能
白宫评估DeepSeek对国家安全影响
当地时间1月28日，白宫新闻秘书卡罗琳·莱维特表示，美国正在评估中国人工智能应用DeepSeek对国家安全的潜在风险，特别是涉及知识产权盗窃的可能性。白宫人工智能事务负责人大卫·萨克斯提到，DeepSeek可能通过“蒸馏”技术进行数据窃取。美国国家安全委员会目前正在进行审查，关注该技术可能对美国人工智能产业的影响。
然而，“蒸馏”是AI领域合法且广泛应用的优化技术，旨在缩小模型规模并提升效率。技术论文显示，DeepSeek蒸馏小模型主要基于开源模型(如Qwen、Llama系列)优化，而非直接使用OpenAI的专有数据。DeepSeek发布同时就开源了自身模型及并为公众蒸馏了六个小模型，技术透明，回馈社区，与“窃取”指控形成鲜明对比。
美国政界过去曾多次将中国商品、文化产品甚至日常用品与国家安全挂钩，如大蒜、龙虾、筷子、方便面、豆浆、泡菜、辣条、红枣、奶茶、火锅、煎饼果子、智能冰箱、电热水壶、电风扇、吸尘器、电蚊拍、电饭煲、彩色打印机、激光扫描仪、电动滑板车、电动自行车、电动公交车、太阳能电池板、路由器、平板电视、无人机、起重机、熊猫、熊猫玩偶、围棋、魔方、积木、拼图、陀螺、风筝、太极拳、功夫电影、皮影戏、汉字、剪纸、对联、广场舞、电影、瓷器、草帽、水稻种子、雨伞、快递箱、钢琴、灯泡、玻璃杯、口罩、丝袜、各种情趣玩具等。此次对DeepSeek的质疑延续了这一争议性趋势。
#美国 #人工智能 #安全 #DeepSeek
当地时间1月28日，白宫新闻秘书卡罗琳·莱维特表示，美国正在评估中国人工智能应用DeepSeek对国家安全的潜在风险，特别是涉及知识产权盗窃的可能性。白宫人工智能事务负责人大卫·萨克斯提到，DeepSeek可能通过“蒸馏”技术进行数据窃取。美国国家安全委员会目前正在进行审查，关注该技术可能对美国人工智能产业的影响。
然而，“蒸馏”是AI领域合法且广泛应用的优化技术，旨在缩小模型规模并提升效率。技术论文显示，DeepSeek蒸馏小模型主要基于开源模型(如Qwen、Llama系列)优化，而非直接使用OpenAI的专有数据。DeepSeek发布同时就开源了自身模型及并为公众蒸馏了六个小模型，技术透明，回馈社区，与“窃取”指控形成鲜明对比。
美国政界过去曾多次将中国商品、文化产品甚至日常用品与国家安全挂钩，如大蒜、龙虾、筷子、方便面、豆浆、泡菜、辣条、红枣、奶茶、火锅、煎饼果子、智能冰箱、电热水壶、电风扇、吸尘器、电蚊拍、电饭煲、彩色打印机、激光扫描仪、电动滑板车、电动自行车、电动公交车、太阳能电池板、路由器、平板电视、无人机、起重机、熊猫、熊猫玩偶、围棋、魔方、积木、拼图、陀螺、风筝、太极拳、功夫电影、皮影戏、汉字、剪纸、对联、广场舞、电影、瓷器、草帽、水稻种子、雨伞、快递箱、钢琴、灯泡、玻璃杯、口罩、丝袜、各种情趣玩具等。此次对DeepSeek的质疑延续了这一争议性趋势。
#美国 #人工智能 #安全 #DeepSeek
近日，美国总统唐纳德·特朗普签署行政令，暂停美国国际开发署对乌克兰的资助项目，以评估这些项目是否符合美国的外交政策目标。
这一决定导致多家乌克兰媒体面临资金短缺，不得不向读者寻求经济支持。受影响的媒体包括乌克兰独立媒体《Hromadske》和调查新闻项目《Bihus.info》，它们通过Telegram频道公开呼吁读者提供帮助。此外，乌克兰公共组织“Detector Media”和《乌克兰真理报》也因资助暂停而面临运营压力。
美国资助的暂停不仅影响了媒体，还波及到乌克兰的多个领域，包括退伍军人支持项目、农业发展和基础设施建设。例如，为退伍军人提供心理支持的“Veteran Hub”组织因资金中断被迫关闭部分服务，包括一条危机热线。
尽管乌克兰国家银行行长表示，预计2025年乌克兰仍将获得计划中的国际援助，但资助暂停的短期影响已对乌克兰社会和经济造成显著冲击。
#乌克兰 #媒体 #美国 #特朗普 #政策资金
DeepSeek 使用 Nvidia PTX 实现高效计算优化
DeepSeek 在训练其 V3 模型时，通过使用 Nvidia 的 PTX（并行线程执行）语言进行编程，实现了比标准 CUDA 更高效的性能优化。PTX 是一种中间指令集架构，位于高级 GPU 编程语言和低级机器代码之间，允许进行细粒度的寄存器分配和线程/warp 级别调整，这是传统 CUDA 无法实现的。
为了进一步提升性能，DeepSeek 对 H800 GPU 进行了重新配置，将 132 个流式多处理器中的 20 个专门用于服务器间通信，可能用于数据压缩和解压，以克服处理器连接限制并加速计算。此外，DeepSeek 还实现了高级管道算法，通过超精细的线程/warp 级别调整，最大限度地提高了计算效率。这种深层次的优化展示了 DeepSeek 工程师的技术实力，尽管维护难度较高，但为模型训练提供了显著的性能提升。
#DeepSeek #英伟达 #GPU #人工智能
DeepSeek 在训练其 V3 模型时，通过使用 Nvidia 的 PTX（并行线程执行）语言进行编程，实现了比标准 CUDA 更高效的性能优化。PTX 是一种中间指令集架构，位于高级 GPU 编程语言和低级机器代码之间，允许进行细粒度的寄存器分配和线程/warp 级别调整，这是传统 CUDA 无法实现的。
为了进一步提升性能，DeepSeek 对 H800 GPU 进行了重新配置，将 132 个流式多处理器中的 20 个专门用于服务器间通信，可能用于数据压缩和解压，以克服处理器连接限制并加速计算。此外，DeepSeek 还实现了高级管道算法，通过超精细的线程/warp 级别调整，最大限度地提高了计算效率。这种深层次的优化展示了 DeepSeek 工程师的技术实力，尽管维护难度较高，但为模型训练提供了显著的性能提升。
#DeepSeek #英伟达 #GPU #人工智能
美军F-35战机在阿拉斯加坠毁，飞行员成功逃生
当地时间2025年1月28日，美国空军一架F-35战斗机在阿拉斯加州艾尔森空军基地训练时发生坠毁事故。视频显示，飞机在降落过程中突然失去动力，机身旋转并垂直坠向地面，撞击后爆炸成一团火球。幸运的是，飞行员在坠毁前成功弹射逃生，并被送往医院接受检查，目前状况稳定。
事故发生在当地时间12点49分，具体原因尚不明确，但初步推测可能与“飞行故障”有关。美国空军第354战斗机联队指挥官保罗·汤森德表示，将对此事件进行彻底调查，以减少类似事故再次发生的可能性。
艾尔森空军基地是美国空军的重要战略基地，驻扎有54架F-35A战斗机。本次事故是美国空军第11架发生事故的F-35，此次事故再度引发对F-35战机安全性和技术可靠性的担忧。
#F35 #阿拉斯加 #空军 #美国 #坠机
当地时间2025年1月28日，美国空军一架F-35战斗机在阿拉斯加州艾尔森空军基地训练时发生坠毁事故。视频显示，飞机在降落过程中突然失去动力，机身旋转并垂直坠向地面，撞击后爆炸成一团火球。幸运的是，飞行员在坠毁前成功弹射逃生，并被送往医院接受检查，目前状况稳定。
事故发生在当地时间12点49分，具体原因尚不明确，但初步推测可能与“飞行故障”有关。美国空军第354战斗机联队指挥官保罗·汤森德表示，将对此事件进行彻底调查，以减少类似事故再次发生的可能性。
艾尔森空军基地是美国空军的重要战略基地，驻扎有54架F-35A战斗机。本次事故是美国空军第11架发生事故的F-35，此次事故再度引发对F-35战机安全性和技术可靠性的担忧。
#F35 #阿拉斯加 #空军 #美国 #坠机
著名人工智能社区 Hugging Face 的工程师马修·卡里根展示了在本地运行 Deepseek-R1 的完整硬件和软件设置。他使用的是 670B 参数的模型，无蒸馏处理，采用 Q8 量化技术，能够实现全质量推理。整个系统的总成本约为 6000 美元，性价比极高。
硬件方面，主板使用技嘉 MZ73-LM0 或 MZ73-LM1，它们具有 2 个 EPYC 插槽，提供 24 个 DDR5 RAM 通道。CPU 方面，可以使用 2 个 AMD EPYC 9004 或 9005 CPU（任何的）。他强调，LLM 的瓶颈在于内存带宽，因此不需要高端 CPU，如果想降低成本，可以购买 9115 甚至 9015。内存是这套系统的关键部分，为了适应 670B 模型的需求，马修配置了 768GB 的内存，具体是 24 个 32GB 的 DDR5-RDIMM 模块，这样做的目的是充分利用 24 个内存通道，确保内存带宽足够快，从而提升模型的推理速度。尽管这套系统的功耗并不高（低于 400W），但由于需要为两个 EPYC CPU 供电，马修选择了 Corsair HX1000i 电源，这款电源不仅功率足够，还提供了大量的 CPU 电源接口，能够满足系统的供电需求。机箱需要支持完整尺寸的服务器主板，并且要有足够的螺丝安装座，散热器方面，马修选择了兼容 AMD EPYC SP5 插槽
的型号，确保 CPU 在高负载下也能保持稳定运行。为了加速模型的加载过程，马修推荐使用 1TB 或更大容量的 NVMe SSD，在启动模型时，需要将 700GB 的模型数据从 SSD 复制到内存中，NVMe 的高速度可以显著减少加载时间。
软件部分，首先需要安装 Linux 操作系统，然后进入 BIOS 设置，将 NUMA 组数设置为 0，确保模型的每一层数据都交错分布在所有的 RAM 芯片上，从而提升内存吞吐量。接下来，安装 Llama 框架，并下载 700GB 的 DeepSeek-R1-Q8_0 版本。一切就绪后，就可以使用以下代码运行 Deepseek-R1： llama-cli -m ./DeepSeek-R1.Q8_0-00001-of-00015.gguf --temp 0.6 -no-cnv -c 16384 -p "<｜User｜>How many Rs are there in strawberry? <｜Assistant｜>" 。运行后，系统会经历一个短暂的加载过程，随后模型开始在本地思考问题并生成结果。
马修指出，系统生成速度约为 6~8 tokens/s，虽不及 GPU 方案快，但考虑到成本，这完全是一个可接受的折中方案。该方案完全基于 CPU，未使用 GPU，因此成本较低。他特别强调，Q8 量化的 670B 模型在质量上与 Deepseek API 提供的服务几乎没有区别。若想进一步提升速度，可考虑使用 GPU，但成本会大幅增加，例如使用 2 块 H100 GPU 的方案可能需要 10 万美元左右。此外，马修方案还未与 Mac mini 统一内存架构方案进行对比，Mac mini 方案可能在部署上更简单，但扩展性和性价比可能不如这套 EPYC 系统。
社区用户 yhfgyyf 对类似配置进行了测试，使用双路 EPYC 9755 处理器，单 CPU 支持 12 通道 DDR5-4800 内存。测试结果显示，最有效的配置是单 CPU 64-96 核，内存频率越高越好，且无需开启超线程功能。他还提到，实际运行中，512 线程的性能反而不如 128 线程，建议根据需求调整线程数。另一位用户 KPX 提到，Unsloth 的动态量化技术可将 Deepseek 模型压缩到 131GB，最低运行内存需求降至 80GB，为资源有限的用户提供了更多选择。关于性能，token/s 主要取决于等效总带宽，因为 LLM 推理是存储密集型任务，4090 显卡的显存带宽约为 1TB/s，而 CPU 方案通过高频 DDR5 和多通道优化也能达到不错的性能。最重要的是确保 NUMA 节点的负载均衡，否则 token/s 可能会大幅下降。
#非新闻信息 #DeepSeek #本地部署 #教程
硬件方面，主板使用技嘉 MZ73-LM0 或 MZ73-LM1，它们具有 2 个 EPYC 插槽，提供 24 个 DDR5 RAM 通道。CPU 方面，可以使用 2 个 AMD EPYC 9004 或 9005 CPU（任何的）。他强调，LLM 的瓶颈在于内存带宽，因此不需要高端 CPU，如果想降低成本，可以购买 9115 甚至 9015。内存是这套系统的关键部分，为了适应 670B 模型的需求，马修配置了 768GB 的内存，具体是 24 个 32GB 的 DDR5-RDIMM 模块，这样做的目的是充分利用 24 个内存通道，确保内存带宽足够快，从而提升模型的推理速度。尽管这套系统的功耗并不高（低于 400W），但由于需要为两个 EPYC CPU 供电，马修选择了 Corsair HX1000i 电源，这款电源不仅功率足够，还提供了大量的 CPU 电源接口，能够满足系统的供电需求。机箱需要支持完整尺寸的服务器主板，并且要有足够的螺丝安装座，散热器方面，马修选择了兼容 AMD EPYC SP5 插槽
的型号，确保 CPU 在高负载下也能保持稳定运行。为了加速模型的加载过程，马修推荐使用 1TB 或更大容量的 NVMe SSD，在启动模型时，需要将 700GB 的模型数据从 SSD 复制到内存中，NVMe 的高速度可以显著减少加载时间。
软件部分，首先需要安装 Linux 操作系统，然后进入 BIOS 设置，将 NUMA 组数设置为 0，确保模型的每一层数据都交错分布在所有的 RAM 芯片上，从而提升内存吞吐量。接下来，安装 Llama 框架，并下载 700GB 的 DeepSeek-R1-Q8_0 版本。一切就绪后，就可以使用以下代码运行 Deepseek-R1： llama-cli -m ./DeepSeek-R1.Q8_0-00001-of-00015.gguf --temp 0.6 -no-cnv -c 16384 -p "<｜User｜>How many Rs are there in strawberry? <｜Assistant｜>" 。运行后，系统会经历一个短暂的加载过程，随后模型开始在本地思考问题并生成结果。
马修指出，系统生成速度约为 6~8 tokens/s，虽不及 GPU 方案快，但考虑到成本，这完全是一个可接受的折中方案。该方案完全基于 CPU，未使用 GPU，因此成本较低。他特别强调，Q8 量化的 670B 模型在质量上与 Deepseek API 提供的服务几乎没有区别。若想进一步提升速度，可考虑使用 GPU，但成本会大幅增加，例如使用 2 块 H100 GPU 的方案可能需要 10 万美元左右。此外，马修方案还未与 Mac mini 统一内存架构方案进行对比，Mac mini 方案可能在部署上更简单，但扩展性和性价比可能不如这套 EPYC 系统。
社区用户 yhfgyyf 对类似配置进行了测试，使用双路 EPYC 9755 处理器，单 CPU 支持 12 通道 DDR5-4800 内存。测试结果显示，最有效的配置是单 CPU 64-96 核，内存频率越高越好，且无需开启超线程功能。他还提到，实际运行中，512 线程的性能反而不如 128 线程，建议根据需求调整线程数。另一位用户 KPX 提到，Unsloth 的动态量化技术可将 Deepseek 模型压缩到 131GB，最低运行内存需求降至 80GB，为资源有限的用户提供了更多选择。关于性能，token/s 主要取决于等效总带宽，因为 LLM 推理是存储密集型任务，4090 显卡的显存带宽约为 1TB/s，而 CPU 方案通过高频 DDR5 和多通道优化也能达到不错的性能。最重要的是确保 NUMA 节点的负载均衡，否则 token/s 可能会大幅下降。
#非新闻信息 #DeepSeek #本地部署 #教程
