阿里发布超大规模MoE模型Qwen 2.5-Max
1月29日凌晨，阿里云公布了其全新的通义千问 Qwen 2.5-Max 超大规模 MoE 模型。该模型预训练数据超过20万亿 tokens。目前开发者可在 Qwen Chat 平台免费体验模型，企业和机构也可通过阿里云百炼平台直接调用新模型 API 服务。
在 Arena-Hard、LiveBench、LiveCodeBench 和 GPQA-Diamond 等基准测试中，Qwen2.5-Max 表现超越了 DeepSeek V3，同时在 MMLU-Pro 等其他评估中也展现出了极具竞争力的成绩。阿里云的基座模型在大多数基准测试中都展现出了显著的优势。阿里云称随着后训练技术的进步，下一个版本 Qwen2.5-Max 将会达到更高水平。
#通义千问 #Qwen #阿里 #人工智能
1月29日凌晨，阿里云公布了其全新的通义千问 Qwen 2.5-Max 超大规模 MoE 模型。该模型预训练数据超过20万亿 tokens。目前开发者可在 Qwen Chat 平台免费体验模型，企业和机构也可通过阿里云百炼平台直接调用新模型 API 服务。
在 Arena-Hard、LiveBench、LiveCodeBench 和 GPQA-Diamond 等基准测试中，Qwen2.5-Max 表现超越了 DeepSeek V3，同时在 MMLU-Pro 等其他评估中也展现出了极具竞争力的成绩。阿里云的基座模型在大多数基准测试中都展现出了显著的优势。阿里云称随着后训练技术的进步，下一个版本 Qwen2.5-Max 将会达到更高水平。
#通义千问 #Qwen #阿里 #人工智能
白宫评估DeepSeek对国家安全影响
当地时间1月28日，白宫新闻秘书卡罗琳·莱维特表示，美国正在评估中国人工智能应用DeepSeek对国家安全的潜在风险，特别是涉及知识产权盗窃的可能性。白宫人工智能事务负责人大卫·萨克斯提到，DeepSeek可能通过“蒸馏”技术进行数据窃取。美国国家安全委员会目前正在进行审查，关注该技术可能对美国人工智能产业的影响。
然而，“蒸馏”是AI领域合法且广泛应用的优化技术，旨在缩小模型规模并提升效率。技术论文显示，DeepSeek蒸馏小模型主要基于开源模型(如Qwen、Llama系列)优化，而非直接使用OpenAI的专有数据。DeepSeek发布同时就开源了自身模型及并为公众蒸馏了六个小模型，技术透明，回馈社区，与“窃取”指控形成鲜明对比。
美国政界过去曾多次将中国商品、文化产品甚至日常用品与国家安全挂钩，如大蒜、龙虾、筷子、方便面、豆浆、泡菜、辣条、红枣、奶茶、火锅、煎饼果子、智能冰箱、电热水壶、电风扇、吸尘器、电蚊拍、电饭煲、彩色打印机、激光扫描仪、电动滑板车、电动自行车、电动公交车、太阳能电池板、路由器、平板电视、无人机、起重机、熊猫、熊猫玩偶、围棋、魔方、积木、拼图、陀螺、风筝、太极拳、功夫电影、皮影戏、汉字、剪纸、对联、广场舞、电影、瓷器、草帽、水稻种子、雨伞、快递箱、钢琴、灯泡、玻璃杯、口罩、丝袜、各种情趣玩具等。此次对DeepSeek的质疑延续了这一争议性趋势。
#美国 #人工智能 #安全 #DeepSeek
当地时间1月28日，白宫新闻秘书卡罗琳·莱维特表示，美国正在评估中国人工智能应用DeepSeek对国家安全的潜在风险，特别是涉及知识产权盗窃的可能性。白宫人工智能事务负责人大卫·萨克斯提到，DeepSeek可能通过“蒸馏”技术进行数据窃取。美国国家安全委员会目前正在进行审查，关注该技术可能对美国人工智能产业的影响。
然而，“蒸馏”是AI领域合法且广泛应用的优化技术，旨在缩小模型规模并提升效率。技术论文显示，DeepSeek蒸馏小模型主要基于开源模型(如Qwen、Llama系列)优化，而非直接使用OpenAI的专有数据。DeepSeek发布同时就开源了自身模型及并为公众蒸馏了六个小模型，技术透明，回馈社区，与“窃取”指控形成鲜明对比。
美国政界过去曾多次将中国商品、文化产品甚至日常用品与国家安全挂钩，如大蒜、龙虾、筷子、方便面、豆浆、泡菜、辣条、红枣、奶茶、火锅、煎饼果子、智能冰箱、电热水壶、电风扇、吸尘器、电蚊拍、电饭煲、彩色打印机、激光扫描仪、电动滑板车、电动自行车、电动公交车、太阳能电池板、路由器、平板电视、无人机、起重机、熊猫、熊猫玩偶、围棋、魔方、积木、拼图、陀螺、风筝、太极拳、功夫电影、皮影戏、汉字、剪纸、对联、广场舞、电影、瓷器、草帽、水稻种子、雨伞、快递箱、钢琴、灯泡、玻璃杯、口罩、丝袜、各种情趣玩具等。此次对DeepSeek的质疑延续了这一争议性趋势。
#美国 #人工智能 #安全 #DeepSeek
近日，美国总统唐纳德·特朗普签署行政令，暂停美国国际开发署对乌克兰的资助项目，以评估这些项目是否符合美国的外交政策目标。
这一决定导致多家乌克兰媒体面临资金短缺，不得不向读者寻求经济支持。受影响的媒体包括乌克兰独立媒体《Hromadske》和调查新闻项目《Bihus.info》，它们通过Telegram频道公开呼吁读者提供帮助。此外，乌克兰公共组织“Detector Media”和《乌克兰真理报》也因资助暂停而面临运营压力。
美国资助的暂停不仅影响了媒体，还波及到乌克兰的多个领域，包括退伍军人支持项目、农业发展和基础设施建设。例如，为退伍军人提供心理支持的“Veteran Hub”组织因资金中断被迫关闭部分服务，包括一条危机热线。
尽管乌克兰国家银行行长表示，预计2025年乌克兰仍将获得计划中的国际援助，但资助暂停的短期影响已对乌克兰社会和经济造成显著冲击。
#乌克兰 #媒体 #美国 #特朗普 #政策资金
DeepSeek 使用 Nvidia PTX 实现高效计算优化
DeepSeek 在训练其 V3 模型时，通过使用 Nvidia 的 PTX（并行线程执行）语言进行编程，实现了比标准 CUDA 更高效的性能优化。PTX 是一种中间指令集架构，位于高级 GPU 编程语言和低级机器代码之间，允许进行细粒度的寄存器分配和线程/warp 级别调整，这是传统 CUDA 无法实现的。
为了进一步提升性能，DeepSeek 对 H800 GPU 进行了重新配置，将 132 个流式多处理器中的 20 个专门用于服务器间通信，可能用于数据压缩和解压，以克服处理器连接限制并加速计算。此外，DeepSeek 还实现了高级管道算法，通过超精细的线程/warp 级别调整，最大限度地提高了计算效率。这种深层次的优化展示了 DeepSeek 工程师的技术实力，尽管维护难度较高，但为模型训练提供了显著的性能提升。
#DeepSeek #英伟达 #GPU #人工智能
DeepSeek 在训练其 V3 模型时，通过使用 Nvidia 的 PTX（并行线程执行）语言进行编程，实现了比标准 CUDA 更高效的性能优化。PTX 是一种中间指令集架构，位于高级 GPU 编程语言和低级机器代码之间，允许进行细粒度的寄存器分配和线程/warp 级别调整，这是传统 CUDA 无法实现的。
为了进一步提升性能，DeepSeek 对 H800 GPU 进行了重新配置，将 132 个流式多处理器中的 20 个专门用于服务器间通信，可能用于数据压缩和解压，以克服处理器连接限制并加速计算。此外，DeepSeek 还实现了高级管道算法，通过超精细的线程/warp 级别调整，最大限度地提高了计算效率。这种深层次的优化展示了 DeepSeek 工程师的技术实力，尽管维护难度较高，但为模型训练提供了显著的性能提升。
#DeepSeek #英伟达 #GPU #人工智能
美军F-35战机在阿拉斯加坠毁，飞行员成功逃生
当地时间2025年1月28日，美国空军一架F-35战斗机在阿拉斯加州艾尔森空军基地训练时发生坠毁事故。视频显示，飞机在降落过程中突然失去动力，机身旋转并垂直坠向地面，撞击后爆炸成一团火球。幸运的是，飞行员在坠毁前成功弹射逃生，并被送往医院接受检查，目前状况稳定。
事故发生在当地时间12点49分，具体原因尚不明确，但初步推测可能与“飞行故障”有关。美国空军第354战斗机联队指挥官保罗·汤森德表示，将对此事件进行彻底调查，以减少类似事故再次发生的可能性。
艾尔森空军基地是美国空军的重要战略基地，驻扎有54架F-35A战斗机。本次事故是美国空军第11架发生事故的F-35，此次事故再度引发对F-35战机安全性和技术可靠性的担忧。
#F35 #阿拉斯加 #空军 #美国 #坠机
当地时间2025年1月28日，美国空军一架F-35战斗机在阿拉斯加州艾尔森空军基地训练时发生坠毁事故。视频显示，飞机在降落过程中突然失去动力，机身旋转并垂直坠向地面，撞击后爆炸成一团火球。幸运的是，飞行员在坠毁前成功弹射逃生，并被送往医院接受检查，目前状况稳定。
事故发生在当地时间12点49分，具体原因尚不明确，但初步推测可能与“飞行故障”有关。美国空军第354战斗机联队指挥官保罗·汤森德表示，将对此事件进行彻底调查，以减少类似事故再次发生的可能性。
艾尔森空军基地是美国空军的重要战略基地，驻扎有54架F-35A战斗机。本次事故是美国空军第11架发生事故的F-35，此次事故再度引发对F-35战机安全性和技术可靠性的担忧。
#F35 #阿拉斯加 #空军 #美国 #坠机
著名人工智能社区 Hugging Face 的工程师马修·卡里根展示了在本地运行 Deepseek-R1 的完整硬件和软件设置。他使用的是 670B 参数的模型，无蒸馏处理，采用 Q8 量化技术，能够实现全质量推理。整个系统的总成本约为 6000 美元，性价比极高。
硬件方面，主板使用技嘉 MZ73-LM0 或 MZ73-LM1，它们具有 2 个 EPYC 插槽，提供 24 个 DDR5 RAM 通道。CPU 方面，可以使用 2 个 AMD EPYC 9004 或 9005 CPU（任何的）。他强调，LLM 的瓶颈在于内存带宽，因此不需要高端 CPU，如果想降低成本，可以购买 9115 甚至 9015。内存是这套系统的关键部分，为了适应 670B 模型的需求，马修配置了 768GB 的内存，具体是 24 个 32GB 的 DDR5-RDIMM 模块，这样做的目的是充分利用 24 个内存通道，确保内存带宽足够快，从而提升模型的推理速度。尽管这套系统的功耗并不高（低于 400W），但由于需要为两个 EPYC CPU 供电，马修选择了 Corsair HX1000i 电源，这款电源不仅功率足够，还提供了大量的 CPU 电源接口，能够满足系统的供电需求。机箱需要支持完整尺寸的服务器主板，并且要有足够的螺丝安装座，散热器方面，马修选择了兼容 AMD EPYC SP5 插槽
的型号，确保 CPU 在高负载下也能保持稳定运行。为了加速模型的加载过程，马修推荐使用 1TB 或更大容量的 NVMe SSD，在启动模型时，需要将 700GB 的模型数据从 SSD 复制到内存中，NVMe 的高速度可以显著减少加载时间。
软件部分，首先需要安装 Linux 操作系统，然后进入 BIOS 设置，将 NUMA 组数设置为 0，确保模型的每一层数据都交错分布在所有的 RAM 芯片上，从而提升内存吞吐量。接下来，安装 Llama 框架，并下载 700GB 的 DeepSeek-R1-Q8_0 版本。一切就绪后，就可以使用以下代码运行 Deepseek-R1： llama-cli -m ./DeepSeek-R1.Q8_0-00001-of-00015.gguf --temp 0.6 -no-cnv -c 16384 -p "<｜User｜>How many Rs are there in strawberry? <｜Assistant｜>" 。运行后，系统会经历一个短暂的加载过程，随后模型开始在本地思考问题并生成结果。
马修指出，系统生成速度约为 6~8 tokens/s，虽不及 GPU 方案快，但考虑到成本，这完全是一个可接受的折中方案。该方案完全基于 CPU，未使用 GPU，因此成本较低。他特别强调，Q8 量化的 670B 模型在质量上与 Deepseek API 提供的服务几乎没有区别。若想进一步提升速度，可考虑使用 GPU，但成本会大幅增加，例如使用 2 块 H100 GPU 的方案可能需要 10 万美元左右。此外，马修方案还未与 Mac mini 统一内存架构方案进行对比，Mac mini 方案可能在部署上更简单，但扩展性和性价比可能不如这套 EPYC 系统。
社区用户 yhfgyyf 对类似配置进行了测试，使用双路 EPYC 9755 处理器，单 CPU 支持 12 通道 DDR5-4800 内存。测试结果显示，最有效的配置是单 CPU 64-96 核，内存频率越高越好，且无需开启超线程功能。他还提到，实际运行中，512 线程的性能反而不如 128 线程，建议根据需求调整线程数。另一位用户 KPX 提到，Unsloth 的动态量化技术可将 Deepseek 模型压缩到 131GB，最低运行内存需求降至 80GB，为资源有限的用户提供了更多选择。关于性能，token/s 主要取决于等效总带宽，因为 LLM 推理是存储密集型任务，4090 显卡的显存带宽约为 1TB/s，而 CPU 方案通过高频 DDR5 和多通道优化也能达到不错的性能。最重要的是确保 NUMA 节点的负载均衡，否则 token/s 可能会大幅下降。
#非新闻信息 #DeepSeek #本地部署 #教程
硬件方面，主板使用技嘉 MZ73-LM0 或 MZ73-LM1，它们具有 2 个 EPYC 插槽，提供 24 个 DDR5 RAM 通道。CPU 方面，可以使用 2 个 AMD EPYC 9004 或 9005 CPU（任何的）。他强调，LLM 的瓶颈在于内存带宽，因此不需要高端 CPU，如果想降低成本，可以购买 9115 甚至 9015。内存是这套系统的关键部分，为了适应 670B 模型的需求，马修配置了 768GB 的内存，具体是 24 个 32GB 的 DDR5-RDIMM 模块，这样做的目的是充分利用 24 个内存通道，确保内存带宽足够快，从而提升模型的推理速度。尽管这套系统的功耗并不高（低于 400W），但由于需要为两个 EPYC CPU 供电，马修选择了 Corsair HX1000i 电源，这款电源不仅功率足够，还提供了大量的 CPU 电源接口，能够满足系统的供电需求。机箱需要支持完整尺寸的服务器主板，并且要有足够的螺丝安装座，散热器方面，马修选择了兼容 AMD EPYC SP5 插槽
的型号，确保 CPU 在高负载下也能保持稳定运行。为了加速模型的加载过程，马修推荐使用 1TB 或更大容量的 NVMe SSD，在启动模型时，需要将 700GB 的模型数据从 SSD 复制到内存中，NVMe 的高速度可以显著减少加载时间。
软件部分，首先需要安装 Linux 操作系统，然后进入 BIOS 设置，将 NUMA 组数设置为 0，确保模型的每一层数据都交错分布在所有的 RAM 芯片上，从而提升内存吞吐量。接下来，安装 Llama 框架，并下载 700GB 的 DeepSeek-R1-Q8_0 版本。一切就绪后，就可以使用以下代码运行 Deepseek-R1： llama-cli -m ./DeepSeek-R1.Q8_0-00001-of-00015.gguf --temp 0.6 -no-cnv -c 16384 -p "<｜User｜>How many Rs are there in strawberry? <｜Assistant｜>" 。运行后，系统会经历一个短暂的加载过程，随后模型开始在本地思考问题并生成结果。
马修指出，系统生成速度约为 6~8 tokens/s，虽不及 GPU 方案快，但考虑到成本，这完全是一个可接受的折中方案。该方案完全基于 CPU，未使用 GPU，因此成本较低。他特别强调，Q8 量化的 670B 模型在质量上与 Deepseek API 提供的服务几乎没有区别。若想进一步提升速度，可考虑使用 GPU，但成本会大幅增加，例如使用 2 块 H100 GPU 的方案可能需要 10 万美元左右。此外，马修方案还未与 Mac mini 统一内存架构方案进行对比，Mac mini 方案可能在部署上更简单，但扩展性和性价比可能不如这套 EPYC 系统。
社区用户 yhfgyyf 对类似配置进行了测试，使用双路 EPYC 9755 处理器，单 CPU 支持 12 通道 DDR5-4800 内存。测试结果显示，最有效的配置是单 CPU 64-96 核，内存频率越高越好，且无需开启超线程功能。他还提到，实际运行中，512 线程的性能反而不如 128 线程，建议根据需求调整线程数。另一位用户 KPX 提到，Unsloth 的动态量化技术可将 Deepseek 模型压缩到 131GB，最低运行内存需求降至 80GB，为资源有限的用户提供了更多选择。关于性能，token/s 主要取决于等效总带宽，因为 LLM 推理是存储密集型任务，4090 显卡的显存带宽约为 1TB/s，而 CPU 方案通过高频 DDR5 和多通道优化也能达到不错的性能。最重要的是确保 NUMA 节点的负载均衡，否则 token/s 可能会大幅下降。
#非新闻信息 #DeepSeek #本地部署 #教程
