山巅周刊第275期:无奈的集群技术

周刊 2025-07-27 18 次浏览 次点赞

《山巅周刊》定期分享科技、商业、医学及人文资讯,以及商业智慧和最佳实践,每周日发布。

在人工智能领域,训练 LLM 需要大量的浮点运算次数(FLOP)。

elon-musks-200k-gpu-ai-supercomputer-beast-finally-turns-on-techjuice-174761-940x529.avif

2022 年 11 月,OpenAI 上线 ChatGPT,是继 AlphaGo 以来最出圈的人工智能热点,标志着生成式AI的爆发。以 OpenAI GPT-3.5 为代表的一众大模型训练量达到 10 24 FLOPs 级别。

要达到这样的计算量,不论是使用游戏玩家手中的靓丽显卡,还是NVIDIA的数据中心算力新星GB300,都需要长达数千年、最短数年的时间。

显然这不现实。所以实践中需要大 GPU 同时工作。马斯克说,xAI需要建立 200K GPU 的集群。

f8778a05-0d1d-442e-994f-5fa61100ed64_2676x1422.jpg
The Current State of AI

GPU 集群可通过 “增加卡数” 快速匹配算力需求,且能灵活扩容,实现“弹性算力”。但超大规模集群代表更多的供电线路、数据通路和封闭成本,而且总是需要解决通信瓶颈和能效问题。

为什么不能够单纯提高单卡算力呢?

科学家提出,核心原因在于单卡算力提升受限于物理极限、技术瓶颈和成本效益。反正就是不可行。

仅就物理极限来说,就包括:

  • 制程工艺逼近摩尔定律(Moore's law)终点:硅基材料的原子尺寸才 0.1nm,当前芯片制程已进入 3nm、2nm 时代,没办法再小了。
  • 达克效应(D-K Effect)的硬件体现:算力与功耗大致呈正相关,以NVIDIA H100为例,若单卡算力再提升 10 倍,功耗可能突破 5000W,此时传统风冷完全失效,需液冷甚至液氮冷却,成本呈指数级上升。
  • 阿姆达尔定律(Amdahl's Law):芯片核心数量太多,总线信号传输延迟会显著增加,导致并行计算效率下降:串行部分占比越高,并行加速效果越差。

那为什么不能够增加GPU芯片以及显卡的面积和体积来获得突破呢?

据说在半导体行业存在一个性能、良率和成本之间的“芯片最佳芯片尺寸”理论,在这个理论的背后,最核心的是光罩限制——半导体芯片的制造过程使用光刻技术,通过光罩(Reticle)将电路图案投射到硅晶圆上。这些光罩有最大尺寸限制,这意味着单个芯片的物理尺寸不能超过这个限制 。因此,即使有足够的空间,也无法无限地增加单个芯片的面积。

https3A2F2Fbucketeer-e05bbc84-baa3-437e-9518-adb32be77984.s3.amazonaws.jpg
Dylan Patel:更小的芯片并不总是更好

那么,这个事情就像没法用千分尺建机场,或者在家庭地下室造航母一样——那巨大的机场和航母又是怎么造出来的呢?

我认为,一些看起来客观的限制最终还是来源于人类的本性和惯性,就像人形机器人总是最受欢迎,底层原因是人类还想不出如果有三只或者更多的手臂,应该如何协调工作,于是只能是拟人化的设备,像人一样,效率才是最高的(山巅周刊第46期),而且有亲近感(山巅周刊第258期)。所以也没有科技公司致力于仿生密密匝匝又不会相互撞死的蜜蜂和苍蝇(山巅周刊第247期)。

tesla-model-y-4680-type-cylindrical-cells-and-structural-battery-source-paul-kelly.webp

另外,同样值得减少大量集群堆叠的是动力电池。现在,特斯拉Model Y的经典电池组由4416颗2170圆柱电芯打包,你也支持单体大电池吗?


人物:莱斯·施瓦布


莱斯·施瓦布(Les Schwab)是一位轮胎店老板。

施瓦布在俄勒冈州中部伐木小镇Bend(本德)的伐木营地里一辆火车货车车厢里上了小学,然后父母都死了,施瓦布开始销售和分发在波特兰出版的《俄勒冈日报》以维持生计,同时继续在本德高中上学。

09302020_Les-Schwab_182341.webp
2003年,俄勒冈州中部轮胎大王莱斯·施瓦布站在位于俄勒冈州普林维尔的总部前。

高中毕业后,施瓦布还当上了本德当地一份报纸的发行经理。如果命运眷顾,他或许会成为一名出版商。然而,珍珠港事件爆发,施瓦布在陆军航空兵服役,美国经济也挫折到艰难时期。

1952年初,34岁的施瓦布卖掉了房子,用人寿保险抵押贷款,凑了1.1万美元,买下了一家只有一名员工、濒临倒闭、没有自来水、也没有卫生间轮胎店——OK Rubber Welders 特许经营店,就像个棚屋。而他从未换过轮胎,更别说补胎了。

这家轮胎店位于距离Bend 50多公里的Prineville,虽然居民只有几千人,但当地铁路公司采伐和运输木材,利润非常丰厚。

Prineville.jpg

在施瓦布的经营下,轮胎店的销售额有了很大的提高,而且在周边县开了两家分店。1956 年,他走上独立经营之路,并为公司启用了新的名字,“Les Schwab Tire Centers”。

独立经营得到更多的利润,但失去了特许经营权的庇护,只能依靠唯一一名员工的专业知识。要如何获得帮助,雇佣员工来努力工作并赢得客户,让事业成功?这就是施瓦布利润分享计划的起源,一个位于Prineville的轮胎帝国也逐渐壮大起来。

Les Schwab 轮胎中心以员工的忠诚度为基础,而赢得员工的忠诚度的途径是给予员工丰厚的利润分成(一家商店的一半利润归该商店的员工)、丰厚的福利(全额医疗保险和退休计划),以及只在公司内部提拔员工。

施瓦布在 1997 年接受《俄勒冈人报》采访时表示,我不喜欢谈论自己有多成功,我更喜欢谈论我的员工有多成功。

在这些商店服务的社区中,该公司以其广告而闻名,广告中员工跑出来迎接顾客、每年免费牛肉促销,以及公司口号:“如果我们不能保证,我们就不会出售。”

why_les_schwab_runs_to_your_car.webp

轮胎中心的员工一到您车子停好,就会立即跑到您面前,这是该公司的标志性举措之一。

从 1964 年到 2011 年,该公司在二月份推出了一项创新的“免费牛肉”促销活动,以在冬末淡季促进销售。

The Bulletin - Mar 9, 1967.png
Bend当地报纸The Bulletin - Mar 9, 1967上的免费牛肉促销广告

活动规则很简单:购买新轮胎即可获赠一张免费牛肉券,可在该地区任何一家肉类柜台兑换。这项促销活动大获成功,并成为一项年度传统。随着时间的推移,这项活动也不断发展:Les Schwab 的门店安装了工业冷冻柜,顾客当天就可以将免费牛肉带回家。

  • 易于理解,易于兑现:打开收音机,五分钟内就能听到当地汽车经销商或轮胎店的广告。然而,他们的促销活动充斥着金融术语和条款,而且解释得飞快,几乎让人无法辨别真正的好处。莱斯·施瓦布的广告简洁明了:买轮胎,买牛肉。既没有混淆,也没有陷阱。
  • 贴合顾客利益:如今,Les Schwab 的客户群体构成与整个美国西部一样多元化。但在早期,该品牌的覆盖范围相当小,而且主要集中在乡村地区。Les Schwab 的许多顾客是农民、牧场主以及珍视勤劳生活方式的人们。Schwab 本人深知顾客的利益所在,因此他找到了推广业务并支持当地家庭的方法。他对社区的忠诚以及对当地价值观的清晰理解最终获得了回报。

If we can't guarantee it, we won't sell it.webp
If we can't guarantee it, we won't sell it.

这家私营公司在美国西部15个州拥有540 多家分店、超过7000名员工,是美国五大轮胎经销商之一,以及美国第二大独立轮胎零售商。《Modern Tire Dealer》称Les Schwab“可以说是美国最受尊敬的独立轮胎连锁店”。

尽管公司取得了成功,但施瓦布拒绝让公司上市。他发誓他永远不会出售公司,并希望他的继任者也这样做。施瓦布在2007年去世了,2020年,Les Schwab 轮胎中心将公司出售给加利福尼亚州的一家投资基金,理由是家族掌门人经营企业面临诸多困难。2021年,Les Schwab 轮胎中心的新东家停止向员工支付年度股息,近年来,年度股息在3000美元至3400美元之间。

施瓦布双赢、慷慨的经营哲学终会回归,苛刻严峻为当权者得意之作,而宽恕仅为儒生之谈(民国幕僚唐纵言)。


科技:美国加速稀土磁体独立


Mountain_Pass_Rare_Earth_Mine_&_Processing_Facility.jpg
MP Materials 拥有并运营着在加利福尼亚州的芒廷帕斯稀土矿(Mountain Pass)和位于德克萨斯州沃斯堡的 Magnetics 工厂,这是美国唯一运营的稀土矿山和加工厂。2022 年的 Mountain Pass矿

稀土是一组 17 种金属金属化学元素,用于制造磁体,将电力转化为运动。稀土磁体是目前已知的最强永磁体类型,钕铁硼(NdFeB)磁体和钐钴(SmCo)磁体是世界上最强大、最高效的永磁体。由于更为便宜,钕铁硼磁体是混合动力和电动汽车、机器人、风力涡轮机、无人机、电子设备以及关键国防系统所需的电动机和发电机中不可或缺的部件。

facility.jpg
MP Materials 拥有并运营着在加利福尼亚州的芒廷帕斯稀土矿(Mountain Pass)和位于德克萨斯州沃斯堡的 Magnetics 工厂,这是美国唯一运营的稀土矿山和加工厂。Magnetics 工厂

2025年7月10日,总部位于内华达州拉斯维加斯的美国稀土材料生产商MP Materials宣布,将与美国国防部公私合营,美国国防部(DoD)向MP Materials投资数十亿美元,以促进国内生产;国防部有望成为该公司最大股东。

Rareearth_production.jpg
芒廷帕斯稀土矿最初作为金矿开采,目前是全球第二大稀土矿。美国地质调查局统计显示,从 20 世纪 60 年代到 80 年代,该矿的稀土供应量占全球供应量的 70%。 2002 年因有毒废物泄漏而关闭,2018 年 1 月恢复了采矿和精炼业务。

2025年7月15日,苹果公司宣布将向MP Materials投资5亿美元。通过这项多年协议,苹果公司致力于购买 Magnetics工厂开发的美国制造的稀土磁铁。两家公司还将合作,在加州山口建立一条尖端的稀土回收线,开发新型磁铁材料和创新加工技术,以增强磁铁性能。

详细报道:美国国防部公私合营稀土材料生产商MP Materials

ChatGPT的潜力


2025年7月,OpenAI首席经济学家Ronnie Chatterji领导的团队发布了名为《解锁经济机会》(Unlocking Economic Opportunity)的深度报告,揭示了AI对经济增长的巨大潜力。

OpenAI_Productivity-Note_Jul-2025-1.jpg

AI带来的初步经济效益,正集中爆发在那些高度依赖语言处理或模式识别的工作任务中,比如文档扫描、博客撰写、客户问答等。由于应用AI,以下五个领域的生产力提升尤为惊人,这为AI创业指明了方向:

  • 法律服务
  • 客户获取与支持
  • 咨询行业
  • 政府服务
  • 教育领域

报告(PDF):Unlocking Economic Opportunity;文章 :解锁经济机会:ChatGPT的潜力

👍



本文由 wiran 整理创作,参考 知识共享署名 3.0 协议,撰写及摘编内容仅反映个人观点和立场,如果任何可能的雇主与赞助者持有相同的意见,只是巧合;基于互联网链接的腐烂率,无法持续验证外部链接的真实性和有效性,也不对可能的链接无效(linkrot)或者内容转移(Content Drift)负责。

「圆周率文化」坚持非功利写作和分享,但会有一些获利推荐,以及接受您的打赏,这都会鼓励我

如果您也希望拥有一个博客,请阅读《如何开始写博客》 ,以及《从域名到运营:开办独立网站全流程》。

了解我的全职业务,请登录THAILYCARE。欢迎就管理咨询信息化服务汽车绞盘宠物行业创意项目休闲度假等事业咨询、交流和合作。
感谢您的支持,我会持续给您山巅.一寺.一壶酒的独特视角!

「圆周率文化是个人站点,重点分享科技、商业、医学及人文资讯。

「圆周率文化得到中国汽车绞盘网的支持,深表感谢。中国汽车绞盘网业务始创于2001年,为越野车、清障车、消防车、军用车、特种车及工程应用等拖曳、救援场景提供手动绞盘、电动绞盘、液压绞盘和技术支持。