📌 一分钟速读
编者按:上海百猎猎头今年接的一单,客户是家做AI大模型的公司,把一座算力中心盖起来了,几千块GPU上了架,服务器全天候嗡嗡转。可一个看着不起眼的岗位,算力运维负责人,挂了半年多没人接。我们复盘下来,卡点不在设备,在人:会管电力和制冷的不懂GPU,会写CUDA的没进过机房。这篇讲讲算力时代,最缺的为什么偏偏是运维。
上海百猎猎头今年接的一单,客户是家做AI大模型的公司。模型越训越大,自建机房不够用,他们在郊区租了地方,盖起一座智算中心,几千块加速卡一排排上了架。
这个岗位的JD不算玄:管整座机房的运行,电力、制冷、网络、GPU集群,都要盯。钱给得不低。结果挂了半年多,前后聊了三十多个人,没有一个能往下走。
创始人跟我倒苦水,说买卡、拉电、装空调都顺,就是招不到那个管机房的人。他原以为运维是最不愁的岗位,真招起来才傻眼。
三十多个人聊下来,我们看清了真正难的地方。
一座智算中心,不是把服务器插上电就完事。几千块加速卡跑训练,单卡功耗几百瓦,整机柜的发热量顶得上一个小车间,制冷压不住,卡就过热降频甚至烧掉。供电要双路冗余,网络要低时延,一块卡挂了,训练任务得能自动切走,还不能丢进度。
更麻烦的是,这些事环环相扣。会管电的人不懂GPU的脾气,懂GPU的人不会看配电柜。中间缺一个能把这些串起来的人,恰恰最难找。
投简历的人,大致分成两拨。
一拨是传统IDC运维出身,管过数据中心、动环监控、UPS、精密空调,这些是硬功夫。可你问他一块GPU训练到一半过热降频,怎么在不打断任务的前提下切到备用卡,他就接不上话。有位候选人很实诚,说GPU集群他只装过,没真管过跑训练的环境。
另一拨是算法或系统出身,CUDA写得溜,训练框架门儿清,知道怎么调显存、怎么搞分布式。可你让他看一张配电柜图纸,或者报一个机房PUE,他就懵了。有人甚至没进过机房,只在云上跑过。
两头都聊过之后,我们下了个判断:想在纯做AI的圈子里硬找一个全都会的人,太难。这跟我们在上海帮AI公司找人时踩过的坑是一个道理,人才有,但分布在不重合的几个池子里。
换池子找人的办法,我们干过不少回。制氢要扩产,人得去氯碱厂里挖,是同一个思路:别在原来那个小圈子里死磕。
算力运维的相邻池子在哪?在更传统的地方。运营商的骨干数据中心、国家超算中心、大型云厂商的机房,这些地方的人,天天跟高压直流、液冷、大规模集群调度打交道,规模比初创公司的智算中心还大。
我们定下来的这位,在一家运营商省公司的数据中心干了十一年,从动环监控一路做到机房负责人,经手过上万机架的运维。他对AI训练框架不算熟,但补起来快;他对机房的理解,是算法团队最缺的那块。人到位后,客户把制冷和供电的隐患排了一遍,GPU的掉卡率降下来一大截。
这单做完,我们对算力运维的人才盘子心里更有数了。
这行还太新,AI公司抢着上算力,会管大规模集群的人却没多出来几个。企业要补,两条路:要么从运营商、超算中心、云厂商的机房团队里借人,要么自己养,招IDC运维的底子,再补GPU集群和训练框架的课。最怕的是只把运维当装机器的活,轻看了它。
对个人来说,这倒是个往上走的窗口。算力越堆越多,能管住整座机房的人,往后只会越来越贵。
上海百猎猎头在AI、云计算、数据中心这条线上有积累,也在帮几家做算力的企业做中高端寻访,有需要可以找我们,电话 400-001-7166。想先看看上海整体的用人行情,翻上海猎头公司,或看我们的案例故事栏目。
问:算力中心的运维负责人,为什么这么难招?
答:这行要的是既懂电力制冷、又懂GPU集群的人,传统IDC运维不懂训练调度,算法出身的没进过机房。百猎猎头公司的办法是从运营商、超算中心这些更传统的池子里借人,电话 400-001-7166。
问:AI公司建了算力中心,运维除了加钱还能怎么办?
答:把视野放到运营商数据中心、国家超算中心、云厂商机房,那里的人天天跟大规模集群、液冷、高压直流打交道,转身管智算中心是正对口。也可以自己养,IDC底子再补GPU集群的课。拿不准怎么定位,可以找百猎猎头公司聊聊,电话 400-001-7166。
问:现在转行做算力运维,算不算好方向?
答:算。AI越卷算力,能管住大规模集群的人越稀缺,往后只会更贵。想了解AI、云计算、数据中心方向的岗位机会,可以联系百猎猎头公司,电话 400-001-7166,或看常见问题。
扫码添加企业微信