期末考完过了三天了,还是写一点总结吧。
这学期心态上有一个非常大的转变。总的来说,就是自己变得没有什么动力。原本幻想的发 paper、找实习/找暑研的计划完全落空,绩点爆炸,对科研完全失去兴趣,对未来越发地迷茫。有一部分是我自己的原因,原本应该完全可以避免的,另一部分(或者说大部分)感觉上是所谓“运气”?我不太清楚这样归因是否合理,但是就这样吧。
先是参与了一段 mlsys 的科研,但是说实话,导师、学长对我几乎完全没有培养,一上来就是分配任务做,也不管我有没有那个能力和知识储备。所有新学到的东西都是自己上网查资料学的,包括但不限于各种训练并行方案和 C++/C/CUDA 实现、基础的 CUDA 编程、GPU 通信啥啥的。并且体验到了人生中第一次 push……举个例子,下午两点讨论了一个 idea,讨论完立马就让我实现,要求在晚上之前写好代码 + 评测结果,并且不停催促我实现这个功能,基本上隔一两小时催一次,我心里特别烦躁,于是顺理成章地到晚上没有实现,学长还非常不耐烦地叫我先回寝室吧。可是当时我也就正式参与了不到几周,压根就没有读过项目源码,不知道该怎么改,也不知道该测评什么指标,就一句话“你实现一下,晚上测出结果给我说”,我实在是有点不知所措无语了。其他时候也是一样的 push,实现新功能的时候一会儿叫我画图,画图的时候一会儿叫我实现新功能……我在进组前曾询问了需要哪些基本的知识储备,回答是可以边学边做,但是实际上根本没有留学的时间,所有功能都要立马实现……甚至当我就在图书馆完成的时候,还打电话质问我为什么不去实验室……我当时感觉自己的心理上出了些问题,自测了一下是抑郁症重度(虽然不一定准,但是我真的发现自己有躯体化症状,开始写代码手就不停地抖,当时真的吓到了)……不过好在及时提出了退出,即使再“坚持”半个月就能捞到一篇学长“好心给我”的三作。当发出退出的微信消息时,我真的感觉到一块石头从心脏上面落了下去……要说唯一的好处,就是让我上手实操了一下大模型推理框架的搭建和运行,毕竟我自己还是没有那个卡数量来支撑做这些的。
然后消沉了大概半个月,期间补了一下课内落下的进度,然后重写了一下简历,重新开始找实验室(毕竟自己还没有发过文章,找实习有点困难),联系了校内的、清北的一些老师,分别进行了一些面试,最终接了北大一个组的远程实习,一直到现在,主要是在做 LLM 的后训练,和 RL 相关。之所以没有继续做 mlsys,是因为好像 ptsd 了,我个人并不排斥这个方向,但是需要时间让自己缓一缓。不过这段倒是挺顺利的,先是复现 grpo,然后在调研了一周左右,和学长突然迸发出了一个非常妙的 idea,于是狠狠地肝了大概四五天,把代码实现出来了,效果比原始算法提了一点,不太多,但是能看到怎么改进。之后继续调研的时候,发现这个方法被人发出来了,他们的结果是提了大概 10 多个点,有点小遗憾。
再写点自己的思考:我认为 AI 方向的科研已经卷到了一个难以理解的(畸形的)程度,很多 paper 其实没有任何用处,纯粹的废纸堆。至于为什么会出现这种情况呢?我认为大概是因为 (1) 对学生而言,简单,基本没有入门门槛 (2) 对学校而言,可以骗经费,并且所有高校都在卷,都在拿来搞政治功绩 (3) 对企业而言,未知的领域,尚未发现的落地(可能 agent 可以,但是尚不明朗),所有大厂都在卷,不可能停下来 (4) 从社会角度来看,经济形势、就业形势持续变差,需要像 AI 这样的东西来提振,不过,我看来是只利好头部玩家(有点像前几年的金融那样),并且大厂其实不缺算法的人,缺的只是头部算法的人,但是宣传出来就是算法岗红透了边。不可否认的是,大模型这一波确实带来了不少的岗位增加。等到我毕业的时候又是什么样子呢?我预料不到,但是至少可以知道不会像现在这样火就是了。
并且就我观察到的一些情况而言,一些下限更低的人反而能够在这样畸形的环境下如鱼得水,包括但不限于水论文、论文造假、散播焦虑、立人设、虚假宣传(如明明尚未投稿或者被拒稿,却宣称自己是 xxx 独立一作 plus xxxx 顶会两篇独立一作选手,实在令人汗颜)。
AI 方向实在没有什么技术含量,随便培训半年(两个月都行)就能出文章,我认为大可不必高看搞 AI 的这群人,如果从单个人的角度来看,他们的贡献甚至不如所谓“传统”计算机的人。
这学期倒是绩点大爆炸,不过我坚信不是我自己的原因,而是学校的课程过于狗屎、一些老师过于逆天。我已无力再喷,喷了也是浪费我的时间。
认识了非常多可爱的人!很多可爱的妙脆角!这可能是我这学期最开心的地方了~可以和群友一起学习闲聊,真的很不错!
我有点不太知道未来怎么办了,继续做 ai 还是做 mlsys,还是搜推,还是走 AI 应用开发;读研/本科就业/出国直博,并不太好做出抉择。
和朋友聊天,倒是得到了我认为比较对的回复(虽然并不能给出直接的答案)。一是路径不可复制,每个人自身情况都不一样;二是不能把路走窄了,如果 all in 某个方向,那多半会死翘翘,并且不到最后找工作,也不知道自己到底会做什么。
希望自己能在暑假想清楚这些事情吧。在此之前,先做点一定正确的事情。