近期总结
暑假学习记录
学 MIT 18.06 Linear Algebra: 大概是 7.7 左右看完了所有课程视频。讲得很好。
然后开始复习了一下上一年做的 NEMU, 尝试做了一下 jyy 的操作系统课的实验,发现自己还是需要理解一个操作系统的具体实现,于是开始学 xv6。
学 xv6 做 labs:
一开始主要是熟悉源码,看 xv6 book. 这里有两个很好的 resources:
- xv6 riscv book 繁體中文翻譯
- 课程中文翻译, 非常精美,省去自己看课程视频的时间了。
根据 Git 提交记录整理:
| Lab | 开始时间 | 结束时间 | 时间跨度 |
|---|---|---|---|
| util | 07-21 19:54 | 07-21 23:42 | 3小时47分 |
| syscall | 07-22 11:41 | 07-25 00:12 | 2天12小时31分 |
| pgtbl | 07-25 11:03 | 07-27 00:42 | 1天13小时39分 |
| traps | 07-28 14:28 | 07-28 23:58 | 9小时30分 |
| cow | 07-29 10:52 | 07-30 11:44 | 1天52分 |
| net | 07-31 10:33 | 08-02 22:00 | 2天11小时26分 |
| lock | 08-03 12:05 | 08-04 15:39 | 1天3小时34分 |
| fs | 08-06 08:43 | 08-10 13:21 | 4天4小时38分 |
| mmap | 08-10 13:28 | 08-11 00:40 | 11小时12分 |
fs 用的时间比较多,因为 fs 要读的文档和源码挺多的,而且那段时间也有一些别的事务。
(未完待续)
迷茫和焦虑
最近了解了一些行业现状,越来越感觉无法把 大模型算法(预训练/后训练)或 AI Infra 作为自己(双非本硕)未来的职业方向了。
首先大模型算法的门槛很高。不过关于为什么门槛高,似乎很少人讨论。我自己观察后得到的结论是:因为算力很贵、用人成本也很贵(薪资高)再叠加岗位比求职者少(不愁招人),导致企业不想花这么多资源培养一个不是特别对口的新人,而且会要求新人的背景很好(本硕985)。这也是为什么小红书上很多人说 LLM 有自己的小圈子(其实就是要看对口经历),而且逐渐金融化(金融也是资本投入高、门槛高、岗位少)。
对于 AI Infra, 大模型算法有的问题它一个没少。虽然可能对学历背景的要求相对低一些,岗位稍微多一些,但是 AI Infra 更大的问题是:它其实在计算机大行业里不算是一个新兴行业。高性能计算、分布式等等早就有了,在大模型甚至 Transformer 出来之前,也有别的 AI 及其 Infra. 说白了这个行业里有一大批经验丰富的人,其实应届生竞争起来难度更大。Infra 对学历要求低,其实是因为经验丰富能力强的人很多,对于他们来说学历的影响较小。
未来要走什么路呢?好像现在也很难想清楚。一想到开学了就有一堆杂事,无法像暑假这样全身心投入自主的学习就很焦虑。