细分方向经验分享:故事和路径集合
这一篇希望慢慢变成一个按方向组织的经验/故事仓库,和留学板块里的《经验与踩坑案例集》类似。
它更偏「主观体验」而不是「客观教程」:不同方向、不同路径的学长学姐,可以在这里写下自己是怎么选方向、怎么进组、过程中遇到了什么坑、最后又是怎么做决定的。
一、可以按什么方式来组织?
后续可以按「方向」来分块,比如:
- 系统 / 网络 / 操作系统 / 分布式;
- 人工智能相关方向(CV / NLP / 多模态 / Agent / 理论等);
- 安全 / 密码学 / 区块链;
- 图形学 / 可视化 / HCI;
- 其它交叉方向(医工、金融科技等)。
每个方向下面,再挂若干个具体故事。
二、具体方向经验分享
当你想贡献一篇经验分享时,可以参考下面这个结构(完全可以根据自己习惯调整):
计算机视觉
自然语言处理(大语言模型或Agent)
多模态学习
机器学习
做偏机器学习理论研究的一份感悟
在人工智能技术高速发展的今天,新的 AI 模型、框架、算法不断发展,AI 在实际应用中不断展现出新的活力。而我认为,AI 理论的发展同样重要。AI 的发展需要理论来解释、保障、启发。我在做偏机器学习理论研究时,会有一些如下的感悟。
- 数学基础很重要: 做理论,数学基础当然重要,而且所需的数学知识几乎一定是超过本科课堂所教的,所以需要不断补充学习需要用到的数学知识。在学习“西瓜书”时,不妨就弄懂其中的推导。
- 山穷水复疑无路: 做理论难免会遇到推导了好长一段时间,发现前面所做都是错的,需要全部推倒重来的情况;或是想要达到某个比较符合直觉的好结论,但一直卡在某一步推不下去的情况。
- 柳暗花明又一村: 尽管上述情况常见,但仍有很多出路。通过大量阅读文献,我们可能会发现新的有助于推导的工具、定理;通过站在更高层面理解我们想做的定理,我们可能会有一个结论的预期形式,可能会发现原先结论就不该是某个样子,而应该是什么样子。另外,可能大家一开始都会想做比较 General 的定理,追求太高,但严谨的理论往往建立难度很高,可以适当将定理特殊化一点点,比如加一些适用条件或假设;在机器学习理论领域,做出神经网络万有逼近性理论,哪怕只是针对一种特殊的激活函数,比如 ReLU,这也很困难并且很有价值。
- 心态建设: 理论研究相对应用研究,更加需要严谨性,且更难直接、快速地检测到效果或是用于实际生产或生活。此时,明确和把握自己研究本身的意义(并非世俗上的“意义”),将非常重要,这会支撑自己把研究进行到底。