跳转至

原文链接：

https://www.xiaohongshu.com/explore/697c7eda000000000b00b684?xsec_token=ABgOSjVfMqAuME_QwO1sP6O8iZaN1-s9_fOsaCx35TkgM=&xsec_source=pc_search&source=web_search_result_notes

北大研一 | 转码经验贴（0基础转LLM找第一段实习）

梳理下主包0基础转llm找第一段实习的学习路线，主包转码也是摸着石头过河，希望能帮到大家。

个人背景

  • 本科：C9（深圳）通信本
  • 硕士：Top2（北京）集成硕
  • 有一点点408和C语言基础但似乎没什么用
  • 无论文、无项目、无机器学习背景

一、基础学习

看李宏毅的机器学习到第四、五章

学习目标：

  • 初步了解自回归模型，transformer结构
  • 跳过作业，可以不必硬啃局部细节
  • 初步有印象后结合项目和八股理解

方法：

  • 动手复现并消化一个基础项目和相关知识点
  • 全程不懂多问AI

二、RL进阶（想投RL方向可选）

学习资源

  • 看《动手学强化学习》（看到PPO那章就行）
  • 剩下的GRPO等知识点可以通过相关论文、博客等资料学习

需要理解的内容

  • PPO/GRPO等RL方法的损失函数
  • 交叉熵、奖励函数等公式和异同

实践

  • 做一个强化学习的项目

三、代码能力准备

LeetCode

  • 刷Hot100（刷题顺便就学了Python）
  • 刷两三遍，看到题目就有思路了
  • 难题/不会的别硬推，找一个自己容易理解的题解刷几遍，一般也会了
  • 主包推荐：灵茶山艾府的题解

手撕

  • MHA（MQA、GQA）

四、八股与资料推荐

推荐资源

  • 猛猿的大模型笔记：学习transformer和各训练框架（megatron/deepspeed等）
  • 苏剑林的博客
  • 各家大模型的技术报告：DeepSeek-v3/R1、Qwen、GLM等
  • 热点论文：如DAPO等
  • 牛客上的面经
  • 根据面试官的提问补充
  • Gemini老师

五、开源项目推荐

基础项目

minimind

  • 特点：上手项目，易上手DIY
  • minimind-v可拓展到多模态

nanochat

  • 特点：苹果项目，更新颖更精妙
  • 缺点：不好DIY

学习目标：

  • 了解LLM各训练阶段
  • 学习项目代码和相关八股（transformer的结构，RoPE，LayerNorm等组件，大部分是了解概念即可，不需要会手撕的）
  • 数据集：▲数据集可能项目已经准备好了，但了解数据集如何选取、清洗、构造、混合蛮重要的
  • 可以用wandb记录

进阶项目

RL方向

  • Tinyzero
  • medicalGPT

学习目标：

  • 理解GRPO
  • RL奖励函数的构造（基于规则/模型）
  • on/off_policy
  • verl训练框架等

生成式推荐方向

  • minionerec（仅供参考）

主包后期接到小红书和京东的社区/平台搜索算法面试，于是突击复现minionerec项目和相关八股论文，虽没给offer但面试官反馈这个项目很好。

六、关于项目的时效性与创新点

项目时效性

  • 好项目出来第一时间复现是眼前一亮的
  • 比如minionerec刚发布时复现，感觉相关岗位面试官都很认可
  • 但minimind主包身边看到很多简历都会有一个，建议可以与时俱进

创新点

问题：如果只是复现并消化了开源项目，眼尖的面试官会发现你只是跑了下别人的代码，而且没有可量化的结果。

解决思路（主包的尝试）：

  1. 先在一些评测集上跑个指标（或者更简单点让大模型打个分）
  2. 然后尝试换更好的数据集/RL奖励规则/blabla
  3. 最后再跑个更好的指标对比
  4. 那就引入了一个创新点并得到了一个可量化的提升指标
  5. 妙哉妙哉

七、时间线

  • 9.20：跑通minimind，boss上开始投中小厂
  • 10月国庆：边投边跑通tinyzero
  • 国庆结束：开始面北京的中小厂和一些大厂
    • 以RL/后训练岗为主
    • 少量多模态、基模和LLM搜索方向
  • 11月初：拿到目前的offer
    • 入职前把手头其他流程都面完了（许多无后续）
    • 虽不是大厂和计划中的RL，但主包挺满意的，先沉淀下

详细过程主页往前翻就好

八、碎碎念与经验总结

关于找实习的机会

  • 有熟人内推/缺人/时间点合适，找实习会容易不少

关于项目数量

  • 推荐做两个项目，主要是面试有的聊
  • 可以围绕项目展现八股基础和自己动手能力
  • 不是必须，有时候只是复现一个基础玩具项目也能进面并拿offer

关于面试复盘

  • 面试的时候可以录音复盘

关于反问阶段

  • 可以向面试官多打听下组里情况
    • 进去后主要工作是做什么的
    • 组里显卡资源如何？blabla
  • 同公司不同组工作内容可能差别很大
  • 当时面的三个美团岗位，明显感觉第一个是偏research核心岗，后两个是偏业务方向的

关于赶进度的小技巧

一个阶段做60%就可以边着手做下一个阶段：

  • 基础学差不多可以做项目边补基础
  • 项目八股学差不多可以边面中小厂，边复盘巩固项目八股
  • 这样进度推进和学习反馈都会快很多
  • （好比抄了同学作业，再想办法跟老师解释为什么作业这样写，比从头写要容易）

最后

  • 希望大伙都能体会到转码的乐趣 😂😂