跳转至

12 百度大模型算法面经

参考链接：

https://www.xiaohongshu.com/explore/695c73cd000000001a02ed13?xsec_token=ABhE0VxkYPItzFnjyDnzL0FKqBIva1QYOhvKm3LpfKoAc=&xsec_source=pc_search&source=web_search_result_notes

https://www.xiaohongshu.com/explore/69eb60dd000000003802001d?xsec_token=ABSy-YdoZ0M3PRLFp0HG-tenenwZutEAB4PTTjexX2D_s=&xsec_source=pc_search&source=web_search_result_notes

https://www.xiaohongshu.com/explore/69d3c2e9000000001b002cdf?xsec_token=ABjqJZhpYPCnuk5JxtpKtanb1ttqAm9hzzRnVot9ErayA=&xsec_source=pc_search&source=web_search_result_notes

https://www.xiaohongshu.com/explore/698d8867000000001a02bdeb?xsec_token=ABcZOHw4-XwiJSoZXmNR6NwiGFlqB8Zk30kh-ix38NmdM=&xsec_source=pc_search&source=web_search_result_notes

算法面经分享：百度 NLP 大模型算法

纯分享，百度-NLP大模型算法日常实习面经

一面

  • 1️⃣自我介绍
  • 2️⃣代码题
    • 求一个整数的平方根，精度0.01
    • 场景题：根据会话 id 和轮次 id，生成 history
  • 3️⃣拷打项目
    • dpo 数据怎么建的，数据的格式
    • dpo 损失函数介绍，为什么用减法
    • β的作用，项目中你设的多大
    • lora rank 设的多大 alpha 有什么作用
    • 项目中遇到最困难的事
    • 大模型精度不高怎么提升

感受：没想到是上来就撕代码题，而且有一道场景数据处理，没准备过没做出来，不过面试官人很好，说思路总体对还是让过了😮‍💨 二面

  • 1️⃣ 自我介绍吟唱
  • 2️⃣ 让我具体介绍一个项目的全流程
  • 3️⃣ 问了点项目相关的问题
  • 4️⃣ 代码两道：
    • 反转局部链表
    • 找第一个不重复的字符

感受：二面总体感觉面试官对我兴趣不高，什么八股也没问，项目也问的泛泛让我反问我都没敢多问觉得自己凉了，结果居然过了…不知道咋回事

所以实力重要，运气也重要！不要像我一样面试之前觉得没准备好贷款焦虑🤦没有想象中难 大家可以多看看一面更有参考性，后续也陆续分享一下我面的其他家

百度大模型算法实习生面经

2天速通，已OC，发面经为积德，希望有帮助！ 百度大模型算法实习:

一面 (30min):

  • 自我介绍
  • coding agent能力
  • 实习处理文本数据还是数值型数据
  • 文本分析竞赛经历：jieba分词 Lda模型
  • 如何对超长、多段结构复杂的agent日志数据根据代码任务类型进行分类打标签？(例如生产代码/教学代码/测试运维代码)
  • thinking, input, output, 工具调用, 执行效率等等六个维度来搭建一套可对比可量化的指标体系
  • Embedding模型
  • 大模型/小模型训练经验
  • 预训练数据处理流程
  • 小模型训练特点
  • 如果对于一个教学级代码想要打标签如何进行？(参考力扣等平台数据分类，公开数据作为基座，然后打标签)
  • 如何采取比较通俗的语言说服质检或者数据部的人接受你的指标或者标签分级？
  • 当日志量比较大的情况下，采取什么样的统计学方法能够以尽量少的样本使得不丢失过多信息？
  • 入职时间、工作规划、OCR、多模态

二面 (45min):

  • 项目中为什么对比随机森林和U-net模型？
  • 为什么不对比其他模型，比如XGBoost？
  • U-net模型是图像分割领域比较经典的模型，肯定效果更好，为什么还要用随机森林？
  • 有没有考虑用随机森林的变体，做算法层面的优化、自适应？
  • 介绍实习中项目，体现业务理解
  • 提到了AB test，具体怎么操作的？
  • 合成控制法
  • AA期指标波动较大的情况怎么处理？
  • 假设GitHub的一个客观评测集，模型评估效果不好，可以从长代码和短代码出发，分析造成这种问题的原因
  • 对agent的了解
  • 假设有多个标注员，标注员会根据问题评判A模型和B模型，但是标注员质量参差不齐，如何判断标注结果能不能用，以及标注质量有没有问题？
  • ABtest问题：Chat bot要上线A模型和B模型，观测一段时间后发现A模型用户次日留存率更高，B模型用户对话时间更长，老板让判断决定上线A模型还是B模型，如何判断？
  • 职业规划问题

三面:

  • 本来有三面，但是直接走流程了，相当于有三面记录没有真实面，面试官为部分Leader

百度大模型应用算法面经（一面+二面）

一面：

  1. 项目里重构的词表是什么量级的，基模是什么。大规模的对这个词表做增删之后，有没有遇到后训练的时候没有办法去修正模型的某些能力的这种现象？
  2. on-policy蒸馏，软蒸馏和我用的方法之间有什么区别和联系（这个二面也问了，就不多提轮）
  3. 项目里同时用了DPO和GRPO，为什么要这么做，有没有通过一定的实验去验证同时使用的合理性。（这个二面也问了）
  4. temperature = 0的时候为什么会有区别。
  5. 输入的embedding层和最后输出的那一层是不是共用一组参数
  6. 目前中国大模型和国外大模型在词表这方面有什么区别。

二面：

  1. 重构词表之后有没有评估词表训得好坏的方式
  2. GRPO信用分配问题
  3. 我那个项目分阶段奖励机制的探讨。

百度大模型研发岗（

后面问发现最近研究agentic rl），一面聊的很顺利，基本全部答出来了，主要问了：

一面: - 讨论项目 - 什么是GAE - 解释deepseek的MLA，分析可能有什么缺点 - 介绍deepseekV3.2的闪电索引器和可能的缺点 - 介绍MHC残差连接 - 什么是多头注意力 - 口述两个算法题，说出求根号的多重方法（牛顿，梯度下降，二分），二分法求到小数点后k位精度算法复杂度（我答的是是（logn ）+ k） - 一个哈希表题目，不是力扣

二面: 面试官先问我可不可以不开摄像头（我也不能说不行吧） - 项目，好像不太感兴趣 - 介绍非线性注意力mamba（没怎么看卡住了） - 介绍GAE - 介绍DPO PPO GRPO - 一个hot100（无重复字符的最长子串，本地vscode写，不过我vscode忽然出现了问题，很难用，勉强写出来，不过有一行代码有bug）

后面狂看了线性注意力，简历加了minimind和minimind-V改名项目，却收不到面试了，想听听大家建议