小红书博主:ggb
原文链接:https://www.xiaohongshu.com/explore/69678713000000001a025782?xsec_token=ABBNAac3PKVdc81vfPeckToPhpAH99FW5AV2_BSq_FcSI=&xsec_source=pc_user
https://www.xiaohongshu.com/explore/68f245e90000000004023326?xsec_token=ABLPOjFbSwqj-XPMzfbtq7biYNATBjb5vMcdB29-02m8M=&xsec_source=pc_user
27届零基础转行找大模型算法实习的正确姿势
一上来不要买个学习路线或者八股文就开始啃,用中学,学习和动手实践同步进行,学习完就实战完,即可找实习
nlp 阶段
默认已经熟悉python、pytorch以及动手学深度学习这本书。
快速看一遍https://transformers.run/,熟悉transformers入门使用。
不用抠细节,看懂nlp基础以及常见的传统nlp任务即可。熟悉任务的输入输出就行。
实战项目,掌握bert模型、bart模型、gpt2模型,分别对应encoder、encoder-decoder、decoder架构,可以实操一波bert和gpt2模型的使用方法,熟悉代码训练流程,评估函数,熟悉数据如何输入模型,以及模型输出结果如何处理、loss如何计算。
prompt和sft
阅读大模型技术报告,qwen系列,llama系列、deepseek系列等,知道大模型从0-1到底有哪些变化,连续对比着看,细节看不懂可以先记录下来,后面再反复回顾。
找个有标签的数据集调用api写提示词,熟悉cot、few shot等,做好评估。用这个数据集接着跑通llama-factory、ms-swift等框架。如此已经具备打杂能力。
项目实战
切记不要使用minimind项目,只学会了跑个流程,但没有思考数据如何得来的,如何清洗,怎样做数据配比,怎么评估以及如何优化。
最好找一个具有benchmark且具备业务落地的有标签的评估集或者算法竞赛,以此来深入学习sft、rag、agent等技术,不要脱离具体的业务场景,避免云里雾里缺乏深度。
实战中获得正向反馈后再去看八股。
如此1-2周即可入门大模型。
关联比赛:https://tianchi.aliyun.com/competition/entrance/532467
如何找到第一份大厂算法岗日常实习
9-12月是找日常实习最佳时机?前mentor上次来与我交流说8月比较好,大致我认为是8-9月为我最后找到一份算法日常实习的最后期限。
学历
感觉够了
项目匹配?到底什么叫项目匹配我一直没太搞懂,看了第一篇应该是自己的项目和组里的业务方向比较匹配?
手撕代码OC
学历不等于offer?有一段有含金量的大厂日常实习很重要。
项目经历
需要体现出业务价值,增加岗位的匹配程度
项目经历可以是算法竞赛(天池、Kaggle、百度飞桨等)、学校横向课题以及开源项目。
最好是算法竞赛,有baseline、训练集和评测集,能做出点优化即可,锻炼自己的思维能力并且有正向收益。
开源项目基本不推荐,比较demo简单,适合零基础学习,没什么业务价值。
项目需要哪些技术栈?
- SFT(必须)
- RAG以及Agent、RL等(如今应该RL是必备吧)
去公司以后一定会涉及调试Prompt以及训练模型,SFT项目能够证明具备训练经验以及打杂能力。
RAG项目大多是利用大模型+Prompt搭建Pipline,比较常见。
论文
大模型相关论文?可以证明具备动手能力
论文与岗位不匹配的话,还是得多找几个有价值的项目挂在简历增加匹配度。
代码
主要围绕Hot100(至少掌握简单题和中等题)、常见的深度学习手撕题例如手撕MHA
简历投递
Boss约面,响应速度块,可以及时追溯流程,官网投递看不到流程。
海投 + 投递时简单自我介绍 + 简历截图