外观
面试问答
按模块整理的 LLM / Agent 面试问答,便于系统复习与对照查阅。
说明: 内容来自学习笔记整理,仅供参考;不构成考试、录用或培训承诺。欢迎通过 内容协作 纠错补题。
基础与架构
Transformer / 位置编码 / Attention / Tokenizer 等基础面试题
- LLM基础概念与架构
- 位置编码与长度外推
- Tokenizer分词技术
- Attention机制与优化
- LayerNormalization
- 激活函数与FFN
- 损失函数与相似度
- Transformers库操作
- LLM进阶问题
- 大模型位置编码技术全景
- 分词器技术对比与实践
- 混合专家模型MoE架构详解
RAG 与检索
RAG 原理、优化、GraphRAG、向量检索与 LangChain 相关问答
Agent 智能体
Agent 组成、规划、工具调用与架构设计
微调与对齐
SFT / PEFT / LoRA / RLHF / 中文适配与数据构建
- LLM微调实战
- 参数高效微调PEFT
- LoRA详解
- 强化学习RLHF
- 增量预训练
- RLHF变种与PPO详解
- LoRA高效微调技术指南
- PEFT框架LoRA源码剖析
- 大模型领域知识增强
- 预训练数据拼接策略
- LLaMA2中文适配训练
- 强化学习与RLHF对齐技术概览
- RLHF训练流程与对齐替代方案
- PPO算法在大模型RLHF中的应用
- 强化学习NLP应用基础
- 大模型训练数据构建与微调策略
- LLM自动生成SFT数据方法
- 英文LLM中文支持之Tokenization构建
- 英文LLM中文适配之继续预训练
- 英文LLM中文适配之指令微调
- 预训练数据与SFT训练参数策略
Prompt 与思维链
提示学习、CoT / ToT 等推理范式
推理与部署
推理加速、KV Cache、vLLM 等 Serving 相关
- LLM推理优化
- 大语言模型推理优化
- 大模型推理加速技术总览
- LLM推理性能评估指标
- PagedAttention内存管理与KV缓存优化
- vLLM推理框架使用指南
- FasterTransformer部署加速详解
- LightLLM轻量级推理框架
- StreamingLLM无限长度推理技术
- SwiftInfer流式推理加速框架
训练工程
显存、分布式、DeepSpeed / ZeRO / AMP 等工程题
- 显存优化与GPU利用率
- 分布式训练
- 大模型显存估算与GPU利用率优化
- 显存优化策略指南
- 大模型分布式训练全景解析
- 流水线并行原理与Gpipe详解
- DataParallel多GPU训练详解
- DistributedDataParallel原理与实战
- torch多进程训练详解
- AMP混合精度训练原理与实战
- DeepSpeed框架深度解析
- Accelerate分布式训练详解
- ZeRO显存优化与3D并行
- 分布式训练故障恢复策略
- PyTorch分布式计算常见问题
- 大模型浮点数精度与混合精度训练
- bitsandbytes量化工具详解
- 大模型软硬件配置指南
评测与幻觉
评测方法、幻觉成因与缓解、数据泄露
模型与多模态
主流模型对比、MoE、蒸馏、多模态与实用技巧
NLP 实务
分类、摘要、NER、长文本等经典 NLP 题