项目介绍
学习日志
第一周
看李宏毅教授视频公开课复习机器学习部分内容，包括 ChatGPT 原理剖析、机器学习模型的基本概念、了解生成式人工智能的基本工作方式。 复习git相关内容，整理部分git命令。
第二周
机器学习基本原理学习，生成式学习与工具型 AI，深度学习基础，梯度下降与优化，CNN 与图像分类。 Linux 基本命令学习。
第三周
学习大语言模型的 Finetuning 与 Prompting，了解 In-context Learning、Instruction-Tuning、Chain of Thought、Soft Prompt 等方法。 入门 PyTorch，梳理数据加载、模型训练、验证、测试与参数保存流程；阅读并修改 HW1—HW3，成功运行 HW1，HW2 与 HW3 因数据集链接失效未能完成训练。
第四周
学习大模型、大数据与能力涌现，理解模型规模、训练数据和算力分配对能力的影响。 了解 VAE、Flow-based Model、Diffusion Model、GAN 与 Stable Diffusion 等图像生成模型，并整理 Self-attention、Transformer 和生成模型相关课程作业材料。
第五周
学习 NLP 基础、词向量与 Word2vec，理解从 one-hot 表示到连续向量表示的变化，以及基于上下文共现学习词义的基本思想。 了解 Constituency Parsing 与 Dependency Parsing，并继续梳理语言模型、RNN、Transformer、预训练模型和多模态学习等方向。
第六周
学习翻译、问答、自然语言生成与共指消解任务，结合翻译场景理解 Seq2Seq 和 Attention 的作用。 围绕词嵌入、序列模型、情感分析、关系抽取与大模型应用规划 NLP 实战演练，后续仍需补充代码与实验记录。
第七周
学习 T5 与大语言模型，进一步理解预训练、指令微调和人类反馈对齐之间的关系。 了解 LangChain、RAG，以及全量微调、P-Tuning、Prompt Tuning、LoRA 等适配方法，并以 Hugging Face 文本分类和问答任务作为后续实践方向。
第八周
学习知识增强语言模型、模型分析与可解释性，以及 NLP 应用中的偏见、幻觉、隐私和安全问题。 了解语义检索、智能问答与情感分析系统，梳理外部知识接入、检索增强和 PaddleNLP 实践的基本流程。
第九周
学习模型压缩基础，了解参数量、计算量、存储开销和推理延迟之间的关系。 梳理知识蒸馏、结构化与非结构化剪枝、参数量化等方法，并阅读将模型压缩视为约束优化问题的相关综述论文。
第十周
学习模型压缩代码的整体实操流程，包括模型剪枝、知识蒸馏、低秩分解与参数量化。 重点梳理基线模型、评价指标、压缩方法和结果对比之间的关系，后续实验需记录压缩前后的精度、参数量、计算量与推理速度。
分享文章
生成精美分享图或复制链接，与更多人分享本文。
继续阅读
换条路线
从其他文章中稳定抽取
最后更新于 ，距今已过 89 天
部分内容可能已过时
评论