=>点此阅读<=

注意：如果当前页面网址是github.com而不是github.io的话，那就不要继续往下看，请点击上面一行的=>点此阅读<=，因为此时是源码模式，里面的数学公式没有渲染，不适合人类阅读。

机器学习概论
特征工程
感知机
k近邻
朴素贝叶斯
线性模型
决策树
支持向量机
liblinear
集成学习
- 集成学习概述
- Bagging
  - 随机森林
- Boosting
  - AdaBoost
  - GradientBoosting
    - GBDT
    - XGBoost
      - XGBoost理论
      - XGBoost实践
    - LightGBM
- Stacking
降维
- 降维概述
- PCA主成分分析
- LDA线性判别分析
- t-SNE
- ICA独立分量分析
- 多维缩放（可能不重要）
- 自编码器
- 流形学习
EM算法
概率图模型
- 概率图模型简介
- 概率图简介
HMM隐马尔科夫模型
CRF条件随机场
聚类
主题模型
- LDA隐狄利克雷分布
知识点
- 损失函数
- 负采样
机器学习算法总结

深度学习

强化学习

强化学习路线图
强化学习学习路径
强化学习基础概念
- 强化学习概论
- 马尔可夫决策过程（MDP）
  - 马尔科夫决策过程
  - 状态
  - 奖励
    - 奖励公式的理解
    - 奖励设计
  - 动作
- 探索与利用
  - 多臂赌博机
强化学习算法
深度强化学习可以将强化学习算法分为基于策略（Policy-Based）的方法和基于价值（Value-Based）的方法，基于价值的方法通过值函数间接获取最优策略，包括策略迭代、价值迭代、Sarsa、Q-learning、Deep Q-network等。基于策略的方法包括Vanilla PG、TRPO、PPO、SAC等。介于二者之间的算法是DDPG和TD3。
- 函数近似和深度网络
- 深度强化学习概述
- 基于纯价值的深度强化学习局限性：离散动作空间、策略间接优化
  - Q-learning与贝尔曼方程
  - 深度Q网络（DQN）及其变体（Double DQN, Dueling DQN）
  - Sarsa
- 基于纯策略的深度强化学习局限性：高方差、低样本效率
  - 策略梯度基础
    - 策略梯度算法
    - 随机策略梯度（Stochastic Policy Gradient）REINFORCE（蒙特卡洛策略梯度）
    - 确定性策略梯度（Deterministic Policy Gradient, DPG）
    - 自然策略梯度（Natural Policy Gradient）
- Actor-Critic策略与价值结合
- 高级策略优化技术
  - 基于信赖域的深度强化学习信赖域方法（Trust Region Methods）策略更新约束技术（与策略类型解耦）
    - TRPO（二阶优化与KL散度约束）
    - PPO近端策略优化: Proximal Policy Optimization （Clipping/Penalty简化实现）
    - GAE广义优势估计Generalized Advantage Estimation
  - 随机策略+熵正则化（Entropy Regularization）策略探索增强技术（与随机策略强耦合）
    - SAC: Soft Actor-Critic SAC（Soft Actor-Critic）的熵最大化目标
    - Entropy Loss
工程技巧
- 分布式训练与加速
  - A3C（异步多线程）
  - A2C（同步多线程）
  - 参数服务器与数据并行
- 经验回放与目标网络
  - DQN、DDPG中的经验回放设计
  - 目标网络软更新技巧
- 探索与稳定性增强
  - 动作噪声（OU噪声、高斯噪声）
  - 优势函数估计（GAE，Generalized Advantage Estimation）GAE则是Advantage的一种估计方法，结合了多步的TD误差，减少方差。
高级主题
仿真环境
- OpenAI: Gym
- OpenAI: Mujoco
- SMAC星际争霸 PySC2 —— 星际争霸II学习环境
- OpenDILab: GoBigger多智能体仿真平台
- Unity3D: ml-agents 简言之：行为树是适合解决复杂AI的解决方案。对于Unity用户，Unity商店现在已经有一个比较完善的行为树设计(Behavior Designer)插件可供购买使用。
- [多智能体仿真环境Simple Tag] https://pettingzoo.farama.org/environments/mpe/simple_tag/
- AirCombat
场景应用
- 游戏AI
  - 星际争霸StarCraft
业界应用
- DeepMind
  - AlphaGo
  - AlphaGo-Zero: Mastering the Game of Go without Human Knowledge Nature2017
  - AlphaStar: Grandmaster level in StarCraft II using multi-agent reinforcement learning Nature2019
  - AlphaZero
  - MuZero
  - AlphaFold
  - AlphaCode
  - AlphaTensor: Discovering faster matrix multiplication algorithms with reinforcement learning Nature2022
  - Agent57 2020
  - DeepNash
  - Grandmaster-Level Chess Without Search Arxiv202402
- OpenAI
  - Emergence of grounded compositional language in multi agent populations 2017 在模拟游戏环境里从无到有进化出一种语言 OpenAI在2017年先完成了具身智能演化出语言的原理模型之后才立项GPT，Emergence of grounded compositional language in multi agent populations.现在多模态模型的关键要素在文章里都有了，而之前OpenAI还在打游戏。而且这还只是对外公开的部分，谁知道内部发生了啥，马斯克骂骂咧咧的退出了。
  - 机械手玩魔方: Solving Rubik’s Cube with a robot hand 201910
  - OpenAI Five: Dota 2 with Large Scale Deep Reinforcement Learning 201904
  - 捉迷藏Multi-Agent Hide and Seek: Emergent tool use from multi-agent interaction Arxiv2020
- 腾讯
  - 王者荣耀Honor of Kings
  - 玩魔方，腾讯与港中大相关研究：https://arxiv.org/pdf/1907.11388.pdf
- InspirAI启元世界
  - InspirAI启元世界
  - TimeChamber大规模并行的大规模自对弈框架
    - TimeChamber大规模并行的大规模自对弈框架
    - Humanoid Strike人类击剑

AutoML

AutoML介绍
自动数据清理AutoClean
自动特征工程AutoFE
超参数优化HPO
元学习MetaLearning
神经网络架构搜索NAS
- Weight-Agnostic-Neural-Networks Google2019

机器学习训练框架

Anaconda
模型训练云服务器平台
- AutoDL
- MistGPU
本地IDE远程连接服务器
训练工具
- TensorBoard
TensorFlow
PyTorch
- 测试是否支持pytorch
- PyTorch基础
- 计算图与动态图机制 https://blog.csdn.net/qq_37388085/article/details/102559532 来自目录https://blog.csdn.net/qq_37388085/category_9417143.html
- 保存加载模型文件
- 推理inference
- 模型参数与状态管理
强化学习训练框架
- 强化学习开源框架整理
- 天授清华
- PARL 百度用PaddlePaddle实现了所有算法，用Pytorch实现了部分算法
- Ray分布式计算框架
- RLlib分布式强化学习系统
- IMPALA分布式强化学习系统 OpenAI 2018
大模型训练框架
超算集群
- 华为MindCluster集群调度
- 微软: 用于训练ChatGPT的超算

模型推理优化与部署

计算机视觉

ResNet 有捷径的(resnet的跳跃连接)
InceptionNet 多岔路的(inception的多分支)
DenseNet 通往多个地点的捷径的(densenet的密集连接)
YOLO
图像标注工具
- YOLO_Mark
- Labelme
Vision Transformer
Swin Transformer

自然语言处理

自然语言处理概论
自然语言
语言模型和中文分词
TF-IDF词频-逆文档频率
word2vec
AttentionMechanism注意力机制
Seq2Seq模型和Attention机制
Transformer
- Transformer前传
- Transformer: Attention Is All You Need NIPS2017
- Transformer深入理解
  - Transformer架构
  - Transformer中的LayerNorm
  - Transformer中的位置编码
- Transformer源码
  - TensorFlow源码解读
- Transformer模型tensorflow2.0官网demo代码解读
- Transformer直觉理解
- Transformer的细节问题
BERT
Decoder-only架构

多模态大模型

预训练
- Scaling Law
  - 涌现
- 大模型架构优化
  - Attention
    - Flash Attention
    - GQA
    - MLA
  - MoE
    - auxiliary-loss-free by DeepSeek-V3
  - Residual Connect
    - Attention Residuals by Kimi 20260316
微调
- LoRA
对齐与强化学习
- RLHF
- SFT
- Reward Modeling
- Multi-Agent LLM Training
- RL
Foundation Models基础模型
- On the Opportunities and Risks of Foundation Models Stanford2021李飞飞
- Can Foundation Models Perform Zero Shot For Robot PMLR2022
Scaling Law
RLHF基于人工反馈的强化学习方法
LoRA大语言模型的低秩适应
Prompt Learning
Emergence涌现现象
AI聊天客户端
- Chatbox
自己运行大语言模型
自己训练大语言模型
LLM based Multi Agent
- Stanford Generative Agents斯坦福小镇技术全景解读：LLM驱动的认知体与社会行为涌现
业界应用
- OpenAI
  - 可能大家对于绘画了解的比较多的是midjourney与stable diffusion，实际上这两个产品的基本技术都来源于DALL-E系列，那里的OpenAI还是Open的，它的论文还有足够的内容让我们理解，它里边有什么。于是大家根据它的2021年的DALL-E及CLIP这两个论文，搞出来midjourney，而stable diffusion也是在这个基础上的一个开源方案。
  - [DALL·E1 2021]
  - [CLIP 2021]
  - [DALL-E2 2022]
  - [DALL-E3 2023] 已融合进GPT4中
  - Point-E 202212 文本生成3D点云模型
  - GTP系列介绍
  - GPT前身Unsupervised Sentiment Neuron
    - Unsupervised Sentiment Neuron
    - Learning to Generate Reviews and Discovering Sentiment ArXiv2017
  - GPT1
  - GPT2
  - GPT3 语言生成模型根据Lambda官网数据，微软为OpenAI设计了一个包含10000块Nvidia V100 GPU的分布式集群进行GPT-3的模型训练，由于模型参数量较大（共1750亿参数），训练完成共耗费30天，消耗总算力为 3640PF-days。以Nvidia Tesla V100的Lambda GPU实例定价为1.50 美元/小时测算，GPT-3的完整训练成本将达到466万美元/次。
  - Codex
  - GPT-3.5
  - instructGPT
  - ChatGPT 聊天机器人
  - GPT-4 202303 输入图/文，输出文
- Meta
  - OPT 复现开源了GPT3
  - 202302 LLaMa 对标OpenAI的ChatGPT，开源
- Stability.ai
  - Stable Diffusion开源
- Google
  - LaMDA I/O大会202105
  - PaLM 202204 5400亿参数
  - LaMDA-2 I/O大会202205
  - T5
  - Bard聊天机器人 202302 对标OpenAI的ChatGPT
  - Agents Thinking Fast and Slow: A Talker-Reasoner Architecture ArXiv202410
  - Large Language Models can Learn Rules Arxiv202412 消除幻觉，让 LLMs 学会规则库和多步推理，代码开源
  - Gemma系列开源模型
- DeepSeek幻方量化对冲基金
  - DeepSeek V3 202412 一家中国量化基金公司年底发布了最强开源LLM：DeepSeek V3
- 智谱AI
  - ChatGLM 近日，由清华技术成果转化的公司智谱AI开源了GLM系列模型的新成员——中英双语对话模型ChatGLM-6B，支持在单张消费级显卡上进行推理使用。这是继此前开源GLM-130B千亿基座模型之后，智谱AI再次推出大模型方向的研究成果。与此同时，基于千亿基座模型的ChatGLM也同期推出，初具问答和对话功能 ChatGLM：千亿基座的对话模型启动内测，单卡版模型已全面开源
- Together
  - OpenChatKit ChatGPT的开源平替来了，源代码、模型权重和训练数据集全部公开。由前OpenAI研究员共同打造。如何看待 Together 推出的开源聊天大模型 OpenChatKit？能否替代 ChatGPT？，ChatGPT开源平替来了，开箱即用！前OpenAI团队打造
- 阿里
  - 中文GPT3 对标GPT-3的开源项目
  - Qwen系列开源模型
- 百度
  - ERNIE-Bot文心一言 202302
- BlinkDL
  - ChatRWKV 202208 对标ChatGPT的开源项目，基于RNN架构

AI Agent

Agent范式：认知/推理结构--定义“智能体如何思考”，聚焦认知和推理结构
- ReAct
  - ReAct: Synergizing Reasoning and Acting in Language Models arXiv202212 Google
  - ReAct代码实现
- Plan-and-Execute 计划 + 执行的推理链
- Reflexion 自我反思/修正机制
- Tool Use
  - 工具选择策略（API / 模型 / DB）
  - 调用顺序与条件判断
  - 失败处理 / fallback
  - 示例：ReAct + Calculator / Browser / SQL / RAG
Agent运行时（Runtime）---- 定义“怎么把Agent跑起来”（执行引擎）
- Agent Loop Executor 执行循环
- Tool Scheduler 工具调度
- Memory Manager 记忆管理
  - RAG
- 常用 Runtime 框架
  - LangChain：单 Agent + pipeline 强
  - AutoGen：多 Agent + 对话驱动 loop
  - LlamaIndex：Memory / RAG 特化 runtime
  - OpenAI Assistants API：官方托管 runtime
Agent系统：完整运行系统--已经是“一个完整智能体”（end-to-end）,即直接可运行的系统
- OpenClaw
- AutoGPT
- Devin
Agent工程：基础设施-- 让系统可用 / 可测 / 可扩展
- Harness Engineering
- Evaluation / Benchmark
- Logging / Tracing
- Deployment / Serving
Multi Agent 系统
- 概念与原理
- 协作与竞争模式
- 通信与协调机制
- 系统示例
  - 斯坦福小镇（Stanford Town）目录编排：https://chatgpt.com/c/69d7cdf2-9c44-8321-8d66-b6e5de783b49

自动驾驶

具身智能

世界模型

业界应用
- OpenAI
  - SORA文字生成视频 202402
- DeepMind
  - Genie2 202412
- Meta
  - CWM: Code World Models 20250924
- World Labs李飞飞创立
  - [Large World Model大世界模型 202412]

machine-learning-notes

=>点此阅读<=

目录

前言

数学基础

编程基础

机器学习

深度学习

强化学习

AutoML

机器学习训练框架

模型推理优化与部署

计算机视觉

推荐系统

自然语言处理

多模态大模型

AI Agent

自动驾驶

具身智能

世界模型

通用人工智能

任务清单

Projets similaires

MachineLearning_notes

machine-learning-notes

machine-learning-notes-and-code