RL-算法演进史01：总体框架【Value-Based：SARSA→DQN】【Policy Gradient：REINFORCE→A2C→PPO】【连续动作控制：DPG→DDPG→TD3→SAC】

强化学习算法演进全解析：从Q-Learning、DQN、A2C、PPO到DDPG、TD3、SAC、AlphaZero与RLHF——面向强化学习小白的强化学习算法发展史、数学原理、Mermaid结构图、经典论文与演进路线本文目标：不是简单罗列算法，而是回答三个核心问题：为什么会产生这个算法？它解决了上一代算法什么问题？下一代算法又为什么需要继续改进？强化学习的发展路线可以理解为不断解决：状态空间太大；动作空间连续；探索不足；训练不稳定；样本效率低；无法在线交互；人类偏好对齐。当前强化学习算法通常按照 Value-Based、Policy-Based、Actor-Critic、Model-Based、Offline RL 等方向演进。第一章 强化学习基础与算法全景