RL-10-TD算法-ActorCritic01-在线算法02-赵：A2C算法02【在QAC中引入Baseline的作用：减小方差】【最优Baseline：v_π(S)】

第二个问题,为什么这个baseline是有用的? baseline 对方差是由影响的。首先把刚才的这个梯度∇θJ(θ)=ES∼η,A∼π[∇θln⁡π(A∣S,θt)qπ(S,A)]=ES∼η,A∼π[∇θln⁡π(A∣S,θt)(qπ(S,A)−b(S))]\begin{aligned} \nabla_{\theta}J(\