9.2.2-surrogate-losses.md

9.2.2 Surrogate Losses

cost node의 estimate gradients를 얻기 위해서 Schulman은 다음과 같은 surrogate loss를 제안했습니다.

                          $$ {SL}(\Theta,\mathcal{S}) = \sum_{w\in\mathcal{S}}\log p(w|\mathrm{DEPS}_w)\hat{Q}_w + \sum_{c\in\mathcal{C}}c(\mathrm{DEPS}_c)$$

$$\mathrm{DEPS_w}$$는 $$w$$에 deterministic하게 영향을 미치는 stochastic nodes나 input nodes입니다.

$$ \hat{Q}_w$$는 $$w$$에 영향을 받는 sampled costs $$ \hat{c}$$의 합입니다.

SL은 한번 미분됐을 때, 다음과 같은 gradient estimator로 표현 가능합니다.

                                                               $$ \nabla_{\theta}\mathcal{L} = \mathbb{E}[\nabla_{\theta}\mathrm{SL}(\Theta,\mathcal{S})]$$

이 때, $$\hat{Q}w$$는 SL안에서 고정된 sample로 취급되므로,($$\theta$$에 대해 영향을 받지 않습니다.) 이는 기존 SCG에서의 의존성이 분리됩니다. 이렇게되면, SL의 1차 gradient가 $$\log(p)\nabla{\theta}Q$$의 form을 포함하지 않고도 score function estimator가 됩니다.

맨 위의 $$SL$$에 대한 정의는 다음과 같이 증명할 수 있습니다.(9.2에서 사용한 테크닉과 같습니다.)