Atari Montezuma's Revengeの攻略 勉強会で発表したときのスライドにもまとめがある。 Kulkarni et al. Hierarchical Deep Reinforcement Learning: Integrating Temporal Abstraction and Intrinsic Motivation NIPS 2016 Bellemare et al. Unifying Count-Based Exploration and Intrinsic Motivation NIPS 2016