{"action":"created","comment":{"url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/pulls/comments/58700860","id":58700860,"diff_hunk":"@@ -24,159 +24,174 @@ \\section{Overview}\n \\end{figure}\n \n % In this \\article,  we assume that the system that we wish to control is stochastic.\n-本書では，我々が制御したいシステムは確率的に与えられることを仮定する．\n+本書では，我々が制御したいシステムは確率的であることを仮定する．\n % Further, we assume that the measurements available on the system's state are detailed enough so that the the controller can avoid reasoning about how to collect information about the state.\n-さらに，システムの状態を評価する指標は十分に明らかで，制御器がシステムの状態をどのように把握するかについては考慮しなくてもよいものとする．\n+さらに，システムの状態を評価に使える指標は十分に詳細に記述されており，制御器がシステムの状態をどのように把握するかについては考慮しなくてもよいものとする．\n % Problems with these characteristics are best described in the framework of Markovian Decision Processes (MDPs).\n-これらの特徴を持つ問題には，マルコフ決定過程(MDP)の枠組みが最も良い説明を与える．\n+これらの特徴を持つ問題は，マルコフ決定過程(Markovian Decision Process; MDP)の枠組みが記述に最適である．\n % The standard approach to `solve' MDPs is to use dynamic programming, which transforms the problem of finding a good controller into the problem of finding a good value function.\n-MDPを解くための標準的な手法は動的計画法を用いることで，動的計画法は良い制御器を見つける問題を良い価値関数を見つける問題に落とし込んで扱う．\n+MDPを「解く」ための標準的アプローチは動的計画法を用いることである．\n+動的計画法は，良い制御器を見つける問題を，良い価値関数を見つける問題に落とし込む．\n % However, apart from the simplest cases when the MDP has very few states and actions, dynamic programming is infeasible.\n+しかしながら，MDPが極めて少ない状態数と行動数しか持たない最も単純な場合を除いて，動的計画法は実行不可能である．\n % The RL algorithms that we  discuss here can be thought of as a way of turning the infeasible dynamic programming methods into practical algorithms so that they can be applied to  large-scale problems.\n ここで我々が議論する強化学習のアルゴリズムは，実行不可能な動的計画法を現実的なアルゴリズムに落とし込み，大規模な問題に対して適用可能にする方法だと考えられる．\n \n % There are two key ideas that allow RL algorithms to achieve this goal.\n-強化学習がこの目標を達成するために重要なアイデアが二つある．\n+強化学習がこの目標を達成するために重要となるアイデアが二つある．\n % The first idea is to use samples to compactly represent the dynamics of the control problem.\n-一つは，制御問題のダイナミクスを簡潔に表現するためにサンプリングを行うことだ．\n-% This is important for two reasons: First, it allows one to deal with learning scenarios when the dynamics is unknown.\n-これは二つの理由で重要だ．一つは実際のダイナミクスが明らかでない場合も，学習のシナリオについて扱うことが可能になるためである．\n+一つ目は，制御問題のダイナミクスを簡潔に表現するためにサンプリングを行うことだ．\n+% This is important for two reasons:\n+これは二つの理由で重要だ．\n+% First, it allows one to deal with learning scenarios when the dynamics is unknown.\n+まず，実際のダイナミクスが未知である場合でも，学習のシナリオについて扱うことが可能になるためである．\n % Second, even if the dynamics is available, exact reasoning that uses it might be intractable on its own.\n-二つ目は，仮にダイナミクスが明らかな場合でも，システムを扱うのが困難な明確な理由が存在する場合があるためだ．\n+次に，仮にダイナミクスが明らかな場合でも，システムを扱うのが困難な明確な理由が存在する場合があるためだ．\n % The second key idea behind RL algorithms is to use powerful function approximation methods to compactly represent value functions.\n-重要なアイデアの二つ目は，価値観数を簡潔に表現するために強力な関数近似法を用いることだ．\n+重要なアイデアの二つ目は，価値関数を簡潔に表現するために強力な関数近似法を用いることだ．\n % The significance of this is that it allows dealing with large, high-dimensional state- and action-spaces.\n-このアイデアは大規模で高次元な状態や行動空間を扱うことを可能にするために重要である．\n-% What is more, the two ideas fit nicely together: Samples may be focused on a small subset of the spaces they belong to, which clever function approximation techniques might exploit.\n-都合の良いことに，この二つのアイデアはうまく協調することができて，サンプリングが全空間のうちのある部分空間に焦点を当てるようになると，より賢い関数近似法が採用できるようになる．\n+このアイデアは大規模で高次元な状態，行動空間を扱うことを可能にするために重要である．\n+% What is more, the two ideas fit nicely together:\n+都合の良いことに，この二つのアイデアはうまく協調することができる:\n+% Samples may be focused on a small subset of the spaces they belong to, which clever function approximation techniques might exploit.\n+サンプルが空間のうちのある小さな領域に集中を当てるようになると，より適した関数近似法を利用できるようになるかもしれない．\n % It is the understanding of the interplay between dynamic programming, samples and function approximation that is at the heart of designing, analyzing and applying  RL algorithms.\n-つまり動的計画法とサンプリングと関数近似法を相互に活かすことが強化学習の設計，分析，適用の核であると理解できるだろう．\n+動的計画法と，サンプリングと関数近似法の相互作用を理解することこそが，強化学習アルゴリズムの設計，分析及び適用の本質である．\n \n % The purpose of this \\article\\ is to allow the reader to have a chance to peek into this beautiful field.\n 本書の目的は読者に対してこの美しい領域を垣間見る機会を提供することである\n % However, certainly we are not the first to set out to accomplish this goal.\n-しかし，こうした取り組みを目指したのは我々が初めてではない．　\n+しかし，この目的の達成を目指したのはもちろん我々が初めてではない．\n % In \\citeyear{KaeLiMo96}, \\citeauthor{KaeLiMo96} have written a nice, compact survey about the approaches and algorithms available at the time \\citep{KaeLiMo96}.\n-\\citeyear{KaeLiMo96}年には\\citeauthor{KaeLiMo96}がその当時知られていたアプローチとアルゴリズムについて，素晴らしい簡潔なサーベイを書いている\\citep{KaeLiMo96}．\n+\\citeyear{KaeLiMo96}年には\\citeauthor{KaeLiMo96}がその当時知られていたアプローチとアルゴリズムについて，素晴らしい簡潔なサーベイを書いた\\citep{KaeLiMo96}．\n % This was followed by the publication of the book by \\citet{berttsit96}, which detailed the theoretical foundations.\n その後，\\citet{berttsit96}の著書で理論的基礎について詳細に記述した本が出版された．\n-% A few years later \\citeauthor{SuBa98}, the fathers' of RL, published their book, where they presented their ideas on RL in a very clear and accessible manner \\citep{SuBa98}.\n-\"強化学習の父\"である\\citeauthor{SuBa98}が彼らの著書を出版した数年後，彼らのアイデアをとても明快かつ分かりやすく表現した著書を出版した\\citep{SuBa98}．\n+% A few years later \\citeauthor{SuBa98}, the `fathers' of RL, published their book, where they presented their ideas on RL in a very clear and accessible manner \\citep{SuBa98}.\n+数年後，強化学習の「父」である\\citeauthor{SuBa98}が著書を出版し，彼らの強化学習におけるアイデアを極めて明快かつ分かりやすく提供した\\citep{SuBa98}．\n % A more recent and  comprehensive overview of the tools and techniques of dynamic programming/optimal control is given in the two-volume book by \\citet{Ber07:DPbookVol1,Ber07:DPbookVol2} which devotes one chapter to RL methods.\n-さらに，包括的かつ直近の動的計画法や最適制御に関する概説は\\citet{Ber07:DPbookVol1,Ber07:DPbookVol2}の上下巻の著書に載っており，一章分を強化学習のために充てている．\n+より新しく包括的な動的計画法/最適制御のツールやテクニックに関する概説は\\citet{Ber07:DPbookVol1,Ber07:DPbookVol2}の上下巻の著書で与えられており，一章分を強化学習の手法に充てている．\n % \\myfootnote{In this book, RL is called neuro-dynamic programming or approximate dynamic programming.\n % The term neuro-dynamic programming stems from the fact that, in many cases, RL algorithms are used with artificial neural networks.}\n+\\myfootnote{この本では，強化学習はニューロ動的計画法または近似動的計画法と呼ばれている．\n+ニューロ動的計画法という単語は，強化学習アルゴリズムは多くの場合，人工ニューラルネットワークが使われるという事実が由来である．\n+}\n % At times, when a field is rapidly developing, books can get out of date pretty quickly.\n-分野が急速に発展する状況では，著書は一瞬で時代遅れになってしまう．\n+時に，分野が急速に発展する状況では，著書は一瞬で時代遅れになってしまう．\n % In fact, to keep up with the growing body of new results, Bertsekas maintains an online version of his Chapter 6 of Volume II of his book, which, at the time of writing this survey counted as much as 160 pages \\citep{Ber10:DPbookVol2Ch6}.\n-実際，増え続ける最新の結果に対応するために，Bertsekasは著書\\citep{Ber10:DPbookVol2Ch6}のオンライン版において第2巻の第6章の整備を続けており，本書の執筆時点で160ページにも及ぶ．\n+実際，増え続ける新しい結果に対応するために，\\citeauthor{Ber10:DPbookVol2Ch6}は著書\\citep{Ber10:DPbookVol2Ch6}のオンライン版において第2巻の第6章の整備を続けており，本書の執筆時点で160ページにも及ぶ．\n % Other recent books on the subject include the book of \\cite{Gosavi03} who devotes 60 pages to reinforcement learning algorithms in Chapter 9, concentrating on average cost problems, or that of \\citet{Cao07} who focuses on policy gradient methods.\n-その他の近年の著書では，第9章の60ページを強化学習に充て，主に平均コスト問題に注目した\\cite{Gosavi03}や方策勾配法に焦点を当てた\\citet{Cao07}などが挙げられる．\n+近年の関連する他の著書として，第9章の60ページを強化学習に充て平均コスト問題に集中した\\cite{Gosavi03}や，方策勾配法に焦点を当てた\\citet{Cao07}などが挙げられる．\n % \\citet{Powell07} presents the algorithms and ideas from an operations research perspective and emphasizes methods that are capable of handling large control spaces, \\citet{ChaFuHuMa08} focuses on adaptive sampling (i.e., simulation-based performance optimization), while the center of the recent book by \\citet{BuBaSchEr10:RLFapp} is function approximation.\n-\\citet{Powell07}ではオペレーションズ・リサーチの視点から得られたアイデアとアルゴリズムについて言及している．また，特に大規模な制御空間を扱うことのできる手法は，\\citet{ChaFuHuMa08}が適応的サンプリング（つまり，シミュレーションベースの性能最適化）に焦点を当てた著書を出版している．一方で，\\citet{BuBaSchEr10:RLFapp}は関数近似法を中心に据えた著書を出版している．\n+\\citet{Powell07}はオペレーションズ・リサーチの視点からアルゴリズムとアイディアについて言及し，大規模な制御空間を扱うことのできる手法を強調し，\n+\\citet{ChaFuHuMa08}は適応的サンプリング（つまり，シミュレーションベースの性能最適化）に焦点を当てている．\n+一方で，近年出版された\\citet{BuBaSchEr10:RLFapp}は関数近似法を中心に据えている．\n \n % Thus, by no means do RL researchers lack a good body of literature.\n-以上より強化学習の良い書籍がない訳では全くない．\n+以上から分かるように，強化学習の研究者が良い書籍に事欠いている訳では決してない．\n % However, what seems to be missing is a self-contained and yet relatively short summary that can help newcomers to the field to develop a good sense of the state of the art, as well as existing researchers to broaden their overview of the field, an article, similar to that of \\citet{KaeLiMo96}, but with an updated contents.\n-しかし，自己完結しつつ，この分野の初学者が分野の最先端の感覚を掴むことを目的とした，比較的短い概説はまだないように思われる．\n-論文としては似たものに\\citet{KaeLiMo96}が挙げられるが，最近更新されたコンテンツではない．\n+しかしながらまだ存在しないと思われるのは，自己完結しつつも比較的短く，既存の研究者が分野の概観を広げられるだけでなく，\n+初学者が最先端の感覚を養うのに資するサマリである．\n+それは，論文としては\\citet{KaeLiMo96}に近く，更新されたコンテンツを備えたものである．\n % To fill this gap is the very purpose of this short \\article.\n この間を埋めることがまさしく本書の目的である．\n \n % Having the goal of keeping the text short, we had to make a few, hopefully, not too troubling compromises.\n-文章全体を短くするという目的を持っているため，おそらく厄介でない範囲で，いくつか妥協しているポイントもある．\n+紙面を短くするため，いくらか（願わくばさほど問題ない範囲で）妥協している点もある．\n % The first compromise we made was to present results only for the total expected discounted reward criterion.\n-一つ目の妥協点として我々が決めたことは，割引報酬の総和の期待値による基準の結果のみについて説明をおこなうことである．\n+一つ目の妥協点は，累積割引報酬和の期待値による基準についての結果のみについて説明を行うことである．\n % This choice is motivated by that this is the criterion that is both widely used and the easiest to deal with mathematically.\n-これを選択したモチベーションとしては，広くこの基準が使われていることと数学的に扱いやすいことが挙げられる．\n+これを選択したモチベーションは，広くこの基準が使われていることと数学的な扱いが最も容易であることである．\n % The next compromise is that the background on MDPs and dynamic programming is kept ultra-compact (although an appendix is added that explains these basic results).\n-次の妥協点としては，MDPと動的計画法の背景をかなり簡潔にまとめたことだ．（一応，この分野の基礎的な研究を説明するためのappendixを用意してはいる．）\n+次の妥協点は，MDPと動的計画法の背景をかなり簡潔にまとめたことだ（これらの基本的な結果を説明するappendixを用意してはいるが）．\n % Apart from these, the \\article\\ aims to cover a bit of all aspects of RL, up to the level that the reader should be able to understand the whats and hows, as well as to implement the algorithms presented.\n-これらとは別に，本書は読者が何がどのように動いているのか理解して，ここで説明されているアルゴリズムを実装できるレベルに達するように，強化学習の全ての側面について少しずつカバーすることを目的とする．\n+これらとは別に本書の目的は，読者が示されたアルゴリズムを実装出来るだけでなく，何がどのようになっているのかを理解することが出来るレベルまで到れるよう，強化学習のあらゆる側面の一塊を網羅することである．\n % Naturally, we still had to be selective in what we present.\n-しかし，当然ながら，我々は何について重点的に説明するかを選択する必要がある．\n+当然ながら何について重点的に説明するかを選択する必要がある．\n % Here, the decision was to focus on the basic algorithms,  ideas, as well as the available theory.\n-そこで，我々は有用な理論だけでなく，基本的なアルゴリズムやアイデアも同じくらい重視することとした．\n+そこで，我々は実用的な理論だけでなく，基本的なアルゴリズムやアイデアも同様に重視することとした．\n % Special attention was paid to describing the choices of the user, as well as the tradeoffs that come with these.\n-読者に対して複数の選択肢を提示するだけでなく，選択に起因するトレードオフについても理解してもらうことに注意を払った．\n+読者に対して複数の選択肢を提示するだけでなく，選択に起因するトレードオフについても理解してもらうことに特別注意を払った．\n % We tried to be impartial as much as possible, but some personal bias, as usual, surely remained.\n-我々は可能な限り公平な記述を心がけたが，いくらか個人的なバイアスが乗ってしまっていることは否めない．\n+我々は可能な限り公平な記述を心がけたが，個人的ないくらかバイアスが乗ってしまっていることには留意されたい．\n % The pseudocode of almost twenty algorithms was included, hoping that this will make it easier for the practically inclined reader to implement the algorithms described.\n-20に及ぶアルゴリズムの擬似コードが掲載されているので，本書が扱うアルゴリズムを読者が実装する際の手助けになれば幸いである．\n+本書には20に及ぶアルゴリズムの擬似コードを掲載した．\n+これらによって，読者が示されたアルゴリズムを実装する気になってもらえれば幸いである．\n \n % The target audience is advanced undergaduate and graduate students, as well as researchers and practitioners who want to get a good overview of the state of the art in RL quickly.\n-想定読者は発展的な内容に関心のある学部生及び大学院生，もしくは最新の強化学習について短時間で概観を掴みたい研究者や実務家である．\n+想定読者は高学年の学部生及び大学院生，または最先端の強化学習について短時間で概観を掴みたい研究者や実務家である．\n % Researchers who are already working on RL might also enjoy reading about parts of the RL literature that they are not so familiar with, thus broadening their perspective on RL.\n-すでに強化学習について取り組んでいる研究者は，まだ自分があまり馴染み深くない文献に関する部分を読むと興味深く，強化学習に対する知見を深めることができるかもしれない．\n+すでに強化学習について取り組んでいる研究者であっても，自分がまだあまり馴染み深くない強化学習文献の部分に触れ，強化学習に対する知見を広げることができるかもしれない．\n % The reader is assumed to be familiar with the  basics of linear algebra, calculus, and probability theory.\n-基本的な線形代数，微積，確率理論について読者はすでに知っていることを想定している．\n+基本的な線形代数，微積分学，確率論について読者はすでに知っていることを想定している．\n % In particular, we assume that the reader is familiar with the concepts of random variables, conditional expectations, and Markov chains.\n-また，特に，確率変数や条件付き期待値，マルコフ連鎖などについてはすでに馴れ親しんでいる読者を想定している．\n+特に，確率変数や条件付き期待値，マルコフ連鎖の概念ついてはすでに馴れ親しんだ読者を想定している．\n % It is helpful, but not necessary, for the reader to be familiar with statistical learning theory, as the essential concepts will be explained as needed.\n-必ず知っているべきという訳ではないが，重要なコンセプトの説明に必要な程度の学習理論について知っていると，その理解に役立つだろう．\n+必要に応じて必要な概念は説明されるので，必ず知っているべきという訳ではないが，統計的学習理論について知っていると理解の役に立つだろう．\n % In some parts of the \\article, knowledge of regression techniques of machine learning will be useful.\n-機械学習における回帰の技法の知識も，本書のいくらかの部分を理解する上で有用だ．\n+本書のいくらかの部分では，機械学習における回帰のテクニックに関する知識も有用である．\n \n % This \\article\\ has three parts.\n-本書は3つの部分から成る．\n+本書は3つのパートから成る．\n % In the first part, in Section~\\ref{sec:mdp}, we provide the necessary background.\n-最初の部分は，第\\ref{sec:mdp}章で強化学習の理解に必要な背景について説明する．\n+最初のパートである第\\ref{sec:mdp}章で，必要となる前提知識について説明する．\n % It is here where the notation is introduced, followed by a short overview of the theory  of Markov Decision Processes and the description of the basic dynamic programming algorithms.\n 諸々の記法の導入を行った後に，マルコフ決定過程についての短い概要と基本的な動的計画法のアルゴリズムに関する説明を行う．\n % Readers familiar with MDPs and dynamic programming should skim through this part to familiarize themselves with the notation used.\n-MDPと動的計画法について既に良く知っている読者についても，この部分は本書で扱う記法について知っておくために一読しておいた方が良いだろう．\n+MDPと動的計画法について既に良く知っている読者についても，このパートは本書で扱う記法について知っておくために一読しておいた方が良いだろう．\n % Readers, who are less familiar with MDPs, must spend enough time here before moving on because the rest of the \\article\\ builds heavily on the results and ideas presented here.\n-MDPについてあまり馴染みのない読者に関しては，本書の以降の部分では，ここで説明するアイデアや結果を何度も使って理論を展開するため，読み進めるにあたって必ずここで十分な時間をとって頂きたい．\n+本書のそれ以降のパートは，ここで説明する結果とアイディアに大きく依存しているので，MDPにあまり馴染みのない読者は読み進めるにあたってここで十分な時間を取って頂きたい．\n \n % The remaining two parts are devoted to  the  two basic RL problems (cf. Figure~\\ref{fig:problem-types}), one part  devoted to each.\n-残りの二つの部分は主に二つの強化学習の問題（図\\ref{fig:problem-types}を参照）について，それぞれ充てられている．\n+残りの二つのパートは，主に二つの強化学習の基本的な問題（図\\ref{fig:problem-types}を参照）について，それぞれ充てられている．\n % In Section~\\ref{sec:valuepred}, the problem of learning to predict values associated with states is studied.\n-第三章では，状態に関する価値の予測を学習する問題について言及されている．\n+第\\ref{sec:valuepred}章では，状態に伴う価値の予測を学習する問題について学ぶ．\n % We start by explaining the basic ideas for the so-called tabular case when the MDP is small enough so that one can store one value per state in an array allocated in a computer's main memory.\n-我々は，表のケース（？と呼ばれるMDPが十分に小さく，状態ごとの値を配列としてコンピュータの主メモリに載せられるような状況の説明から始める．\n+まずテーブル形式の場合と呼ばれる，MDPが十分に小さく状態毎の価値を配列としてコンピュータの主メモリに載せられるという場合について，基本的なアイディアを説明する．\n % The first algorithm explained is TD($\\lambda$), which can be viewed as the learning analogue to value iteration from dynamic programming.\n-最初に説明するアルゴリズムはTD($\\lambda$)で，動的計画法の繰り返しを評価する学習則として捉えることができる．\n+最初に説明するアルゴリズムはTD($\\lambda$)である．\n+これは動的計画法から価値反復を行う学習則として捉えることができる．\n % After this,  we consider the  more  challenging situation when there are more states than what fits into a computer's memory.\n-その後，コンピュータに収まる規模よりさらに大きい状態数を持つ困難な状況について考えることとする．\n+その後，コンピュータに収まらない状態数を持つ，よりチャレンジングな状況について考えることとする．\n % Clearly, in this case, one must compress the table representing the values.\n-この場合，明らかに，表形式の値の表現を圧縮することとなる\n+この場合，価値を表すテーブルを圧縮する必要があるのは明らかである．\n % Abstractly, this can be done by relying on an appropriate function approximation method.\n-抽象的には，適切な関数近似法を頼りにしてこれは達成される．\n+抽象的には，これは適切な関数近似法によって達成される．\n % First, we describe how TD($\\lambda$) can be used in this situation.\n-まずはじめに，TD($\\lambda$)がこの状況で利用できることを示す．\n+まずはじめに，TD($\\lambda$)がこの状況でどのように利用できるかを述べる．\n % This is followed by the description of some new gradient based methods (GTD2 and TDC), which can be viewed as improved versions of TD($\\lambda$) in that they avoid some of the  convergence difficulties that TD($\\lambda$) faces.\n-その後，TD($\\lambda$)が直面する収束の難しさを避けることができ，TD($\\lambda$)の改善版として捉えられる，いくつかの新しい勾配法ベースの方法の説明を行う．\n+その後，新しい勾配法ベースの手法（GTD2とGTD）について説明を行う．\n+これらは，TD($\\lambda$)が直面するいくつかの収束性に関する問題を回避するという点で，TD($\\lambda$)の改善版と捉えられる．\n % We then discuss least-squares methods (in particular, LSTD($\\lambda$) and $\\lambda$-LSPE) and compare them to the incremental methods described earlier.\n-その後，最小二乗法（特にLSTD($\\lambda$)と$\\lambda$-LSPE）について議論し，最初に説明した逐次的な方法との比較を行う．\n+その後，最小二乗法（特にLSTD($\\lambda$)と$\\lambda$-LSPE）について議論し，先に説明する逐次的な方法と比較する．\n % Finally, we describe choices available for implementing function approximation and the tradeoffs that these choices come with.\n 最後に，関数近似を実装する場合に可能な選択肢について説明し，それらの選択によって発生するトレードオフについても説明する．\n \n \n % The second part (Section~\\ref{sec:control}) is devoted to  algorithms that are developed for control learning.\n-第二の部分（第\\ref{sec:control}章）は制御の学習を改良するためのアルゴリズムの説明に充てている．\n+二つ目のパート（第\\ref{sec:control}章）は制御の学習を改良するためのアルゴリズムの説明に充てている．\n % First, we describe methods whose goal is optimizing online performance.\n-まず，オンライン学習の性能を最適にすることを目標とした方法の説明を行う．\n+まず，オンラインでの性能を最適にすることを目標とした方法の説明を行う．\n % In particular, we describe the ``optimism in the face of uncertainty'' principle and methods that explore their environment based on this principle.\n-特に，”不確かな時は楽観的に”の方針を用いて，自分が置かれた環境を探索していく方法について説明する．\n+特に，``不確かな時は楽観的に''の方針を用いて，自分が置かれた環境を探索していく方法について説明する．\n % State of the art algorithms are given both for bandit problems and MDPs.\n-現時点で最良のアルゴリズムはバンディット問題とMDPを組み合わせによって構成されている．\n+バンディット問題とMDPについて，最先端アルゴリズムが与えられる．\n % The message here is that clever exploration methods make a large difference, but more work is needed to scale up the available methods to large problems.\n ここで伝えたいことは，賢い探索法は大きな違いをもたらすが，大規模な問題に対して使えるようにスケールアップするのは更に努力が必要だということだ．\n % The rest of this section is devoted to  methods that aim at developing methods that can be used in large-scale applications.\n-このセクションの残りは，大規模な問題に適用することを目的とした方法について充てられている．\n+このセクションの残りは，大規模な問題に適用できるよう開発した手法について充てられている．\n % As learning in large-scale MDPs  is significantly more difficult than learning when the MDP is small, the goal of learning is relaxed to learning a good enough policy in the limit.\n-大規模なMDPを用いる学習は小規模なMDPのものに比べて極めて難しいため，いくつかの制約の中で十分よい方策を学習することに問題を緩和することが目標となる．\n+大規模なMDPを用いる学習は，小規模なMDPのものに比べて極めて難しいため，学習の目標は，制限された中で十分良い方策を学習することへと緩和される．\n % First, direct methods are discussed which aim at estimating the optimal action-values directly.\n-まず，最適な行動価値を直接求めるやり方である直接法について説明する．\n+まず，最適動価値を推定することを目的とした直接的なについて説明する．\n % These can be viewed as the learning analogue of value iteration of dynamic programming.\n-動的計画法の価値反復と同じ学習則と見ることができる．\n+これらは，動的計画法における価値反復の学習則と見ることができる．\n % This is followed by the description of actor-critic methods, which can be thought of as the counterpart of the policy iteration algorithm of dynamic programming.\n-その後，動的計画法の方策反復と対になると考えられる，actor-critic法について説明する．\n+その後，動的計画法の方策反復アルゴリズムと対になると考えられる，actor-critic法について説明する．\n % Both methods based on direct policy improvement and policy gradient (i.e., which use parametric policy classes) are presented.\n-直接，方策を改良していく方法と方策勾配（つまり，パラメトリックなクラスの方策を用いる）の両方を用いた方法を示す．\n+直接方策改善と方策勾配（すなわち，パラメトリックな方策のクラスを用いる）の双方が提示される．\n \n % The \\article\\ is concluded in  Section~\\ref{sec:further}, which lists some topics for further exploration.\n-第五章で，さらなる研究のためのいくつかのトピックを挙げつつ，結論を述べる．\n+第\\ref{sec:further}章で，さらなる研究のためのいくつかのトピックを挙げつつ，結論を述べる．","path":"tex/100_overview.tex","position":267,"original_position":267,"commit_id":"92975e2f6e8ed90a00ab088146eed203d2e75e9c","original_commit_id":"92975e2f6e8ed90a00ab088146eed203d2e75e9c","user":{"login":"sotetsuk","id":5868442,"avatar_url":"https://avatars.githubusercontent.com/u/5868442?v=3","gravatar_id":"","url":"https://api.github.com/users/sotetsuk","html_url":"https://github.com/sotetsuk","followers_url":"https://api.github.com/users/sotetsuk/followers","following_url":"https://api.github.com/users/sotetsuk/following{/other_user}","gists_url":"https://api.github.com/users/sotetsuk/gists{/gist_id}","starred_url":"https://api.github.com/users/sotetsuk/starred{/owner}{/repo}","subscriptions_url":"https://api.github.com/users/sotetsuk/subscriptions","organizations_url":"https://api.github.com/users/sotetsuk/orgs","repos_url":"https://api.github.com/users/sotetsuk/repos","events_url":"https://api.github.com/users/sotetsuk/events{/privacy}","received_events_url":"https://api.github.com/users/sotetsuk/received_events","type":"User","site_admin":false},"body":"exploration: 探求のための\r\nconcluded: 意味としては終わる","created_at":"2016-04-06T13:08:32Z","updated_at":"2016-04-06T13:08:32Z","html_url":"https://github.com/sotetsuk/algo-rl-ja/pull/24#discussion_r58700860","pull_request_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/pulls/24","_links":{"self":{"href":"https://api.github.com/repos/sotetsuk/algo-rl-ja/pulls/comments/58700860"},"html":{"href":"https://github.com/sotetsuk/algo-rl-ja/pull/24#discussion_r58700860"},"pull_request":{"href":"https://api.github.com/repos/sotetsuk/algo-rl-ja/pulls/24"}}},"pull_request":{"url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/pulls/24","id":65412009,"html_url":"https://github.com/sotetsuk/algo-rl-ja/pull/24","diff_url":"https://github.com/sotetsuk/algo-rl-ja/pull/24.diff","patch_url":"https://github.com/sotetsuk/algo-rl-ja/pull/24.patch","issue_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/issues/24","number":24,"state":"open","locked":false,"title":"@sotetsuk による校閲・修正","user":{"login":"sotetsuk","id":5868442,"avatar_url":"https://avatars.githubusercontent.com/u/5868442?v=3","gravatar_id":"","url":"https://api.github.com/users/sotetsuk","html_url":"https://github.com/sotetsuk","followers_url":"https://api.github.com/users/sotetsuk/followers","following_url":"https://api.github.com/users/sotetsuk/following{/other_user}","gists_url":"https://api.github.com/users/sotetsuk/gists{/gist_id}","starred_url":"https://api.github.com/users/sotetsuk/starred{/owner}{/repo}","subscriptions_url":"https://api.github.com/users/sotetsuk/subscriptions","organizations_url":"https://api.github.com/users/sotetsuk/orgs","repos_url":"https://api.github.com/users/sotetsuk/repos","events_url":"https://api.github.com/users/sotetsuk/events{/privacy}","received_events_url":"https://api.github.com/users/sotetsuk/received_events","type":"User","site_admin":false},"body":"#2 \r\n\r\n# 気になる点\r\n\r\n- [ ] [performance measure](https://github.com/sotetsuk/algo-rl-ja/pull/24/files#r58653084)\r\n- [ ] refer to ... \r\n- [ ] may … which might\r\n- [ ] It is the understanding of the interplay between dynamic programming, samples and function approximation that is at the heart of designing, analyzing and applying  RL algorithms.\r\n- [ ] that は the understanding …. at the heart of designing にかかる\r\n- [ ] a bit of all aspects\r\n- [ ] Special attention was paid to describing the choices of the user, as well as the tradeoffs that come with these.\r\n- [ ] advanced undergraduates\r\n- [ ] one value per state 価値？値？ \r\n- [ ] value iteration from dynamic programming \r\n- [ ] These can be viewed as the learning analogue of value iteration of dynamic programming.","created_at":"2016-04-06T05:32:21Z","updated_at":"2016-04-06T13:08:32Z","closed_at":null,"merged_at":null,"merge_commit_sha":"d7ed582941680bc753efbfdc017a6865e37fb060","assignee":null,"milestone":null,"commits_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/pulls/24/commits","review_comments_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/pulls/24/comments","review_comment_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/pulls/comments{/number}","comments_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/issues/24/comments","statuses_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/statuses/92975e2f6e8ed90a00ab088146eed203d2e75e9c","head":{"label":"sotetsuk:review-p3p6","ref":"review-p3p6","sha":"92975e2f6e8ed90a00ab088146eed203d2e75e9c","user":{"login":"sotetsuk","id":5868442,"avatar_url":"https://avatars.githubusercontent.com/u/5868442?v=3","gravatar_id":"","url":"https://api.github.com/users/sotetsuk","html_url":"https://github.com/sotetsuk","followers_url":"https://api.github.com/users/sotetsuk/followers","following_url":"https://api.github.com/users/sotetsuk/following{/other_user}","gists_url":"https://api.github.com/users/sotetsuk/gists{/gist_id}","starred_url":"https://api.github.com/users/sotetsuk/starred{/owner}{/repo}","subscriptions_url":"https://api.github.com/users/sotetsuk/subscriptions","organizations_url":"https://api.github.com/users/sotetsuk/orgs","repos_url":"https://api.github.com/users/sotetsuk/repos","events_url":"https://api.github.com/users/sotetsuk/events{/privacy}","received_events_url":"https://api.github.com/users/sotetsuk/received_events","type":"User","site_admin":false},"repo":{"id":54883462,"name":"algo-rl-ja","full_name":"sotetsuk/algo-rl-ja","owner":{"login":"sotetsuk","id":5868442,"avatar_url":"https://avatars.githubusercontent.com/u/5868442?v=3","gravatar_id":"","url":"https://api.github.com/users/sotetsuk","html_url":"https://github.com/sotetsuk","followers_url":"https://api.github.com/users/sotetsuk/followers","following_url":"https://api.github.com/users/sotetsuk/following{/other_user}","gists_url":"https://api.github.com/users/sotetsuk/gists{/gist_id}","starred_url":"https://api.github.com/users/sotetsuk/starred{/owner}{/repo}","subscriptions_url":"https://api.github.com/users/sotetsuk/subscriptions","organizations_url":"https://api.github.com/users/sotetsuk/orgs","repos_url":"https://api.github.com/users/sotetsuk/repos","events_url":"https://api.github.com/users/sotetsuk/events{/privacy}","received_events_url":"https://api.github.com/users/sotetsuk/received_events","type":"User","site_admin":false},"private":false,"html_url":"https://github.com/sotetsuk/algo-rl-ja","description":"Japanese translation of Algorithms for Reinforcement Learning (http://www.ualberta.ca/~szepesva/RLBook.html)","fork":false,"url":"https://api.github.com/repos/sotetsuk/algo-rl-ja","forks_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/forks","keys_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/keys{/key_id}","collaborators_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/collaborators{/collaborator}","teams_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/teams","hooks_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/hooks","issue_events_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/issues/events{/number}","events_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/events","assignees_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/assignees{/user}","branches_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/branches{/branch}","tags_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/tags","blobs_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/git/blobs{/sha}","git_tags_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/git/tags{/sha}","git_refs_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/git/refs{/sha}","trees_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/git/trees{/sha}","statuses_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/statuses/{sha}","languages_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/languages","stargazers_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/stargazers","contributors_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/contributors","subscribers_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/subscribers","subscription_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/subscription","commits_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/commits{/sha}","git_commits_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/git/commits{/sha}","comments_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/comments{/number}","issue_comment_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/issues/comments{/number}","contents_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/contents/{+path}","compare_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/compare/{base}...{head}","merges_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/merges","archive_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/{archive_format}{/ref}","downloads_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/downloads","issues_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/issues{/number}","pulls_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/pulls{/number}","milestones_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/milestones{/number}","notifications_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/notifications{?since,all,participating}","labels_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/labels{/name}","releases_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/releases{/id}","deployments_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/deployments","created_at":"2016-03-28T10:02:03Z","updated_at":"2016-04-06T10:39:28Z","pushed_at":"2016-04-06T10:08:47Z","git_url":"git://github.com/sotetsuk/algo-rl-ja.git","ssh_url":"git@github.com:sotetsuk/algo-rl-ja.git","clone_url":"https://github.com/sotetsuk/algo-rl-ja.git","svn_url":"https://github.com/sotetsuk/algo-rl-ja","homepage":null,"size":1372,"stargazers_count":2,"watchers_count":2,"language":"TeX","has_issues":true,"has_downloads":true,"has_wiki":true,"has_pages":false,"forks_count":0,"mirror_url":null,"open_issues_count":9,"forks":0,"open_issues":9,"watchers":2,"default_branch":"master"}},"base":{"label":"sotetsuk:master","ref":"master","sha":"9df02d4f42fb4c84416e0a92c16e9394d4eaf58a","user":{"login":"sotetsuk","id":5868442,"avatar_url":"https://avatars.githubusercontent.com/u/5868442?v=3","gravatar_id":"","url":"https://api.github.com/users/sotetsuk","html_url":"https://github.com/sotetsuk","followers_url":"https://api.github.com/users/sotetsuk/followers","following_url":"https://api.github.com/users/sotetsuk/following{/other_user}","gists_url":"https://api.github.com/users/sotetsuk/gists{/gist_id}","starred_url":"https://api.github.com/users/sotetsuk/starred{/owner}{/repo}","subscriptions_url":"https://api.github.com/users/sotetsuk/subscriptions","organizations_url":"https://api.github.com/users/sotetsuk/orgs","repos_url":"https://api.github.com/users/sotetsuk/repos","events_url":"https://api.github.com/users/sotetsuk/events{/privacy}","received_events_url":"https://api.github.com/users/sotetsuk/received_events","type":"User","site_admin":false},"repo":{"id":54883462,"name":"algo-rl-ja","full_name":"sotetsuk/algo-rl-ja","owner":{"login":"sotetsuk","id":5868442,"avatar_url":"https://avatars.githubusercontent.com/u/5868442?v=3","gravatar_id":"","url":"https://api.github.com/users/sotetsuk","html_url":"https://github.com/sotetsuk","followers_url":"https://api.github.com/users/sotetsuk/followers","following_url":"https://api.github.com/users/sotetsuk/following{/other_user}","gists_url":"https://api.github.com/users/sotetsuk/gists{/gist_id}","starred_url":"https://api.github.com/users/sotetsuk/starred{/owner}{/repo}","subscriptions_url":"https://api.github.com/users/sotetsuk/subscriptions","organizations_url":"https://api.github.com/users/sotetsuk/orgs","repos_url":"https://api.github.com/users/sotetsuk/repos","events_url":"https://api.github.com/users/sotetsuk/events{/privacy}","received_events_url":"https://api.github.com/users/sotetsuk/received_events","type":"User","site_admin":false},"private":false,"html_url":"https://github.com/sotetsuk/algo-rl-ja","description":"Japanese translation of Algorithms for Reinforcement Learning (http://www.ualberta.ca/~szepesva/RLBook.html)","fork":false,"url":"https://api.github.com/repos/sotetsuk/algo-rl-ja","forks_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/forks","keys_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/keys{/key_id}","collaborators_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/collaborators{/collaborator}","teams_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/teams","hooks_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/hooks","issue_events_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/issues/events{/number}","events_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/events","assignees_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/assignees{/user}","branches_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/branches{/branch}","tags_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/tags","blobs_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/git/blobs{/sha}","git_tags_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/git/tags{/sha}","git_refs_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/git/refs{/sha}","trees_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/git/trees{/sha}","statuses_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/statuses/{sha}","languages_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/languages","stargazers_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/stargazers","contributors_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/contributors","subscribers_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/subscribers","subscription_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/subscription","commits_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/commits{/sha}","git_commits_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/git/commits{/sha}","comments_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/comments{/number}","issue_comment_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/issues/comments{/number}","contents_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/contents/{+path}","compare_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/compare/{base}...{head}","merges_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/merges","archive_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/{archive_format}{/ref}","downloads_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/downloads","issues_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/issues{/number}","pulls_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/pulls{/number}","milestones_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/milestones{/number}","notifications_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/notifications{?since,all,participating}","labels_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/labels{/name}","releases_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/releases{/id}","deployments_url":"https://api.github.com/repos/sotetsuk/algo-rl-ja/deployments","created_at":"2016-03-28T10:02:03Z","updated_at":"2016-04-06T10:39:28Z","pushed_at":"2016-04-06T10:08:47Z","git_url":"git://github.com/sotetsuk/algo-rl-ja.git","ssh_url":"git@github.com:sotetsuk/algo-rl-ja.git","clone_url":"https://github.com/sotetsuk/algo-rl-ja.git","svn_url":"https://github.com/sotetsuk/algo-rl-ja","homepage":null,"size":1372,"stargazers_count":2,"watchers_count":2,"language":"TeX","has_issues":true,"has_downloads":true,"has_wiki":true,"has_pages":false,"forks_count":0,"mirror_url":null,"open_issues_count":9,"forks":0,"open_issues":9,"watchers":2,"default_branch":"master"}},"_links":{"self":{"href":"https://api.github.com/repos/sotetsuk/algo-rl-ja/pulls/24"},"html":{"href":"https://github.com/sotetsuk/algo-rl-ja/pull/24"},"issue":{"href":"https://api.github.com/repos/sotetsuk/algo-rl-ja/issues/24"},"comments":{"href":"https://api.github.com/repos/sotetsuk/algo-rl-ja/issues/24/comments"},"review_comments":{"href":"https://api.github.com/repos/sotetsuk/algo-rl-ja/pulls/24/comments"},"review_comment":{"href":"https://api.github.com/repos/sotetsuk/algo-rl-ja/pulls/comments{/number}"},"commits":{"href":"https://api.github.com/repos/sotetsuk/algo-rl-ja/pulls/24/commits"},"statuses":{"href":"https://api.github.com/repos/sotetsuk/algo-rl-ja/statuses/92975e2f6e8ed90a00ab088146eed203d2e75e9c"}}}}