\chapter{������������� ��������}\label{Chapter-reinforcement}


\section{�������� � ���������� ������}\label{sec-reinforcement-intro}

� ���������� ������ �� ������������� ������ �������� �� ���������
������ �������� ��������. ����� ������, �� ��� ��� ������ ��������� ���:
���� ����� <<���������� �������>>, � ������ �������� ������� � ���,
����� ��� ���������� �� �� ������������. 

�� ����� ��� �������� �������� � �������� �����? �� ������ �� ������ 
����� ����� ���������� ������� �������, �� ������ ������ �� ��� ����
�������� � �������� ���������. ���� ��������� ��������� ���� � �����,
������� �� ������ ������� ��, ����� ��� ����������� ���������� �
����������� ��������. ��, ��� � ��������� ��������� ��������,~--- ��� ��,
�������� ��� � ����� ��� ���������. ���� ����� ������ ������, �������
�� ������ ������� ���, ����� ������ ������ � ��������� ����� �������
� ������ �������~--- � ������ ������, ���������� ������� ��� ��� ���.

����� ��������, ������� � ��������� ��������, ����� ����������������
������ ����� �������. � ���� ������ ����������� ����� ���������������
� ���������� ������, ������������ �����-�� �������� (������� ��, �������,
�� �������������� ������); ���������� ����� ��� �����-�� ������� �������� 
�� ��� ��������, � ����� ���������� �� �������������. ������������
������ ��� ������ ������, ��� �� ������ ���������,~--- ������� ��
����������� �� ���������� �����. ����� ��� ��������� �������� ����������
\emph{������������� ���������} (reinforcement learning).

��������� ��������� ������ ���������. ����� �� ������ ���� ����� ����� 
���������� � ��������� $s$ �� ���������� ��������� ��������� $S$. 
�� ������ ���� �� �������� �� ���������� ������ �������� $A$ ��������� 
�������� $a$. � ����� �� ��� ���������� ����� �������� ������, ����� 
������� $r$ �� �� ��� ������� � � ����� ��������� $s'$ ����� ����� ��������.

\begin{example}{������ ������������ ������ � ���������� �����}{ex-reinforcement-dialogue}
\begin{itemize}
\item[�����:] �����, �� � ��������� $1$; ���� $5$ ��������� ��������.
\item[�����:] ����� �������� $2$.
\item[�����:] ��� ���� $2$ ������� �� ���. ����� � ��������� $5$, ���� $2$ ��������� ��������.
\item[�����:] ����� �������� $1$.
\item[�����:] ��� ���� �� ��� $-5$ ������. ����� � ��������� $1$, ���� $5$ ��������� ��������.
\item[�����:] ����� �������� $4$.
\item[�����:] ��� ���� $14$ ������ �� ���. ����� � ��������� $3$, ���� $3$ ��������� ��������...
\end{itemize}
� ���� ������� ����� ����� ��������� � ��������� $1$ � ����������� �����
�� ������������� ����� $4$ (������� �� ��� ������������ �������). ��� �
� ����� ������~--- ����� ������ ����������� ���������� ����� � ��������
����������� ���������.
\end{example}

��������� � ������� ������������ �������� ��� ��������, ��� ���� ������
����������� ����������. �������������, �� � ��� ��� ��������, � ��� �����
������ ������ ���� � ���������� ����� ����������, �� ���� ��������� � ����,
��� ���������� � ��������� ��������� �������������� ��������.

\section{��� ��������� ��������� ������?}

�� ��������� ���������, ������� ��������� �������� ������� �� ���������� �����.
����������, �� ����� �������� ���������, ������� <<������ ���� �����>>, �� ����
�������� ������� �������. �� �� ����� <<������>>? ��� ��������� ��������� ��������� � ����������
���� ��������?

�� ���� ������ ���� ��������� �������, ����� ����� �������� ������� �� ����,
�� ����� ���� ����� ������ �� ������������ � �� ��� ����� ������� ���� � ����� �������.

������, ���������� ������~--- ��� ��� ���������� \emph{������ ��������� ���������}
(finite horizon model). � ��� �������� ��������� ������ ���������� ������ �� 
��������� � ��������� $h$ �����, � ��������������� ����� ��������
$$E\left[\sum_{t=0}^hr_t\right].$$
��� ������ ������������� ��������, ����� � ������ ��������� ���� �����: �� �����,
��� � ��� ����� ������ �������, � ������� ��� �� ����������, ������� �� ��
�������� ����������� ������������.

� ����� ������������ ��������, ������, �������� �� ������ ��� ���������
���� � �������, ������ ��� ����� ����� ������ ����� ���� �� ����������. �� ��� ����
� ����������� �������� ����� ��� ������ �� ������� ������� �� ���������� �����, ��� �����.
��������, ����� �������~--- ��� ������� �����, ��� ����� ����� ���, ���� ��� �� ��� �����
����� ������� ������� � �����������\footnote{<<���! ������, ����������� � ����������:
��� ��� ��� ������ �����, ��� ��� ������, �������� ��� �������...>>~--- ������� ����������
������; ������, ����� ��� ��� �� �����.}.

��� ��� ������ � �������������� ������? ��� ����� ���������� ������� ����� �������
������� ������� ���, � ����� ��������� �� �������~--- �������. ��� �� ������������
����� ���� ������, ���� �� ���� ��������� ������������ $\gamma$ ��� � ����������� 
��� ������������ �� ����������� ����� ����� ������ ��� ������ ��������� (�� �������,
��� ������� $r_t$ ���������� ������~--- � ����� ������, � ��� �������� ����� ������
��������� � ������ ������). ����, �� ������������ �������������� �������� ����� ����
$$E\left[\sum_{t=0}^{\infty}\gamma^tr_t\right],$$ ��� $\gamma$~--- ���������
��������� (���������� � ������������ ������� discount factor). 

����� ������ ���������� \emph{������� ������������ ���������} (infinite horizon model).
� ����� ���������� ������������ �� ����� � �������� ������������ ������ ��.

������, ���� �������������, ������~--- \emph{������ �������� ��������������} (average-reward model).
� ��� ������������ �������� ������ �������� �������� ��������������
$$\lim_{h\rightarrow\infty}E\left[\frac1h\sum_{t=0}^hr_t\right].$$
��� ������ �� ��� ������� ������� ������������ ����� ����������, �������
�� �������� ������� ����������� ����� ������ ������������ ���������.

\begin{example}{�������� ����� �������� ������ �������� ����������}{ex-reinforcement-models}
��� ������������� ������ ������, � �������� ��������� ���� ���������, �� ������� ���
��� ������ ����� ��������� � ������ ����������� ����������.
\end{example}

����� ��������� ��� �������� ���������, ����� ����� ��������� ��������� �
�������� ��� ��������~--- ��, ��������� ����������� �� ��������� � ������
�������.

��������� (� ������ �� ��� �� ������ ����������) �������� ����������
�������������� ��������~--- ���������� � ������������ (��� ������ ������,
�������). ��� �������� ��������, ��, � ���������, ��� ������ �� ������� ��
� �������� ����������, �� � ���, � ������ �������� �� ������� � ������������
���������.

����� ������� ������ �������� ����������. ����� �������� ��� ��������������
�������: ������ �������� ���������� � �����-�� ������������� ���� �������������
(���������� ������������ ��������� ����������� ����� ������ ��������� ���� ��
�������������) � ������ �������� ������ ��������� �� ��������� ���������� 
�������������� �������. � ���������, � ����� ������� ��������� ����������
�������: ����� ����� ���� �������������? ����� ������ ������� ����� ����������
�������� ����������? ����������� ����� �� ��� ������� ����� ������.

������ ��������� ������~--- �������������� ���� (regret) ������ ��� ��� ����
��������� ��������. ����� ����������� ��������� �� ����� ���� ����� ����������
����������� ��������� � ������ ������. ����� �������, ������ ������������ ��������~---
��� ������ ����������� ������� ����� ����� ������ �������� ��� ��������
�� ��������� � ����������� ����������� ��������� � ������ ������. ���� ���
������� ���������� ��� �������, �� ����� ����� ������ ���������� ���������
��������~--- � ���� ������� ������, ��� � �������. ��� ����� ������� ����,
����, ����������, ��� � �������� ��������� �������� ����� �������������. ��, �
���������, ��� ����� �������� �������: �������� ���������� �� ���� ���� ��������
����� ������.

� ��������� ���������, ������ ��� �� ������� � ����������������� �������� ���������
����������. ������ �������� �������������� �������� ������ � ������� ���������� �����,
� ������������ ������ ��������, ����� ��������������� �������. ��������� ������~---
��� ������� ������������ �����������? �� ��� ���� ��������� �����
���� ������, �� ����� ��� �� �����������, � ����� ������ ������? �, ����� ����, ��� ���
��������, � ����� ������ ��������� ��, �� ����� ������� �� ������������� ������?
��� ������� (�� ���������� ��� ����� �������� �������� <<exploitation vs. exploration>>)
������ ������������ � ������������� ��������. ������������ ������ �� ���� ������, 
�������, ��� � ���� �� �����.


\section{���������� �������}


����� ��������� �� �������� � ��������. ������ ���������� �� ���� ���� ������
������, � ������� ���� ������ ���� ���������. ��������� ��� ����� �� ����������
�� �������� � \ref{sec-reinforcement-intro}, �� $|S|=1$. � ������ ������ ����
������������� ����� �������� $A$ � ����������� ������ �� ����� ������ ��������.

� ������������� ���������� ����������� ������� � ��������� ��� ��������� ������
��������� ������ ������. �����������, ��� ����� ��������� � ������� � �����������
�������� ���������� (<<���������� ���������>>, �����~--- ������ <<���������>>). 
� ������� ������� ���, ����������� ������ �������� ��������. ����� ������ �� 
������������ ���������� ������� �������� ������������ �������.

�������, ��� ����� (�������� ��, ������ ����������) ������ ������������� ���������
��� ��������� �������� � ����� ����������. �������������, �� ������ ������������
�������� ����� ��� �������������� (��������, ���������) � ���������� ������
� �������� ��������� (��������� ���������� ������� � ������� �� ������� ��
����������). 

������ ��� ������� � ������������ ���������� ����������, ���������� ����� ��������,
������� ������ ���������� ������� � ����� ��������. ����������, ������� ���������
� �����-�� ������ <<������>> ���������, �.�. ������ �������� ���������,
��������������� �������. ������ ���������� ��������, ��� ����� � ������� �� �����
� ������ ������, ��� ��� ������, � �� ����� ������� ����� ������ ���������. �����
����, ���� ���� �� ��� ����� �� ������ ���� �� ����� ������� ������� � ������
���� ��� �������, ��� ����� �� ��������, ��� ����� ������ �� ����� ��������
������ ��������� ������� �������. ��� �� �������� ������ ����� ��������� ����������
����� � ���������������� ����������� �������? 

��� �� �������, ������ ����� ����������. �� ������ �������: �������� ��������� �
����� ��������~--- \emph{�������� ��� ���������������}. ����� ������, �������� 
��������� ��������� ����� �����, �� ��� ���� ������� ���� ������ �������������
������������ ��������� �������. ������ ���� �������� ��������� ������������� 
�������������, ������ ��� �� ��� ���� ��������� ����� ���� ���������. 

���� ����� �� ������, ��� ��� ������������ ����������� �� ��������, � ����
���������� ������, ������� \emph{��������������} ������� ����������� �������
��� �������� � ����.


\section{��������� ����������� ���������}

� ���� ��������� �� ������������� ���������, ������ ������ �������
���������� ���������� �������� � �������� � ������� �����������. ���,
������, ����� �� ��������, ��� �� ������� ��� ����������� � �������������
����� ����������, �� ������������ �� ����� ����� ��������������� ���������.

������������ ���������������� ������ ������������ ��� ����� ��������� �����.
�� ����� ����������� � ������������� ��������. ������������ ���������������� ����� �����
���������, ���� ������� �������� ���� ����� ������: �����������, ��� �����
��������� �� ���������� $h$ �����.

����� ��� ����������� ����������� ��������� ����� ������������ ���������
����������� ������. ����� ��������� ����������� �� ���� ��������� \emph{���������
�����} (belief states) ������ �� ��������� ��������, ����� ������� ����� ���
��������� ���������.


��������� ����� ������ ���������� ��� $\mathcal S=\{n_1,w_1,\ldots,n_k,w_k\}$, ���
��������, ��� ������� ������� $i$ ��������� $n_i$ ���, ������� ��� ���� ������� 
$w_i$ ��� (����� � ����� �� �������, ��� ��������� ��������~--- ���� �������, ����
��������).

��������� ����� $V^*(\mathcal S)$ ��������� ���������� ������� ��� ������� ��������
���������. ����� ��� ������������ ����������� ����� ������� ������, �����
$\sum_{i=1}^kn_i=h$. � ���� ������ ������ ������ ������ ������, � $V^*(\mathcal S)=0$.
���� �� �� ����� $V^*$ ��� ���� ���������, ����� � ������ ��� �������� $t$ �������,
�� ������ ����������� $V^*$ � ��� ��������� � $t+1$ ���������� ��������:
\begin{multline*}
V^*(n_1,w_1,\ldots,n_k,w_k)=\\=\max_i\left(\rho_i(1+V^*(\ldots,n_i+1,w_i+1,\ldots))+(1-\rho_i)V^*(\ldots,n_i+1,w_i,\ldots)\right),
\end{multline*}
��� $\rho_i$~--- ������������� ����������� ����, ��� �������� $i$ �����������, ���
������ ����� $(n_i, w_i)$. � ������ � ����������� �������� � ���� ��������� ��������
$\rho_i=\frac{w_i+1}{n_i+2}$.

\begin{figure}
\begin{center}
\fbox{
\parbox{140mm}
 {
  $\texttt{DynamicReinforcement}(h,k)$:
  \begin{enumerate}
  \item ���������������� ������� $\{V^*(n_1,w_1,\ldots,n_k,w_k)\}_{n_i,w_i=1}^h$.
  \item ��� ���� ���������, ��� ������� $\sum_{i=1}^kn_i\ge h$, ��������� $V^*(n_1,w_1,\ldots,n_k,w_k):=0$.
  \item ��� ���� $t$ �� $h$ �� $0$:
  \begin{enumerate}
    \item ��� ���� ���������, ��� ������� $\sum_{i=1}^kn_i=t$, ���������
        $$\begin{array}{l}V^*(n_1,w_1,\ldots,n_k,w_k):=\\
	\qquad:=\max_i\left\{\frac{w_i+1}{n_i+2}\left(1+V^*(\ldots,n_i+1,w_i+1,\ldots)\right)+\right.\\
	\qquad\qquad\left.+\left(1-\frac{w_i+1}{n_i+2}\right)V^*(\ldots,n_i+1,w_i,\ldots)\right\}.\end{array}$$
  \end{enumerate}
  \item �� ������ ���� � ������ ������������� $(n_1,w_1,\ldots,n_k,w_k)$ �������� �������� $i$, ��� �������� �����������
  $$\begin{array}{l}\max_i\left\{\frac{w_i+1}{n_i+2}\left(1+V^*(\ldots,n_i+1,w_i+1,\ldots)\right)+\right.\\
  \qquad\left.+\left(1-\frac{w_i+1}{n_i+2}\right)V^*(\ldots,n_i+1,w_i,\ldots)\right\}.\end{array}$$
  \end{enumerate}
 }
  \hspace{6mm}
}

\end{center} \caption[������������ ���������������� ��� �������������� ��������]{������������ ���������������� ��� �������������� ��������.}
\label{alg-reinforcement-dynamic}
\end{figure}

������������ �������� ����������� �� ���.~\ref{alg-reinforcement-dynamic}. ��� �����, �� ���������
�� �������-�� �����������: ���� ���������� ����� ������� ������� �� ������������ ����������
��������� ����� �� ���������� �������� $|A|$, ��� ��������������� ������� �� $h$. ����� ������,
������������ ���������������� ����� ������������ ������ � �������, ����� ����� ����������� ��
������� ������. �� ���� ����� ������ �������������� �������� � ����������� ���������.


��, ��������, ��� �������� ��������, ��� ��������������� ������� $V^*$
���������� �� ������� �� ���������� ��������~--- � ����� ��������� ����
��� � ��������, � �� ���������� �������� �������� ���������� ���������
�������� �������� ����� ������ ���� �� ���� �������, ������� ������
����������� ���������. ����� ����, ����� ������� �� �������, ��� � ��������,
� ����� ����� �������� �� �������? ��, �����.

����� �� ��� $n$ ��� ������ �� ����� ������-�� ������� � �������� $w$ ��������.
���������� ��������������� ������� \emph{�������� ������������� ��������} 
(Gittins allocation indices) $I(n,w)$, ������� ��������� ��� ���������
�������, ��� � ���������� ����� ����������, ������� �� �������, ���� ����������
��� �������� ��� ���. ����� �������, ����������� ��������� ������ �� ����������:
���������� ������ �������� �������, ��� �������� $I(n,w)$ ����������.

������� ������������� �������� �������� �������, ��, � ���������, �����
�� ����������~--- �� ������� ��� ���������� ��������� ������ ����������.

������ ���� �� ���, ������ ������� �������� ���������� ������, ������ �
<<�����������>> ����������� ���������. �������������, � ������ � ��������
� ���������� ��������� ����� �������� ����� ����������� ��� �����
������������, � �������� �� �������� �� ��� ���� �������� (�� ���������
�� ����� ��� ��������� ����������). � ��� ����������� ����� �����������
�������� ��� ��, ��� �� � �����~\ref{Chapter-ann} ����������� �����������.
\emph{�������� ��������� ��������������--�����������} (linear reward--inaction
algorithm) ������� ����������� ����������� �������� $a_i$, ���� ���
������� � ������:
$$\begin{array}{rcl}
p_i &:= &p_i + \alpha(1-p_i),\\
p_j &:= &p_j - \alpha p_j,\quad j\neq i,
\end{array}$$
� ���� ��� ����������, �� ����������� �����������. � ���� �������� $\alpha$~---
���������, �������� �������� �������� (��������� ����������� ��������� �
���������� �������� ��������� �����). �������� ����� ����������� �� 
���.~\ref{alg-reinforcement-linearrewardinaction}.

\begin{figure}
\begin{center}
\fbox{
\parbox{140mm}
 {
  $\texttt{LinearRewardInaction}(\alpha)$:
  \begin{enumerate}
  \item �������� ���������������� ����������� $p_i$.
  \item ���� ����� ���������� ������:
  \begin{enumerate}
    \item ������� �������� $i$ � ������������ $p_i$.
    \item ���� �������� ������� � ������:
      $$\begin{array}{rcl}
        p_i &:= &p_i + \alpha(1-p_i),\\
        p_j &:= &p_j - \alpha p_j,\quad j\neq i.
        \end{array}$$
  \end{enumerate}
  \end{enumerate}
 }
  \hspace{6mm}
}

\end{center} \caption[�������� ��������� ��������������--�����������]{�������� ��������� ��������������--�����������.}
\label{alg-reinforcement-linearrewardinaction}
\end{figure}


�������� ��������� ��������������--����������� � ������������ $1$ ��������
� ������� �� ����� �������� � ��������� �����. �� �� ������ �������� � ����������� 
���������; ������ ��������, ��� �� ������ ����������� ������ ��������� �������� <<������>>
�������� ���������, ��� �� ��� ������� �� �������� � ������������ ��������, � ������
�� ������� ����������� ��������������� ������. �� ����������� ��������� ����� �������
����� ������ �����, �������� $\alpha$.

\section{������������� ���������}

����� ����������, ������� ��������� �������� � ������������ �������, ������ �����
��������, � ������� ������������� ���������� �� �������������, �� �� �������� �����������,
��� ����� �������� ������.

�� ���������� ��� ������������� ����� ��������� ���������. ������ �� ���~--- ��������� ���������.
���������� ��������� ��������� �������� ���: ������� �������� � ��������� ��������� ��������
� ������������ $p$, � � ������������ $1-p$ ������� ��������� ��������. ����� 
����������� ������� � ��������������� �������� �� �����������, ������ ��������
� ��������� $p$, � ����� �����������. 

�������� ���������� ����� ��������� ��������: �� �������� ������, �� �� �������� �������
��� ������������ �� �����������. ����� ��������� �� �������� �������� ����� ����� �����������,
����� <<���������>> ����������� �� ���� ���������, �������� �� �������� �� ���������
�������, �� ��� ���� �� �������� �������������� ������������. ����� �� ���������� �������
�������� \emph{������������ �� ���������}\footnote{\emph{������ ������ ��������} (Ludwig
Eduard Boltzmann, $1844$--$1906$)~--- ����������� �����, ���� �� �����--����������� �������������� ��������
� �������������� �������������. ����������, �� � ����� ������������� ���������� ��������
�� ���� �� ����� �� ��������; �� ��������� ��������, ������� ���������� � ���� ���������, ������
���������� �������������� ������; � ��� �� ���������� � ������ <<�����������>>.} (Boltzmann exploration): 
$$p(a)=\frac{e^{ER(a)/T}}{\sum_{a'}e^{ER(a')/T}},$$
��� $ER$~--- ��������� �������, $T$~--- \emph{�����������} (������������� ���������). �����������
����������, ��������� ������ ������� ����� ������������� ������ ������� � ������ ���������;
��������, ��� ��� ���� �����������, ��� ����� ����������� ���� � �����, � ��� ����, ��� �����
�������� ����� ������������ � ������� � ���� ��������. ����� ���� ������ ����������� ����������
� ���������� �������� ��������, � ����� �� �������� ������� <<��������>>.


������ ������������� ���������, ������� �� ����������,~--- ������������� ������
<<������������ ������>> ����������. �����������, ��� ��� ����� ������� ���������
���������� ������������, �� ��� ���� �� �� ��������� ��������� ���������� ����.
������ ������������ ��� �� ���������� ������ �������� �����~--- �������������
���������!

��� ������� �������� ����� ������� ���������� $n$ � $w$, � ����� ��������� �������
��������� ������������� �������� ��� ����������� ������ (� ��������� ������ ��������
�������� $1-\alpha$), � ��� ������ ������������ �������� ��������������� ������� �������
����� ���������. 

\begin{example}{������ ���������� ������������� ����������}{ex-reinforcement-confidence}
�����������, ��� �� ��������� � �������� � $k$ ���������� ���������, ������ ��
������� ���������� �������� ��������� ($1$ ��� $0$). � ����� ������ ������ ������������
��� ������, ��� � ��� ������� $k$ ����� ��������� �������� � ������� �������� (�������
���������� ��������). ����� ������������ ������������� ��������� �������� ��������
� ������������ $.95$ (��������, ��� ��������� �������������� ���������~--- <<������������
��� ��������� �������� ����� � ������������� ��������� � �������� ������������>>, � ������
������ � ������������ $.95$). ����� ������� ����� � ��������� 
$$\left(\bar x-1.96\frac{s}{\sqrt{n}}, \bar x+1.96\frac{s}{\sqrt{n}}\right),$$
��� $1.96$ ������ �� ������ ������������� ���������, $n$~--- ���������� ���������, $s=\sqrt{\frac{\sum(x-\bar x)^2}{n-1}}$.

�����������, ��� �� ��� �������� ��� �������� ������� ������� � �������� ���������� �������������
������� ($\bar x=0.6$), � ������� ������� �������� ����� ��� � �������� ���
������������� ������ ($\bar x=0.5$). ����� 
$$
\begin{array}{rl}
s_1&=\sqrt{\frac{12\times(1-0.6)^2+8\times(0-0.6)^2}{19}}\approx0.503,\\
s_2&=\sqrt{\frac{3\times(1-0.5)^2+3\times(0-0.5)^2}{4}}\approx0.612,
\end{array}
$$
� � ����� ������������� �������� ��� ������� ������� ����������
$$\left(0.6-1.96\frac{0.503}{\sqrt{20}},0.6+1.96\frac{0.632}{\sqrt{20}}\right)\approx\left(0.323,0.877\right),$$
� ��� �������~---
$$\left(0.5-1.96\frac{0.612}{\sqrt{5}},0.5+1.96\frac{0.612}{\sqrt{5}}\right)=\left(0,1\right).$$
������� �������������� ��������� �� ������ ������ �������� ��������� �����, ��� ���������
���� (����� ������, ��� �����) ������ ������ ��� �� ������� � ������������� ��������� ���
�������� � ������������ $0.95$. ����������, ���, �������� �� ��, ��� ������� �������,
�������� ��, ���� � ������� �������, �������� �� ��������� ������������� ����������
������� �������~--- ���� �� � ����� ����������� ������������ ����� ��������.
\end{example}

\begin{figure}
\begin{center}
\fbox{
\parbox{140mm}
 {
  $\texttt{ConfidenceIntervalReinforcement}(\alpha)$:
  \begin{enumerate}
  \item ���������������� ������������� ��������� $I_k=(I_{1k},I_{2k}):=(0,1)$.
  \item ���� ����� ���������� ������:
  \begin{enumerate}
    \item ������� �������� $j = \amax_{i=1..k}I^2_k$.
    \item ����������� ������������� �������� $I_j$ � ����������� �� ����������� ����� ��������.
  \end{enumerate}
  \end{enumerate}
 }
  \hspace{6mm}
}

\end{center} \caption[�������� �������������� �������� ������� ������������� ����������]{�������� �������������� �������� ������� ������������� ����������.}
\label{alg-reinforcement-linearrewardinaction}
\end{figure}



\section{������ ������� � ����������� �����������}

� ���������� ���������� �� ������������� ���������� ��������~--- �����
� ������ ����� ���� ���������, �.�. �� ���������� ���� ������ ���������
��������� �������� � �� ������� �� ��������. ������ � �������� �����
����������� ���������� ������ ����� ���������� �� ������ ��������� �
������, ������ ��� ����� ��������� �����-�� ����������� ���������.
����� �������, ��� ��������� ��������� ���������� ������, �����������
�������� ����� ����� ����������� � ��������� ��� ������������ ����������
�������. ��������, �������� � ������� �����������, ��������� ���
����������, ��� �� ������ ����� ����� ���� � ���������� ���������.

\begin{definition}
\emph{���������� ������� �������� �������} (Markov decision process) ������� ��:
\begin{itemize}
\item ��������� ��������� $S$;
\item ��������� �������� $A$;
\item ������� ��������� $R:S\times A\rightarrow \mathbb R$;
\item ������� �������� ����� ����������� $T:S\times A\rightarrow \Pi(S)$, ��� $\Pi(S)$~--- ���������
������������� ������������ ��� $S$.
\end{itemize}
����� �������, ����������� ������� �� ��������� $s$ � ��������� $s'$ ����� 
���������� �������� $a$ ������������ ����� $T(s,a,s')$.
\end{definition}

�������, ��� � ����� ������ �������� ����� ����������� �������������: ����� ���� ��� �����
�������� ����� ��������� ��������� �� � ���������� ��������������, � �
��������� (��������) �������������� ������������. � ��� ������� ������� ��
��� �������� ������� ����������~--- ��� �� ������ �� ��������������� ����
���������.

�������������� \emph{����������} � ������ ������������ (� � ���) ��������, ���
�������� �� ������� �� ������� ���������� ���������, �.�. �������� � �����������
���������, ����� ����� �� ���� � �� �� �������� �������� ���� � �� ��
�������, ��� ����������� �� ����, ����� ���� ����� ������ �
��� ���������.

���� ������, ��� �������, ������� � ���, ����� ��������������� �������.
����������, � �������� �������� �� � ������ �������� ��������� � ����������
<<����� ����>>~--- ��� �� �������� ������� ������� �� �� ����� ���� ��������,
� ��� ����� � �������� ����� �����������.

������ ������� �� ������� �����������, ��� �� ��� ����� ����� ���� ������.
������ ������ ����������� ��������� ��������� ��� ������ � ���� ������ ����
�� ������ ������ � ������ �� ����������. ����� ����, ����� ��������� ���, ���
������� ���� ������ ����� ���������� ��� ������� ����� �����. ������� �������
������� ���������� ���������, ������� ������� ����������� ��������� ���
��������� ������, � �����, ��� ���������� ����� ��������, ��������� �
����� ������� ������ ��������.


\section{����� ����������� ��������� � ��������� ������}

������ � ����������� ������ �� �������� ������� ����� ���������.

\begin{definition}
\emph{����������� �������� ���������}~--- ��������� ��������� �������,
������� ������� �����, ���� ������ � ����� ��������� � ����� ��������� ����������� ���������:
$$V^*(s)=\max_{\pi} E\left[\sum_{t=0}^\infty\gamma^tr_t\right].$$
\end{definition}

����� �������, ����������� �������� ���������~--- ��� �� �������,
������� �� �������, ���� ����� ������ ��������� �������. ��� ��������
����� ���������� ��� ������� ���������
$$V^*(s)=\max_{a\in A}\left(R(s,a)+\gamma\sum_{s'\in S}T(s,a,s')V^*(s')\right).$$
���� � �����, �� �������� ����������� ��������� ��� ��������:
$$\pi^*(s)=\amax_a\left(R(s,a)+\gamma\sum_{s'\in S}T(s,a,s')V^*(s')\right).$$
�������� ������ ������, ��� �� ������ ��� ���������.


\begin{figure}
\begin{center}
\fbox{
\parbox{140mm}
 {
  $\texttt{ValueIteration}()$:
  \begin{enumerate}
  \item ���������������� $V(s)$.
  \item ���� ��������� ������������ ������:
    \begin{enumerate}
    \item ��� ���� $s\in S$ � $a\in A$
    $$Q(s,a):=R(s,a)+\gamma\sum_{s'\in S}T(s,a,s')V(s').$$
    \end{enumerate}
  \item $V(s):=\max_aQ(s,a)$.
  \end{enumerate}
  }
  \hspace{6mm}
}

\end{center} \caption[����� ������������ �������� ��������� ���������� �� ���������]{����� ������������ �������� ��������� ���������� �� ���������.}
\label{alg-reinforcement-valueiteration}
\end{figure}

\begin{figure}
\begin{center}
\fbox{
\parbox{140mm}
 { 
  $\texttt{PolicyIteration}()$:
  \begin{enumerate}
  \item ���������������� $\pi$.
  \item ���������:
    \begin{enumerate}
    \item ��������� �������� ��������� ��� ��������� $\pi$, ����� ������� �������� ���������
    $$V_\pi(s)=R(s,\pi(s))+\gamma\sum_{s'\in S}T(s,\pi(s),s')V_\pi(s').$$
    \item �������� ��������� �� ������ ���������:
    $$\pi'(s):=\amax_a\left(R(s,a)+\gamma\sum_{s'\in S}T(s,a,s')V_\pi(s')\right).$$
    \end{enumerate}
  \item ���� $\pi\neq\pi'$.
  \end{enumerate}
 }
  \hspace{6mm}
}

\end{center} \caption[����� ������������ �������� ��������� ���������� �� ����������]{����� ������������ �������� ��������� ���������� �� ����������.}
\label{alg-reinforcement-policyiteration}
\end{figure}


�� ���.~\ref{alg-reinforcement-valueiteration} � \ref{alg-reinforcement-policyiteration}
��������� ��� ����� ������� ���������, ������� ������ ��� ������ ����������� ��������.
������ �� ��� �������� �������� �� ���������, �.�. �������� �� ������ ����
������������ ������� $Q(s,a)$~--- ������� ������ �������� ������� � ������
������ �������� $a$ � ��������� $s$~--- � �����, ����� �������� ���� �������
��� ��� �������������, �������� �� ��������, ������� ������������� ��� ��������.
��������, ��� �������, � ���, ����� �� ����� ���������� ��������. ������ ���
������������� �����, ����� �������� $Q(s,a)$ ��������� ���������� (�.�. ��������
����� ����������������� ���������� �� ������ �������� ��������� ���������
������� ������������� ������ $\epsilon$).

�������, ��� �������� � ���� ��������� ���������� ���������� �� ����
���������--����������������. �� ����� ������������ � ������,
<<��������������>> �������:
$$Q(s,a):=Q(s,a)+\alpha(r+\gamma\max_{a'}Q(s',a')-Q(s,a)).$$
��������, ��� �� ��������, ���� ������ ���� $(s,a)$ ����������� �����������
����� ���, $s'$ �������� �� ������������� $T(s,a,s')$, � $r$ 
���������� �� ������� $R(s,a)$ � ������������ ���������.

�������� �������� �� ���������� (���.~\ref{alg-reinforcement-policyiteration}) 
���������� ����� ����� �� ����, �� ��������
���� �� �� ��������� ���������, � �� ���������� ���������� $\pi$, �������
����� ��������� �����. ��� ���� ������ �������� ����� ������, ��� ��� ���������
�������� �� ���������, ��� ��� ����� �� ������ ���� ������ �������
�������� ���������. ���� ��� �������� �� ���������� �������� ����������, �.�. �� ������ ����
������� ������� ������ ����������, � ����� ���������� �������� ����� ($|A|^{|S|}$) ���������.
������, ��� ����������� ��� ����� �� ������� ������ �� ����� ������ ���������;
�� �������� �� �������� ���� �������, �� ������������ �� ��������,
������������ �� ��.

\end{document}


\subsection{����� ����������� ��������� ��� ������}

\fri{���������� ������������� ������}{
\item �������� ����~--- ����� ���� ������� ��������� ���� ���������,
� ������~--- ������� ��������, � ����� ��� ���� � ������ �����������.
\item ���������� ������������� ������ (adaptive heuristic critic) �������
�� \emph{�������} AHC � \emph{���������� �������������� ��������} RL.
\item �� ����� RL ����� ���� ����� �������� �������������� ��������
��� ������� ������ � $k$ ��������.}
\fri{���������� ������������� ������}{
\item RL ������������� �� �������, � �������� ��������� $v$, ����������� ��������.
\item AHC � ��� ����� ���������� ���������� �� RL �������� ���
��������� ��������� �������� ������� �� ���������.
\item ��� ����� �� �� �������: ��������� ��������� $\pi$ � ������������
������� �������� $V_\pi$. ����� ��������� $V_\pi$ � ���� ����� ���������
$\pi'$, ������� ������������� $V_\pi$. � ��� �����.}
\fri{���������� ������������� ������}{
\item ��� AHC ������ $V_\pi$ �� $\pi$?
\item $\langle s,a,r,s'\rangle$~--- \emph{experience tuple} ($s$~--- ���������
����� ���������, $a$~--- ��������, $r$~--- ���������, $s'$~--- ��������� ���������.
\item �������� ����� ������� �� ������� $TD(0)$:
$$V(s):=V(s)+\alpha(r+\gamma V(s')-V(s)).$$
}
\fri{���������� ������������� ������}{\item $TD(0)$ ������� �� ���� ��� �����.
����� ������� ��������, ����������� ����� �����, $TD(\lambda)$:
$$V(u):=V(u)+\alpha(r+\gamma V(s')-V(s))\epsilon(u),$$
����������� � ������� ��������� $u$ �� ������ ��� \emph{eligibility} $\epsilon(u)$.
$$\epsilon(s)=\sum_{k=1}^t(\lambda\gamma)^{t-k}[s=s_k].$$
\item Eligibility~--- ��, ��������� ����� ��� ��������� ���������� � ��������
�������. ���� $\lambda=0$, $TD(\lambda)$~--- ��� $TD(0)$. Eligibility �����
������������� � �������� �������:
$$\epsilon(s):=\gamma\lambda\epsilon(s)+[s=\text{�������� ���������}].$$
}
 
