はじめに
2022/02/25に以下の記事を投稿しました。
この記事を書くときに軽く推敲をしたのですが、推敲結果（変更部分）が気になったので、git diffを出してみました。（diffを見ると自分の癖みたいなものがわかるような気がしたので）
diff の出し方
git diff <推敲前のcommit>..<推敲後のcommit> でdiffが出せます。
$ git diff 580796e4ffc879609a10d7bc47f1f785c111ef0a..950cc17ee0628a7a1406d3887f17d2ecf18b39a4
変更部分
主な変更部分
- 専門用語
- 漢字に関する修正
- 「つぎに」→「次に」
- 段落(pタグ)の組み換え
- 「ような」の削除
- 「...であるようなものが一意に存在する。」→「...であるものが一意に存在する」
- 参考: [2] の p.43
- 見出し(h1)の変更（目次を見て中身がわかるように）
<h1>準備</h1>→<h1>準備（射影定理・直交分解）</h1>- 参考: [1] の p.161
[1]のような参考文献にページ内リンクを追加[1]のような参考文献の前後に空白を追加- 数式
$ $の前後に空白を追加再生性によって$\cl{H_0}$の直交補空間が
→再生性によって $\cl{H_0}$ の直交補空間が
- 何を指しているかわかりにくい指示語の修正
- 「この定理を偶然知って」→「この定理6を偶然知って」
- 参考: [2] の p.79
- 表現の変更
上記の最適化問題に最適解が存在するなら \(M\) に最適解が含まれている（$f\in H$ という制約を \(f\in M\) にしてもよい）というのが表現定理である。
→表現定理の主張は、「上記の最適化問題に最適解が存在するなら \(M\) に最適解が含まれている（$f\in H$ という制約を \(f\in M\) にしてもよい）」というものである。
- 誤植
- 「$x$」 →「 $x_i$」
diffの結果
-から始まる行が変更前の行、+から始まる行が変更後の行である。
diff --git a/index.html b/index.html index ef80f74..de49a8c 100644 --- a/index.html +++ b/index.html @@ -33,13 +33,16 @@ </div> <p>[:contents]</p> <h1>はじめに</h1> - この記事は再生核ヒルベルト空間に関する話である。まずは再生核ヒルベルト空間を定義する。 + <p> + この記事は再生核ヒルベルト空間に関する話である。まずは再生核ヒルベルト空間を定義する。 + なお、この記事ではヒルベルト空間は実ヒルベルト空間のことを指すことにする。 + </p> <div class="thm"> <span class="title">定義1: 再生核ヒルベルト空間</span> <div class="body"> <p> $X$ を集合とし、$H \subseteq \R^X$ をヒルベルト空間とする。 - ある関数 $k\colon X^2\to \R$ が存在して、つぎの条件を満たすとき、$H$ を<b>再生核ヒルベルト空間</b>という。 + ある関数 $k\colon X^2\to \R$ が存在して、次の条件を満たすとき、$H$ を<b>再生核ヒルベルト空間</b>という。 </p> <ul> <li>$k(x,-)\in H\quad (x\in X)$</li> @@ -58,12 +61,13 @@ <p> この $H$ は（適切に内積を定義することで）再生核ヒルベルト空間の条件を満たす。 また、$H$ は $H_0$ の完備化になっていて、$H = \cl{H_0}$ が成り立つ。 - ここで、逆に再生核ヒルベルト空間 $H$ に対して、$H_0 = \span\setsep{k(x,-)}{x\in X}$ としたときに、常に $H = \cl{H_0}$ が成り立つのか - （上記の構成法以外の再生核ヒルベルト空間であっても、$H = \cl{H_0}$が成り立つのか） - という疑問が生まれた。 </p> <p> - [1] には以下のような定理がある。$H = \cl{H_0}$ が成り立たないような再生核ヒルベルト空間の存在を若干ほのめかしているので、そういう再生核ヒルベルト空間があるのかもしれないな、と思った。 + ここで逆に、再生核ヒルベルト空間 $H$ に対して、$H_0 = \span\setsep{k(x,-)}{x\in X}$ としたときに、常に $H = \cl{H_0}$ が成り立つのか + （上記の構成法以外の再生核ヒルベルト空間であっても、$H = \cl{H_0}$が成り立つのか） + という疑問が生まれた。 + そういう疑問がある中、<a href="#ref1">[1]</a> で以下のような定理を見た。$H = \cl{H_0}$ + が成り立たないような再生核ヒルベルト空間の存在を若干ほのめかしているので、そういう再生核ヒルベルト空間があるのかもしれないな、と思った。 </p> <div class="thm"> <span class="title">定理2: Moore-Aronszajn の定理</span> @@ -71,7 +75,7 @@ <p> $X$ を集合とし、$k\colon X^2 \to \R$ を正定値カーネルとする。 このとき、$k$ を再生核とする再生核ヒルベルト空間 $H$ であって、 - $H_0 = \span\setsep{k(x,-)}{x\in X}$ が $H$ で稠密($H = \cl{H_0}$)であるようなものが一意に存在する。 + $H_0 = \span\setsep{k(x,-)}{x\in X}$ が $H$ で稠密($H = \cl{H_0}$)であるものが一意に存在する。 </p> </div> </div> @@ -90,10 +94,12 @@ </div> </div> - <p>本記事ではこの定理を証明する。この定理の証明には、射影定理または直交分解を用いるので、準備として射影定理と直交分解を紹介する。</p> + <p> + 本記事ではこの定理を証明する。この定理の証明には、射影定理または直交分解を用いるので、準備として射影定理と直交分解を紹介する。 + </p> - <h1>準備</h1> - <p>射影定理・直交分解については[2]を参考にした。</p> + <h1>準備（射影定理・直交分解）</h1> + <p>射影定理・直交分解については <a href="#ref2">[2]</a> を参考にした。</p> <div class="thm"> <span class="title">補題4: 射影定理</span> <div class="body"> @@ -112,7 +118,16 @@ alt="f:id:paruma184:20220223211510p:plain" width="300" height="auto" loading="lazy" title="" class="hatena-fotolife" itemprop="image" /> <p> - $\R^n$ であれば当たり前に成り立つ性質がヒルベルト空間でも成り立つという定理である。 + $\R^n$ であれば当たり前に成り立つ + (($M\subseteq \R^n$ を部分空間として、\(M\) の正規直交基底を + $\set{u_1,u_2,\ldots u_n}$ + とする。 + このとき、$x\in \R^n$ に対して + $P_M(x) = \sum_{i=1}^n \inner{x}{u_i}u_i$ + である（一意性も言える）。 + よって、$\R^n$ での射影定理が言える。 + )) + 性質がヒルベルト空間でも成り立つという定理である。 証明で $P_M(x)$ の存在性を言うのに極限を用いるので、$H$が完備であることや\(M\)が閉集合であることが必要になる。 以下の直交分解は射影定理の系である。 </p> @@ -128,7 +143,6 @@ $x = x_{M} + x_{M^\perp}$ が成り立つ。 （$M^\perp$ を \(M\) の直交補空間という。） - </p> </div> </div> @@ -138,7 +152,7 @@ <p> 存在性については、$x_M = P_M(x),\ x_{M^\perp} = x - P_M(x)$ とすれば証明できる。一意性も簡単に証明できる。</p> <p> 射影定理と直交分解については、表現の仕方が少し違うだけで本質的には同じことを言っている。本によっては直交分解できることを射影定理と呼ぶ場合もある。</p> - <h1>本題</h1> + <h1>本題（span{k(x, -) | x∈X}の稠密性）</h1> <p> 準備ができたので、定理3を証明する。 射影定理を使用した証明を1つ、直交分解を使用した証明を2つ紹介する。 @@ -168,7 +182,8 @@ $f\in H$ を任意に取る。 $g = f - P_{\cl{H_0}}(f)$ とすると、 $g$ は $\cl{H_0}$ と直交する。 - 再生性から $g= 0$が成り立つ。 + 再生性から $g= 0$ が成り立つ。 + （以下、$g=0$ を証明する。） </p> <div class="prf no-title"> <div class="body"> @@ -185,7 +200,7 @@ </div> <p> よって、$f = P_{\cl{H_0}}(f) \in \cl{H_0}$ が言える。 - つまり、$H \subseteq \cl{H_0}$が成り立つ。 + つまり、$H \subseteq \cl{H_0}$ が成り立つ。 </p> </div> </div> @@ -207,7 +222,7 @@ $H = \cl{H_0} \oplus {\cl{H_0}}^\perp$ から、 $f = f_{\cl{H_0}} + f_{{\cl{H_0}}^\perp}$ となる - $ f_{\cl{H_0}} \in \cl{H_0}$ + $f_{\cl{H_0}} \in \cl{H_0}$ と $f_{{\cl{H_0}}^\perp} \in {\cl{H_0}}^\perp$ が存在する。 @@ -230,7 +245,7 @@ </div> <p> よって、$f = f_{\cl{H_0}} \in \cl{H_0}$ が言える。 - つまり、$H \subseteq \cl{H_0}$が成り立つ。 + つまり、$H \subseteq \cl{H_0}$ が成り立つ。 </p> </div> </div> @@ -257,7 +272,7 @@ <div class="body"> <p> $g\in {\cl{H_0}}^\perp$ を任意に取る。 - 再生性から $g = 0$である。 + 再生性から $g = 0$ である。 </p> <div class="prf no-title"> <div class="body"> @@ -286,7 +301,7 @@ (1)は射影定理が好きな人向けの証明である。 (2)は(1)を直交分解で書き直したものである。 (2)は表現定理(Representer Theorem)の証明にも現れる証明方法である。 - (3)は再生性によって$\cl{H_0}$の直交補空間が潰れていること（${\cl{H_0}}^\perp = \set{0}$）に着目した証明である。 + (3)は再生性によって $\cl{H_0}$ の直交補空間が潰れていること（${\cl{H_0}}^\perp = \set{0}$）に着目した証明である。 見方が少し違うだけで、やっていることはどれもほとんど同じである。 </p> @@ -294,7 +309,7 @@ <h2>定理3の一般化</h2> <p>定理3は一般のヒルベルト空間の定理として一般化できる。</p> <div class="thm"> - <span class="title">定理6</span> + <span class="title">定理6: ヒルベルト空間での稠密性の必要十分条件</span> <div class="body"> <p> $H$ をヒルベルト空間とし、$S \subseteq H$ を部分集合とする。 @@ -310,16 +325,18 @@ </div> <p>右向きの矢印の証明は易しい。左向きの矢印は定理3と同様に射影定理（直交分解）で証明できる。</p> <p> - $S= \setsep{k(x,-)}{x\in X}$ とすることでこの定理から定理3が証明できる(再生性から $S^\top = \set{0}$ である）。 - （[3]でこの定理を偶然知って定理3が証明できたという背景がある。） + $S= \setsep{k(x,-)}{x\in X}$ とすることで、この定理6から定理3が証明できる(再生性から $S^\perp = \set{0}$ である）。 + （<a href="#ref3">[3]</a> でこの定理6を偶然知って定理3が証明できたという背景がある。） </p> <h2>表現定理 (Representer Theorem)</h2> <p> - 定理3の2つ目の証明の方法が表現定理にも現れるという話をした。そこで、少し表現定理にふれる。 - 再生核ヒルベルト空間は統計や機械学習の分野で応用されていて、例えば リッジ回帰 や SVM や PCA などに応用されている。 + 定理3の2つ目の証明の方法が表現定理にも現れるという話をした。そこで、少し表現定理に触れる。 + 再生核ヒルベルト空間は統計や機械学習の分野で応用されていて、例えばリッジ回帰や SVM や PCA などに応用されている。 ここではリッジ回帰を例として表現定理を取り上げる。 - $X$ を集合とし、$H$を「$k\colon X^2 \to \R$ を再生核とする再生核ヒルベルト空間」とする。 + </p> + <p> + $X$ を集合とし、$H$ を「$k\colon X^2 \to \R$ を再生核とする再生核ヒルベルト空間」とする。 $\lambda >0$ としたとき、 \(((x_i, y_i)\in X\times \R)_{i=1}^n\) を学習データとするカーネルリッジ回帰の最適化問題は次のように書ける。 @@ -329,7 +346,7 @@ \end{equation*} $M = \span\setsep{k(x_i,-)}{i\in\set{1,\ldots n}}$ とする。 - 上記の最適化問題に最適解が存在するなら \(M\) に最適解が含まれている（$f\in H$ という制約を \(f\in M\) にしてもよい）というのが表現定理である。 + 表現定理の主張は、「上記の最適化問題に最適解が存在するなら \(M\) に最適解が含まれている（$f\in H$ という制約を \(f\in M\) にしてもよい）」というものである。 上記の最適化問題は無限次元かもしれない空間 $H$ 上の最適化問題である。表現定理によって $n$ 次元の空間 \(M\) 上での最適化問題を解けば良いことになる。 </p> <p>カーネルリッジ回帰の場合の表現定理を証明する。</p> @@ -348,8 +365,8 @@ <p> 再生性から、$f_{M^\perp}(x_i) = \inner{f_{M^\perp}}{k(x_i, -)}$ である。 $f_{M^\perp}\in M^\perp$ と \(k(x_i,-)\in M\) から、 - $\inner{f_{M^\perp}}{k(x,-)} = 0$ - である。つまり $f_{M^\perp}(x) = 0$ である。 + $\inner{f_{M^\perp}}{k(x_i,-)} = 0$ + である。つまり $f_{M^\perp}(x_i) = 0$ である。 </p> </div> </div> @@ -372,18 +389,19 @@ </div> </div> <p> - 実際の表現定理では、SVMやPCAの最適化問題などいろいろな最適化問題に使えるように一般化されている。 + 定理3の2つ目の証明が表現定理の証明と似ていたので、ここで表現定理を紹介した。 + </p> + <p> + なお、実際の表現定理では、SVMやPCAの最適化問題などいろいろな最適化問題に使えるように一般化されている。 </p> <h1>参考文献</h1> <ul> - <li>[1] 福水 健次. カーネル法入門―正定値カーネルによるデータ解析―. 朝倉書店, 2010, (シリーズ 多変量データの統計科学, 7).</li> - <li>[2] 山田 功. 工学のための関数解析. 数理工学社, 2009, (工学のための数学, EKM-6).</li> - <li>[3] 金森 敬文. 統計的学習理論. 講談社, 2015, (機械学習プロフェッショナルシリーズ).</li> + <li id="ref1">[1] 福水 健次. カーネル法入門―正定値カーネルによるデータ解析―. 朝倉書店, 2010, (シリーズ 多変量データの統計科学, 7).</li> + <li id="ref2">[2] 山田 功. 工学のための関数解析. 数理工学社, 2009, (工学のための数学, EKM-6).</li> + <li id="ref3">[3] 金森 敬文. 統計的学習理論. 講談社, 2015, (機械学習プロフェッショナルシリーズ).</li> </ul> - </body> - </html> \ No newline at end of file
参考: 推敲後のHTML
<div style="display:none;">
$$
\require{mathtools}
\newcommand{\N}{\mathbb{N}}
\newcommand{\R}{\mathbb{R}}
\newcommand{\cl}[1]{\overline{#1}}
\DeclareMathOperator{\span}{span}
\DeclarePairedDelimitersX{\inner}[2]{\langle}{\rangle}{#1, #2}
\DeclarePairedDelimiters{\norm}{\lVert}{\rVert}
\newcommand{\setsep}[2]{\{#1 \mid #2\}}
$$
</div>
<p>[:contents]</p>
<h1>はじめに</h1>
<p>
この記事は再生核ヒルベルト空間に関する話である。まずは再生核ヒルベルト空間を定義する。
なお、この記事ではヒルベルト空間は実ヒルベルト空間のことを指すことにする。
</p>
<div class="thm">
<span class="title">定義1: 再生核ヒルベルト空間</span>
<div class="body">
<p>
$X$ を集合とし、$H \subseteq \R^X$ をヒルベルト空間とする。
ある関数 $k\colon X^2\to \R$ が存在して、次の条件を満たすとき、$H$ を<b>再生核ヒルベルト空間</b>という。
</p>
<ul>
<li>$k(x,-)\in H\quad (x\in X)$</li>
<li>$f(x) = \inner{f}{k(x,-)}\quad (f\in H, x\in X)$ (再生性)</li>
</ul>
<p>
この $k$ を再生核ヒルベルト空間 $H$ の<b>再生核</b>という。
</p>
</div>
</div>
<p>$k\colon X^2 \to \R$ を再生核とする再生核ヒルベルト空間 $H$ の構成法として次の方法がある。</p>
<ul>
<li>$H_0 = \span\setsep{k(x,-)}{x\in X}$ とする。</li>
<li>$H = \setsep{X\to \R; x\mapsto \lim_{n\to \infty}f_n(x)}{(f_n\in H_0)_{n\in \N} \text{ がコーシー列}}$ とする。</li>
</ul>
<p>
この $H$ は（適切に内積を定義することで）再生核ヒルベルト空間の条件を満たす。
また、$H$ は $H_0$ の完備化になっていて、$H = \cl{H_0}$ が成り立つ。
</p>
<p>
ここで逆に、再生核ヒルベルト空間 $H$ に対して、$H_0 = \span\setsep{k(x,-)}{x\in X}$ としたときに、常に $H = \cl{H_0}$ が成り立つのか
（上記の構成法以外の再生核ヒルベルト空間であっても、$H = \cl{H_0}$が成り立つのか）
という疑問が生まれた。
そういう疑問がある中、<a href="#ref1">[1]</a> で以下のような定理を見た。$H = \cl{H_0}$
が成り立たないような再生核ヒルベルト空間の存在を若干ほのめかしているので、そういう再生核ヒルベルト空間があるのかもしれないな、と思った。
</p>
<div class="thm">
<span class="title">定理2: Moore-Aronszajn の定理</span>
<div class="body">
<p>
$X$ を集合とし、$k\colon X^2 \to \R$ を正定値カーネルとする。
このとき、$k$ を再生核とする再生核ヒルベルト空間 $H$ であって、
$H_0 = \span\setsep{k(x,-)}{x\in X}$ が $H$ で稠密($H = \cl{H_0}$)であるものが一意に存在する。
</p>
</div>
</div>
<p>
しかし、実際には、$H$ が再生核ヒルベルト空間であれば、$H = \cl{H_0}$ が言えることがわかった。
すなわち、以下の定理3が成り立つことがわかった。
</p>
<div class="thm">
<span class="title">定理3</span>
<div class="body">
<p>
$X$ を集合とする。
$H$ を「$k\colon X^2 \to \R$ を再生核とする再生核ヒルベルト空間」とする。
$H_0 = \span\setsep{k(x,-)}{x\in X}$ としたとき、$H = \cl{H_0}$ が成り立つ。
</p>
</div>
</div>
<p>
本記事ではこの定理を証明する。この定理の証明には、射影定理または直交分解を用いるので、準備として射影定理と直交分解を紹介する。
</p>
<h1>準備（射影定理・直交分解）</h1>
<p>射影定理・直交分解については <a href="#ref2">[2]</a> を参考にした。</p>
<div class="thm">
<span class="title">補題4: 射影定理</span>
<div class="body">
<p>
$H$ をヒルベルト空間とする。
\(M\) を $H$ の閉部分空間とする。
任意の $x\in H$ に対して、ある \(P_M(x) \in M\) が一意に存在して、
\begin{equation*}
\inner{x - P_M(x)}{y} = 0\quad (\forall y \in M)
\end{equation*}
が成り立つ。言い換えると、ベクトル $x - P_M(x)$ と 閉部分空間 \(M\) が直交するということである。
</p>
</div>
</div>
<img src="https://cdn-ak.f.st-hatena.com/images/fotolife/p/paruma184/20220223/20220223211510.png"
alt="f:id:paruma184:20220223211510p:plain" width="300" height="auto" loading="lazy" title=""
class="hatena-fotolife" itemprop="image" />
<p>
$\R^n$ であれば当たり前に成り立つ
(($M\subseteq \R^n$ を部分空間として、\(M\) の正規直交基底を
$\set{u_1,u_2,\ldots u_n}$
とする。
このとき、$x\in \R^n$ に対して
$P_M(x) = \sum_{i=1}^n \inner{x}{u_i}u_i$
である（一意性も言える）。
よって、$\R^n$ での射影定理が言える。
))
性質がヒルベルト空間でも成り立つという定理である。
証明で $P_M(x)$ の存在性を言うのに極限を用いるので、$H$が完備であることや\(M\)が閉集合であることが必要になる。
以下の直交分解は射影定理の系である。
</p>
<div class="thm">
<span class="title">補題5: 直交分解</span>
<div class="body">
<p>
$H$ をヒルベルト空間とする。
\(M\) を$H$ の閉部分空間とする。
$M^\perp = \setsep{x\in H }{\inner{x}{y} = 0 \ (\forall y\in M)}$
について、$H = M \oplus M^\perp$ が成り立つ。
すなわち、任意の $x\in H$ に対して $x_{M}\in M, x_{M^\perp}\in M^\perp$ が一意に存在して
$x = x_{M} + x_{M^\perp}$
が成り立つ。
（$M^\perp$ を \(M\) の直交補空間という。）
</p>
</div>
</div>
<img src="https://cdn-ak.f.st-hatena.com/images/fotolife/p/paruma184/20220223/20220223212827.png"
alt="f:id:paruma184:20220223212827p:plain" width="300" height="auto" loading="lazy" title=""
class="hatena-fotolife" itemprop="image">
<p> 存在性については、$x_M = P_M(x),\ x_{M^\perp} = x - P_M(x)$ とすれば証明できる。一意性も簡単に証明できる。</p>
<p> 射影定理と直交分解については、表現の仕方が少し違うだけで本質的には同じことを言っている。本によっては直交分解できることを射影定理と呼ぶ場合もある。</p>
<h1>本題（span{k(x, -) | x∈X}の稠密性）</h1>
<p>
準備ができたので、定理3を証明する。
射影定理を使用した証明を1つ、直交分解を使用した証明を2つ紹介する。
見た目がほんの少し違うだけで、やっていることはどれもほとんど同じである。
</p>
<div class="thm">
<span class="title">定理3(再掲)</span>
<div class="body">
<p>
$X$ を集合とする。
$H$ を「$k\colon X^2 \to \R$ を再生核とする再生核ヒルベルト空間」とする。
$H_0 = \span\setsep{k(x,-)}{x\in X}$ としたとき、$H = \cl{H_0}$ が成り立つ。
</p>
</div>
</div>
<div class="prf">
<span class="title">(1) 射影定理を使った証明</span>
<div class="body">
<p>
$H \supseteq \cl{H_0}$ は明らか。
$H \subseteq \cl{H_0}$ を示す。
</p>
<div class="prf no-title">
<div class="body">
<p>
$f\in H$ を任意に取る。
$g = f - P_{\cl{H_0}}(f)$ とすると、
$g$ は $\cl{H_0}$ と直交する。
再生性から $g= 0$ が成り立つ。
（以下、$g=0$ を証明する。）
</p>
<div class="prf no-title">
<div class="body">
<p>
$x\in X$ を任意に取る。
再生性から、
$g(x) = \inner{g}{k(x,-)}$ である。
$g$ は $\cl{H_0}$ と直交し $k(x,-)\in \cl{H_0}$ であることから、
$\inner{g}{k(x,-)} = 0$
である。つまり $g(x) = 0$ である。
このことから、$g = 0$ が言える。
</p>
</div>
</div>
<p>
よって、$f = P_{\cl{H_0}}(f) \in \cl{H_0}$ が言える。
つまり、$H \subseteq \cl{H_0}$ が成り立つ。
</p>
</div>
</div>
<p>以上から、$H = \cl{H_0}$ が成り立つ。</p>
</div>
</div>
<div class="prf">
<span class="title">(2) 直交分解を使った証明1</span>
<div class="body">
<p>
$H \supseteq \cl{H_0}$ は明らか。
$H \subseteq \cl{H_0}$ を示す。
</p>
<div class="prf no-title">
<div class="body">
<p>
$f\in H$ を任意に取る。
$H = \cl{H_0} \oplus {\cl{H_0}}^\perp$ から、
$f = f_{\cl{H_0}} + f_{{\cl{H_0}}^\perp}$
となる
$f_{\cl{H_0}} \in \cl{H_0}$
と
$f_{{\cl{H_0}}^\perp} \in {\cl{H_0}}^\perp$
が存在する。
再生性から
$f_{{\cl{H_0}}^\perp} = 0$
が成り立つ。
</p>
<div class="prf no-title">
<div class="body">
<p>
$x\in X$ を任意に取る。
再生性から、
$f_{{\cl{H_0}}^\perp}(x) = \inner{f_{{\cl{H_0}}^\perp}}{k(x,-)}$ である。
$f_{{\cl{H_0}}^\perp}\in \cl{H_0}^\perp$ と $k(x,-)\in \cl{H_0}$ から、
$\inner{f_{{\cl{H_0}}^\perp}}{k(x,-)} = 0$
である。つまり $f_{{\cl{H_0}}^\perp}(x) = 0$ である。
このことから、$f_{{\cl{H_0}}^\perp} = 0$ が言える。
</p>
</div>
</div>
<p>
よって、$f = f_{\cl{H_0}} \in \cl{H_0}$ が言える。
つまり、$H \subseteq \cl{H_0}$ が成り立つ。
</p>
</div>
</div>
<p>
以上から、$H = \cl{H_0}$ が成り立つ。
</p>
</div>
</div>
<div class="prf">
<span class="title">(3) 直交分解を用いた証明2</span>
<div class="body">
<p>${\cl{H_0}}^\perp = \set{0}$ である。</p>
<div class="prf no-title">
<div class="body">
<p>
${\cl{H_0}}^\perp = \setsep{g\in H}{\inner{g}{h} = 0\ (\forall h \in \cl{H_0})}$
と定義されることに注意する。
${\cl{H_0}}^\perp \supseteq \set{0}$ は明らかである。
${\cl{H_0}}^\perp \subseteq \set{0}$ を示す。
</p>
<div class="prf no-title">
<div class="body">
<p>
$g\in {\cl{H_0}}^\perp$ を任意に取る。
再生性から $g = 0$ である。
</p>
<div class="prf no-title">
<div class="body">
<p>
$x\in X$ を任意に取る。
再生性から、
$g(x) = \inner{g}{k(x,-)}$ である。
$g\in \cl{H_0}^\perp$ と $k(x,-)\in \cl{H_0}$ から、
$\inner{g}{k(x,-)} = 0$
である。つまり $g(x) = 0$ である。
このことから、$g = 0$ が言える。
</p>
</div>
</div>
<p>よって、${\cl{H_0}}^\perp \subseteq \set{0}$ が成り立つ。</p>
</div>
</div>
<p>以上から、${\cl{H_0}}^\perp = \set{0}$ である。</p>
</div>
</div>
<p>直交分解をすることで、$H = \cl{H_0} \oplus {\cl{H_0}}^\perp = \cl{H_0}$ が得られる。</p>
</div>
</div>
<p>
(1)は射影定理が好きな人向けの証明である。
(2)は(1)を直交分解で書き直したものである。
(2)は表現定理(Representer Theorem)の証明にも現れる証明方法である。
(3)は再生性によって $\cl{H_0}$ の直交補空間が潰れていること（${\cl{H_0}}^\perp = \set{0}$）に着目した証明である。
見方が少し違うだけで、やっていることはどれもほとんど同じである。
</p>
<h1>余談</h1>
<h2>定理3の一般化</h2>
<p>定理3は一般のヒルベルト空間の定理として一般化できる。</p>
<div class="thm">
<span class="title">定理6: ヒルベルト空間での稠密性の必要十分条件</span>
<div class="body">
<p>
$H$ をヒルベルト空間とし、$S \subseteq H$ を部分集合とする。
$S^\perp = \setsep{x\in H }{x \perp S}$
とする。
このとき、
\begin{equation*}
H = \cl{\operatorname{span} S} \iff S^\perp = \set{0}
\end{equation*}
が成り立つ。
</p>
</div>
</div>
<p>右向きの矢印の証明は易しい。左向きの矢印は定理3と同様に射影定理（直交分解）で証明できる。</p>
<p>
$S= \setsep{k(x,-)}{x\in X}$ とすることで、この定理6から定理3が証明できる(再生性から $S^\perp = \set{0}$ である）。
（<a href="#ref3">[3]</a> でこの定理6を偶然知って定理3が証明できたという背景がある。）
</p>
<h2>表現定理 (Representer Theorem)</h2>
<p>
定理3の2つ目の証明の方法が表現定理にも現れるという話をした。そこで、少し表現定理に触れる。
再生核ヒルベルト空間は統計や機械学習の分野で応用されていて、例えばリッジ回帰や SVM や PCA などに応用されている。
ここではリッジ回帰を例として表現定理を取り上げる。
</p>
<p>
$X$ を集合とし、$H$ を「$k\colon X^2 \to \R$ を再生核とする再生核ヒルベルト空間」とする。
$\lambda >0$ としたとき、
\(((x_i, y_i)\in X\times \R)_{i=1}^n\)
を学習データとするカーネルリッジ回帰の最適化問題は次のように書ける。
\begin{equation*}
\min_{f\in H} \sum_{i=1}^n (y_i - f(x_i))^2 + \lambda \norm{f}^2
\end{equation*}
$M = \span\setsep{k(x_i,-)}{i\in\set{1,\ldots n}}$ とする。
表現定理の主張は、「上記の最適化問題に最適解が存在するなら \(M\) に最適解が含まれている（$f\in H$ という制約を \(f\in M\) にしてもよい）」というものである。
上記の最適化問題は無限次元かもしれない空間 $H$ 上の最適化問題である。表現定理によって $n$ 次元の空間 \(M\) 上での最適化問題を解けば良いことになる。
</p>
<p>カーネルリッジ回帰の場合の表現定理を証明する。</p>
<div class="prf">
<span class="title">カーネルリッジ回帰の場合の表現定理の証明</span>
<div class="body">
<p>
$f\in H$ を 任意に取る。
$H = M \oplus M^\perp$ から、
$f = f_M + f_{M^\perp}\ (f_M\in M, f_{M^\perp}\in M^\perp)$
と直交分解できる（\(M\)は有限次元部分空間なので閉部分空間であることに注意）。
ここで、$f_{M^\perp}(x_i) = 0$ が言える。
</p>
<div class="prf no-title">
<div class="body">
<p>
再生性から、$f_{M^\perp}(x_i) = \inner{f_{M^\perp}}{k(x_i, -)}$ である。
$f_{M^\perp}\in M^\perp$ と \(k(x_i,-)\in M\) から、
$\inner{f_{M^\perp}}{k(x_i,-)} = 0$
である。つまり $f_{M^\perp}(x_i) = 0$ である。
</p>
</div>
</div>
<p>
（定理3の2つ目の証明のように $f_{M^\perp} = 0$ が言えるわけではないが、
定理3の2つ目の証明と同様の方法で $f_{M^\perp}(x_i) = 0$ が言える。）
また、
$\norm{f}^2 = \norm{f_M}^2 + \norm{f_{M^\perp}}^2$
が成り立つ。
よって、最適化問題の目的関数 $L\colon H\to \R$
\begin{equation}
L(f) = \sum_{i=1}^n (y_i - f(x_i))^2 + \lambda \norm{f}^2
\end{equation}
について、
$L(f_M) \leq L(f)$
が成り立つ。
貪欲法のノリでいうと、$f$ を \(f_M\) に変えても損をしないということである。
以上から、最適解が存在したら \(M\) の中に最適解が含まれていることがわかる。
</p>
</div>
</div>
<p>
定理3の2つ目の証明が表現定理の証明と似ていたので、ここで表現定理を紹介した。
</p>
<p>
なお、実際の表現定理では、SVMやPCAの最適化問題などいろいろな最適化問題に使えるように一般化されている。
</p>
<h1>参考文献</h1>
<ul>
<li id="ref1">[1] 福水 健次. カーネル法入門―正定値カーネルによるデータ解析―. 朝倉書店, 2010, (シリーズ 多変量データの統計科学, 7).</li>
<li id="ref2">[2] 山田 功. 工学のための関数解析. 数理工学社, 2009, (工学のための数学, EKM-6).</li>
<li id="ref3">[3] 金森 敬文. 統計的学習理論. 講談社, 2015, (機械学習プロフェッショナルシリーズ).</li>
</ul>
