はじめに
前回までの記事
指数関数とは
対数関数とは
対数の便利さ
機械学習における対数
関数の最大値、最小値を探す場合
指数関数の微分
対数関数の微分
サンプルコード

はじめに

前回の投稿から間が空いてしまいましたが、また下記の書籍を読みながら、機械学習に必要な数学の基礎について勉強を再開しました。

Pythonで動かして学ぶ！あたらしい機械学習の教科書

作者: 伊藤真
出版社/メーカー: 翔泳社
発売日: 2018/01/24
メディア: 単行本（ソフトカバー）
この商品を含むブログ (3件) を見る

今回の記事では、指数関数・対数関数について勉強した際にメモしたことを書いていきます。

前回までの記事

前回までに書いた、「ベクトルと微分編」「行列編」は下記になりますので、合わせてどうぞ。

www.eureka-moments-blog.com

指数関数とは

指数関数は、 $y=a^ x$ の形で定義される関数である。これは、「aを底とする指数関数」と言われる。また、この式をグラフで描くと下記のようになる。

f:id:sy4310:20190213210543p:plain

a > 1の時は単調増加のグラフになり、0 < a < 1のときは単調減少のグラフになる。出力は常に0よりも上になるので、指数関数は、負の数でも正の数でも、全てを正の数に移す関数と言える。

対数関数とは

対数関数は、指数関数の入力と出力を逆にしたもの、つまり、指数関数の逆関数である。 $x=a^ y$ という数式を考え、これをy=の形に変形すると $y=\log_{a} x$ となり、グラフで描くと下記のようになる。

f:id:sy4310:20190213223142p:plain

これを見ると、 $y=a^ x$ と $y=\log_{a} x$ のグラフが $y=x$ の線で対称になっていることが分かる。また、xが大きくなればなるほどグラフは増加するが、その傾きはどんどんなだらかになる。

対数の便利さ

aが底の対数は、大きすぎる数や小さすぎる数を扱いやすい大きさの数にしてくれる。例えば、 $100000000 = 10^ 8$ をa=10の対数で表せば、 $\log_{10} 10^ 8 = 8$ となる。
底を明記せずに $\log x$ と書けば、底に $e$ を使ったことになる。 $e$ は、 $e=2.718\cdots$ の無理数で、自然対数の底、または、ネイピア数と呼ばれる。

機械学習における対数

機械学習では、非常に大きな数や小さな数を扱うが、プログラムでこのような数を扱うとオーバーフローを起こしてします場合がある。そのような数は、対数をとることで、オーバーフローを防ぐことができる。また、対数は、掛け算を足し算に変換することができる。関数 $f(x)$ を考えた場合、下記の公式が成り立つ。

$\log\prod_{n=1}^ N f(n) = \sum_{n=1} ^N \log f(n)$

特に確率の場合、尤度という掛け算で表された確率は、対数をとった「対数尤度」で考えるのが常套手段となっている。

関数 $f(x)$ の最大値、最小値を探す場合

ある関数 $f(x)$ があったとして、その $f(x)$ を最小にする $x^*$ を求めるとする。この場合、対数をとった $\log f(x)$ も、同じ $x$ で最小になるが、対数は単調増加関数であるので、最小値は変わっても、最小値をとる値は変わらない。このことをグラフで表すと下記のようになる。

f:id:sy4310:20190215234907p:plain

このグラフにおける $f(x)$ は、 $f(x) = (x-1)^ 2 + 1$ であり、 $x=1$ のときに最小値をとる。また、 $\log f(x) = log ((x-1)^ 2 + 1)$ も $x=1$ のときに最小値をとる。この特徴を数式で表すと下記のようになる。

$argmin_x f(x) = argmin_x\log f(x)$

この式における $argmin_x f(x)$ とは、 $f(x)$ が最小値をとるxという意味であり、このグラフの場合は $argmin_x f(x) = 1$ となる。この性質により、 $f(x)$ の代わりに、 $\log f(x)$ を最小にするような $x^*$ を求めるというテクニックがよく使われる。

指数関数の微分

指数関数 $y = a^ x$ のxに関する微分は下記の式のようになる。

$y' = (a^ x)' = a^ x \log a$

この式を見ると分かるように、微分すると、元の式である $y = a^ x$ に $\log a$ が掛け算された形となる。これにより、微分する前と後での違いを可視化すると、下記のグラフのようになる。
まず、a=2とすると、 $\log a$ の値は0.69となるので、微分後のグラフの方が微分前よりも下にくるようになる。
f:id:sy4310:20190216155958p:plain 次に、a=3とすると、 $\log a$ の値は1.09となり、a=2のときよりも値が大きくなる。そのため、下記のように微分後のグラフが微分前よりも上にくるようになる。 f:id:sy4310:20190216155508p:plain
ここで特別なのは、a=e(ネイピア数)のときである。 $\log e = 1$ となるので、微分した式は $y'(x) = (e^ x)' = e^ x$ となる。つまり、a=eのときは、下記グラフのように微分前と後で関数の形は変わらないということになる。
f:id:sy4310:20190216155900p:plain
これは、微分の計算をするときにはとても便利な性質である。