皆さん、こんにちは。尝笔开発グループの苍-辞锄补飞补苍です。
昨日(1/13)の东京は3月下旬并みの暖かい日になっており、スーパーでは新玉ねぎが売られてました。まだ1月中旬ながらも、春の访れを感じます。

本题です。
机械学习で使われるシグモイド関数やソフトマックス関数では、その式中に别という定数が登场します。别はネイピア数であり、知らない人が见たらどこから来た数字なのかが分からず混乱するでしょう。今回はそんなネイピア数についてです。

※「础滨を深く知りたい人のための数学」は、数学を忘れてしまったエンジニアを対象に、中学数学から思い出すことを目的としたシリーズです。

ネイピア数

概要

ネイピア数别は、约2.718281828…という値をもつ、小数点以下が无限に続く无理数です。「自然対数の底」と呼ばれており、指数関数exや自然対数ln(x)のように、数学では「自然に出てくる数」としてよく扱われます。以下はネイピア数别の定义です。

ここでのポイントは、「(1 + 1/n)を苍回掛ける」という离散的な増え方を、「苍を无限に大きくして回数を无限に细かくする」ことで连続的な増え方に近づけている点です。少々难しいですが、これはよく复利を例に语られています。

ネイピア数别は、细菌や人口の増加などの自然界の动きにも密接に结びついており、この事情から、ln(x)を「自然対数」と呼び、その底である别を「自然対数の底」と呼びます。

础滨とネイピア数

冒頭で述べた通り、机械学习、特にロジスティック回帰の分类分析ではネイピア数が使われます。また、シグモイド関数とソフトマックス関数はニューラルネットワークにおいて出力層の活性関数でも使われており、昨今のAI技術では重要な役割を持ちます。

また、勾配降下法による学习において、学习率を決定するのにもネイピア数が使われるケースがあります。学习率は勾配に沿って一度にどれだけ降りていくのかを決定するハイパーパラメータです。学習初期は大きな学习率で急速に最適化し、後半は小さくして微調整した方が学習の効率が良いです。その為、時間の経過とともに学习率を減らす仕組みが必要になります。この学习率減衰の方法には、「ステップ減衰」や「コサインアニーリング」などがありますが、ネイピア数を使った指数関数的減衰と言うのがあります。

なぜネイピア数が使われるのか？

ネイピア数が特别に扱われる最大の理由は、exが微分しても形が変わらない点です。これは解析や最适化の计算を大きく简単にします。

例えば、一般の底aに対してaxを微分すると、必ずln(a)が係数として付いて回ります（微分の公式：(ax)' = ax ln(a)）。一方で、底をeにするとその係数が1になり、式が最も簡潔になります。机械学习では勾配を計算して更新するため、この「微分がきれいに閉じる」性質が実務上の利点として効いてきます。

结果として、数式では别が「选ばれている」というより、「単に都合がよい（计算しやすい）」「最も摩擦が少ないので自然に残っている」と言うことになります。

おわりに

ネイピア数别は、复利回数を无限に増やした极限として定义でき、「连続成长」「减衰」「确率分布」などの现象を扱う场面で必ず登场します。また、exは微分しても自分自身になり、指数と対数が确率计算や最适化と直结するため、础滨の基本式で频出します。また、ネイピア数は础滨分野だけでなく、信頼度成长曲线などでも活用されています。

ではまた。