|
【名詞】 1. regularisation (physics) 2. regularization =========================== ・ 正 : [ただし, せい, しょう] 【名詞】 1. (logical) true 2. regular ・ 正則 : [せいそく] 1. (adj-na,n,adj-no) correct 2. proper 3. formal 4. regular 5. systematic 6. normal ・ 正則化 : [せいそくか] 【名詞】 1. regularisation (physics) 2. regularization ・ 化 : [か] (suf) action of making something
正則化(せいそくか、)とは、数学・統計学において、特に機械学習と逆問題でよく使われるが、機械学習で過学習を防いだり、逆問題での不良設定問題を解くために、追加の項を導入する手法である。モデルの複雑さに罰則を科すために導入され、なめらかでない事に罰則をかけたり、パラメータのノルムの大きさに罰則をかけたりする。 正則化の理論的正当化はオッカムの剃刀にある。ベイジアンの観点では、多くの正則化の手法は、モデルのパラメータの事前情報にあたる。 == 統計および機械学習における正則化 == 統計および機械学習において、正則化はモデルのパラメータの学習に使われ、特に過学習を防ぎ、汎化能力を高めるために使われる。 機械学習において最も一般的なのは L1 正則化 (p=1) と L2 正則化 (p=2) である。損失関数 の代わりに、 : を使用する。 はパラメータのベクトルで、 は L1 ノルム (p=1) や L2 ノルム (p=2) などである。 はハイパーパラメータで、正の定数で、大きくするほど正則化の効果が強くなるが、交差確認などで決める。 損失関数をパラメータで偏微分すると、 ; L2 正則化の場合 : ; L1 正則化の場合 : となり、これは、最急降下法や確率的勾配降下法を使用する場合は、L2 正則化はパラメータの大きさに比例した分だけ、L1 正則化は だけ 0 に近づける事を意味する。 この手法は様々なモデルで利用できる。線形回帰モデルに利用した場合は、L1 の場合は Lasso〔、L2 の場合はリッジ回帰〔と呼ぶ。ロジスティック回帰、ニューラルネットワーク、サポートベクターマシン、条件付き確率場 などでも使われる。ニューラルネットワークの世界では、L2 正則化は荷重減衰()とも呼ばれる。 抄文引用元・出典: フリー百科事典『 ウィキペディア(Wikipedia)』 ■ウィキペディアで「正則化」の詳細全文を読む
=========================== 「 正則化 」を含む部分一致用語の検索リンク( 2 件 ) 次元正則化 正則化 スポンサード リンク
|