|
===================================== 〔語彙分解〕的な部分一致の検索結果は以下の通りです。 ・ 確 ： [たしか] 1. (adj-na,adv,exp,n) certain 2. sure 3. definite 4. if I'm not mistaken 5. if I remember correctly ・ 確率 ： [かくりつ] 【名詞】 1. probability ・ 的 ： [まと, てき] 【名詞】 1. mark 2. target ・ 勾 ： [こう] (n) being bent ・ 勾配 ： [こうばい] 【名詞】 1. slope 2. incline 3. gradient 4. grade 5. pitch ・ 配 ： [はい] 1. (n,vs) disposition 2. distribution 3. arrangement ・ 降下 ： [こうか] 1. (n,vs) fall 2. descent 3. (plane) landing 4. (atmos.) depression ・ 下 ： [した, もと] (adv) under (esp. influence or guidance) ・ 法 ： [ほう] 1. (n,n-suf) Act (law: the X Act)
確率的勾配降下法（かくりつてきこうばいこうかほう、）とは、連続最適化問題に対する勾配法の乱択アルゴリズム。目的関数が、微分可能な和の形である事が必要。バッチ学習である最急降下法をオンライン学習に改良した物。 == 背景 == 下記の和の形の目的関数を最小化する問題を扱う。 : パラメータ はQ(w) を最小化するように推定する。典型的には、 は i 番目の訓練データ。 古典的な統計学において、和の最小化問題は、最小二乗問題や最尤推定問題などにあらわれる。一般的なケースでは、和を最小化する推定量はM推定量と呼ぶ。しかしながら、統計学において、Thomas Ferguson の例などで示されるように、いくつかの最尤推定の問題において、最小解ではなく局所解しか得られないと言う事は、制限が厳しすぎると長い間認識され続けてきた。それゆえ、現代の統計理論家は最尤関数の停留点である事を考慮する事が多くなった。 和の最小化問題は経験損失最小化の問題も引き起こす。 の値が i 番目の訓練データであるならば、Q(w) が経験損失である。 上記の関数 Q を最小化する際、標準的な最急降下法（バッチ学習）では、下記の反復を繰り返す。 : はステップサイズと呼ばれる。機械学習においては学習率とも呼ばれる。 確率分布がパラメータが一つの指数分布族などで、勾配の総和の計算が、小さな計算量で出来てしまう事もあるが、一つ一つの勾配を計算して総和を取らないといけない事も多い。そのような場合、和の全体ではなく、和の一部分だけを計算する事で、1回のイテレーションの計算量を小さくする事が出来る。これは大規模な機械学習の問題で効果的である。 抄文引用元・出典: フリー百科事典『 ウィキペディア（Wikipedia）』 ■ウィキペディアで「確率的勾配降下法」の詳細全文を読む スポンサード リンク
|