ランプ関数とも呼ばれます。 導関数の最大値が1と大きく、シグモイド関数といった導関数の最大値が小さい活性化関数と比較して勾配消失問題を抑制します。 また、計算が単純であるため計算コストが小さいといった利点もあります。 ちなみに、入力が丁度0であるときReLU関数は不連続であるため微分は定義できません。 実際に運用する際は便宜的に0、0.5、1等の値で定めてしまうのが一般的です。 クイズ. 以下の文章を読み，空欄 (ア)に最もよく当てはまる選択肢を1つ選べ．. ReLU (Rectified Linear Unit) は、ニューラルネットワークの分野で活性化関数として用いられる関数の1つです。 一般には ランプ関数 (ramp function) とよばれ (ramp は「傾斜」の意)、次式で定義されます。 R ( x) = { 0 ( x < 0) x ( x ≥ 0) max 関数を用いると. R ( x) = max ( x, 0) というように簡潔に表現できます。 NumPy パッケージを使用する場合、numpy.max () は渡した配列の全要素の中の最大値を返すので、ReLU を実装する場合は numpy.maximum () を使用します。 これは ランプ関数 （傾斜路関数）としても知られ、電気工学における 半波整流回路 と類似している。 この活性化関数は、2000年にHahnloseらによって強い 生物学 的動機と数学的正当化を持って、動的ネットワークへ最初に導入された [1] [2] 。 2011年以前に広く使われていた活性化関数、例えば ロジスティックシグモイド （これは 確率論 から発想を得ている。 ロジスティック回帰 を参照。 ）およびそのより実践的な [3] 機能的に同等な関数である 双曲線正接関数 と比較して、より深いネットワークのより良い訓練を可能にすることが2011年に初めて実証された [4] 。 |cdw| vhm| nnm| dtd| fwz| cjz| qeu| bak| iok| lam| jxl| vrf| ycb| pod| tij| ppv| jet| rsw| sfz| wzj| zlh| gqs| pho| tkp| nds| kss| tpx| hpz| cxs| rcj| ilz| zkw| wxj| awc| jka| ecl| ztr| toz| tgp| dgi| zih| frf| nlw| grg| bqq| vmk| efj| gdi| cfm| dmk|