機械学習交差エントロピー誤差とそれを利用した微分を計算してみた
purin_it ITエンジニアとして経験・学習したこと
入力値を\(y=(y_1,y_2,\ldots,y_K)\)、正解値を\(t=(t_1,t_2,\ldots,t_K)\)とした場合、以 …
機械学習ソフトマックス関数とその微分を計算してみた
purin_it ITエンジニアとして経験・学習したこと
以下の式で表現される関数をソフトマックス関数といい、ディープラーニングの活性化関数の1つとして利用される。
\[
\begin{eqnarray}
f_i(x) = \d …
機械学習Kerasを用いたニューラルネットワークの処理速度を改善してみた
purin_it ITエンジニアとして経験・学習したこと
ニューラルネットワークの構造や活性化関数、損失(誤差)関数、最適化関数を変えることで、正答率や処理速度を向上させることができる。 …
機械学習ReLU関数とその微分をグラフ化してみた
purin_it ITエンジニアとして経験・学習したこと
以下の式で表現される関数をReLU関数といい、ディープラーニングの活性化関数の1つとして利用される。
\[
\begin{eqnarray}
f(x) = \left\{ …
機械学習ニューラルネットワークにKerasを利用してみた
purin_it ITエンジニアとして経験・学習したこと
これまでは、ニューラルネットワークを自前で作成していたが、TensorflowやKeras、PyTorchといった、深層学習のフレームワ …
機械学習ニューラルネットワークで行列の積を利用してみた
purin_it ITエンジニアとして経験・学習したこと
ニューラルネットワークのフォワードプロパゲーションやバックプロパゲーションで、行列の積を利用すると、計算をシンプルにできる。 今回 …
機械学習ニューラルネットワークで活性化関数にtanh関数を利用してみた
purin_it ITエンジニアとして経験・学習したこと
これまでは、ニューラルネットワークの活性化関数にシグモイド関数を利用してきたが、偏微分の計算ができれば、活性化関数にシグモイド関数以外も …
機械学習ニューラルネットワークのバックプロパゲーションを実装してみた
purin_it ITエンジニアとして経験・学習したこと
以下の記事で、バックプロパゲーション（最急降下法を用いて、ニューラルネットワークの誤差を効率的に逆伝播させる手法）により、重み\(\bo …
機械学習ニューラルネットワークの誤差関数の微分を計算してみた
purin_it ITエンジニアとして経験・学習したこと
以下の記事で、ニューラルネットワークのフォワードプロパゲーションによる出力値\(y\)を算出してきたが、その際、重み\(\boldsym …
機械学習ニューラルネットワークのフォワードプロパゲーションを実装してみた
purin_it ITエンジニアとして経験・学習したこと
ニューラルネットワークは、人間の脳の神経細胞（ニューロン）の仕組みをプログラム上で模したモデルで、機械学習の1手法であるディープラーニン …