study:math:start
差分
このページの2つのバージョン間の差分を表示します。
| 両方とも前のリビジョン前のリビジョン次のリビジョン | 前のリビジョン | ||
| study:math:start [2021/08/26 06:58] – [確率] yuuho | study:math:start [2025/02/26 02:54] (現在) – [交差判定] yuuho | ||
|---|---|---|---|
| 行 188: | 行 188: | ||
| === 二次元 === | === 二次元 === | ||
| + | |||
| + | **二点を通る直線について** | ||
| + | |||
| + | ${\bf l} = {\bf x}_1 \times {\bf x}_2$ | ||
| + | |||
| + | |||
| + | **交差判定について** | ||
| 直線は ${\bf l} = (a, | 直線は ${\bf l} = (a, | ||
| 行 227: | 行 234: | ||
| - | ==== エントロピー関係 ==== | + | ==== Binary Cross Entropy ==== |
| + | |||
| + | 事象が二つの離散確率分布 $p$ と $q$ がある。 | ||
| + | |||
| + | 交差エントロピーの定義から | ||
| + | $$H(p,q) = E_p[-\log q] = \sum_{x\in \{0,1\}} \left( -p(x) \log q(x) \right) = -p(0) \log q(0) - p(1) \log q(1) $$ | ||
| + | |||
| + | 分布 $p$ のほうを正解とすると、\\ | ||
| + | 半端な値ではなく、二値のどちらかが正解となるので、\\ | ||
| + | $p(0)=0, p(1)=1$ となるか $p(0)=1, p(1)=0$ となる。\\ | ||
| + | したがって $H(p,q)$ は $-\log q(0)$ または $-\log q(1)$ となる。 | ||
| + | |||
| + | 分布 $q$ のほうはニューラルネットの出力値である。\\ | ||
| + | 分布の和が $1$ であることから $q(0) = 1-q(1)$ の関係にある。\\ | ||
| + | なので結局 $H(p,q)$ は $-\log (1- q(1))$ または $-\log q(1)$ になることとなる。 | ||
| + | |||
| + | ここで $p=0$ を $p(0)=1, p(1)=0$ のこととし、\\ | ||
| + | $p=1$ を $p(0)=0, p(1)=1$ のこととする。\\ | ||
| + | 同様に$q=0$ を $q(0)=1, q(1)=0$ のこととし、\\ | ||
| + | $q=1$ を $q(0)=0, q(1)=1$ のこととする。\\ | ||
| + | こうすると $H(p,q) = - (1-p) \log (1-q) - p \log q $ となり、\\ | ||
| + | ${\rm bce}(q,0) = -\log(1-q)$ 、 ${\rm bce}(q,1) = -\log(q)$ と一致する。 | ||
| + | |||
| + | ==== Cross Entropy | ||
| + | 本来の交差エントロピーは離散確率変数のとき | ||
| + | $$ H(p,q) = -\sum_x p(x) \log q(x) $$ である。 | ||
| + | 結合エントロピーでも $H(p,q)$ という表記になるので注意(別物)。 | ||
| ===== 最適化 ===== | ===== 最適化 ===== | ||
| | optimal point | 最適点 (最適解となる点) | | | optimal point | 最適点 (最適解となる点) | | ||
study/math/start.1629961098.txt.gz · 最終更新: 2021/08/26 06:58 by yuuho