study:start
差分
このページの2つのバージョン間の差分を表示します。
| 両方とも前のリビジョン前のリビジョン | |||
| study:start [2021/03/19 01:14] – [Transformer] yuuho | study:start [2021/03/19 01:22] (現在) – [Transformer] yuuho | ||
|---|---|---|---|
| 行 72: | 行 72: | ||
| ただし VisionTransformer はTransformer-Encoder のみのモデルであり，その最後に全てのパッチを合算するための全結合が入る． | ただし VisionTransformer はTransformer-Encoder のみのモデルであり，その最後に全てのパッチを合算するための全結合が入る． | ||
| そのため最後以外はパッチを完全に個別のものとして扱っているが，最終層により系列長は自由とはならない． | そのため最後以外はパッチを完全に個別のものとして扱っているが，最終層により系列長は自由とはならない． | ||
| + | |||
| + | **Source-Target Attention** | ||
| + | |||
| + | Decoder 部分はなかなかに特殊であり，画像関係ではあまり使われていない． | ||
| + | Image-GPT はこれを試しに使ってみたものである． | ||
| + | Decoder の Source-Target Attention 部分は | ||
| + | 系列の後ろに系列を逐次的に追加していく処理である． | ||
study/start.1616116467.txt.gz · 最終更新: 2021/03/19 01:14 by yuuho