第47日：位置順適応型前向ネットワーク（FFN）、SwiGLUとブロックの多層積層

1. FFN(x) = act(x W1 + b1) W2 + b2。x: (T, 64)、W1: (64, 256)、b1: (256)、x W1 + b1: (T, 256)、W2: (256, 64)、b2: (64)、出力: (T, 64)。原論文の Transformer は ReLU、GPT-2 と nanoGPT は GELU を使う。

2. 位置ごととは、FFN が各トークンベクトル x_t に、すべての位置で同じ重みを使って個別に適用されることを意味する。出力の第 t 行は入力の第 t 行だけに依存するので、T 行すべてを 1 回のバッチ行列積で計算できる。トークン間の通信は加えない。それは注意機構が担う。

3. W1: 64 * 256 = 16,384。W2: 256 * 64 = 16,384。バイアスなしの合計: 32,768。これは d_ff = 4 * d_model のときの 2 * d_model * d_ff である。

4. b1 が 256、b2 が 64 を加えるので、合計は 32,768 + 320 = 33,088 パラメータ。

5. d_model x d_ff' の行列 3 つで 3 * 64 * d_ff'。これを 2 * 64 * 256 と等しくすると d_ff' = (2/3) * 256 ≈ 170.7。171 に丸めると 3 * 64 * 171 = 32,832 パラメータ（LLaMA 型 SwiGLU と同じくバイアスなし）で、32,768 との差は 0.2% 以内。実際にはハードウェアに都合のよい倍数に切り上げることが多く、数が少しずれる。

よくある誤り：W1 だけを数える。W1 のバイアスを 64 個とする。SwiGLU でも d_ff = 256 のままとして 49,152 パラメータにしてしまう。

1. x = [1, 2] で z = x W1：
z_1 = 1*1 + 2*0 = 1
z_2 = 1*0 + 2*2 = 4
z_3 = 1*(-1) + 2*1 = 1
z = [1, 4, 1]。

2. h = ReLU([1, 4, 1]) = [1, 4, 1]。すべて正なので、ここでは ReLU は何も変えない。

3. y = h W2：
y_1 = 1*1 + 4*0 + 1*(-1) = 0
y_2 = 1*0 + 4*1 + 1*1 = 5
y = [0, 5]。

4. 残差：x + y = [1, 2] + [0, 5] = [1, 7]。FFN の出力はストリームに加えられる更新であり、x を置き換えるものではない。

5. 変形 x = [2, -1]：
z = [2*1 + (-1)*0, 2*0 + (-1)*2, 2*(-1) + (-1)*1] = [2, -2, -3]。
h = ReLU(z) = [2, 0, 0]：ユニット 2 と 3 が止まる。
y = 2*[1, 0] + 0*[0, 1] + 0*[-1, 1] = [2, 0]。
有効なユニットに対応する W2 の行だけが寄与するので、FFN は正の活性化前値が選んだ行を引き出す表引きのように働く。

よくある誤り：x を W1 の列ではなく行と掛ける。ReLU を W2 の後に適用する。2*1 を足す前の 1*(-1) が負であることを忘れる。

1. 2 つの Pre-LN ブロックの順序：
x0（埋め込み）
ブロック 1：a = x0 + Attn1(LN1a(x0))；x1 = a + FFN1(LN1b(a))
ブロック 2：b = x1 + Attn2(LN2a(x1))；x2 = b + FFN2(LN2b(b))
GPT 型のモデルでは x2 の後に最終 LayerNorm と LM ヘッドが続く。

2. 残差ストリーム上のすべての点の形状は (B, T, d_model) = (2, 4, 64)：x0、LN1a(x0)、Attn1 の出力、a、LN1b(a)、FFN1 の出力、x1、ブロック 2 も同様。dtype も変わらない（例えば float32 が入れば float32 が出る）。

3. 残差加算 x + Sublayer(x) には同一の形状が必要なので、各サブレイヤーは (B, T, d_model) を (B, T, d_model) に写さなければならない。すべてのブロックが同じインターフェースを持つため、アダプタ射影なしにブロックを積み重ね、取り除き、繰り返すことができ、1 つの初期化方式（例えば nanoGPT の出力射影を 1/sqrt(2L) で縮める初期化）がすべての層に当てはまる。深さはインターフェースを変えるのではなく、同じストリームに更新を重ねることで表現力を増す。

4. ヘッド 4 つでは head_dim = 64/4 = 16：
ヘッドごとの Q, K, V：(B, n_heads, T, head_dim) = (2, 4, 4, 16)
スコア Q K^T / sqrt(16)：(2, 4, 4, 4)、ヘッドごとに T x T 行列 1 つ
ヘッド結合後の注意出力：(2, 4, 64)
FFN 隠れ層：(2, 4, 256)、(2, 4, 64) に射影し戻される。
形状が (2, 4, 64) から外れるのはここだけで、どれも残差加算の前に戻る。

よくある誤り：Block2(Block1(x)) ではなく Block2(x) と書く。スコアを (2, 4, 64) とする。Pre-LN と呼びながら LayerNorm を残差加算の後に置く。

1. 注意機構：4 * 768^2 = 4 * 589,824 = 2,359,296 パラメータ。

2. FFN：2 * 768 * 3072 = 4,718,592 パラメータ。

3. ブロックの重み：2,359,296 + 4,718,592 = 7,077,888。FFN は 4,718,592 / 7,077,888 = 2/3（66.7%）、注意機構は 1/3（33.3%）で、2:1 の比になる。これは d_ff = 4 * d_model から来る：8 d^2 対 4 d^2。

4. バイアスと LayerNorm を含めると：
注意機構：2,359,296 + 4 * 768 = 2,362,368
FFN：4,718,592 + 3072 + 768 = 4,722,432
LayerNorm 2 つ：2 * (768 + 768) = 3,072
ブロック合計：7,087,872。

5. モデル全体：
12 ブロック：12 * 7,087,872 = 85,054,464
トークン埋め込み：50257 * 768 = 38,597,376
位置埋め込み：1024 * 768 = 786,432
最終 LayerNorm：1,536
合計：124,439,808。これが GPT-2 small の「124M」である。重み共有の LM ヘッドはトークン埋め込み行列を再利用するので、何も加えない。

6. 行列積はトークンあたり重み 1 つにつき約 2 FLOPs：2 * 7,077,888 = 14,155,776 FLOPs。注意スコア Q K^T と V による加重和は、T = 1024 でトークンあたり約 2 * 2 * T * d_model = 4 * 1024 * 768 = 3,145,728 FLOPs を加える（因果マスクを利用すればその約半分）。よって 1 ブロックの順伝播はトークンあたり約 17.3 MFLOPs。スコアの積を数えると FFN の FLOPs の割合（9,437,184、約 54.5%）はパラメータの 2/3 を下回り、その差は T とともに広がる。

よくある誤り：出力射影 O を忘れる。重み共有のモデルに別の LM ヘッドを加える。パラメータ数と FLOPs を同じ比とみなす。