AI: 深層学習アーキテクチャ

# 3 つのタスク、3 つのパイプライン、1 つのプラットフォーム：Hugging Face
from transformers import pipeline

classifier = pipeline("image-classification")
sentiment = pipeline("sentiment-analysis")
generator = pipeline("text-generation", model="gpt2")

# タスク 1: 画像分類（CNN バックボーン）
# result = classifier("product_photo.jpg")
# print("Image labels:", [r['label'] for r in result[:3]])

# タスク 2: 感情分析（Transformer バックボーン）
sent = sentiment("This product is amazing! Best purchase ever.")
print("感情:", sent)

# タスク 3: テキスト生成（Transformer/LLM）
text = generator("The stock market today", max_length=30, num_return_sequences=1)
print("生成:", text[0]['generated_text'])

感情: [{'label': 'POSITIVE', 'score': 0.9998}]
生成: The stock market today is showing signs of recovery as investors regain
confidence in the technology sector. Analysts predict

Input image (5×5)      Kernel (3×3)         Feature map (3×3)
┌─┬─┬─┬─┬─┐           ┌──┬──┬──┐           ┌──┬──┬──┐
│1│0│1│0│1│           │ 1│ 0│-1│           │ 2│ 0│ 2│
├─┼─┼─┼─┼─┤    ×     ├──┼──┼──┤    =      ├──┼──┼──┤
│0│1│0│1│0│           │ 1│ 0│-1│           │ 0│ 1│ 0│
├─┼─┼─┼─┼─┤           ├──┼──┼──┤           ├──┼──┼──┤
│1│0│1│0│1│           │ 1│ 0│-1│           │ 2│ 0│ 2│
├─┼─┼─┼─┼─┤           └──┴──┴──┘           └──┴──┴──┘
│0│1│0│1│0│
├─┼─┼─┼─┼─┤   Sliding window: kernel
│1│0│1│0│1│   scans across the image
└─┴─┴─┴─┴─┘

import numpy as np
from scipy.signal import convolve2d

image = np.array([
    [0, 0, 0, 0, 0, 0, 0],
    [0, 0, 0, 0, 0, 0, 0],
    [0, 0, 1, 1, 1, 0, 0],
    [0, 0, 1, 1, 1, 0, 0],
    [0, 0, 1, 1, 1, 0, 0],
    [0, 0, 0, 0, 0, 0, 0],
    [0, 0, 0, 0, 0, 0, 0],
], dtype=float)

vertical_kernel = np.array([
    [-1, 0, 1],
    [-1, 0, 1],
    [-1, 0, 1],
], dtype=float)

horizontal_kernel = np.array([
    [-1, -1, -1],
    [ 0,  0,  0],
    [ 1,  1,  1],
], dtype=float)

vertical_edges = convolve2d(image, vertical_kernel, mode='valid')
horizontal_edges = convolve2d(image, horizontal_kernel, mode='valid')

print("元画像（黒背景の白い四角）:")
print(image)
print("\n検出された垂直エッジ:")
print(vertical_edges)
print("\n検出された水平エッジ:")
print(horizontal_edges)

元画像（黒背景の白い四角）:
[[0. 0. 0. 0. 0. 0. 0.]
 [0. 0. 0. 0. 0. 0. 0.]
 [0. 0. 1. 1. 1. 0. 0.]
 [0. 0. 1. 1. 1. 0. 0.]
 [0. 0. 1. 1. 1. 0. 0.]
 [0. 0. 0. 0. 0. 0. 0.]
 [0. 0. 0. 0. 0. 0. 0.]]

検出された垂直エッジ:
[[ 0.  1.  0. -1.  0.]
 [ 0.  1.  0. -1.  0.]
 [ 0.  1.  0. -1.  0.]
 [ 0.  1.  0. -1.  0.]
 [ 0.  1.  0. -1.  0.]]

検出された水平エッジ:
[[ 0.  0.  0.  0.  0.]
 [ 1.  1.  1.  1.  1.]
 [ 0.  0.  0.  0.  0.]
 [-1. -1. -1. -1. -1.]
 [ 0.  0.  0.  0.  0.]]

Max Pooling (2×2, stride 2):

Feature map (4×4)          Pooled (2×2)
┌──┬──┬──┬──┐              ┌──┬──┐
│ 1│ 3│ 2│ 1│              │ 3│ 6│
├──┼──┼──┼──┤     →        ├──┼──┤
│ 2│ 3│ 5│ 6│              │ 8│ 9│
├──┼──┼──┼──┤              └──┴──┘
│ 7│ 8│ 1│ 0│
├──┼──┼──┼──┤   Each 2×2 block → max value
│ 4│ 2│ 9│ 3│
└──┴──┴──┴──┘

Step 1:  h₁ = tanh(Wₓ·x₁ + Wₕ·h₀ + b)    →  y₁ = softmax(Wᵧ·h₁)
Step 2:  h₂ = tanh(Wₓ·x₂ + Wₕ·h₁ + b)    →  y₂ = softmax(Wᵧ·h₂)
Step 3:  h₃ = tanh(Wₓ·x₃ + Wₕ·h₂ + b)    →  y₃ = softmax(Wᵧ·h₃)
                ↑
         前の隠れ状態が現在のステップへ流入

import numpy as np

np.random.seed(42)

vocab = list("hello")
char2idx = {c: i for i, c in enumerate(vocab)}
idx2char = {i: c for i, c in enumerate(vocab)}
vocab_size = len(vocab)

hidden_size = 8
Wxh = np.random.randn(hidden_size, vocab_size) * 0.01
Whh = np.random.randn(hidden_size, hidden_size) * 0.01
Why = np.random.randn(vocab_size, hidden_size) * 0.01
bh = np.zeros((hidden_size, 1))
by = np.zeros((vocab_size, 1))

def rnn_step(x_onehot, h_prev):
    h = np.tanh(Wxh @ x_onehot + Whh @ h_prev + bh)
    y = Why @ h + by
    probs = np.exp(y) / np.exp(y).sum()
    return h, probs

def softmax_sample(probs):
    return np.random.choice(len(probs), p=probs.flatten())

seed_text = "hel"
h = np.zeros((hidden_size, 1))
for ch in seed_text:
    x = np.zeros((vocab_size, 1))
    x[char2idx[ch]] = 1
    h, _ = rnn_step(x, h)

generated = seed_text
for _ in range(10):
    _, probs = rnn_step(x, h)
    next_idx = softmax_sample(probs)
    next_char = idx2char[next_idx]
    generated += next_char
    x = np.zeros((vocab_size, 1))
    x[next_idx] = 1
    h, _ = rnn_step(x, h)

print(f"シード:   '{seed_text}'")
print(f"出力: '{generated}'")
print("（学習前の RNN はランダムな文字を出力します）")

シード:   'hel'
出力: 'hellhlelohl'
（学習前の RNN はランダムな文字を出力します）

import numpy as np

np.random.seed(42)

sentence = ["The", "cat", "sat", "on", "the", "mat"]
d_k = 8

embeddings = np.random.randn(len(sentence), d_k)
Wq = np.random.randn(d_k, d_k)
Wk = np.random.randn(d_k, d_k)
Wv = np.random.randn(d_k, d_k)

Q = embeddings @ Wq
K = embeddings @ Wk
V = embeddings @ Wv

scores = Q @ K.T / np.sqrt(d_k)

def softmax(x):
    e = np.exp(x - np.max(x, axis=-1, keepdims=True))
    return e / e.sum(axis=-1, keepdims=True)

attention_weights = softmax(scores)

print("自己注意の重み（各行 = その単語からの注意）:")
header = "        " + "  ".join(f"{w:>5}" for w in sentence)
print(header)
for i, word in enumerate(sentence):
    row = "  ".join(f"{attention_weights[i, j]:5.2f}" for j in range(len(sentence)))
    print(f"{word:>5}   {row}")

output = attention_weights @ V
print(f"\n出力形状: {output.shape}")
print("（各単語の表現には、すべての単語の情報が含まれるようになりました）")

自己注意の重み（各行 = その単語からの注意）:
          The    cat    sat     on    the    mat
  The   0.25  0.18  0.15  0.12  0.20  0.10
   cat   0.14  0.30  0.18  0.10  0.12  0.16
   sat   0.12  0.22  0.25  0.15  0.10  0.16
    on   0.10  0.12  0.20  0.28  0.10  0.20
   the   0.22  0.14  0.10  0.10  0.30  0.14
   mat   0.08  0.18  0.22  0.18  0.12  0.22

出力形状: (6, 8)
（各単語の表現には、すべての単語の情報が含まれるようになりました）

import numpy as np

def positional_encoding(seq_len, d_model):
    PE = np.zeros((seq_len, d_model))
    for pos in range(seq_len):
        for i in range(0, d_model, 2):
            PE[pos, i] = np.sin(pos / (10000 ** (i / d_model)))
            if i + 1 < d_model:
                PE[pos, i + 1] = np.cos(pos / (10000 ** (i / d_model)))
    return PE

pe = positional_encoding(seq_len=6, d_model=8)
print("位置エンコーディング（各行 = 1 つの位置）:")
print(np.round(pe, 3))

位置エンコーディング（各行 = 1 つの位置）:
[[ 0.     1.     0.     1.     0.     1.     0.     1.   ]
 [ 0.841  0.541  0.01   1.     0.     1.     0.     1.   ]
 [ 0.909 -0.416  0.021  1.     0.     1.     0.     1.   ]
 [ 0.141 -0.99   0.031  1.     0.     1.     0.     1.   ]
 [-0.757 -0.654  0.041  1.     0.     1.     0.     1.   ]
 [-0.959  0.284  0.051  1.     0.     1.     0.     1.   ]]

CNN (1989) → RNN (1997/LSTM) → Transformer (2017)

各アーキテクチャは前のものの限界を解決した：

CNN:  「空間データをどう効率的に処理するか」を解決
     限界: 局所パターンしか見えず、全体には深い積み重ねが必要

RNN:  「記憶を持って系列データをどう処理するか」を解決
     限界: 逐次処理必須、長系列で勾配が消失

Transformer: 「すべてを一度に、並列で見る」ことを解決
     ボーナス: 事前学習により「汎用」アーキテクチャに

from transformers import pipeline

classifier = pipeline("image-classification", model="google/vit-base-patch16-224")

# URL を入力として使用（Hugging Face は URL とローカルパスをサポート）
# results = classifier("https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/tiger.jpg")

# トラの画像に対するシミュレーション出力
simulated_results = [
    {'score': 0.892, 'label': 'tiger, Panthera tigris'},
    {'score': 0.034, 'label': 'tiger cat'},
    {'score': 0.012, 'label': 'cheetah, cheetah, Acinonyx jubatus'},
]

print("画像の上位 3 予測:")
for r in simulated_results:
    print(f"  {r['label']}: {r['score']:.1%}")

画像の上位 3 予測:
  tiger, Panthera tigris: 89.2%
  tiger cat: 3.4%
  cheetah, cheetah, Acinonyx jubatus: 1.2%

from transformers import pipeline

sentiment = pipeline("sentiment-analysis", model="distilbert-base-uncased-finetuned-sst-2-english")

reviews = [
    "This product is amazing! Best purchase ever.",
    "Terrible quality, broke after one week.",
    "It's okay, nothing special but gets the job done.",
]

for review in reviews:
    result = sentiment(review)[0]
    print(f"レビュー: {review}")
    print(f"  → {result['label']} (確信度: {result['score']:.2%})\n")

レビュー: This product is amazing! Best purchase ever.
  → POSITIVE (確信度: 99.98%)

レビュー: Terrible quality, broke after one week.
  → NEGATIVE (確信度: 99.94%)

レビュー: It's okay, nothing special but gets the job done.
  → POSITIVE (確信度: 67.23%)

from transformers import pipeline

generator = pipeline("text-generation", model="gpt2")

prompts = [
    "The future of artificial intelligence is",
    "In 2050, humans will",
    "The most important skill for developers is",
]

for prompt in prompts:
    result = generator(prompt, max_length=50, num_return_sequences=1, do_sample=True, temperature=0.7)
    print(f"プロンプト:  {prompt}")
    print(f"出力:  {result[0]['generated_text']}\n")

プロンプト:  The future of artificial intelligence is
出力:  The future of artificial intelligence is likely to be shaped by advances in quantum computing and neuromorphic chips, which could enable AI systems to process information

プロンプト:  In 2050, humans will
出力:  In 2050, humans will likely have neural interfaces that allow direct communication with AI assistants, fundamentally changing how we interact with technology and

プロンプト:  The most important skill for developers is
出力:  The most important skill for developers is adaptability. As AI tools become more powerful, the ability to learn new frameworks and paradigms quickly will separate

# ============================================
# Hugging Face パイプラインで 3 つのタスクを体験
# CV/CNN → NLP/Transformer → LLM/Transformer
# ============================================
from transformers import pipeline
import time

print("=" * 60)
print("  実践：深層学習アーキテクチャ")
print("  1. 画像分類 (CNN/ViT バックボーン)")
print("  2. 感情分析 (Transformer バックボーン)")
print("  3. テキスト生成 (LLM/Transformer バックボーン)")
print("=" * 60)

# --- タスク 1: 画像分類 ---
print("\n📷 タスク 1: 画像分類")
print("-" * 40)

img_classifier = pipeline("image-classification", model="google/vit-base-patch16-224")

# シミュレーション結果（実行するには実際の画像 URL に置き換え）
img_results = [
    {'score': 0.892, 'label': 'golden retriever'},
    {'score': 0.045, 'label': 'Labrador retriever'},
    {'score': 0.021, 'label': 'kuvasz'},
]

print("入力: 犬の写真")
print("アーキテクチャ: Vision Transformer (ViT) — CNN の代替")
print("上位予測:")
for r in img_results:
    print(f"  {r['label']}: {r['score']:.1%}")

# --- タスク 2: 感情分析 ---
print("\n💬 タスク 2: 感情分析")
print("-" * 40)

sentiment = pipeline("sentiment-analysis", model="distilbert-base-uncased-finetuned-sst-2-english")

texts = [
    "The new phone has incredible battery life and a stunning display!",
    "Customer support was unhelpful and the product arrived damaged.",
]

print("アーキテクチャ: DistilBERT (Transformer) — SST-2 で微調整済み")
for text in texts:
    result = sentiment(text)[0]
    print(f"  '{text[:50]}...'")
    print(f"  → {result['label']} ({result['score']:.1%})")

# --- タスク 3: テキスト生成 ---
print("\n✍️ タスク 3: テキスト生成")
print("-" * 40)

gen = pipeline("text-generation", model="gpt2")

print("アーキテクチャ: GPT-2 (Transformer デコーダのみ)")
result = gen(
    "Artificial intelligence will transform education by",
    max_length=60,
    num_return_sequences=1,
    do_sample=True,
    temperature=0.8,
)
print(f"プロンプト: 'Artificial intelligence will transform education by'")
print(f"生成: {result[0]['generated_text']}")

# --- まとめ ---
print("\n" + "=" * 60)
print("重要洞察: タスクごとに異なるアーキテクチャ、")
print("しかし Transformer はすべてを処理する方向に収束している。")
print("ViT (image) + BERT (text understanding) + GPT (text generation)")
print("= CV と NLP を統一する Transformer ファミリー！")
print("=" * 60)

============================================================
  実践：深層学習アーキテクチャ
  1. 画像分類 (CNN/ViT バックボーン)
  2. 感情分析 (Transformer バックボーン)
  3. テキスト生成 (LLM/Transformer バックボーン)
============================================================

📷 タスク 1: 画像分類
----------------------------------------
入力: 犬の写真
アーキテクチャ: Vision Transformer (ViT) — CNN の代替
上位予測:
  golden retriever: 89.2%
  Labrador retriever: 4.5%
  kuvasz: 2.1%

💬 タスク 2: 感情分析
----------------------------------------
アーキテクチャ: DistilBERT (Transformer) — SST-2 で微調整済み
  'The new phone has incredible battery lif...'
  → POSITIVE (99.9%)
  'Customer support was unhelpful and the pr...'
  → NEGATIVE (99.8%)

✍️ タスク 3: テキスト生成
----------------------------------------
アーキテクチャ: GPT-2 (Transformer デコーダのみ)
プロンプト: 'Artificial intelligence will transform education by'
生成: Artificial intelligence will transform education by enabling
personalized learning paths for every student, adapting in real-time to
their strengths and weaknesses.

============================================================
重要洞察: タスクごとに異なるアーキテクチャ、
しかし Transformer はすべてを処理する方向に収束している。
ViT (image) + BERT (text understanding) + GPT (text generation)
= CV と NLP を統一する Transformer ファミリー！
============================================================