AI: オンプレミス モデル展開

ollama run llama3

curl -fsSL https://ollama.com/install.sh | sh

sudo systemctl start ollama

# Llama 3 8B モデルをダウンロード（約 4.7 GB）
ollama pull llama3

# Qwen2 7B をダウンロード
ollama pull qwen2

# Mistral 7B をダウンロード
ollama pull mistral

# Llama 3 で対話モードを開始
ollama run llama3

# >>> ニューラルネットワークを 1 段落で説明してください。
# ニューラルネットワークは、人間の脳内の生物学的ニューロンの働きを
# 参考にした計算モデルです。相互接続されたノード（ニューロン）の層からなり、
# 情報を処理します…

# /bye と入力して終了
# >>> /bye

# ダウンロード済みのすべてのモデルを一覧表示
ollama list

# 出力例:
# NAME            ID              SIZE    MODIFIED
# llama3:latest   365c0bd3c000    4.7 GB  2 時間前
# mistral:latest  2b3e8435e228    4.1 GB  5 日前
# qwen2:latest    e3d7e5e5e5e5    4.4 GB  1 日前

pip install ollama

import ollama

# ローカルの Llama 3 と簡単なチャット
response = ollama.chat(
    model="llama3",
    messages=[
        {"role": "user", "content": "量子コンピューティングを 1 文で説明してください。"},
    ],
)

print(response["message"]["content"])

import time
import ollama
from openai import OpenAI

# ローカルモデルのレイテンシ
start = time.time()
local_response = ollama.chat(
    model="llama3",
    messages=[{"role": "user", "content": "機械学習とは何ですか？"}],
)
local_time = time.time() - start

# クラウド API のレイテンシ
client = OpenAI()
start = time.time()
cloud_response = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[{"role": "user", "content": "機械学習とは何ですか？"}],
)
cloud_time = time.time() - start

print(f"ローカルモデル: {local_time:.2f}秒")
print(f"クラウド API:   {cloud_time:.2f}秒")
print(f"ローカル出力: {local_response['message']['content'][:100]}")
print(f"クラウド出力: {cloud_response.choices[0].message.content[:100]}")

import requests
import json

# Ollama REST API を直接呼び出す
url = "http://localhost:11434/api/chat"
payload = {
    "model": "llama3",
    "messages": [{"role": "user", "content": "プログラミングについて俳句を書いてください。"}],
    "stream": False,
}

response = requests.post(url, json=payload)
result = response.json()
print(result["message"]["content"])

import ollama
from openai import OpenAI

def local_translate(text: str, source: str = "English", target: str = "Chinese") -> str:
    prompt = (
        f"あなたはプロの {source}-{target} 翻訳者です。"
        f"以下の {source} テキストを {target} に翻訳してください。"
        f"翻訳のみを出力し、説明は不要です。\n\n{text}"
    )
    response = ollama.chat(
        model="llama3",
        messages=[{"role": "user", "content": prompt}],
    )
    return response["message"]["content"]

def cloud_translate(text: str, source: str = "English", target: str = "Chinese") -> str:
    client = OpenAI()
    prompt = (
        f"あなたはプロの {source}-{target} 翻訳者です。"
        f"以下の {source} テキストを {target} に翻訳してください。"
        f"翻訳のみを出力し、説明は不要です。\n\n{text}"
    )
    response = client.chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": prompt}],
    )
    return response.choices[0].message.content

test_sentences = [
    "The patient presented with persistent cough and mild fever for three days.",
    "Artificial intelligence is transforming healthcare diagnostics.",
    "The stock market rallied after the central bank announced rate cuts.",
]

print("=" * 60)
print("ローカル AI 翻訳 vs クラウド API 翻訳")
print("=" * 60)

for i, sentence in enumerate(test_sentences, 1):
    local_result = local_translate(sentence)
    cloud_result = cloud_translate(sentence)
    print(f"\n[{i}] EN: {sentence}")
    print(f"    ローカル:  {local_result}")
    print(f"    クラウド:  {cloud_result}")
    print(f"    {'--- 一致 ---' if local_result.strip() == cloud_result.strip() else '--- 異なる ---'}")

# ステップ 1: Ollama をインストールして起動
ollama serve

# ステップ 2: モデルをダウンロード（別のターミナルで）
ollama pull llama3

# ステップ 3: Python 依存関係をインストール
pip install ollama openai

# ステップ 4: 翻訳ツールを実行
python local_translator.py

============================================================
ローカル AI 翻訳 vs クラウド API 翻訳
============================================================

[1] EN: The patient presented with persistent cough and mild fever for three days.
    ローカル:  患者は 3 日間続く持続的な咳と軽い発熱を呈した。
    クラウド:  患者は持続的な咳と軽い発熱を呈している。
    --- 異なる ---

[2] EN: Artificial intelligence is transforming healthcare diagnostics.
    ローカル:  AI は医療診断を変革している。
    クラウド:  AI は医療診断分野を革命している。
    --- 異なる ---

# ステップ 1: https://ollama.com から Ollama をインストール

# ステップ 2: モデルをダウンロード
ollama pull llama3

# ステップ 3: チャットを開始
ollama run llama3

# >>> 火星について面白い事実を 3 つ教えてください。

# ステップ 4: インストール済みモデルを一覧表示
ollama list

import ollama

def interactive_translator():
    print("ローカル AI 翻訳ツール（'quit' で終了）")
    print("-" * 40)
    while True:
        text = input("EN> ")
        if text.lower() == "quit":
            break
        response = ollama.chat(
            model="llama3",
            messages=[
                {
                    "role": "user",
                    "content": f"中国語に翻訳してください。翻訳のみを出力してください：\n\n{text}",
                },
            ],
        )
        print(f"CN> {response['message']['content']}\n")

interactive_translator()

import ollama
from openai import OpenAI
import time

PROMPT = """以下の顧客レビューを分析し、抽出してください：
1. 感情（ポジティブ／ネガティブ／中立）
2. 主な不満または称賛
3. 会社への提案アクション

レビュー: "ヘッドホンの音は素晴らしいが、Bluetooth が 10 分ごとに切れる。常に再起動しなければならない。音質は最高だが通話には使えない。"
"""

def compare_outputs():
    # ローカルモデル
    start = time.time()
    local = ollama.chat(
        model="llama3",
        messages=[{"role": "user", "content": PROMPT}],
    )
    local_time = time.time() - start
    local_text = local["message"]["content"]

    # クラウド API
    client = OpenAI()
    start = time.time()
    cloud = client.chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": PROMPT}],
    )
    cloud_time = time.time() - start
    cloud_text = cloud.choices[0].message.content

    print("PROMPT:", PROMPT[:80], "...")
    print("=" * 60)
    print(f"[ローカル - {local_time:.1f}秒]\n{local_text}")
    print("=" * 60)
    print(f"[クラウド - {cloud_time:.1f}秒]\n{cloud_text}")
    print("=" * 60)

    # TODO: 以下を比較する簡単な分析を書く：
    # - 感情抽出の正確性
    # - 要点の完全性
    # - 提案の実行性
    # - 応答時間の差

compare_outputs()