llmops-operations

take566's avatarfrom take566

LLMアプリケーションの設計・運用・評価・最適化。プロンプト管理、RAG構築、ファインチューニング、評価パイプライン、コスト最適化、本番運用。「LLM」「プロンプト」「RAG」「ファインチューニング」「AI運用」「評価」に関する質問で使用。

⭐0stars🔀0forks📁View on GitHub🕐Updated Jan 2, 2026
[Evaluation and Benchmarks]

When & Why to Use This Skill

This Claude skill provides a comprehensive LLMOps framework designed for the end-to-end lifecycle management of LLM applications. It streamlines prompt engineering, RAG (Retrieval-Augmented Generation) architecture, and fine-tuning processes while emphasizing rigorous evaluation pipelines and cost optimization. By implementing these standardized workflows, developers can transition AI prototypes into reliable, production-grade systems with built-in guardrails and performance monitoring.

Use Cases

  • RAG System Optimization: Designing and deploying efficient Retrieval-Augmented Generation workflows with vector database integration and context management.
  • Automated Evaluation Pipelines: Establishing systematic benchmarking to test prompt iterations and model updates against specific datasets for quality assurance.
  • Production Cost Management: Monitoring token consumption and implementing cost-effective scaling strategies for high-volume LLM deployments.
  • AI Safety and Guardrails: Implementing input/output validation layers to ensure model responses adhere to safety guidelines and operational constraints.
namellmops-operations
descriptionLLMアプリケーションの設計・運用・評価・最適化。プロンプト管理、RAG構築、ファインチューニング、評価パイプライン、コスト最適化、本番運用。「LLM」「プロンプト」「RAG」「ファインチューニング」「AI運用」「評価」に関する質問で使用。

LLMOps 設計・運用

クイックスタート

LLMアプリケーション基本構成

from anthropic import Anthropic

client = Anthropic()

def chat(messages: list[dict], system: str = None) -> str:
    response = client.messages.create(
        model="claude-sonnet-4-20250514",
        max_tokens=4096,
        system=system or "You are a helpful assistant.",
        messages=messages
    )
    return response.content[0].text

RAG基本パターン

from anthropic import Anthropic
import chromadb

# ベクトルDB初期化
chroma = chromadb.Client()
collection = chroma.get_or_create_collection("docs")

def rag_query(query: str, k: int = 5) -> str:
    # 関連ドキュメント検索
    results = collection.query(query_texts=[query], n_results=k)
    context = "\n\n".join(results["documents"][0])
    
    # LLMに回答生成
    response = client.messages.create(
        model="claude-sonnet-4-20250514",
        max_tokens=4096,
        system="以下のコンテキストに基づいて質問に回答してください。",
        messages=[
            {"role": "user", "content": f"コンテキスト:\n{context}\n\n質問: {query}"}
        ]
    )
    return response.content[0].text

LLMOps原則

  1. 評価駆動: デプロイ前に必ず評価
  2. プロンプトバージョン管理: プロンプトをコードとして管理
  3. コスト監視: トークン使用量を常に監視
  4. フォールバック設計: モデル障害時の代替経路
  5. ガードレール: 入出力のバリデーション

詳細ガイド

ユーティリティスクリプト

# プロンプト評価実行
python scripts/evaluate_prompts.py prompts/ test_cases.jsonl

# トークンコスト計算
python scripts/estimate_cost.py --model claude-sonnet-4-20250514 --input-file data.jsonl

# RAGインデックス構築
python scripts/build_index.py --docs ./documents --output ./index

ワークフロー: LLMアプリ構築

進捗チェックリスト:
- [ ] 1. ユースケース定義・要件整理
- [ ] 2. プロンプト設計・プロトタイピング
- [ ] 3. 評価データセット作成
- [ ] 4. 評価パイプライン構築
- [ ] 5. RAG/ツール統合（必要な場合）
- [ ] 6. ガードレール実装
- [ ] 7. 本番環境デプロイ
- [ ] 8. モニタリング設定