第7章: データ解析エージェントの実装

from scipy import stats
import numpy as np

def select_statistical_test(groups: list[np.ndarray]) -> dict:
    """データの性質に基づいて適切な統計検定を選択する"""
    n_groups = len(groups)
    
    # 正規性検定（各群）
    normality = all(
        stats.shapiro(g).pvalue > 0.05 for g in groups if len(g) >= 3
    )
    
    if normality and n_groups == 2:
        # 等分散検定
        _, p_levene = stats.levene(*groups)
        if p_levene > 0.05:
            stat, p = stats.ttest_ind(*groups)
            return {"test": "t-test", "statistic": stat, "p_value": p}
        else:
            stat, p = stats.ttest_ind(*groups, equal_var=False)
            return {"test": "Welch's t-test", "statistic": stat, "p_value": p}
    
    elif normality and n_groups >= 3:
        stat, p = stats.f_oneway(*groups)
        return {"test": "ANOVA", "statistic": stat, "p_value": p}
    
    elif not normality and n_groups == 2:
        stat, p = stats.mannwhitneyu(*groups)
        return {"test": "Mann-Whitney U", "statistic": stat, "p_value": p}
    
    else:
        stat, p = stats.kruskal(*groups)
        return {"test": "Kruskal-Wallis", "statistic": stat, "p_value": p}

from sklearn.ensemble import IsolationForest
import pandas as pd

def detect_anomalies(df: pd.DataFrame, features: list[str]) -> pd.DataFrame:
    """多変量データの異常検知"""
    clf = IsolationForest(contamination=0.1, random_state=42)
    df["anomaly"] = clf.fit_predict(df[features])
    
    anomalies = df[df["anomaly"] == -1]
    return anomalies

import matplotlib.pyplot as plt
import numpy as np

def plot_optimization_progress(
    iterations: list[int],
    best_values: list[float],
    uncertainties: list[float],
    target_name: str = "バンドギャップ (eV)"
):
    """ベイズ最適化の収束過程を可視化"""
    fig, ax = plt.subplots(figsize=(10, 6))
    
    ax.plot(iterations, best_values, "o-", color="#a55eea", label="最良値")
    ax.fill_between(
        iterations,
        np.array(best_values) - np.array(uncertainties),
        np.array(best_values) + np.array(uncertainties),
        alpha=0.2, color="#a55eea"
    )
    
    ax.set_xlabel("実験回数")
    ax.set_ylabel(target_name)
    ax.set_title("ベイズ最適化の収束過程")
    ax.legend()
    
    return fig

// 実験結果の登録
CREATE (exp:EXPERIMENT {
  id: "EXP-042",
  date: date("2025-03-15"),
  conditions: "Al 2at%, 550°C, N₂, 2h"
})

// 材料との関連付け
MATCH (c:COMPOUND {name: "ZnO"})
CREATE (exp)-[:USES]->(c)

// 測定結果の登録
CREATE (finding:FINDING {
  bandgap_eV: 3.10,
  resistivity_ohm_cm: 2.1e-3,
  method: "Tauc plot + 4-probe"
})
CREATE (exp)-[:PRODUCES]->(finding)

// 文献との比較データ登録
MATCH (study:STUDY {doi: "10.xxxx/yyyy"})
CREATE (exp)-[:REPORTS {
  comparison: "文献値3.15eVに対し3.10eV（-1.6%）"
}]->(study)

## 実験解析レポート: EXP-042

### 条件
| パラメーター | 値 |
| ---- | ---- |
| ドーピング元素 | Al |
| ドーピング濃度 | 2 at% |
| 焼成温度 | 550°C |
| 雰囲気 | N₂ |

### 主要結果
| 物性 | 測定値 | 文献値 | 差異 |
| ---- | ---- | ---- | ---- |
| バンドギャップ | 3.10 eV | 3.15 eV | -1.6% |
| 抵抗率 | 2.1×10⁻³ Ω·cm | 3.0×10⁻³ Ω·cm | -30% |

### 統計的評価
- p値 = 0.023 → 文献値との有意差あり（t検定, α=0.05）

### 考察
- バンドギャップの低下は焼成温度の低下（600→550°C）による結晶性の変化が寄与と推察
- 抵抗率は文献値より良好。N₂雰囲気が酸素欠陥を増加させた可能性

### 推奨次ステップ
- ベイズ最適化モデル更新 → Al 2at%, 500°C, N₂ を次候補に追加

---
name: scientific-data-analysis
description: |
  科学データ解析スキル。前処理・統計解析・異常検知・可視化を実行。
  「データ解析」「結果を解析」「XRDを解析」「統計検定」で発火。
tu_tools:
  - key: numpy
    name: NumPy
    description: 数値計算
  - key: scipy
    name: SciPy
    description: 統計検定・信号処理・フィッティング
  - key: matplotlib
    name: Matplotlib
    description: 科学可視化
  - key: pandas
    name: pandas
    description: データフレーム操作
  - key: neo4j
    name: Neo4j
    description: 知識グラフへの結果登録
---

# Scientific Data Analysis

実験の生データを解析し、知識グラフにフィードバックするスキル。

## When to Use
- 実験データを前処理・解析したい
- 統計検定で有意差を判定したい
- 外れ値や異常データを検出したい
- 解析結果を知識グラフに登録したい

## 前処理プロトコル
1. データの種別を識別する（XRD, UV-Vis, I-V等）
2. 分野に適した前処理手順を適用する
3. 前処理パラメーターの選択理由を記録する

## 統計手法の選択
- 正規性検定（Shapiro-Wilk）→ 等分散検定（Levene）→ 適切な検定を選択
- N < 10 の場合はノンパラメトリック検定を優先
- 多重比較の場合はBonferroni補正を適用

## 外れ値の判定
- 物理的に不可能な値 → 除外（理由を記録）
- 物理的に起こりうるが稀な値 → 保持してフラグ付与
- 判断に迷う場合 → 研究者に確認を求める

## 出力の要件
- 解析レポートをMarkdownで生成
- すべての数値に単位と有効数字を明記
- 結果を知識グラフに登録
- ベイズ最適化モデルの更新を通知

## 参照スキル
- ← scientific-experiment-planning（実験条件の取得）
- ← scientific-knowledge-graph（過去データとの比較）
- → scientific-experiment-planning（次の実験提案への入力）