【完全解説】daVinci-MagiHuman｜映像と音声を同時生成するオープンソースAI、Ovi・LTXを圧倒
🎯 この記事でわかること
「映像と音声を1つのTransformerで同時生成」——オープンソース映像生成モデルの新たなベンチマークが誕生。
2026年3月23日、SII-GAIR（上海イノベーション研究所）とSand.aiの共同チームから、15Bパラメータのオープンソースモデル「daVinci-MagiHuman」が発表されました。
驚異的な性能：
H100 GPU 1枚で5秒間の1080p動画を約38秒で生成
人間評価でOvi 1.1に80.0%、LTX 2.3に60.9%の勝率
音声明瞭性を示すWER（単語誤り率）14.60%でオープンモデル最低
特徴：
Apache 2.0ライセンスで完全公開（商用利用可）
6言語対応（中国語・英語・日本語・韓国語・ドイツ語・フランス語）
リップシンクを含む人物中心の映像生成に特化
📖 目次
1. シングルストリームという革新的アーキテクチャ
🎯 「Speed by Simplicity」——シンプルさで速度を実現
本モデルの最大の特徴はアーキテクチャの単純さにあります。
🔵 シングルストリーム設計
テキスト・映像・音声のすべてのモダリティを1つのトークン列に統合し、自己注意機構（self-attention）のみで処理。
競合モデルが採用するクロスアテンションやマルチストリーム構造は一切使用しない
複雑な同期機構を放棄し、全モダリティを単一のTransformer内で処理
🥪 サンドイッチ構造（3段階のレイヤー構成）
15Bパラメータ、全40層のTransformer：
最初の4層（モダリティ固有）：
モダリティ固有の射影（projection）と正規化パラメータ
入力部分でモダリティごとの特殊処理を実行
中間の32層（パラメータ完全共有）：
すべてのモダリティ間でパラメータを完全共有
テキスト・映像・音声の深いcross-modal fusionを実現
最後の4層（モダリティ固有）：
モダリティ固有の射影と正規化パラメータ
出力部分でモダリティごとの特殊処理を実行
⚙️ 3つの重要な設計上の選択
1. タイムステップフリー拡散（Timestep-Free Denoising）
標準的な拡散モデルで用いられる明示的なタイムステップ埋め込みを廃止
入力潜在表現から直接デノイジング状態を推論
2. Per-Head Gating
各注意ヘッドにシグモイド活性化によるスカラーゲートを導入
学習の安定性と表現力を向上
3. 統一的条件付け（Unified Conditioning）
テキストプロンプト・参照音声・参照画像すべてを標準化された射影を通じて同一のバックボーンに入力
タスク固有の融合モジュールを不要に
2. 4段階の推論高速化スタック
⚡ H100 1枚で38秒、256pなら2秒
🚀 4つの最適化技術
Stage 1：潜在空間での超解像
ベースモデルが256p解像度で映像を生成
ピクセル空間ではなく潜在空間で三線形補間とわずか5ステップの追加デノイジング
VAEのデコード・エンコードの往復を回避
超解像中も音声潜在表現をノイズ付きの補助入力として保持しリップシンクの精度を維持
Stage 2：Turbo VAEデコーダ
Wan2.2 VAEのエンコーダをそのまま使用
デコーダを軽量化再学習したTurbo VAEに置き換え
デコーディングのオーバーヘッドを大幅削減
Stage 3：MagiCompiler
Sand.ai開発のカスタムPyTorchコンパイラ
Transformerレイヤー境界を跨ぐオペレータ融合と分散通信の統合
H100上で約1.2倍のスピードアップを達成
Stage 4：DMD-2蒸留
20ステップの完全品質モデルからわずか8デノイジングステップ、CFGなしの蒸留モデルを生成
品質を維持しながら推論時間を大幅短縮
⏱️ ベンチマーク結果（H100 GPU 1枚、5秒間動画）
256p：
ベース生成：1.6秒
デコード：0.4秒
合計：2.0秒
540p：
ベース生成：1.6秒
超解像：5.1秒
デコード：1.3秒
合計：8.0秒
1080p：
ベース生成：1.6秒
超解像：31.0秒
デコード：5.8秒
合計：38.4秒
256p解像度であればわずか2秒という速度は、オープンソースの映像＋音声同時生成モデルとしては最速クラスです。
3. ベンチマーク：視覚品質と音声明瞭性
📊 オープンモデル最高水準を記録
📈 自動評価（VideoScore2、TalkVid-Bench）
Ovi 1.1：
視覚品質：4.73
テキスト整合性：4.10
物理的一貫性：4.41
WER：40.45%
LTX 2.3：
視覚品質：4.76
テキスト整合性：4.12
物理的一貫性：4.56（最高）
WER：19.23%
daVinci-MagiHuman：
視覚品質：4.80（最高）
テキスト整合性：4.18（最高）
物理的一貫性：4.52
WER：14.60%（最低＝最優秀）
👥 人間評価（2,000件のペアワイズ比較）
vs Ovi 1.1：
daVinci-MagiHuman勝利：80.0%
引き分け：8.2%
Ovi 1.1勝利：11.8%
vs LTX 2.3：
daVinci-MagiHuman勝利：60.9%
引き分け：17.2%
LTX 2.3勝利：21.9%
⚠️ 注意点
これらのベンチマーク結果はすべて開発チーム自身による報告
独立した第三者検証はまだ行われていない
発表からわずか2日しか経過しておらず、結果は暫定的なものとして捉える必要がある
4. 競合比較：オープンソース3強とクローズド勢
⚔️ オープンソース映像＋音声同時生成モデル
🟢 オープンソース3強
Ovi 1.1（Character.AI）：
登場：2025年10月
アーキテクチャ：ツインバックボーン・クロスアテンション方式
パラメータ：約11B（5B映像 + 5B音声 + 1B融合）
生成能力：10秒・960×960
VRAM：最低32GB（FP8量子化で24GB）
課題：人間評価で大差をつけられた（勝率20%以下）
LTX 2.3（Lightricks）：
パラメータ：22B
アーキテクチャ：DiTベース
生成能力：ネイティブ4K解像度・最大20秒
ライセンス：Apache 2.0
機能：ComfyUI統合、LoRAファインチューニング
優位点：最大解像度（4K vs 1080p）と動画長（20秒 vs 5秒）
劣位点：推論速度と音声明瞭性
daVinci-MagiHumanの差別化要因：
シングルストリームという最もシンプルなアーキテクチャで高い性能を実現
オープンソース最速の推論速度
最低WER（14.60%）による音声品質の高さ
🔴 クローズドソース勢
ByteDance Seedance 2.0（2026年2月）：
四モーダル入力（テキスト＋画像＋音声＋映像）
最大2K解像度・15秒
高度なカメラ制御
制限：中国国内限定、国際展開は無期限延期
Google Veo 3.1：
ネイティブ4K
Kuaishou Kling 3.0：
4K/60fps
OpenAI Sora 2：
25秒の長尺生成が可能
ただしSora単体アプリは2026年3月24日に終了、ChatGPT統合に移行
💡 daVinci-MagiHumanの戦略的意義
クローズドモデルの優位点：
全般的に品質面で優位
クローズドモデルの制約：
アクセス制限・高コスト・APIの不透明さ
daVinci-MagiHumanの強み：
Apache 2.0での完全公開
研究・商用の両面で自由に利用可能
特定のプラットフォーマーに依存したくない企業や独立系スタジオにとって決定的なインセンティブ
5. 開発元と研究者ネットワーク
🏛️ 学術機関とスタートアップの連携
🎓 SII-GAIR（学術側）
SII（Shanghai Innovation Institute、上海イノベーション研究所）：
教育と研究のイノベーションに特化した機関
GAIR（Generative Artificial Intelligence Research Lab）：
本モデルの学術側の主導者
上海交通大学（SJTU）と連携して運営
上海人工知能実験室にも所属
リーダー：劉鵬飛（Pengfei Liu）博士
上海交通大学の准教授
カーネギーメロン大学でポスドク（2019〜2023年）
Google Scholar引用数：約27,961件
GAIRの主な成果：
O1 Replication Journey（OpenAI o1の再現）
LIMO（少量データ推論）
Abel（数学LLM）
daVinci-Agency / daVinci-Dev（コーディングエージェント）
🚀 Sand.ai（産業側）
Sand.ai（北京砂代科技有限公司）：
2023年設立の北京拠点のAIスタートアップ
コアチームの平均年齢は30歳未満
従業員30名以下の少数精鋭組織
出資：IDG Capital、Sinovation Ventures（李開復率いる）
創業者兼CEO：曹越（Yue Cao）博士
Marr Prize受賞者
清華大学優秀博士論文賞受賞
「Swin Transformer」の著者（コンピュータビジョン分野で最も引用された論文の一つ）
Sand.aiの主な成果：
MAGI-1（2025年4月、24Bパラメータ、世界初の自己回帰型動画生成モデル）
GAGA-1（AIアクター動画生成）
MagiCompiler（daVinci-MagiHumanでも使用されている推論最適化コンパイラ）
🤝 戦略的パートナーシップ
GAIRのマルチモーダルAI研究力 × Sand.aiの動画生成インフラ・最適化技術
学術機関とスタートアップの連携により、純粋な学術研究にとどまらない、エンタープライズレベルでの実用性と推論速度に重点を置いた開発が行われています。
6. まとめ
daVinci-MagiHumanが示した最も重要な知見は、「複雑なマルチストリーム設計なしでも競争力のある映像＋音声同時生成が可能」という事実です。
核心的な価値：
シングルストリームTransformerという構造的シンプルさ
推論速度の優位性（256pで2秒、1080pで38秒）
今後のスケーリングや最適化の容易さに直結
オープンソースの意義：
Apache 2.0での完全公開は研究コミュニティにとって大きな贈り物
日本語を含む6言語対応は、非英語圏での応用研究を加速
課題：
5秒間・最大1080pという生成能力の制約
H100推奨の高いハードウェア敷居（モデル全体で216GB）
ディープフェイクリスクへの対応
今後の展望：
2026年3月時点で映像＋音声同時生成の分野は、アーキテクチャの多様性と競争の激化という好循環に入りました。オープンソースとクローズドソースの性能差が縮まる中、daVinci-MagiHumanの「シンプルさで速度を実現する」というアプローチが主流となるか、今後数ヶ月の独立検証とコミュニティによる活用の広がりが決定することになります。
📖 この記事を読んだ方におすすめの関連商品
📚 書籍——マルチモーダルAIを深く理解する
『深層学習からマルチモーダル情報処理へ』（中山英樹ほか 著、サイエンス社）
daVinci-MagiHumanの核心技術であるマルチモーダル情報処理を体系的に解説した日本語書籍。画像認識・生成、自然言語、音声認識・合成、そしてそれらの統合を東大・東工大の准教授5名が理論面から網羅。
『仕組みからわかる大規模言語モデル 生成AI時代のソフトウェア開発入門』（奥田勝己 著、翔泳社）
Transformerアーキテクチャの基礎からマルチモーダルLLM、RAG、マルチエージェントまでを図解中心で実践的に解説。2025年刊行の最新書。
『生成AIではじめる動画制作入門』（Norihiko 著、マイナビ出版）
Runway、Sora、Midjourney、Adobe Fireflyなどを組み合わせたAI動画制作のワークフローを実践的に解説。daVinci-MagiHumanで生成した素材をどう編集・活用するかという実務面での参考に。
🖥️ ガジェット——AI映像生成環境を構築する
NVIDIA GeForce RTX 4090（24GB GDDR6X）
AI映像生成モデルのローカル推論に現実的な最上位コンシューマーGPU。24GB VRAMはLLMやDiffusionモデルの実行に必要な最低ライン。量子化モデルや小規模実験であればRTX 4090で対応可能な場合も。
ASUS ProArt PA279CV-J 27インチ 4Kモニター
AI生成映像の品質確認に不可欠な色精度の高いクリエイター向けモニター。sRGB/Rec.709 100%カバー、ΔE<2の工場キャリブレーション済み、USB-C 65W給電対応。
SanDisk エクストリーム ポータブルSSD V2（2TB）
216GBに及ぶモデルファイルや大量の生成動画の保存に必須の高速外付けストレージ。読み取り最大1,050MB/s、IP65防水防塵。
💡 選び方のポイント
マルチモーダルAIを学びたい方：
『深層学習からマルチモーダル情報処理へ』で理論的基盤を習得
『仕組みからわかる大規模言語モデル』でTransformerの基礎を理解
AI映像生成環境を構築したい方：
RTX 4090でローカル推論環境を構築
4Kモニターで生成映像の品質を正確に確認
高速SSDで大容量モデルファイルを管理
この記事が役に立ったら「スキ」をお願いします！
コメント