＜目次＞
1．主要な用語の定義
2．規制の概要
(1) 規制の枠組み（リスクベースアプローチ）
(2) 各分類毎の規制の概要
ア. 許容できないリスク（禁止AIシステム）
イ. 高リスクAIシステム
(ｱ) 定義
(ｲ) システム要件
(ｳ) 各主体が負う主な義務
ウ. 透明性が必要なリスク（特定のAIシステム）
エ. 汎用目的AIモデル
(ｱ) 提供者が負う義務
(ｲ) システミックリスクがある場合の追加的義務
オ. AIシステム全般
(3) 罰則・制裁金

　2024年8月1日に、EUにおける包括的なAI規制であるArtificial Intelligence Act（以下「AI Act」といいます（※）。）が発効しました。
　これを踏まえ、最初に確認する必要性が高いと考えられる事項である、①どのような場合に日本企業にAI Actが適用されるのか、②適用される規制の枠組み・制裁金、③今後必要な対応、④施行日・施行の猶予措置については「EU AI Act（AI規則）を踏まえた日本企業の対応事項」（牛島総合法律事務所　特集記事・2024年9月2日）で概観しておりますので、これらの事項にご関心がある方はそちらをご参照ください。本稿では、上記②を敷衍し、適用される規制について、類型毎に遵守すべき義務や定義等を概観します。

（※）「AI法」や、法的性質が加盟国の立法を待たずに直接適用される規則であることから「AI規則」と呼称されることもあります。

1. 主要な用語の定義

　下記2.のAI Actの規制と関連する主要な用語の定義は以下のとおりです（3条各号。用語列の番号は3条の号数に対応しています。）。

用語	定義
(1)AIシステム （AI system）	様々なレベルの自律性をもって動作するように設計された機械ベースのシステムであって、明示的又は黙示的な目的のために、一定のインプットから、物理的又は仮想的な環境に影響を及ぼすことができるアウトプット（予測・コンテンツ・提案・決定等）を生成する方法を推測することができ、実装後に適応性を示す場合があるもの
(3)提供者 （provider）	自然人、法人、公的機関、専門機関又はその他の主体であって、次のいずれかに該当する者 ①AIシステム又は汎用目的AIモデルを開発する者 ②AIシステム又は汎用目的AIモデルを開発させ、市場に投入する者 ③AIシステムを自己の名称又は商標で運用開始する者
(4)利用者 （deployer）	自らの権限のもとでAIシステムを利用する自然人、法人、公的機関、専門機関又はその他の主体（但し、個人的で、非職業的な活動の過程においてAIシステムを利用する者を除く。）
(5)授権代理人 （authorized representative）	AIシステム又は汎用目的AIモデルの提供者から、それぞれ、AI Act上の義務及び手続をその代理として履行・実施する旨の書面委任を受け、受諾したEU域内に所在又は設立された自然人又は法人
(6)輸入者 （importer）	EU域外で設立された自然人又は法人の名称又は商標が付されたAIシステムを市場に投入する、EU域内に所在又は設立された自然人又は法人
(7)流通事業者 （distributor）	提供者又は輸入者以外のサプライチェーンにおける自然人又は法人で、AIシステムをEU域内の市場に提供する者
(8)オペレーター （operator）	提供者、製品製造者、利用者、授権代理人、輸入者又は流通事業者
(9)市場投入 （placing on the market）	AIシステム又は汎用目的AIモデルをEU域内の市場にはじめて提供すること
(10) EU域内の市場への提供 （making available on the market）	商業活動の過程において、有償であるか無償であるかを問わず、EU域内の市場において頒布又は利用するためのAIシステム又は汎用目的AIモデルの提供
(14)安全コンポーネント （safety component）	製品又はAIシステムのコンポーネントで、当該製品若しくはAIシステムの安全機能を果たすもの、又はその故障や誤動作が人若しくは財産の健康及び安全を危険にさらすもの
(25)市販後モニタリングシステム （post-market monitoring system）	必要な是正・防止措置を直ちに適用する必要性を特定する目的で、提供者が、市場投入又は運用開始後のAIシステムの利用から得られた経験の収集・レビューのために実施する全ての活動
(48)国内管轄当局 （national competent authority）	認定機関（notifying authority）又は市場監視当局（EUの機関等により運用開始又は利用されるAIシステムに関する、国内管轄当局又は市場監視当局へのAI Act上の言及は、欧州データ保護監察機関（European Data Protection Supervisor）への言及と解釈される）
(63)汎用目的AIモデル （general-purpose AI model）	顕著な汎用性を示し、モデルが市場に投入される態様にかかわらず、多様で明確なタスクを適切に実行する能力を持ち、様々な下流システムやアプリケーションに統合可能なAIモデルを意味し、大量のデータを用いた大規模な自己教師あり学習がなされたAIモデルを含む。但し、市場に投入される前の研究、開発、又はプロトタイピング活動のために利用されるAIモデルは除く。

2. 規制の概要

(1) 規制の枠組み（リスクベースアプローチ）

　AI Actは、AIシステムを、そのリスクの強度と範囲によって以下の4段階に分類し、規制の内容を調整するリスクベースアプローチを採用しています（前文(26)）。

分類	該当し得るAIシステムの例	主な規制内容
許容できないリスク	・元データと無関係な文脈で、個人・集団の信用リスクを点数化するもの ・プロファイリング情報等のみで犯罪リスクを評価・予測するもの ・職場・教育機関で人の感情を推測するもの	市場への投入、運用開始、利用を禁止
高リスク	・電気等の重要インフラの安全性を制御するもの ・従業員の監視・評価等に用いるもの	システム要件充足、及び必要書類作成、登録その他システム要件充足を担保する各種義務
透明性が必要なリスク	・対話型AI ・画像生成AI	透明性の義務
その他	・他の分類のいずれにも該当しないもの	提供者・利用者の職員等のAIリテラシーを確保する措置の実施義務（リスク分類による限定なく適用あり）

　また、汎用目的AIモデルについては、顕著な汎用性を示し、多様で明確なタスクを適切に実行する能力を持ち、様々な下流システムやアプリケーションに統合可能なAIモデルとして（3条63号）、特有のリスクを有することから、上記の4分類とは別に、下記(2)エ.(ｱ)のとおり、必要書類作成、情報提供等の規制が定められています（影響が重大なものについては、システミックリスクを伴うものとして、下記(2)エ. (ｲ)のとおり追加的義務も定められています。）。

(2) 各分類毎の規制の概要

ア. 許容できないリスク（禁止AIシステム）

　許容できないリスクに該当し、禁止されるAIシステムのプラクティスは、以下のとおりです（5条1項）。

(a)	人の意識を超えたサブリミナル技術又は意図的に操作的・欺瞞的な技術を用いるAIシステムの市場投入、運用開始又は利用であって、十分な情報に基づいた意思決定を行う能力を著しく損なうことによって、個人又は集団の行動を実質的に歪め、それにより、当該個人、他者又は集団に重大な損害をもたらす又はもたらす可能性が合理的にある方法で、個人又は集団がそうでなければ行わなかったであろう決定を行わせる目的又は効果のあるもの
(b)	年齢、障害又は特定の社会的・経済的状況に起因する自然人又は特定の集団の脆弱性を悪用するAIシステムの市場投入、運用開始又は利用であって、個人又は集団に属する人の行動を、当該個人又は他者に重大な損害をもたらす又はもたらす可能性が合理的にある方法で、実質的に歪める目的又は効果のあるもの
(c)	社会的行動や既知、推論又は予測される個人的・人格的特徴に基づき、一定期間にわたって自然人又は集団の評価又は分類を行うめに、ソーシャルスコアリングを行うものであって、特定の自然人又は集団に対して以下の(i)又は(ii)の不利益取扱いをもたらすAIシステムの市場投入、運用開始又は利用 (i)     スコアリングの元データが生成・収集された文脈と無関係な社会的文脈での不利益取扱い (ii)    その社会的行動又は重大性に対して不当又は不均衡な不利益取扱い
(d)	自然人のプロファイリング又は人格的特徴・特性の評価のみに基づき、自然人が犯罪を犯すリスクを評価又は予測するために、自然人のリスク評価を行うAI システムを市場に投入すること、この特定の目的のために運用開始すること、又は利用すること 但し、この禁止は、犯罪活動に直接関連する客観的かつ検証可能な事実に既に基づいている、犯罪活動への人の関与に関する人の評価を支援するために利用される AI システムには適用されない
(e)	インターネット又は閉会路テレビジョン（CCTV）（筆者注：監視カメラ等が想定）映像から無作為に抽出・収集（scraping）した顔画像を用いて、顔認識データベースを作成するAIシステムの市場投入、この特定の目的のための運用開始又は利用
(f)	職場・教育機関で自然人の感情を推測するためのAIシステムの市場投入、この特定の目的のための運用開始、又は利用（但し、医療上又は安全上の理由によるものを除く）
(g)	人種、政治的意見、労働組合への加入状況、宗教的・哲学的信条、性生活・性的指向を推測・推論するために、生体データに基づいて個々の自然人を分類する生体分類システムを市場に投入、この特定の目的のために運用開始、又は利用すること この禁止は、合法的に取得された画像等の生体データセットの生体データに基づくラベリング若しくはフィルタリング、又は法執行の分野における生体データの分類には適用されない
(h)	公共のアクセス可能な空間において、法執行の目的で、リアルタイムの遠隔生体認証システムを利用すること。但し、以下のいずれかの利用目的のために厳密に必要である場合を除く (i)     拉致、人身売買又は性的搾取の被害者の捜索及び行方不明者の捜索 (ii)    自然人の生命若しくは身体の安全に対する具体的、実質的且つ差し迫った脅威、又は真正且つ現在の若しくは予見可能なテロ攻撃の脅威の防止 (iii)   付属書類IIに定める犯罪であって、当該加盟国において拘禁刑又は拘禁命令により最長で少なくとも4年以上の処罰が可能な犯罪について、犯罪捜査、訴追又は刑事罰執行を行う目的で、犯罪を犯したと疑われる者の所在地を特定し、又は身元を識別すること

イ. 高リスクAIシステム

(ｱ) 定義

　以下の①及び②のAIシステムは、高リスクAIシステムに該当し、下記(ｲ)記載のChapter III Section2に定める要件（本稿において「システム要件」といいます。）の充足、及び、下記(ｳ)記載のこれを担保するための各種義務の遵守が必要となります（6条）。

① 6条1項に定められるAIシステム
　AIシステムが、AI Actの付属書類Iに列挙されたEU整合法令（Union harmonization legislation）の適用を受ける製品又はそのような製品の安全コンポーネント（上記1.(14)の定義ご参照）であって、当該製品についてEU整合法令のもとで市場投入又は運用開始に第三者による適合性評価が必要とされている場合に①に該当します。

② 6条2項に定められるAIシステム
　原則として、AI Actの付属書類IIIに列挙された、特定の分野における、特定の用途での利用が意図されているAIシステムが②に該当します。
　現状、付属書類IIIに列挙された分野・用途は以下のとおりです。

分野	用途
1 バイオメトリクス （EU法又は加盟国法上合法の場合のみ）	(a)  遠隔生体認証（特定の自然人が本人であると主張することを確認することのみを目的とする生体認証に利用されることを意図したAIシステムは除く。） (b)  センシティブ又は保護される属性・特性の推論に基づく、当該属性・特性に従った生体分類 (c)  感情認識
2 重要インフラ	重要なデジタルインフラ、交通の管理・運営、又は水道・ガス・熱・電気の供給における、安全コンポーネント（上記1.(14)の定義ご参照）
3 教育及び職業訓練	(a)  教育・職業訓練機関へのアクセス・入学の決定等 (b)  教育・職業訓練機関における学習成果の評価 (c)  教育・職業訓練機関において個人が受ける適切な教育レベルの評価 (d)  教育・職業訓練機関における試験中の生徒の禁止行為の監視及び検知
4 雇用、労働者管理及び自営業へのアクセス	(a)  採用・選抜（特に、求人広告のターゲティング、応募者の分析・フィルタリング及び候補者の評価） (b)  雇用等の条件・昇進・解雇に影響を与える決定 個人の行動・特徴・特性に基づいた仕事の割り当て 雇用等の関係にある者のパフォーマンス・行動の監視・評価
5 必要不可欠な民間・公共サービスへのアクセス	(a)  必要不可欠な公的扶助（医療サービスを含む。）の給付の適格性の審査、又は当該公的扶助の給付、減額、取消等のために行われる、公的機関による又は公的機関の代理での利用 (b)  信用力の評価又は信用スコアの設定（金融詐欺の検出目的の利用を除く。） (c)  生命保険・医療保険に関するリスク評価・保険料算定 (d)  自然人による緊急通報の評価・分類等
6 法執行（※）	(a)  執行機関等による、自然人が犯罪被害者となるリスクの評価 (b)  執行機関等による、ポリグラフ検査等 (c)  執行機関等による、刑事事件の捜査や訴追の過程での証拠の信用性の評価 (d)  執行機関等による、指令 (EU) 2016/680の3条4項に定める自然人のプロファイリングのみに基づかない、犯罪又は再犯リスクの評価等 (e)  執行機関等による、刑事事件の発覚、捜査又は訴追の過程における同項に定める自然人のプロファイリング
7 移民、亡命及び国境管理（※）	ビザ申請や亡命申請の検討支援等
8 司法及び民主的プロセスの運営	(a)  司法機関等による事実・法適用の調査・解釈等 (b)  選挙・投票の結果又は自然人の投票行動に影響を与えること（運営・ロジスティック的観点から政治キャンペーンを組織化・最適化・構成するために利用されるツールのように、そのアウトプットに自然人が直接さらされないAIシステムは除く。）

（※）EU法又は加盟国法上利用が許可されている場合のみ

　但し、(i)意思決定の結果に重大な影響を与えないことを含め、自然人の健康、安全又は基本的権利に重大な危害のリスクをもたらさない場合で、且つ、(ii)自然人のプロファイリングを伴わない場合は、上記②の高リスクAIシステムには該当しないこととされています（6条3項）。以下の基準のいずれかが満たされる場合には、(i)の例外事由に該当します（同項第2文(a)号乃至(d)号）。

(a)	AIシステムが、狭い手続上のタスクを実行することを意図している場合
(b)	AIシステムが、以前に完了した人間の活動の結果を改善することを意図している場合
(c)	AIシステムが、意思決定のパターン又は以前の当該パターンからの逸脱を検出することを意図しており、且つ、人間による適切なレビューなしに、以前に完了した人間の評価に取って代わる、又は影響を与えることを意図していない場合
(d)	AIシステムが、付属書類IIIに定める用途に関連する評価の準備作業を行うことを意図している場合

　例外的に高リスクAIシステムではないとされ得る具体例としては、(1)生体認証に関するAIシステムのうち、サイバーセキュリティや個人データ保護対策を目的とするもの（前文(54)）、(2)重要インフラに関する安全コンポーネント（上記1.(14)の定義ご参照）のうち、サイバーセキュリティの目的のみに利用されることを意図したもの（前文(55)）、(3)必要不可欠な民間・公共サービスへのアクセスに関するAIシステムのうち、金融サービスの提供における不正行為の検出目的又は信用機関・保険会社の資本要件を計算するための財務目的で、EU法のもとで提供されるAIシステム（前文(58)）が挙げられますが、事案毎に該当性を検討する必要があります。

(ｲ) システム要件

　高リスクAIシステムは、その企図される目的及びAI・AI関連技術の一般的に認知されている最新の技術水準を踏まえて、以下のシステム要件を充足する必要があります（8条1項）。

項目	要件の概要
リスク管理システムの構築・導入・文書化・維持（9条）	・高リスクAIシステムのライフサイクル全体を通して、以下のステップで構成されるリスク管理システムを構築し、実施し、文書化し、維持すること（1項・2項） (a)  高リスクAIシステムが企図される目的で利用された場合に健康、安全又は基本的権利に及ぼし得る既知の又は合理的に予想可能なリスクの特定・分析 (b)  高リスクAIシステムが企図される目的又は合理的に予想可能な誤用のもとで利用された場合に生じ得るリスクの予測・評価 (c)  72条に定める市販後モニタリングシステムにより収集されたデータの分析に基づく、その他の生じ得るリスクの評価 (d)  上記(a)により特定されたリスクの対応のために設計された、適切且つ的を絞ったリスク管理措置の採用 ・高リスクAIシステムのテストは、必要に応じて開発プロセス全体を通じて、またいかなる場合においても、市場投入又は運用開始前に実施されなければならず、企図された目的に対して一貫して機能し、システム要件に適合していることが確保されること（6項・8項）
データガバナンス（10条）	AIモデルのデータによる学習を含む技術を利用する高リスクAIシステムについては、以下等の品質基準を満たす訓練用・検証用・テスト用のデータセットに基づいて開発されること ・企図された目的に照らして、関連性があり、十分に代表的で、できる限り誤りがなく、完全なものであること ・該当する場合、高リスクAIシステムの利用が意図されている人又は集団に関して適切な統計的特性を有すること
技術文書の作成・維持（11条）	・市場投入又は運用開始前に、システム要件を充足していることを示す技術文書（少なくとも付属書類IVに定める要素を含む。）を作成し、常に最新の状態を維持し、国内管轄当局及び第三者認証機関に、当該充足を評価するために必要な情報を明確且つ包括的なフォームで提供できるようにすること（1項） ・スタートアップを含む中小企業は、欧州委員会が用意する簡易なフォームで提供することで足りる（1項）
自動的なログの記録（12条）	・高リスクAIシステムの企図された目的に適した機能のトレーサビリティレベルを確保するために、システムのライフタイムを通じて、自動的に以下の事項に関連するログを記録する機能を実装すること（1項・2項） (a)  高リスクAIシステムが79条1項の意味におけるリスク（人の健康、安全又は基本的権利に対するリスクに関する、規則（EU）2019/1020の3条19号に定めるリスク）をもたらすか又は重大な変更（substantial modification）をもたらす可能性のある状況の特定 (b)  72条に定める市販後モニタリングを容易にすること (c)  26条5項に定める高リスクAIシステムの運用の監視 ・遠隔生体認証については、ログ機能として少なくとも以下が必要（3項） (i)  システムの各利用の期間（開始日時及び終了日時）の記録 (ii)  入力データがシステムによってチェックされた参照データベース (iii)  検索の結果、一致した入力データ (iv)  14条5項に定める結果の検証に関与した自然人の特定
透明性 利用者への取扱説明書の提供（13条）	・高リスクAIシステムの設計・開発が、その運用が利用者による出力の解釈・適切な利用を可能とするために十分に透明であることが確保されるような方法でなされること（透明性の適切な程度等は、下記(ｳ).(i)及び(ii)に定める提供者及び利用者の義務遵守の達成のために確保されなければならない）（1項） ・高リスクAIシステムの特徴・機能・限界等の、13条2項・3項所定の情報を含む取扱説明書を利用者に提供すること（2項・3項）
人間による監視可能性の確保（14条）	・適切なインターフェイスを設ける等により、高リスクAIシステムの利用期間中における自然人による効果的な監視を可能とし、高リスクAIシステムが企図された目的又は合理的に予想可能な誤用のもとで利用された場合に健康、安全及び基本的権利に生じ得るリスク（特に他のシステム要件を適用してもなお残るリスク）を防止・最小化できるように設計・開発すること（1項・2項） ・当該監視が、高リスクAIシステムのリスク、自律性のレベル及び利用状況に見合ったものであり、且つ、次のいずれか又は両方の措置を通じて確保されること（3項） (a) 技術的に可能な場合、市場投入又は運用開始の前に、提供者により特定され、高リスクAIシステムに組み込まれる措置 (b) 市場投入又は運用開始の前に、提供者により特定され、利用者が実施することが適切である措置 ・監視を担当する人間が、適切且つ相応な方法で以下を実施可能であること（4項） (i)  高リスクAIシステムの関連する能力及び限界を適切に理解し、異常・機能不全及び予期せぬ動作の検出及び対処の観点も含め、その運用を正当に監視すること (ii)  特に、自然人が行うべき意思決定のための情報又は提案を提供するために利用される高リスクAIシステムについては、高リスクAIシステムによって生成される出力に自動的に又は過度に依拠してしまう傾向（自動化バイアス）があり得ることに留意すること (iii) 例えば利用可能な解釈のツール及び方法を考慮して、高リスクAIシステムの出力を正確に解釈すること (iv) 特定の状況において、高リスクAIシステムを利用しないこと、又は高リスクAIシステムの出力を無視等することを決定すること (v)  高リスクAIシステムのオペレーションに介入すること、又は停止ボタン等を通じてシステムを中断し、安全な状態でシステムを停止すること ・遠隔生体認証については、3項に定める措置（上記(a)(b)の措置）が、さらに、システムから生じる認証に基づき利用者によって何らの措置又は決定を要しないことを確保するようなものでなければならない（但し、当該認証が、別途少なくとも2人の必要な能力・訓練・権限を有する自然人による検証・確認を受ける場合は除く。）（5項）
正確性・堅牢性・サイバーセキュリティの確保（15条）	・ライフサイクルを通じて、一貫して、適切なレベルでの正確性・堅牢性・サイバーセキュリティが達成されるように、設計・開発すること（1項） ・できる限りエラー等に関してレジリエント（回復力がある）であり、そのための技術的及び組織的措置（バックアップ等を含み得る。）が講じられていること（4項） ・市場投入又は運用開始後も学習を続ける高リスクAIシステムについては、フィードバックループのリスク（バイアスのあるアウトプットが将来のインプットに影響を与えるリスク）ができる限り排除・低減され、且つ、フィードバックループが適切な緩和措置によって適切に対処されることが確保されるように、開発されること（4項） ・第三者の攻撃に対してもレジリエントであり、AI特有の脆弱性に対処するための技術的解決策に、必要に応じて、以下を防止、検知、対応、解決及びコントロールする対策が含まれること（5項） (a)  学習用データセットの操作を試みる攻撃（データポイズニング） (b)  学習に利用される事前学習済みコンポーネントの操作を試みる攻撃（モデルポイズニング） (c)  AIモデルを誤動作させるよう設計された入力（敵対的サンプル又はモデル回避） (d)  機密性の侵害 (e)  モデルの欠陥

(ｳ) 各主体が負う主な義務

(i) 提供者

項目	義務の内容
①システム要件充足 （16条(a)号）	高リスクAIシステムがシステム要件を充足するようにする義務
②名称等の表示 （16条(b)号）	提供者の名称、登録商号又は登録商標、及び連絡可能な所在地を、高リスクAIシステムに（不可能な場合はそのパッケージ又は添付書類に）表示する義務
③品質管理システム （16条(c)号・17条）	AI Actの要求事項を遵守するための品質管理システム（少なくとも17条1項に定める事項を含む。）を整備し、文書化する義務
④文書保管 （16条(d)号・18条）	以下の文書を市場投入又は運用開始後10年間保存し、国内管轄当局による利用を可能とする義務 ・  11条に定める技術文書 ・  17条に定める品質管理システムに関する文書 ・  （適用ある場合）第三者認証機関（notified body）により承認された変更に関する文書 ・  （適用ある場合）第三者認証機関（notified body）により発効された決定書その他の文書 ・  47条に定めるEU適合宣言書
⑤自動作成ログの保存 （16条(e)号・19条）	12条1項に定める、高リスクAIシステムにより自動的に生成されるログを、EU法又は加盟国法に別段の定めがない限り高リスクAIシステムの企図された目的に照らして適切な期間（少なくとも6ヶ月間）、自己の管理下にある限りにおいて保存する義務
⑥事前の適合性評価 （16条(f)号・43条）	市場投入又は運用開始前に、43条に従って、適合性評価を受ける義務
⑦EU適合宣言書の作成・保存 （16条(g)号・47条）	47条に従って、EU適合宣言書を作成し、必要に応じて更新し、市場投入・運用開始後10年間保存し、関連する国内管轄当局の要請に応じて写しを提供する義務
⑧CEマーク貼付 （16条(h)号・48条）	48条に従って、AI Actへの適合を示すCEマークをAIシステムに（不可能な場合はそのパッケージ又は添付書類に）貼付する義務
⑨事前の登録 （16条(i)号・49条）	・付属書類IIIの高リスクAIシステム（重要インフラ分野を除く。）を市場投入又は運用開始する前に、71条に定めるEUデータベースに、自身と当該AIシステムを登録する義務（49条1項） ・6条3項の例外に従い、高リスクAIシステムに該当しないと提供者が判断したAIシステムの市場投入又は運用開始前に、当該EUデータベースに、自身と当該AIシステムを登録する義務（49条2項） ・重要インフラ分野の高リスクAIシステムは、加盟国レベルで登録されなければならない（49条5項）
⑩AI Act不適合・所定のリスクに関する是正措置及び通知 （16条(j)号・20条）	・市場投入又は運用開始した高リスクAIシステムが、AI Actに適合していないと考える、又は考える理由がある高リスクAIシステムの提供者が、直ちに必要な是正措置を講じ、必要に応じて、当該システムを撤回し、使用不能にし、又は回収するとともに、該当する場合、当該システムの流通事業者、利用者、授権代理人及び輸入者にその旨通知する義務（20条1項） ・高リスクAIシステムが79条1項の意味におけるリスク（人の健康、安全又は基本的権利に対するリスクに関する、規則（EU）2019/1020の3条19号に定めるリスク）を示し、且つ、提供者が当該リスクを認識した場合、提供者は、直ちにその原因を、該当する場合は報告した利用者と協力して、調査し、当該高リスクAIシステムの所轄の市場監視当局に（該当する場合は44条に従って当該高リスクAIシステムに関する証明書を発行した第三者認証機関（notified body）にも）、特に、不適合の性質及び実施された関連する是正措置を通知する義務（20条2項）
⑪システム要件充足証明 （16条(k)号）	国内管轄当局の合理的要請に応じて高リスクAIシステムがシステム要件を充足していることを証明する義務
⑫アクセシビリティ要件 （16条(l)号）	高リスクAIシステムを、指令（EU）2016/2102及び指令（EU）2019/882に従って、アクセシビリティ要件に準拠したものとする義務
⑬管轄当局への協力 （21条）	・管轄当局の合理的要請に応じて、管轄当局に、高リスクAIシステムがシステム要件を充足していることを証明するために必要な全ての情報及び文書を、管轄当局に容易に理解可能な言語で、関係加盟国が示すEU機関の公用語の一つで提供する義務（1項） ・管轄当局の合理的要請に応じて、管轄当局に、12条1項に定める自動的に生成される高リスクAIシステムのログへのアクセス権を、当該ログが提供者の管理下にある範囲で付与する義務（2項）
⑭授権代理人の任命 （22条）	EU域外で設立された提供者については、AIシステムの市場投入前にEU域内に授権代理人（Authorized representative）を22条3項所定の事項を委任する書面委任により任命する義務
⑮仕入先からの情報等提供に関する書面合意 （25条4項）	高リスクAIシステムにおいて使用され又は統合されるAIシステム、ツール、サービス、コンポーネント又はプロセスを提供する第三者（無料のオープンソースライセンスに基づき、汎用目的AIモデル以外の公的なツール、サービス、プロセス又はコンポーネントをアクセス可能にする第三者を除く。）との間で、高リスクAIシステムの提供者がAI Act上の義務を完全に遵守することができるようにするため、書面合意（AI Officeによる雛形の公開が想定されている。）により、一般に認められた最新の技術水準に基づき、必要な情報、能力、技術的アクセス及びその他の支援を特定する義務

　なお、川下の事業者（流通事業者、輸入者、利用者その他の第三者）は、以下のいずれかに該当する場合、提供者とみなされ、16条に基づく義務を負います（25条1項）。

(a)	既に市場投入又は運用開始された高リスクAIシステムにその名称又は商標を付した場合（但し、当該義務が別の方法で割り当てられることを定める契約上のアレンジを妨げない）
(b)	既に市場投入又は運用開始された高リスクAIシステムに、6条に従って高リスクAIシステムであることは維持される方法で、重大な変更（substantial modification）を加える場合
(c)	既に市場投入又は運用開始された、高リスクと分類されていないAIシステム（汎用目的AIシステムを含む。）の企図された目的を、当該AIシステムが6条に従って高リスクAIシステムに該当することになるような方法で変更する場合

    この場合、市場投入又は運用開始した当初の提供者は、当該AIシステムの提供者とはみなされなくなりますが、新たな提供者に緊密に協力し、必要な情報を入手できるようにし、特に高リスクAIシステムの適合性評価の遵守に関して、AI Act上の義務の履行に必要な合理的に期待される技術的アクセス及びその他の支援を提供しなければならないとされています（25条2項）。　
　もっとも、当初の提供者が、そのAIシステムが高リスクAIシステムに変更されないことを明確に指定しており、したがって、文書を引き渡す義務に該当しない場合には、同項の適用を回避することができます（同項最終文）。このため、高リスクAIシステムに該当しないAIシステムの提供者については、意図せず同項の義務を負うことを回避する観点から、当該指定を行う必要があると考えられます。

(ii) 利用者

項目	義務の内容
①技術的及び組織的措置（26条1項）	26条3項・6項に従い、取扱説明書に従った高リスクAIシステムの利用が行われるように、適切な技術的及び組織的措置を講じる義務
②人間による監視（26条2項）	必要な能力・訓練・権限を有し、且つ必要なサポートを受けられる自然人に高リスクAIシステムを監視させる義務
③入力データの関連性等の確保（26条4項）	高リスクAIシステムに入力するデータを、企図された目的に照らして関連性と十分な代表性のあるものとすることを確保する義務
④運用監視・通知（26条5項第1文）	高リスクAIシステムの動作を取扱説明書に従って監視し、関連する場合には、72条に従って提供者に通知する義務
⑤79条1項のリスク対応（26条5項第2文）	取扱説明書に従った高リスクAIシステムの利用が、79条1項の意味におけるリスク（人の健康、安全又は基本的権利に対するリスクに関する、規則（EU）2019/1020の3条19号に定めるリスク）をもたらす可能性があると考える理由がある場合、不当に遅滞することなく、提供者又は流通事業者及び関連する市場監視当局に通知し、当該システムの利用を停止する義務
⑥重大インシデント対応（26条5項第3文・第4文）	重大なインシデントが利用者により確認された場合、まず提供者に、次に輸入者又は流通事業者及び関連する市場監視当局に直ちに通知する義務。提供者と連絡が取れない場合、73条（重大インシデントの報告）が準用され、提供者に代わって報告義務等を負う
⑦自動生成ログの保存（26条6項）	高リスクAIシステムにより自動的に生成されるログを、EU法又は加盟国法に別段の定めがない限り高リスクAIシステムの企図された目的に照らして適切な期間（少なくとも6ヶ月間）、自己の管理下にある限りにおいて保存する義務
⑧従業員への通知（26条7項）	職場で高リスクAIシステムを運用開始又は利用する場合において、雇用者である利用者が、事前に、従業員の代表者と影響を受ける従業員に対して、高リスクAIシステムの利用の対象となる旨を通知する義務
⑨データ保護影響評価（26条9項）	該当する場合、GDPR35条又は指令（EU）2016/680の27条に基づくデータ保護影響評価の実施義務を遵守するために、13条に基づき提供される情報を利用する義務
⑩リアルタイムでない遠隔生体認証システム利用の年次報告（26条10項）	法執行に関連するセンシティブな業務データの開示を除き、リアルタイムでない遠隔生体認証システムの利用に関する年次報告書を、関連する市場監視当局及びデータ保護当局に提出する義務
⑪自然人に関する意思決定についての通知（26条11項）	自然人に関する意思決定又はその支援に、付属書類IIIに定める高リスクAIシステムを利用している場合には、その旨を本人に通知する義務
⑫管轄当局への協力義務（26条12項）	AI Actを実施するために関連する管轄当局が高リスクAIシステムに関してとる措置について、当該当局と協力する義務
⑬基本的権利への影響評価（27条1項・3項・5項）	6条2項の高リスクAIシステム（重要インフラ分野での利用が意図されているものを除く。）を利用する前に、公的主体又は公的サービスを提供する私的主体である利用者、及び、付属書類IIIの5項(b)(c)に定める高リスクAIシステムの利用者が、当該利用がもたらす基本的権利への影響評価を実施し、その結果を市場監視当局に通知する義務（当該通知の一部として記入の上提出が必要な書類の雛形はAI Officeが作成する）

(iii) 輸入者

項目	義務の内容
①事前の確認義務 （23条1項）	市場投入前に、以下の確認により高リスクAIシステムのAI Act適合性を確保する義務 (a)  43条に定める適合性評価が提供者によって実施されていること (b)  11条及び付属書類IVに従って技術文書が提供者によって作成されていること (c)  当該システムに、必要なCEマークが付され、且つ、47条に定めるEU適合宣言書及び取扱説明書が添付されていること (d)  22条1項に従い、提供者が授権代理人を任命していること
②不適合等の場合の市場投入停止、及び79条1項のリスクの通知 （23条2項）	・高リスクAIシステムがAI Actに不適合である、若しくは適合するものと改ざんされ、又は改ざんされた文書が添付されていると考える十分な理由がある場合、当該システムが適合するまでこれを市場に投入してはならない義務 ・高リスクAIシステムが79条1項の意味におけるリスク（人の健康、安全又は基本的権利に対するリスクに関する、規則（EU）2019/1020の3条19号に定めるリスク）を示す場合、提供者、授権代理人及び市場監視当局にその旨通知する義務
③名称等の表示 （23条3項）	輸入者の名称、登録商号又は登録商標、及び連絡可能な所在地を、高リスクAIシステム及びそのパッケージ又は添付書類（該当する場合）に表示する義務
④システム要件充足を阻害しない保管・輸送条件の確保（23条4項）	高リスクAIシステムが自己の管理下にある場合、保管・輸送条件がシステム要件充足を阻害しないよう確保する義務
⑤文書保管 （23条5項）	第三者認証機関により発効された証明書、該当する場合は取扱説明書及び47条に定めるEU適合宣言書を、市場投入又は運用開始後10年間保管する義務
⑥管轄当局への情報提供 （23条6項）	関連する管轄当局の合理的要請に応じて、管轄当局に、高リスクAIシステムがシステム要件を充足していることを証明するために必要な全ての情報及び文書（23条5項の文書を含む。）を、管轄当局に容易に理解可能な言語で提供する義務
⑦管轄当局への協力 （23条7項）	AI Actを実施するために関連する管轄当局が、輸入者により市場投入された高リスクAIシステムに関してとる措置（特にリスクを低減するためにとる措置）について、当該当局と協力する義務

(iv) 流通事業者

項目	義務の内容
①事前の確認義務 （24条1項）	EU域内の市場への提供前に、以下を確認する義務 (a)  高リスクAIシステムに必要なCEマークが付されていること (b)  47条に定めるEU適合宣言書及び取扱説明書の写しが添付されていること (c)  提供者及び輸入者が、16条(b)号及び(c)号並びに23条3項に定める適用ある義務をそれぞれ遵守していること
②不適合等の場合のEU域内の市場への提供停止、及び79条1項のリスクの通知 （24条2項）	・高リスクAIシステムがシステム要件に不適合であると、有する情報に基づき考える、又は考える理由がある場合、当該システムが適合するまでこれをEU域内の市場に提供してはならない義務 ・高リスクAIシステムが79条1項の意味におけるリスク（人の健康、安全又は基本的権利に対するリスクに関する、規則（EU）2019/1020の3条19号に定めるリスク）を示す場合、提供者又は輸入者にその旨通知する義務
③システム要件充足を阻害しない保管・輸送条件の確保（24条3項）	高リスクAIシステムが自己の管理下にある場合、保管・輸送条件がシステム要件充足を阻害しないよう確保する義務
④市場提供後のシステム要件不適合時の対応（是正措置・回収）、及び79条1項のリスクの通知 （24条4項）	・EU域内の市場に提供した高リスクAIシステムが、システム要件に適合していないと、有する情報に基づき考える、又は考える理由がある場合に、適合させるために必要な是正措置を講じ、当該システムを撤回若しくは回収し、又は、必要に応じて提供者、輸入者又は関連するオペレーターが当該是正措置をとるよう確保する義務 ・高リスクAIシステムが79条1項の意味におけるリスク（人の健康、安全又は基本的権利に対するリスクに関する、規則（EU）2019/1020の3条19号に定めるリスク）を示す場合に、直ちに、提供者又は輸入者及び管轄当局に、特に、不適合及び実施された是正措置の詳細を通知する義務
⑤管轄当局への情報提供 （24条5項）	関連する管轄当局の合理的要請に応じて、管轄当局に、高リスクAIシステムがシステム要件を充足していることを証明するために必要な、24項1項乃至4項に基づく措置に関する全ての情報及び文書を、管轄当局に提供する義務
⑥管轄当局への協力 （24条6項）	AI Actを実施するために関連する管轄当局が、流通事業者によりEU域内の市場に提供された高リスクAIシステムに関してとる措置（特にリスクを低減するためにとる措置）について、当該当局と協力する義務

ウ. 透明性が必要なリスク（特定のAIシステム）

　特定のAIシステムについては、以下のとおりその類型毎に透明性の義務が課されます（50条）。なお、高リスクAIシステムが以下の類型にも該当する場合には、対応する透明性の義務も追加で課されます（50条6項）。

AIシステムの類型	義務の内容
①自然人と直接対話することを意図されたAIシステム（例：対話型AI） （50条1項）	提供者が、当該自然人に対して、AIシステムと対話していることが通知されるように、AIシステムを設計・開発する義務（利用の状況及び文脈を考慮し、合理的に十分な知識を有し、観察力があり、かつ慎重な自然人から見て明らかな場合等には適用されない。）
②人工音声、画像、動画又はテキストコンテンツを生成するAIシステム（汎用目的AIモデルを含む。）（例：画像生成AI） （50条2項）	・提供者が、当該コンテンツが機械可読形式で表示され、人工的に生成又は操作されたものであることが検知可能であるようにする義務 ・提供者が、様々な種類のコンテンツの特殊性及び制限、実装のコスト、並びに関連する技術標準に反映され得る一般的に認められている最新技術を考慮し、技術的に実行可能な限りにおいて、その技術的ソリューションが効果的、相互運用可能、堅牢、且つ信頼できるものであることを確保する義務 ・この義務は、AIシステムが標準的編集のためのアシスト機能を実行する場合、又は利用者の入力データやその意味を実質的に変更しない場合等には適用されない
③感情認識又は生体分類に用いられるAIシステム（例：感情認識AI、性別判定AIカメラ） （50条3項）	利用者が、対象となる自然人に、当該AIシステムが動作していることについて、通知等する義務
④ディープフェイクを構成する画像、音声又は映像コンテンツを生成又は操作するAIシステム （50条4項）	利用者が、当該コンテンツが人工的に生成又は操作されたものであることを開示する義務
⑤公共の利害に関する事項を公衆に知らせる目的で公表されるテキストを生成又は操作するAIシステム（50条4項）	利用者が、当該テキストが人工的に生成又は操作されたものであることを開示する義務（但し、生成されたコンテンツが人によるレビュー又は編集管理のプロセスを経ており、自然人又は法人がコンテンツの公表について編集責任を有する場合等には適用されない。）

　上記情報（アクセシビリティ要件に適合する必要があります。）の提供は、自然人との最初の接触の時までに、明確且つ区別可能な方法でなされなければならないとされています（50条5項）。また、上記義務の効果的な実施に向けた実施規範（codes of practice）がAI Officeにより準備される予定です（50条7項）。

エ. 汎用目的AIモデル

(ｱ) 提供者が負う義務

　汎用目的AIモデルの提供者は、以下の義務を負います。

項目	義務の内容
①モデルの技術文書の作成・更新・提供 （53条1項(a)号）	AI Office及び国内管轄当局の要請に応じて提供するために、学習・テスト過程及び評価の結果（最低限、付属書類XIに定める情報）を含むモデルの技術文書を作成し、最新の状態に保つ義務
②提供者への情報提供 （53条1項(b)号）	汎用目的AIモデルを自らのAIシステムに組み込むことを意図する、AIシステムの提供者に対して、以下の情報を作成・更新・提供する義務 (i)  AIシステムの提供者が汎用目的AIモデルの能力・限界をよく理解し、AI Act上の義務を遵守することを可能にする情報 (ii)  少なくとも付属書類XIIに定める要素を含む情報
③著作権に関する法令遵守等のためのポリシーの導入 （53条1項(c)号）	著作権及び関連する権利に関するEU法を遵守し、特に指令（EU）2019/790の4条3項に従って表明された権利の留保を最新技術を通じて特定し遵守するためのポリシーを導入する義務
④学習用コンテンツの情報公開 （53条1項(d)号）	AI Officeが提供する雛形に従って、汎用目的AIモデルの学習に利用されるコンテンツに関する十分に詳細な要約を作成し公開する義務
⑤欧州委員会・国内管轄当局への協力 （53条3項）	欧州委員会及び国内管轄当局がAI Actに基づく権限を行使する際に、必要に応じて協力する義務
⑥授権代理人の任命 （54条）	EU域外で設立された提供者が、汎用目的AIモデルを市場に投入する前に、EU域内で設立された授権代理人（Authorized representative）を、54条3項所定の事項を委任する書面委任により任命する義務

　上記①、②及び⑥については、モデルへのアクセス、利用、修正及び頒布を認める無償且つオープンソースなライセンスのもとでリリースされ、且つ、重み（weights）・モデル構造に関する情報及びモデルの利用に関する情報を含むパラメータが一般に公開されているAIモデルの提供者には、モデルにシステミックリスクがある場合を除いて適用されません（53条2項・54条6項）。

(ｲ) システミックリスクがある場合の追加的義務

　汎用目的AIモデルは、以下のいずれかの場合に、システミックリスクを有するものと分類・公表され、上記(ｱ)の義務に加え追加的義務が提供者に生じます（51条1項・6項）。

(a)  指標やベンチマークを含む適切な技術的ツールや方法論に基づいて評価された高い影響力を有する場合

・モデルの学習に利用された累積計算量が浮動小数点演算で10の25乗を超える場合、(a)に該当すると推定される（51条2項）

・モデルが(a)の要件を充足する場合、提供者は、充足後又は充足することが判明後、遅滞なく、いかなる場合でも2週間以内に欧州委員会に通知しなければならない（52条1項） 　- 提供者が、(a)に該当するものの例外的にシステミックリスクを有さないと考える場合は、通知においてその旨主張できるが、欧州委員会にその主張が認められない場合は、システミックリスクを有するものと分類される（52条2項・3項）

(b)  職権による、又は科学的パネルからの適格な警告に基づく、欧州委員会の決定に基づき、付属書類XIIIに定める基準に照らして、(a)と同等の能力又は影響力を有すると認定される場合

システミックリスクのある汎用目的型AIモデルの提供者が追加的に負う主な義務は以下のとおりです（55条）。

項目	義務の内容
①モデル評価の実施 （55条1項(a)号）	システミックリスクを特定・低減することを目的としたモデルの敵対的テストの実施及び文書化を含め、最新技術を反映した標準化されたプロトコル及びツールに従ってモデル評価を実施する義務
②システミックリスクの評価・低減（55条1項(b)号）	システミックリスクのある汎用目的AIモデルの開発、市場投入又は利用から生じる可能性のあるシステミックリスクを、その発生源を含め、EUレベルで評価・低減する義務
③重大インシデント等の把握・報告 （55条1項(c)号）	重大インシデント及びそれに対応するために可能な是正措置に関する関連情報を把握し、文書化し、AI Office及び必要に応じて国内管轄当局に不当な遅延なく報告する義務
④サイバーセキュリティの確保 （55条1項(d)号）	システミックリスクのある汎用目的AIモデル及び当該モデルの物理的インフラストラクチャについて、適切なレベルのサイバーセキュリティを確保する義務

オ. AIシステム全般

　AIシステムの提供者及び利用者には、その職員等の技術的知識・経験・教育・訓練やAIシステムが利用される文脈・対象者・対象グループを考慮して、AIシステムの運用・利用を担当する職員等の十分なレベルのAIリテラシーを確保するための措置を最善の範囲で講じる義務が課されています（4条）。もっとも、同条の違反については、現状、99条3項乃至5項の制裁金の対象とはされていません。

(3) 罰則・制裁金

　AI Act上の規制への違反に関しては、以下のとおり違反の類型毎に非常に高額な制裁金が定められています。

違反類型	制裁金の上限
①許容できないリスクのあるAIシステムの禁止（5条）に対する違反	前会計年度における世界全体における売上総額の7%か、3500万ユーロのいずれか高い金額（※）（99条3項）
②以下のAI Act上の義務等の違反 (a)16条の提供者の義務 (b)22条の授権代理人の義務 (c)23条の輸入者の義務 (d)24条の流通事業者の義務 (e)26条の利用者の義務 (f)31条、33条1項・3項・4項又は34条の第三者認証機関（notified body）の要件・義務 (g)50条の提供者及び利用者の透明性の義務 (h)汎用目的AIモデルの提供者の義務等	前会計年度における世界全体における売上総額の3%か、1500万ユーロのいずれか高い金額（※）（99条4項・101条1項）
③第三者認証機関又は国内管轄当局の要請に対する、不正確、不完全又は誤解を招く情報の提供	前会計年度における世界全体における売上総額の1%か、750万ユーロのいずれか高い金額（※）（99条5項）

（※）スタートアップを含む中小企業（SMEs）については、上記②(h)（汎用目的AIモデルの提供者の義務等の違反）の場合を除き、「いずれか低い金額」となります（99条6項）。

関連記事

・「EU AI Act（AI規則）を踏まえた日本企業の対応事項」（牛島総合法律事務所　特集記事・2024年9月2日）