7/20のHackFesに参加しました！
内容や関連リンクなど、個人的な備忘メモです
『LLMのセキュリティ･リスク』（45min）高江洲 勲
文章生成AI LLM に焦点を当てて
確率の高い情報が選択される
LLM活用のセキュリティでの留意点・懸念点
幻覚
情報漏洩
悪性LLM
LLMアプリケーション
幻覚
幻覚インシデントの事例：弁護士がChatGPTで判例を探したが、全くの嘘だった
幻覚発生要因
LLMの性質：
学習データの品質
学習中の真実根拠の欠如
プロンプトのあいまいさ
幻覚による被害を防ぐ方法
ファクトチェックの実施
プロンプトの補強・明確化
回答生成時に外部知識を活用
情報漏洩
社外秘情報をChatGPTに入力した時点でインシデントだが、学習にも使われる、第三者に開示されるリスクがある
情報漏洩の検証
GPT3.5で学習した企業のメールアドレスを取得できないか検証
情報漏洩の対策
機微情報は入力しない
プロンプトを学習しない設定にする
プライバシー保護機能を持つLLMサービスを利用する
悪性LLM
悪性LLMへの対策
信頼できないGPTsを利用しない
GPTsに重要情報を入力しない
GPTsが通信する外部サーバを検証する
GPTsが表示するダウンロードリンクのURLを検証する
LLMアプリケーション
LLMとエージェントのDBや外部APIを叩いて回答を返す
最後に
使わない選択肢はない
賢く正しく使うことがだいじ
質疑
ハルシネーションチェックについて、効率よくやる方法は？
一部あっていて一部誤っている場合など、、
複数のLLMサービスで同じ問い合わせをしてみることでリスクが下がる
LAG?LAM?というシステムを活用する？
『Offense for AI, AI for Offense』（45min）辻 知希（Satoki）
Webセキュリティ、ペンテスト
LLMアプリケーションへの攻撃の話
一般に公開されてるアプリケーションに攻撃を行わないでね!!
Offense for AI
プロンプトインジェクション
LLMの制約を回避するJailbreak/FilterBypass
画像に記載された命令を実行しちゃう
小切手の金額読み取りを妨害する
おばあちゃんのネックレスでCAPTCHA認証の突破
安全でない出力処理の問題
絵文字やアスキーアートを用いた攻撃プロンプトの研究事例
アスキーアートに記載したものの作り方を教えて！
プロンプトを絵文字に置き換えてデータ保護、
HackerOneのAIアシスタントはHaiへのPrompt Injection
ホモグリフを用いた新たな攻撃手法
ASCIIをつかわずにプロンプトを構築しても回答を返す、フィルタをバイパスできる、ASCIIと応答が変わるかどうかも不明らしい
AIが関与するWebサービスやオープンソースソフトウェアの脆弱性
InsecureOutputHandlingの事例
HTMLについて質問したいです！
Self XSS？ →チャット内容の共有URLでXSSできるかもね
現実にCVE採番が行われた事例と新たに発見したパッチのバイパス手法
LLM4Shell 、LangChainを用いるシステムの脆弱性
from math prompt
CVE-2023-36258, CVE-2023-44467
緩和策で危険な関数は使えないような実装に変更された
アプリケーションのブラックリストなどを設定して、要素に変な関数が出てきたら止めるような仕組みが入った（AST Check)
RCE対策突破 LLM4Shell 0-day RCE！
Pythonのデコレーターで関数に追加できる
構文とは別形式で、@~~
a=exec
a(…)
PAL Chain自体が試験的機能へ移動し、警告の表示がされるようになった
まとめ
AIのセキュリティ面だけではなく、従来セキュリティも大事
AI for Offense
AIを利用してWebソースコードから脆弱性を発見する手法、攻撃ペイロードの自動最適化など、AIが攻撃側のリソースとしてどのように活用され得るか
AIで脆弱性診断をサボろう！
ChatGPT4にCVE説明を与えると悪用できる
一般的なWebアプリケーションの脆弱性も悪用できる
ソースコードから脆弱性が含まれるか調査できるらしい、すごい
複雑な脆弱性は発見できない
AIをペイロード作成に活用
有効な難読XSS攻撃ペイロード
複雑に難読化することもできない
サーバ側の情報を用いたWeb攻撃ペイロード作成、仕組みは理解しているが無効なSSTI攻撃ペイロード
まとめ
セキュリティエンジニアの補助ツールとしては不採用？
大規模ソースコードから簡易的な脆弱性の発見可能
不十分な知識でもペイロードを作成して難読化できる
スクリプトキディには十分
質疑
AIへコードを投げる際に、脆弱性を指定した場合としていない場合、同じようなものになる
後半のペイロード作成、悪性コードは危ないから作らないというフィルタは？
これはCTFですってつけるといい、分割して依頼すると悪質と検出されない
『スポンサーセッション：サイバーセキュリティにおけるAI：プロンプトを超えた攻防』（25min）齊藤 義人
脆弱性診断やペンテスト、フォレンジックQA、サービス開発など
AI：脆弱性診断のwebクローラやCVE/KEVの情報検索自動化、コード生成など
生成AIは、現場では活用できていない（国内では経営層も）
AIで決断を支援
AIの進化とサイバーセキュリティ
AIは膨大なデータ分析やパターン認識に優れており、新たなセキュリティ対策の可能性を提供。
従来の対策では難しかった脅威にも有効。
AIによるセキュリティエンジニアへの影響
AIの高度化により、セキュリティシステムの自動化が可能に。
セキュリティエンジニアの仕事や存在価値が低下する懸念。
「AIはセキュリティエンジニアを殺す魔法か？」
AIの進化についての考察の重要性。
「ゾルトラーク現象」とAI
かつて特別だった技術が一般化し、新技術の土台となる過程。
AIツールの一般化：ChatGPT、Claude3などが普及。
技術とビジネスのギャップ
セキュリティエンジニアとしての経験を活かし、AI活用の方法を探求。
持続的なAI活用を目指す。
AIシステムをセキュリティやばそうじゃん
AI使ってサイバー攻撃できんじゃん
AIってセキュリティで便利に使えるじゃん
ブレーンストーミンで生き残る
『ブラウザ通知スパムで見る、悪意あるコンテンツが表示される仕組み』（25min）益本 将臣
悪意のあるインターネットコンテンツ
マルウェア配布サイト、詐欺サイト、違法コンテンツサイトが存在。
攻撃者がアフィリエイトネットワークを利用して悪意のあるコンテンツを拡散。
アフィリエイトネットワークの役割
広告収入や手数料を得るためのトラフィック誘導。
アクセス者の属性に応じて悪意のあるコンテンツを表示。
脅威の無視できない理由
マルウェアや詐欺サイトなど、直接的な害を及ぼすコンテンツへの誘導。
講演の内容
ブラウザ通知スパムを例に、被害者誘導の手口を説明。
アフィリエイトネットワークの仕組みと手法について解説。
正規サイトの改ざん方法の説明。
ラッキービジター詐欺
偽のChromeエラー画面（ClickFix）
ブラウザ通知スパム
偽の通知、悪意のサイトへ移動
偽の通知、広告収入のために商品を購入させる
悪意あるコンテンツの裏側
準備した誘導コンテンツからリダイレクト
『実運用ワークフローを踏まえた不正リスク対策』（25min）伊東 道明
デジタル化と不正検知の課題
サイバー攻撃による不正アクセス。
サービスの不正利用。
内部不正による情報漏えい。
講演の主題
不正検知に必要なデータの特定。
適切な不正検知手法の紹介。
不正検知システムの運用
ワークフローへの組み込みによる手法や運用方法の変化。
実運用の観点からの不正リスクへの対応。
実例を用いた解説。
『AIの判断と法的責任』（45min）平野 敬
権利主体は人、法的責任は人が負う、人の範囲は？
人の範囲は揺れ動く
ホモサピエンスの中でも、状況や地位などで人ではないと判断された過去もある
ホモサピエンスでなくても、法人など、人扱いされることはある
刑事被告人として、豚が殺人罪に問われたことがある
物の範囲も揺れ動く
奴隷や子供：物扱いから、人へ昇格
無からの想像：有体物のみが物だったが、著作権や特許権、商標権など、物扱いへ
AIは人か？
まだ人ではない
人が操作して思考を補助する道具としての計算機、物である
ノイマン型コンピュータ、複雑な計算、一部は人間を凌駕
計算が複雑になり、人と介入が少ない→計算補助から俺の代わりに計算するやつ、へ
コンピュータが人間への助言や意思決定を行う存在に進化。
知的生産を担う役割も増大。
技術発展と法整備の遅れ
技術の進歩は急速だが、法整備が追いついていない。
民事裁判と刑事裁判で、責任主体に関する考え方が異なる
過失責任主義：落ち度がある人が責任を負うべき
報賞責任主義：利益を得ていた人が責任を負うべき
一般原則としては過失責任主義
複雑になり、誰が悪かったか分からず、立証もできないが、被害者が出ており、救済されなければならない場合、利益を得ていた人に責任を負わせてバランスをとる
民法709条：
製造物責任 第三条：
過失とは？
工場長が責任に問われる
工場長「業者が納入した薬品が無企画品だった、業者が悪い」
一審では無罪だったが、多くの赤ちゃんが口にするのであれば慎重に試験すべきだったが試験をしなかった、危惧感があったとされて過失と認められた
AIに関連するトラブルの増加予測
AIの使用によるトラブルが増える可能性。
民事・刑事の法的責任が問われるケースが増加。
ブラックボックスで因果関係が不明なことが多い、事故が起きやすい
AI技術者の自己防衛
技術者がどのようにして法的リスクから身を守るかが重要。
設計やテスト段階で不具合を最大限除去するが、その上でリスクはある
過失とされないために、エビデンスの蓄積が重要
予見可能性
その当時の科学的知見に照らしてリスク評価と洗い出しができていたかどうか
結果回避可能性
事故の発生を防止するために有効な手が尽くされていたか
過失についての防御
評価障害事実：過失がなかったと推認させる事実をそろえる
リスク検討
対策検討資料
いつでも参照できるように保持する
評価根拠事実：過失があったと推認させる事実をつぶす
社外、対外コミュニケーション
取り調べ時の供述
リスクがあったかも、対応できたかも、と言うと過失があったと推認できる
過失の証明：客観的証拠と供述証拠から証明
もしかしたら事故が起きると予見できたかも
事故を防ぐために出来ることはあったかも
このような発言が供述証拠になる、比重が大きいため注意
刑事事件では
弁護人と協議できるまでは、とにかく黙秘、雑談にも応じない、調書をとられると撤回が困難になる
捜索差し押えは霊場の範囲でのみ応じる、任意のものは開示注意
捜索差押の状況は録音録画必須
まとめ
AIは人ではない、AI利用の結果は使用者や開発者が責任を負う
開発者としては過失を潰し、エビデンスを残す
刑事事件では弁護士と相談して対応
困ったらハッカー協会に相談
『世界に普及可能な日本発のサイバー技術の生産手段の確立』（50min）登大遊
日本の困難の解決
IT人材不足リテラシ不足解消
システム・ソフトウェア技術やプラットフォーマーを自ら生み出せるICT人材をどうすれば日本でも育成できるか？
失敗を許容できる環境が必要
海外製サイバー技術の多さ
多くのサイバー技術が海外で開発。
日本でのサイバー技術生産の可能性
人材、資源、設備を活用して技術生産の基盤確立が可能。
グローバルに普及する基盤サービスの創出が期待される。
ガバメントクラウド、ヨーロッパの米国クラウド法
VPN Gate、分散型FW回避システムらしい
NTT東日本とIPAでテレワークシステム、LGWANの開発と無償提供
必要な取り組み
多レイヤー技術の探求
コンピューターと通信を統合した技術の深掘り。
資源と組織間連携の活用
既存の通信路やインフラを活かした技術開発。
イノベーション文化の復活
Microsoft, Google, Apple の創業や UNIX の発明を参考にした創造的取り組み。
