證實資安公司單靠研究員與資安白帽進行的研究, 終究是達成有效結果的可能性不高, 一定需要AI系統供應商提供研究的安全港.

-------------------------------

AI 的「漏洞披露」真的有效嗎？去年，我在Stanford大學的團隊召集了 30 位專家，我們認為當前的機制算是崩潰. 研究的結果今天今天發表！

在我們的論文《內部評估是不夠的：邁向通用 AI 的穩健第三方漏洞挖掘披露》中，我們列出了以下內容：

1. 對 AI 系統進行獨立的第三方評估是必不可少的，但目前的基礎設施嚴重不足。AI 行業遠遠落後於軟體安全等更成熟的領域。如果沒有 AI 系統供應商的安全港，研究人員和白帽駭客開展這項工作的可能性要小得多

2. 當報告通用 AI 系統中的嚴重缺陷時，通常是隨意且不完整的。目前尚不清楚應該共用哪些資訊、共用給誰以及何時共用。在下圖中，我們提出了一種新的協調缺陷披露系統，在該系統中，第三方評估人員向整個 AI 供應鏈中的關鍵參與者提交標準化的 AI 缺陷報告。我們的論文包含範本，以簡化提交、重現和分類缺陷的過程

3. 通用 AI 系統的供應商應採用具有法律安全港的廣泛缺陷披露計劃，以保護遵循善意參與規則的研究人員。與軟體安全一樣，研究人員應承諾遵守這些規則（例如，尊重隱私，不傷害真實使用者或系統），以保護人員並更有效地與公司合作以減少缺陷

4. 一般AI 系統中的缺陷通常會轉移到許多其他系統（例如通用越獄）。這意味著我們需要改進的基礎設施來協調缺陷報告在整個生態系統中的分發，因為一個開發人員的問題幾乎肯定會影響其他開發人員以及部署人員和分銷商

感謝 Shayne Longpre 和 Ruth E. Appel 與我共同領導這項工作！

我們的合作彙集了來自軟體安全、機器學習、法律、社會科學和政策領域的 24 個機構的專家，以確定 GPAI 系統缺陷評估和報告方面的差距。