生成式AI對於隱私保護之挑戰|孫鈺婷,財團法人資訊工業策進會 科技法律研究所 數位創新中心 專案經理

2025-09-23

壹、前言

隨著生成式人工智慧(Generative AI,下稱生成式AI)蓬勃發展,對數位經濟及社會產生深遠的影響,同時也引發隱私疑慮。從AI模型生命週期每個環節都可能涉及個資應用,如訓練資料可能洩露個人隱私、個資遭到不當利用的風險等,究應如何因應生成式AI帶來的挑戰,本文將整理生成式AI核心隱私與資料保護風險,以及因應隱私風險的具體建議。

貳、生成式AI的隱私風險

大型語言模型系統(下稱LLM系統)應用之一即為生成式AI,從資料蒐集、模型訓練、內容生成到應用階段,整個AI模型生命週期的多個層面都可能涉及個資蒐集、處理、利用,進而產生相應的隱私風險。以下整理歐盟個人資料保護委員會(European Data Protection Board, EDPB)於20254月專家報告中,關於LLM系統中核心資料保護與隱私風險[1],將更容易掌握目前所面臨在發展、應用AI時需要特別注意之處:

1.     個資保護不足導致資料外洩:在使用者輸入、模型訓練、推論及輸出過程中因相關保護機制不足導致洩露敏感資料。具體風險包含未經授權的存取、資料傳輸加密不足、API濫用、介面漏洞、匿名化或過濾技術不足、第三方暴露等。

2.     訓練資料被錯誤歸類為匿名資料:如未經適當匿名化的使用者日誌訓練出的LLM,可能透過模型逆向攻擊(model inversion attacks)、推論攻擊(inference attacks),亦即利用模型的輸出,提取或重建模型的訓練資料,造成可識別的使用者資訊之洩漏。

3.     使用欠缺法律依據之個資訓練LLM 在沒有適當法律依據、保護措施或使用者同意的情況下,將個資納入訓練資料集。例如,電商平台在未告知或取得客戶同意的情況下,使用其購買紀錄來訓練LLM

4.     訓練資料集中特種個資及相關資料的處理:訓練資料集包含敏感資料,如健康或犯罪記錄,但未能符合合法處理之例外規定。

5.     對資料主體的潛在負面影響:系統輸出可能對個人產生負面影響,如輸出可能不準確、誤導性資訊(幻覺)或帶有偏見,且未提供糾正錯誤的機制,導致使用者將錯誤資訊誤認為事實;且輸出可能被用於自動化決策,對資料主體產生法律或類似的重大影響。

6.     未對具有法律或重要影響的資料處理進行人工干預:如自動化決策若對個人產生重大影響,但缺乏人工審查。例如,聊天機器人自動批准或拒絕貸款申請,而沒有人工審查。

7.     未授予資料主體權利:如在模型中可能無法完成資料主體更正或刪除個資的請求;使用者不了解提供者將如何利用、保留或分享其資料。

8.     個資再利用:個資被用於與最初蒐集目的不同的用途。例如,提供者在未經事前同意的情況下,將使用者輸入或輸出資料用於訓練LLM

9.     個資無限期儲存:輸入或輸出資料的儲存時間超過必要期限,以及提供者可能會為修改錯誤、模型改進等原因,記錄使用者的輸入和輸出,導致無限期的個資儲存。

10. 個資跨境傳輸:個資傳輸到未提供足夠個資保護水準的國家處理,例如LLM提供者在資料保護法律不足的國家處理資料,可能增加隱私風險。

11. 違反資料最小化原則:模型訓練涉及大量個資的廣泛處理,可能超出必要範圍,亦即LLM通常需要大量資料來進行訓練,部署者也可能需要調整LLM系統,導致過度蒐集資料。

參、結論:隱私風險之具體因應措施建議

前述報告針對LLM隱私風險亦有提出具體因應措施建議,綜整如下[2]

階段

LLM隱私風險

具體因應措施建議

資料蒐集

訓練資料被錯誤歸類為匿名資料、使用欠缺法律依據之個資訓練LLM、訓練資料集中特種個資及相關資料的處理、違反資料最小化原則

網路爬蟲(Web Scraping)評估、資料來源與內容管理、納入隱私設計 (Privacy by Design)原則、從訓練資料集中移除不必要的個資、匿名化/假名化、採用隱私保護技術、透明度、退出機制設計等

模型推論與輸出

無意中洩露個資或錯誤訊息、再識別風險

記錄所有訓練資料來源、限制檢索來源、相關性篩選、排除非法內容、採用可顯著降低或消除識別的方法、資料保護官(DPO)參與、限縮回應範圍等

系統操作與維護

個人資料保護不足導致資料洩露

採取技術與組織措施,如確保API實施安全措施、資料加密、存取控制、去識別化、深度防禦、風險識別與防範、日誌記錄、教育訓練等;檢索增強生成(RAG)系統模型校準,防止未經授權的存取和敏感資料外洩;整合多個資料來源時,確保機密性、完整性、必要性和比例性等

模型整體生命週期

對資料主體的潛在負面影響、未對具有法律或重要影響的資料處理進行人工干預、未授予資料主體權利、個資再利用、個資無限期儲存、個資跨境傳輸

實施透明度措施、準確性與公平性、整合人工監督與可歸責、明確的升級程序(escalation procedures)、高風險輸出標記、設計資料主體權利行使機制、透過機器反學習(Machine Unlearning)從訓練模型中移除資料、目的限制、相容性評估、委外訓練驗證、資料保留政策、評估資料處理地點、必要時進行資料傳輸影響評估

綜上,從訓練資料的記憶與萃取、推論階段的資料洩露、去識別化的挑戰,皆是對於既有個資保護框架考驗。建議在AI模型整體生命週期持續強化個資保護之風險管理,定期評估調整,以應對新興威脅,並考量結合人工監督與自動化措施,以有效管理風險。此為複雜而多面向的任務,需要提供者、部署者與使用者共同努力,透過技術與法規,並採用持續監控與策略的滾動調整,以因應隱私和資料保護之挑戰,實現負責任的AI發展與應用。



[1] Isabel Barbera, AI Privacy Risks & Mitigations Large Language Models (LLMs), https://www.edpb.europa.eu/system/files/2025-04/ai-privacy-risks-and-mitigations-in-llms.pdf (last visited September 3, 2025).

此外,IBM20249月整理AI隱私風險主要包含敏感資料的蒐集、未經當事人同意蒐集資料、未經許可使用資料、未經審核的監控與偏見、資料外洩(Data exfiltration),如駭客在提示注入攻擊(prompt injection attacks)操控生成式AI暴露敏感資料,以及敏感資料的意外暴露(Data leakage)等。詳參Alice Gomstyn & Alexandra Jonker, Exploring privacy issues in the age of AI, https://www.ibm.com/think/insights/ai-privacy (last visited September 3, 2025).

[2] Id.