（CWW）數據集是大模型競爭的關鍵要素之一，AI大模型的突破得益于高質量數據的發展。AI大模型需要大規模、高質量數據，而數據的高效處理方式是大模型成功的關鍵。隨著數據集規模的增大，數據管理難度也在攀升，產生高質量數據存量耗盡、數據安全風險、數據合規等問題。建議加強數據合規監管和評估機制；重視數據多樣性和代表性發展；加強數據隱私保護和安全措施；加快高質量數據集發展。

(相關資料圖)

AI大模型需要大規模、高質量數據，數據高效處理方式是關鍵

訓練大模型需要大規模、高質量、多模態的數據集，通常需要從各個領域和多個數據源收集數據，這些數據可以是文本、圖像、語音、視頻等多種形式。大語言模型訓練使用的數據集規模爆發式增長。從2018年GPT-1數據集約為4.6GB，2020年GPT-3數據集達到了753GB，而ChatGPT的數據集為超萬億單詞的人類語言數據集（約45TB）。OpenAI并沒有公開訓練ChatGPT的相關數據集來源和具體信息，這也形成了一道無形的技術壁壘。常見的數據集主要由海外開源組織、高校、互聯網巨頭、政府機構等掌握。

圖1 常見大模型數據集總結

資料來源：OpenDataLab，CSDN

ChatGPT的突破性進展除了依賴于更高質量、更豐富的訓練數據集外，同樣得益于其高效的數據處理能力，特別是數據清洗、標注等。ChatGPT從多個數據源采集到大量原始數據后，首先使用自然語言處理技術對原始數據進行清洗，同時，還使用了特定的過濾器，去除常見的噪聲數據和無用信息。為了提高準確性和表現力，ChatGPT使用數據增強技術對數據集進行擴充，增加語料庫的規模和多樣性，從而提高ChatGPT的泛化能力和魯棒性。另外，ChatGPT使用RLHF（來自人工反饋過程的強化學習）生成用于微調的高質量標記數據。最后，ChatGPT使用標注和增強后的語料庫來訓練助理大模型。

AI大模型面臨高質量數據耗盡、數據安全、數據合規等風險

1.高質量數據將耗盡，尋找新的數據來源迫在眉睫

高質量數據是大模型不斷優化的稀缺資源。高質量訓練數據越大，大模型的推理能力越強。以GPT-3為例，來源于維基百科、書籍及學術期刊等高質量數據僅占其數據集的17.8%，但其在模型訓練中的權重占到了40%。而大模型訓練所需要的數據集的增速遠大于高質量數據生成的速度，導致高質量數據逐漸面臨枯竭。當前的存量數據中，高質量數據將在2026年耗盡，低質量數據將最晚在2050年耗盡，圖像數據將最晚在2060年耗盡。

為了解決高質量數據不足的問題，OpenAI主要采用合成數據的方法，即借助生成對抗網絡（GAN）來生成數據。將樣本數據輸入至預先準備好的模型，通過數據變換、旋轉、縮放、仿射變換等操作增加數據的多樣性和復雜度。合成數據因其高質量、高垂直的特性，將有可能最先在金融、醫療等行業率先適用，并將在2030年超過真實數據。目前，英偉達、微軟、Meta等均已在合成數據領域完成布局。

2.數據安全風險日益凸顯，輸入至模型的數據安全缺乏保障

大模型必須對用戶隱私進行過濾，否則帶來的隱私泄露風險將不可估量。大模型數據來源除了所有公開數據、合作數據、合成數據，用戶在與大模型的交互過程中產生的數據也成為了模型訓練的語料基礎。這使得大模型成為了“數據中心”，在輸出過程中必須確保數據安全。ChatGPT在發布之后，便出現了大量的用戶隱私泄露事件。今年3月，三星半導體部門連續出現三起ChatGPT數據泄露事件，源于員工將公司機密輸入而導致。截至目前，為避免企業信息泄露，蘋果、三星、亞馬遜、摩根大通等多家企業已經明確禁止使用外部生成式AI工具。

為避免用戶數據泄露，ChatGPT采用了數據脫敏處理、加密存儲、外部安全審計等方式，但效果有限。在經歷數起用戶隱私泄露事件后，ChatGPT上線了“關閉聊天記錄”功能，開啟后用戶的隱私數據將不會被保存，這意味著ChatGPT將隱私安全的風險又交回給了用戶手中。

3.數據合規風險或成為限制大模型發展的首要因素

從公開數據源中獲取的數據會存在危害國家安全、歧視、暴力、色情、謠言、政治傾向、犯罪等不合規數據。這就要求大模型在訓練之前需要對數據進行嚴格清洗和準確標注。ChatGPT避免數據合規風險的方法包括數據清洗、數據標注、模型的預訓練、降低不良信息權重、自我反思等。但這些方法仍然存在被用戶通過“惡意誘導”的方式繞過，包括生成惡意軟件、編造虛假消息。國內某用戶在利用ChatGPT測試過程中，發現利用特定方式可以讓ChatGPT生成釣魚信息的模板，從而繞過其監管策略。

全球范圍內，針對人工智能的監管已經來臨。美國、歐洲、中國均已經對大模型的監管提出相應的政策及法案，對生成式人工智能的個人隱私、知識產權、虛假信息、政治傾向等方面提出了監管意見。美國商務部下屬國家電信和信息管理局 (NTIA) 在4月11日發起了一項關于AI風險和機遇的征求意見倡議，涉及歧視標準、社會和治理保證、風險管理、透明度和反偏見等。并在5月16日舉行了OpenAI聽證會，圍繞著版權侵害、虛假內容、影響選舉、數據安全、大公司壟斷等議題展開。OpenAI的CEO Altman在聽證會上就美國政府應該如何監管AI公司，提了四條建議：一是組建一個新的政府機構，負責給AI廠商提供許可證，并吊銷不符合政府標準的廠商的許可證；二是為AI大模型創建一套安全標準，大模型必須通過安全測試與風險評估；三是指派第三方專家獨立審核AI產品的各方面指標；四是創立一個由美國領導為AI制定相關標準的國際組織。歐盟在5月11日通過了《歐盟人工智能法案（The AI Act）》，該法案針對不同類型的人工智能系統制定了相應的監管措施，區分了不可接受的風險、高風險、有限風險和低或輕微風險四種風險類型，并針對不同類型施加了不同的監管措施以及相應類型的人工智能系統的提供者義務。我國國家網信辦在4月11日發布《生成式人工智能服務管理辦法（征求意見稿）》，并對大模型備案、安全評估、內容真實準確、尊重他人合法利益、公平競爭、處罰等問題作出了相關規定。

相關建議

1.建立數據合規的監管和評估機制

推動完善AIGC監管立法，保護和規范人工智能領域的內容合規。相關機構和政府部門應建立相應的監管機制，對大模型的數據采集來源、處理方法、合規性等進行監督和審查。此外，應加強對大模型的社會影響和風險評估，及時發現和解決可能存在的問題。

2.加強數據保護和安全措施

相關機構和企業應制定嚴格的數據隱私保護政策，加強數據安全技術和措施，確保用戶個人隱私得到充分保護。同時，要加強數據共享和合作的安全管理，防止數據泄漏和濫用。

3.加強高質量數據集發展

一方面，借助數字中國戰略，通過數據交易所，實現數據資源在各行業、各企業間自由流通，緩解大模型訓練數據量不足問題。同時，大力發展數據服務商，提供數據標注、清洗、維護等服務，助力大模型訓練數據質量提升。另一方面，加強AI生成技術，利用AI合成數據緩解數據耗盡問題。