1993
金磊 夢晨 發(fā)自 凹非寺，量子位 | 公眾號 QbitAI
隨著生成式AI的火速發(fā)展，AI應用開始與各種信息設備“嫁接”，AI手機、AI PC，甚至AI汽車都變得越發(fā)司空見慣。
一方面，人們正在生活中享受著AI，尤其是大模型帶來的便捷，可以隨時隨地向終端設備提出問題來答疑解惑，內容可能是日常生活中遇到的麻煩，也可能是單純跟AI聊聊天解解悶，順手拍個大模型給你解說人生雞湯的視頻發(fā)出來炫一下。
但另一方面，生成式AI上終端設備之后，更多地在向AI生產力的方向發(fā)展。
換言之，人們在工作上也越發(fā)地開始依賴大模型，例如直接把文檔、表格、圖片丟給設備來解析、處理。
這就引發(fā)了一個不知不覺中發(fā)生，也不可避免的話題——安全性。
因為不論AI應用在何種信息設備上集成，在使用過程中都會收集和產生大量用戶數(shù)據(jù)，如個人信息、通信記錄、瀏覽歷史、生物特征數(shù)據(jù)等，這些數(shù)據(jù)對于用戶來說具有高度的敏感性。
就好比之前的推薦模型僅僅是根據(jù)用戶的瀏覽歷史、搜索記錄、購買行為等數(shù)據(jù)，就可以讓用戶身陷信息繭房，只推薦用戶可能感興趣的內容，限制了視野的拓展，再從電商角度“殺個熟”。
而大模型加持的這些AI終端設備，涉及到用戶生活的更多方面，包括通信、工作、娛樂、金融等，甚至將來某一天它與汽車結合成為你的“副駕”，或與家務機器人結合后成為你的管家或護工時，還可能會把你家里家外的事兒摸個底兒掉。
所以它一旦出現(xiàn)安全問題，其影響范圍將遠遠超過推薦模型，可能導致用戶的財產損失、身份被盜用、工作中斷等嚴重后果。
或許有人會說了，很多AI終端廠商在做宣傳的時候都在強調斷網(wǎng)運行，由此可以保障本地文件或信息的安全性。
但事實真是如此嗎？
非也非也。
AIGC應用，需要端云協(xié)同
AIGC應用在終端使用的過程中，一個明顯的趨勢是這樣的——
能力越強的AIGC應用都應當是端云協(xié)同，這才是數(shù)據(jù)處理模式的未來趨勢。
之所以如此，是因為在大模型的應用過程中，充沛的算力和海量高質量的數(shù)據(jù)都是關鍵中的關鍵，直接影響用戶在終端的體感。
尤其在眾多面向終端部署的個人化應用里，一旦訓練或推理過程有大規(guī)模計算資源參與其中，算力相對較弱的終端便會顯得力不從心；一旦用戶探求的信息或答案需要專門的數(shù)據(jù)庫甚至高度組織的知識庫的支持，都會成為阻礙AIGC應用進一步拓展的瓶頸。
那么端云協(xié)同又是如何破局的呢？
在端云協(xié)同的這一模式下，終端設備主要承擔起與使用者直接相關的各類數(shù)據(jù)的采集與預處理工作。
它如同一個敏銳的觀察者，時刻感知著周圍的環(huán)境變化，將各種原始數(shù)據(jù)收集起來，并進行初步的整理和篩選。
而那些復雜的計算任務，以及對更多數(shù)據(jù)的訪問則交由強大的云端算力來完成。云端就像是一個更有智慧的大腦，擁有著龐大的計算資源和先進的算法或更大參數(shù)量的復雜模型，還有個人用戶難以企及的超大規(guī)模數(shù)據(jù)來供其訓練或訪問，可以更快速、更準確地給出答案或輔助處理需求。
這樣一來，即使終端設備本身的算力和數(shù)據(jù)有限，也能夠借助云端強勁的AI算力和數(shù)據(jù)積蓄來實現(xiàn)更加復雜的功能和服務。
比如，在圖像識別領域，終端設備可以快速拍攝照片并進行簡單的圖像裁剪和調整，然后將圖像數(shù)據(jù)上傳至云端。
云端利用其強大的計算能力和深度學習算法，對圖像進行高精度的識別和分析，最后將結果返回給終端設備，為用戶提供詳細的圖像信息和相關的服務建議。
在語音處理方面，終端設備可以采集用戶的語音信號并進行降噪等預處理，云端則負責對語音進行識別、翻譯和語義理解等復雜的處理任務，從而實現(xiàn)智能語音助手的強大功能。
這種模式雖好，但當客戶端各類數(shù)據(jù)需要傳輸至云端進行處理的時候，云端可信環(huán)境的重要性便立刻凸顯出來。
所謂云端可信環(huán)境，指的是在云端能夠確保終端傳來的隱私數(shù)據(jù)以及自身存儲的各類關鍵數(shù)據(jù)在處理和交互時，都能被更好地保護，不被非法訪問、篡改或者泄露。在這個數(shù)據(jù)驅動的時代，尤其是面向企業(yè)級應用，這樣的環(huán)境至關重要，其意義不言而喻。
一方面，云端可信環(huán)境直接關系到用戶信任度的高低。
用戶在使用各種基于AI技術的應用時，會將大量的個人數(shù)據(jù)上傳至云端進行處理；如果云端環(huán)境不可信，用戶的隱私數(shù)據(jù)隨時可能面臨被竊取、濫用的風險，這無疑會讓用戶對這些應用產生極大的擔憂和不信任。
另一方面，云端可信環(huán)境還將影響到AI技術與應用的長期發(fā)展和社會接受度。
如果云端的安全性無法得到保障，頻繁出現(xiàn)數(shù)據(jù)泄露等問題，不僅會損害用戶的利益，還會引發(fā)社會對AI技術的質疑和擔憂。這也將極大地阻礙AI技術的進一步發(fā)展和推廣。
那么何以解憂？CPU，了解一下。
或許在很多人的固有認知里，在云上或數(shù)據(jù)中心里，與AI數(shù)據(jù)處理相關的硬件更多應當向GPU或者專用加速器靠攏；但實際上，CPU作為系統(tǒng)的中央處理器，它才具備對整個系統(tǒng)的全面控制能力。
例如在云端協(xié)同的數(shù)據(jù)處理中，CPU能夠對數(shù)據(jù)的傳輸、存儲和處理進行全面的監(jiān)控和管理，如訪問控制、身份驗證、數(shù)據(jù)加密等。
相比之下，GPU和專用加速器主要專注于特定的計算任務，缺乏對系統(tǒng)的全面控制能力，難以有效地執(zhí)行安全策略。
至于CPU具體是如何在這個過程中發(fā)揮作用的，我們繼續(xù)往下看。
基于CPU的可信執(zhí)行環(huán)境
說到構建云端可信環(huán)境，離不開一個關鍵技術——可信執(zhí)行環(huán)境(TEE)。
它通過在硬件中創(chuàng)建隔離區(qū)域，保護內存中的敏感數(shù)據(jù)不被非法訪問、篡改或泄露?？尚艌?zhí)行環(huán)境能夠為敏感數(shù)據(jù)和代碼提供獨立于操作系統(tǒng)和硬件配置的增強安全防護。
想要在“端云協(xié)同”模式下構建可信執(zhí)行環(huán)境，還可以從以下幾個方面入手：
采用硬件級安全技術：
目前這方面的技術，成熟且應用較多的，當屬英特爾??軟件防護擴展（Intel??SGX）和英特爾??信任域擴展（Intel??TDX），它們或在內存中構建被稱為“飛地”（Enclave）的安全區(qū)域，能做到應用隔離，來保護最關鍵的敏感應用和關鍵數(shù)據(jù)，或將TEE環(huán)境擴展到虛擬機層面，實現(xiàn)虛擬機隔離，來保護某個虛擬機環(huán)境中的數(shù)據(jù)和應用程序免遭未經授權的訪問。
構建遠程認證和密鑰管理體系：
引入英特爾??數(shù)據(jù)中心驗真原語（Intel??DCAP）等技術，構建遠程認證服務和密鑰分發(fā)服務。確保只有經過驗證的用戶和設備才能訪問云端資源，來更好地保護數(shù)據(jù)免受未授權的訪問和泄露。
采用可信的運行環(huán)境和工具：
利用開源的輕量級操作系統(tǒng)，如Gramine，確?？尚胚\行實例的創(chuàng)建、加載與運行。Gramine支持對網(wǎng)絡通信進行加密，并可將遠程認證協(xié)議（RA-TLS）下沉，實現(xiàn)對應用程序透明的加密網(wǎng)絡通信。
基于SGX、TDX構建的云端TEE環(huán)境，再配合遠程證明等配套服務，就構成了一套完整的面向AI任務的云端可信方案，可以為數(shù)據(jù)提供全方位的保護。
數(shù)據(jù)可信計算：通過云平臺機密容器的構建和部署，構筑了基于TEE的雙路可信AI沙箱，將AI應用的處理流程放入其中，讓用戶隱私數(shù)據(jù)在云端“可用不可見”。
數(shù)據(jù)可信傳輸：業(yè)務側對用戶隱私數(shù)據(jù)進行加密傳輸，同時借助遠程認證服務，使業(yè)務開發(fā)或運維人員也無法獲取明文數(shù)據(jù)，確保數(shù)據(jù)在傳輸過程中的安全性。
數(shù)據(jù)可信存儲：業(yè)務側對用戶隱私數(shù)據(jù)進行加密存儲，相關憑據(jù)類敏感數(shù)據(jù)也基于"飛地"加密存儲，防止未經授權的訪問。
由此可見，這套架構不僅可以保護靜態(tài)數(shù)據(jù)，更是補齊了數(shù)據(jù)在處理和交互中的安全防護能力，做到在全流程中更好地”保駕護航”。
在大家熟悉的英特爾??至強??處理器上，相關安全技術的探索，早在幾年前AI應用還處于訓練為主的時代就已經有過成功用例。
例如阿里云企業(yè)級ECS實例g8i方案，就通過引入第五代英特爾??至強??可擴展處理器，構建了有彈性可信邊界、且易于將應用程序部署在其中的分級機密計算新方案。
基于此，阿里云提供了機密虛擬機和機密容器兩種使用模式，并推出了采用英特爾??TDX的BigDL大模型隱私保護方案。
不僅能保障AI推理階段，在預處理、數(shù)據(jù)準備、模型訓練等階段都可以對使用中的數(shù)據(jù)進行保護，更好地保證數(shù)據(jù)、模型的隱私機密性。這不僅加強了對用戶隱私的保護，也保護了寶貴的模型資產不被竊取。
還有金融業(yè)的平安科技和其他行業(yè)一些AI應用的先鋒，更早時就曾探索基于SGX技術來實現(xiàn)更安全、更可信的聯(lián)邦學習，或者隱私保護的機器學習應用，當然這些應用也都屬于訓練類型，也都是面向那些愿意提供自家數(shù)據(jù)來訓練一個共有模型的多家企業(yè)或機構，讓他們的數(shù)據(jù)在這一過程中得到更好的保護。
再來回顧至強CPU安全能力的進化史。英特爾在這條道路上從未止步。
在至強??處理器中，SGX首次作為附加功能出現(xiàn)在第二代英特爾??至強? ?可擴展處理器中，并在第三代至強??可擴展處理器中成為標準功能。
而TDX首次在2023年隨第四代英特爾??至強??可擴展處理器（代號Sapphire Rapids）引入。第五代至強??可擴展處理器進一步推廣了TDX技術，使其在市場上更廣泛可用。
隨著AI技術的不斷發(fā)展和應用場景的不斷擴大，加強數(shù)據(jù)隱私和安全的需求將日益凸顯。構建云端可信環(huán)境，不僅為云上用戶數(shù)據(jù)提供全方位的保護，也為大模型、生成式AI的個人化落地，以及“端云協(xié)同”模式下的數(shù)據(jù)安全與隱私保護提供了有價值的參考。
而這一切，都有英特爾??至強??這款服務器CPU在背后默默發(fā)力和支持。
而今，在最新一代至強??6處理器產品上，不論是6月發(fā)布的能效核（E-core）產品，還是剛剛官宣的，擁有更強單核性能、更高核心/計算密度、更高能效表現(xiàn)、以及更強內存和IO支持的性能核產品——至強6900P系列身上，SGX和TDX都未缺席，正是它們?yōu)檫@些CPU產品增添了“更安全可靠”的定語，也為AI應用和數(shù)據(jù)的安全保障帶來更加可行、可用，易用，好用的保障。
為了科普CPU在AI推理新時代的玩法，量子位開設了《最“in”AI》專欄，將從技術科普、行業(yè)案例、實戰(zhàn)優(yōu)化等多個角度全面解讀。
我們希望通過這個專欄，讓更多的人了解CPU在AI推理加速，甚至是整個AI平臺或全流程加速上的實踐成果，重點就是如何更好地利用CPU來提升大模型應用的性能和效率。
