3198
引言——
就在最近這一兩年，大型語言模型（LLMs）已經(jīng)徹底顛覆了人們對(duì)于人工智能（AI）領(lǐng)域的看法。從增強(qiáng)自然語言處理（NLP）的能力到推動(dòng)機(jī)器學(xué)習(xí)（ML）的新應(yīng)用，它們已成為推動(dòng)技術(shù)創(chuàng)新的關(guān)鍵力量。這些模型通過處理巨大的數(shù)據(jù)集來學(xué)習(xí)語言的復(fù)雜性、語境和細(xì)微差別，使得機(jī)器能夠執(zhí)行諸如語言翻譯、內(nèi)容創(chuàng)作、情感分析等高級(jí)任務(wù)，甚至在圖像識(shí)別和生物醫(yī)藥研究等領(lǐng)域展現(xiàn)出前所未有的潛力。隨著技術(shù)的飛速進(jìn)步，我們見證了模型規(guī)模的指數(shù)級(jí)增長，這帶來了更高的預(yù)測(cè)性能和更廣泛的應(yīng)用范圍，標(biāo)志著AI技術(shù)進(jìn)入了一個(gè)全新的、更加智能化的時(shí)代。
隨著模型規(guī)模的增加，如何在資源受限的環(huán)境中運(yùn)行這些高性能模型成為了一個(gè)挑戰(zhàn)。邊緣計(jì)算設(shè)備，如Nvidia Jetson系列，提供了一種在接近數(shù)據(jù)源的地方進(jìn)行高效計(jì)算的方法，它們能夠支持在不依賴云中心的情況下進(jìn)行實(shí)時(shí)數(shù)據(jù)處理和決策。這為大模型的部署提供了新的機(jī)遇，尤其是在需要快速響應(yīng)和處理能力的應(yīng)用場景中，如自動(dòng)駕駛、遠(yuǎn)程監(jiān)控和智能城市。
然而，邊緣設(shè)備的計(jì)算和存儲(chǔ)資源有限，這就要求開發(fā)者對(duì)模型進(jìn)行優(yōu)化，以適應(yīng)這些約束，同時(shí)保持模型的性能和準(zhǔn)確性。正是基于這樣的背景，米文著手進(jìn)行了一項(xiàng)前所未有的評(píng)測(cè)工作，目的是為了深入理解和展示在Nvidia Jetson這樣的邊緣計(jì)算設(shè)備上運(yùn)行各種主流大模型的性能。通過這些評(píng)測(cè)，我們希望揭示哪些模型能夠在Jetson平臺(tái)上有效運(yùn)行，以及它們?cè)谶\(yùn)行時(shí)的性能表現(xiàn)，從而為開發(fā)者和企業(yè)提供實(shí)用的指南，幫助他們?cè)谶x擇和部署大模型時(shí)做出更明智的決策，推動(dòng)邊緣計(jì)算和人工智能技術(shù)的發(fā)展。
通過這些評(píng)測(cè)，米文不僅展現(xiàn)了我們對(duì)于推動(dòng)技術(shù)創(chuàng)新的承諾，也為整個(gè)AI社區(qū)提供了寶貴的資源和見解，助力于解鎖邊緣計(jì)算在未來人工智能應(yīng)用中的巨大潛力。
PART /1 評(píng)測(cè)概覽
本次評(píng)測(cè)，主要覆蓋以下大模型系列，主要對(duì)4bit量化和8bit量化的模型進(jìn)行評(píng)測(cè)。（排名不分先后）
A. 通義千問
B. LLAMA2
C. Gemma
D.Mistral
E. Llava
F. Phi
G.tinyllama
PART /2?模型性能對(duì)比和建議
A. EVO Orin 64GB（AGX Orin 64GB），2b ~ 34b模型性能對(duì)比
B. Apex Orin NX (Orin NX 8GB)
C. 通義千問2在Orin全系列上的性能表現(xiàn)
上述結(jié)果，是模型基于CUDA進(jìn)行加速的測(cè)試結(jié)果。并沒有使用TensorRT-LLM進(jìn)行加速。在不久的將來，我們將使用TensorRT-LLM來進(jìn)一步進(jìn)行評(píng)測(cè)。
經(jīng)過我們的測(cè)試，對(duì)于中文使用場景，通義千問的模型表現(xiàn)比其他英文系的基礎(chǔ)模型更好。建議用戶可以先進(jìn)行體驗(yàn)和嘗試。
PART/3 結(jié)語和展望
米文在Nvidia Jetson平臺(tái)上對(duì)各主流大模型進(jìn)行的全面評(píng)測(cè)，標(biāo)志著我們?cè)谶吘売?jì)算和人工智能領(lǐng)域的深入探索和創(chuàng)新。這一評(píng)測(cè)工作不僅展示了米文的技術(shù)專業(yè)性和前瞻性，而且對(duì)于整個(gè)行業(yè)而言，具有重要的意義和價(jià)值。
首先，通過這些評(píng)測(cè)，我們能夠為開發(fā)者和企業(yè)提供一個(gè)清晰、客觀的性能參考框架，幫助他們?cè)谶x擇適合在Jetson等邊緣設(shè)備上運(yùn)行的大模型時(shí)做出更加明智的決策。這對(duì)于加速邊緣AI應(yīng)用的開發(fā)和部署，提高整個(gè)生態(tài)系統(tǒng)的效率和效能具有不可估量的價(jià)值。
其次，米文的評(píng)測(cè)工作也推動(dòng)了大模型優(yōu)化技術(shù)的發(fā)展。通過對(duì)模型在資源受限環(huán)境下的性能表現(xiàn)進(jìn)行深入分析，我們不僅能夠識(shí)別現(xiàn)有技術(shù)的不足，而且還能夠探索和實(shí)踐新的優(yōu)化方法，從而推動(dòng)大模型技術(shù)的進(jìn)步，使其在更廣泛的應(yīng)用場景中得以實(shí)用化。
總之，米文在Jetson平臺(tái)上對(duì)大模型性能的全面評(píng)測(cè)不僅反映了我們對(duì)于技術(shù)創(chuàng)新的不懈追求。
未來，我們將繼續(xù)探索和創(chuàng)新，以不斷推進(jìn)邊緣計(jì)算和大模型技術(shù)的發(fā)展，為構(gòu)建一個(gè)更加智能、高效和可持續(xù)的未來貢獻(xiàn)力量。
下載ECAD模型
