微軟的兩把刷子
昨天的大新聞——Meta開源了Llama 2模型,這或許將對大型模型公司構(gòu)成了巨大的沖擊,因為它能夠滿足許多公司對于更低成本和個性化需求的要求。和許多開源大型模型相比,Llama 2有著更強(qiáng)的能力,參數(shù)量包括70億、130億和700億規(guī)模。Llama 2的訓(xùn)練數(shù)據(jù)量提升了40%,上下文長度擴(kuò)展到4000個字符,對文本語義理解更強(qiáng),還使用了人類反饋強(qiáng)化學(xué)習(xí)機(jī)制訓(xùn)練了類似ChatGPT的對話應(yīng)用。當(dāng)然,Llama 2的訓(xùn)練成本也很高,網(wǎng)友估計超過2500萬美元。