2月21日消息，據(jù)Groq官網(wǎng)的測(cè)試數(shù)據(jù)顯示，搭載Groq LPU芯片的Meta Llama 2模型推理性能比云計(jì)算供應(yīng)商高出18倍。Groq創(chuàng)始人Jonathan Ross聲稱，在大型語言模型任務(wù)上，LPU芯片的性能比英偉達(dá)的GPU芯片快上10倍，而其價(jià)格和耗電量?jī)H為后者的十分之一。更令人印象深刻的是，單張LPU卡的內(nèi)存僅為230MB，價(jià)格僅為2萬美元。?
一夜之間Groq迅速嶄露頭角，其同名模型啟動(dòng)器上運(yùn)行的大型語言模型，能夠以驚人的速度每秒輸出近500個(gè)token。相比之下，其性能超越了Gemini的10倍，并且比GPT-4還要快上18倍。
值得一提的是，Groq并未涉足新模型的研發(fā)。其主頁上運(yùn)行的是開源模型Mixtral 8x7B-32k和Llama 270B-4k。然而，Groq之所以能夠?qū)崿F(xiàn)如此高效的響應(yīng)速度，源于其自研的語言處理單元LPU。據(jù)Groq官網(wǎng)介紹，LPU是一款專為AI推理設(shè)計(jì)的芯片。相比其他AI聊天機(jī)器人，Groq閃電般的響應(yīng)速度迅速引爆互聯(lián)網(wǎng)討論。經(jīng)過網(wǎng)友測(cè)試，Groq每秒生成速度接近500 tok/s，碾壓GPT-4的40 tok/s。
Groq的LPU技術(shù)不僅實(shí)現(xiàn)了高效能，還兼具了經(jīng)濟(jì)實(shí)惠和環(huán)保的特點(diǎn)。這一創(chuàng)新為大型語言模型推理領(lǐng)域帶來了革命性的突破，使得Groq在初創(chuàng)公司中迅速嶄露頭角。未來，Groq有望在這一領(lǐng)域持續(xù)領(lǐng)先，推動(dòng)人工智能技術(shù)的發(fā)展和應(yīng)用。
_892.png "億配芯城 (2).png")
?
*部分圖文來自網(wǎng)絡(luò)，如侵權(quán)請(qǐng)聯(lián)系本號(hào)刪除*
文章標(biāo)簽：
GROQ
