盡管春節(jié)假期已然過半,然則“來自東方的奧秘力量的 DeepSeek”仍在導(dǎo)致全世界熱榜,各路業(yè)內(nèi)人士亦仍在從區(qū)別方向分析 DeepSeek 的模型和技術(shù)文案。
北京時間1月31日,英偉達宣布DeepSeek-R1模型登陸NVIDIANIM。同一時段內(nèi),亞馬遜和微軟亦接入DeepSeek-R1模型。英偉達叫作,DeepSeek-R1是最先進的大語言模型。
韓國 Mirae Asset Securities Research 的一名分析師在 X 撰寫長文分析叫作:“這一突破是經(jīng)過實施海量細粒度優(yōu)化和運用英偉達的匯編式 PTX 編程,而非經(jīng)過英偉達 CUDA 中的某些功能來實現(xiàn)的。”
(源自:X)
亦便是說 DeepSeek 在開發(fā)大模型時繞過了 CUDA。CUDA(Compute Unified Device Architecture,統(tǒng)一計算架構(gòu)),是由于英偉達研發(fā)的一種通用編程框架,它準許研發(fā)者利用英偉達的圖形處理器(GPU,Graphics Processing Unit)進行通用計算。
倘若 DeepSeek 真的繞過了 CUDA,那樣這能說明什么?
在 DeepSeek-V3 的技術(shù)博文中,DeepSeek 暗示其運用了英偉達的 PTX(Parallel Thread Execution)語言。
假如 DeepSeek 的研發(fā)者能夠很好地運用 PTX(Parallel Thread Execution)語言,那樣相比運用 CUDA 供給的編程接口,肯定能夠更精細地掌控 GPU 之間傳輸數(shù)據(jù)、權(quán)重和梯度等。然則,運用 PTX 寫出來的代碼非常繁雜,且很難守護,因此呢需要專業(yè)度較高的研發(fā)者。
(源自:DeepSeek)
亦便是說,繞過 CUDA 的做法擁有必定的技術(shù)難度,這需要研發(fā)者既要懂 AI 模型的算法,又要懂計算機系統(tǒng)架構(gòu)來有效分配硬件資源。倘若無同期把握這兩方面技能的研發(fā)者,那就要分別招聘懂這些技能的研發(fā)者,即需要協(xié)調(diào)好區(qū)別人員。
從 DeepSeek 的技術(shù)報告來看,其主體實現(xiàn)還是基于 CUDA 的關(guān)聯(lián)接口,其描述中亦闡述繞開了 CUDA 來寫通信,那就寓意著它招聘了把握區(qū)別技能的人才,并能將這些人才很好地串了起來。
這亦說明 DeepSeek 持有有些善于寫 PTX 語言的內(nèi)部研發(fā)者。那樣,假如它之后運用國產(chǎn) GPU,其在硬件適配方面將會更得心應(yīng)手,其只要認識這些硬件驅(qū)動供給的有些基本函數(shù)接口,就能夠仿照英偉達 GPU 硬件的編程接口去寫關(guān)聯(lián)的代碼,從而讓自家大模型更加容易適配國產(chǎn)硬件。
與此同期,從 DeepSeek 的技術(shù)報告來看,其技術(shù)從學(xué)術(shù)科研方向并無勝出一籌,然則在工程上面的確非常有技巧。思慮到 AMD 已然宣布集成DeepSeek-V3到 MI300X GPU,因此呢將來不排除會有更加多 GPU 廠商牽手 DeepSeek。
同期,亦正如以上韓國分析師在同一篇 X 文案中所說的:“這凸顯了DeepSeek非凡的工程水平,并顯示美國對華制裁加劇的“GPU 短缺危險“激發(fā)了她們緊迫感和創(chuàng)造力?!?/span>
▌源自:大象資訊、深科技
▌編輯:趙珊珊 校對:湯琪返回外鏈論壇: http://www.fok120.com,查看更加多