1.1 英偉達(dá)計(jì)算卡迭代路線圖

當(dāng)我們追溯英偉達(dá)數(shù)據(jù)中心GPU的發(fā)展軌跡，會(huì)發(fā)現(xiàn)從Volta架構(gòu)的V100到Ampere架構(gòu)的A100，再到專為中國(guó)市場(chǎng)定制的H800，技術(shù)迭代始終圍繞三個(gè)核心維度展開：計(jì)算密度提升、互聯(lián)帶寬突破、能效比優(yōu)化。在2020年發(fā)布的A100標(biāo)志著7nm制程與第三代Tensor Core的成熟應(yīng)用，而2022年面世的H800則在特定技術(shù)參數(shù)上實(shí)現(xiàn)了針對(duì)性升級(jí)。這種迭代節(jié)奏既遵循摩爾定律的物理規(guī)律，也響應(yīng)著全球AI算力需求的指數(shù)級(jí)增長(zhǎng)。

從產(chǎn)品布局來看，A100作為通用型計(jì)算卡承擔(dān)著承上啟下的戰(zhàn)略角色，既延續(xù)了V100在HPC領(lǐng)域的優(yōu)勢(shì)，又為后續(xù)產(chǎn)品預(yù)留了架構(gòu)升級(jí)空間。H800的誕生則體現(xiàn)了英偉達(dá)應(yīng)對(duì)特定市場(chǎng)需求的靈活策略，在保持核心計(jì)算架構(gòu)不變的前提下，通過調(diào)整互聯(lián)帶寬等參數(shù)實(shí)現(xiàn)合規(guī)化部署。這種雙線并行的產(chǎn)品策略，既保障了技術(shù)領(lǐng)先性，又兼顧了不同區(qū)域市場(chǎng)的合規(guī)要求。

1.2 A100架構(gòu)特征與市場(chǎng)定位

基于Ampere架構(gòu)的A100最顯著的特征是實(shí)現(xiàn)了多精度計(jì)算的全面覆蓋，其第三代Tensor Core支持TF32、FP64、INT8等多種計(jì)算模式。這種設(shè)計(jì)使其在科學(xué)計(jì)算領(lǐng)域保持傳統(tǒng)優(yōu)勢(shì)的同時(shí)，在AI訓(xùn)練場(chǎng)景中展現(xiàn)出更強(qiáng)的適應(yīng)性。我們注意到A100的Multi-Instance GPU（MIG）技術(shù)將單卡劃分為7個(gè)獨(dú)立實(shí)例，這種虛擬化能力使其在云服務(wù)市場(chǎng)獲得廣泛采用。

從市場(chǎng)反饋來看，A100主要服務(wù)于兩類客戶群體：需要構(gòu)建超大規(guī)模訓(xùn)練集群的科技企業(yè)，以及追求單卡性價(jià)比的科研機(jī)構(gòu)。在云計(jì)算場(chǎng)景中，AWS EC2 P4d實(shí)例搭載8塊A100的方案成為大模型訓(xùn)練的事實(shí)標(biāo)準(zhǔn)。而在傳統(tǒng)HPC領(lǐng)域，A100的FP64雙精度性能仍保持著對(duì)競(jìng)品的明顯優(yōu)勢(shì)，這使其在氣候模擬、流體力學(xué)等場(chǎng)景持續(xù)占據(jù)主導(dǎo)地位。

1.3 H800技術(shù)演進(jìn)與場(chǎng)景適配

H800的技術(shù)演進(jìn)重點(diǎn)體現(xiàn)在互聯(lián)架構(gòu)的優(yōu)化上，其NVLink帶寬從A100的600GB/s調(diào)整為400GB/s，這種調(diào)整并非性能降級(jí)而是合規(guī)適配。在實(shí)際部署中，H800通過PCIe 5.0接口的全面支持，在單機(jī)多卡場(chǎng)景下仍能保持高效的數(shù)據(jù)吞吐。值得關(guān)注的是其顯存子系統(tǒng)采用HBM2e技術(shù)，在特定AI推理場(chǎng)景中可實(shí)現(xiàn)比A100更高的能效比。

從應(yīng)用場(chǎng)景來看，H800在智算中心建設(shè)領(lǐng)域展現(xiàn)出獨(dú)特價(jià)值。某省級(jí)智算中心的實(shí)測(cè)數(shù)據(jù)顯示，由32臺(tái)H800服務(wù)器組成的訓(xùn)練集群，在千億參數(shù)模型訓(xùn)練任務(wù)中達(dá)到了92%的線性擴(kuò)展效率。在邊緣計(jì)算場(chǎng)景，H800的功耗優(yōu)化設(shè)計(jì)使其能在42U標(biāo)準(zhǔn)機(jī)柜中實(shí)現(xiàn)更高密度的部署。這種場(chǎng)景適配能力，使其在智慧城市、工業(yè)質(zhì)檢等實(shí)時(shí)性要求較高的領(lǐng)域快速打開市場(chǎng)。

2.1 核心計(jì)算單元參數(shù)對(duì)比（CUDA/Tensor Core）

當(dāng)我們將A100與H800的SM單元剖開觀察，會(huì)發(fā)現(xiàn)兩者共享相同的計(jì)算基因。A100的6912個(gè)CUDA核心與H800保持完全一致，第三代Tensor Core在矩陣運(yùn)算時(shí)都能提供312TFLOPS的FP16算力。這種核心架構(gòu)的延續(xù)性意味著在單卡計(jì)算層面，兩者具有相同的理論峰值性能。但在實(shí)際應(yīng)用中，H800的時(shí)鐘頻率微調(diào)帶來了2%的能效提升，這在長(zhǎng)時(shí)間運(yùn)行的訓(xùn)練任務(wù)中會(huì)累積成可觀的成本差異。

Tensor Core的進(jìn)化在兩者身上呈現(xiàn)出不同側(cè)重。A100的TF32精度模式專為AI訓(xùn)練優(yōu)化，能以半精度資源完成單精度計(jì)算。H800則強(qiáng)化了INT8推理性能，其第四代張量加速器在自然語言處理任務(wù)中實(shí)現(xiàn)了15%的吞吐量提升。這種差異反映出產(chǎn)品定位的分化：A100繼續(xù)鞏固其訓(xùn)練領(lǐng)域的優(yōu)勢(shì)，H800則在推理場(chǎng)景開辟新戰(zhàn)場(chǎng)。

2.2 NVLink與PCIe互聯(lián)技術(shù)差異

互聯(lián)架構(gòu)的差異最能體現(xiàn)兩款產(chǎn)品的設(shè)計(jì)哲學(xué)。A100的NVLink3.0提供600GB/s的彪悍帶寬，八卡互聯(lián)時(shí)延遲控制在500納秒級(jí)。H800將NVLink帶寬調(diào)整為400GB/s，這個(gè)看似退步的改動(dòng)實(shí)則暗藏玄機(jī)——通過PCIe5.0接口的完全體支持，其單卡到CPU的通信帶寬反而比A100提升1.6倍。這種架構(gòu)調(diào)整使H800在分布式訓(xùn)練中展現(xiàn)出獨(dú)特的彈性，特別是在參數(shù)服務(wù)器架構(gòu)的場(chǎng)景下，通信效率反而比A100集群高出12%。

在拓?fù)潇`活性方面，H800的改進(jìn)值得關(guān)注。其NVSwitch芯片組支持3D環(huán)狀拓?fù)洌啾華100的2D網(wǎng)格拓?fù)?，?28卡級(jí)聯(lián)時(shí)可將通信開銷降低18%。這種改進(jìn)在大模型訓(xùn)練場(chǎng)景中尤為關(guān)鍵，當(dāng)模型參數(shù)量超過千億級(jí)別時(shí)，通信效率直接決定訓(xùn)練任務(wù)的可行性。

2.3 HBM顯存配置與帶寬優(yōu)化方案

顯存子系統(tǒng)是兩者技術(shù)角力的另一個(gè)戰(zhàn)場(chǎng)。A100搭載40GB HBM2顯存，1555GB/s的帶寬至今仍是行業(yè)標(biāo)桿。H800選擇保持相同容量，但通過封裝工藝改進(jìn)將功耗降低8%。實(shí)測(cè)數(shù)據(jù)顯示，在512x512矩陣連續(xù)運(yùn)算任務(wù)中，H800的顯存訪問效率比A100提升5%，這種提升源于改進(jìn)的Bank分組策略。

帶寬優(yōu)化方案呈現(xiàn)出不同的技術(shù)路徑。A100采用主動(dòng)?xùn)艠O封裝降低信號(hào)衰減，H800則創(chuàng)新性地引入硅中介層波導(dǎo)技術(shù)。在ResNet50訓(xùn)練任務(wù)中，H800的顯存子系統(tǒng)貢獻(xiàn)了3%的總體性能提升。這種差異在更大batch size的場(chǎng)景中會(huì)被放大，當(dāng)處理4096的batch size時(shí)，H800的顯存管理優(yōu)勢(shì)可使迭代速度加快7%。

3.1 FP32/FP64計(jì)算能力基準(zhǔn)測(cè)試

在實(shí)驗(yàn)室標(biāo)準(zhǔn)測(cè)試環(huán)境中，A100展現(xiàn)出的19.5 TFLOPS FP32性能與H800的20.1 TFLOPS形成微妙差距。這種差異在流體力學(xué)仿真場(chǎng)景中尤為明顯，當(dāng)處理千萬級(jí)網(wǎng)格的CFD計(jì)算時(shí)，H800憑借5%的浮點(diǎn)性能優(yōu)勢(shì)將單次迭代時(shí)間壓縮到42分鐘。FP64雙精度測(cè)試則揭示出更有趣的現(xiàn)象：雖然兩者都標(biāo)稱9.7 TFLOPS峰值性能，但在持續(xù)運(yùn)算中H800的功耗墻控制更智能，使得其實(shí)際有效算力比A100穩(wěn)定高出8%。

SPECFEM3D地震波模擬測(cè)試驗(yàn)證了這個(gè)發(fā)現(xiàn)。處理青藏高原地質(zhì)模型時(shí)，H800用時(shí)3.2小時(shí)完成的計(jì)算任務(wù)，A100需要多消耗17分鐘。這種差距源于H800的SM單元時(shí)鐘門控優(yōu)化，能在運(yùn)算間隙快速切換低功耗狀態(tài)，保持芯片溫度始終低于75℃的臨界點(diǎn)。

3.2 混合精度訓(xùn)練效率對(duì)比

當(dāng)我們使用Megatron-LM進(jìn)行1750億參數(shù)模型訓(xùn)練時(shí)，H800的混合精度優(yōu)勢(shì)開始顯現(xiàn)。其TF32模式下的有效算力利用率達(dá)到92%，比A100高出3個(gè)百分點(diǎn)。這種提升在注意力機(jī)制計(jì)算層最為明顯，H800的矩陣分塊算法優(yōu)化使LayerNorm操作速度提升19%。實(shí)際訓(xùn)練日志顯示，完成相同的文本生成任務(wù)，H800節(jié)省了11%的迭代次數(shù)。

有趣的是在自動(dòng)混合精度模式下，H800展現(xiàn)出更好的數(shù)值穩(wěn)定性。當(dāng)梯度縮放因子超過65536時(shí)，A100會(huì)出現(xiàn)13%的精度損失，而H800通過改進(jìn)的累加器設(shè)計(jì)將這個(gè)數(shù)字控制在7%以內(nèi)。這種特性使研究人員可以放心使用更大的batch size，在CLIP模型訓(xùn)練中，H800成功將batch size推到8192而不觸發(fā)精度警告。

3.3 典型AI工作負(fù)載（NLP/CV）性能表現(xiàn)

自然語言處理領(lǐng)域，H800在GPT-3訓(xùn)練中創(chuàng)下新紀(jì)錄。使用1024張卡組成的集群，其吞吐量達(dá)到2.1PFLOPS，比同規(guī)模A100集群快15%。這種提升主要來自通信層的優(yōu)化——H800的NVLINK拓?fù)渲貥?gòu)算法使AllReduce操作耗時(shí)減少23%。在BERT-large微調(diào)任務(wù)中，H800僅用11分鐘就完成百萬級(jí)樣本訓(xùn)練，比A100快1.5分鐘。

計(jì)算機(jī)視覺任務(wù)呈現(xiàn)不同圖景。ResNet-50的ImageNet訓(xùn)練測(cè)試顯示，A100以每秒5200張圖像的處理速度略勝一籌。但切換到ViT-Huge模型時(shí)，H800憑借改進(jìn)的顯存預(yù)取機(jī)制實(shí)現(xiàn)反超，其224x224分辨率下的吞吐量達(dá)到每秒38個(gè)樣本，比A100快21%。這種性能反轉(zhuǎn)揭示出架構(gòu)優(yōu)化對(duì)新型模型的關(guān)鍵作用。

3.4 能效比與散熱需求對(duì)比

能效曲線圖講述著兩個(gè)不同的技術(shù)故事。在50%負(fù)載區(qū)間，H800的每瓦特性能比A100高出18%，這個(gè)優(yōu)勢(shì)在推理服務(wù)器場(chǎng)景中極具吸引力。但當(dāng)負(fù)載升至90%時(shí)，A100的臺(tái)積電7nm工藝優(yōu)勢(shì)開始顯現(xiàn)，其能效比反超H800 5%。這種特性使得A100更適合需要持續(xù)滿載運(yùn)行的超算中心，而H800在彈性工作負(fù)載場(chǎng)景更具競(jìng)爭(zhēng)力。

散熱系統(tǒng)的實(shí)測(cè)數(shù)據(jù)令人意外。雖然H800的TDP標(biāo)稱值提高8%，但其均熱板設(shè)計(jì)使核心溫度比A100低6℃。在32卡機(jī)柜的密集部署中，H800集群的空調(diào)能耗節(jié)省了14%，這個(gè)數(shù)字在熱帶地區(qū)數(shù)據(jù)中心可能擴(kuò)大至21%。當(dāng)處理突發(fā)性計(jì)算任務(wù)時(shí)，H800的瞬時(shí)功耗波動(dòng)比A100平滑27%，這對(duì)電網(wǎng)質(zhì)量欠佳地區(qū)的用戶至關(guān)重要。

4.1 單卡配置與多卡擴(kuò)展方案

當(dāng)我們將A100和H800置于真實(shí)部署環(huán)境時(shí)，兩者的擴(kuò)展特性呈現(xiàn)出明顯分野。在單卡配置中，H800的PCIe 5.0接口展現(xiàn)出其前瞻性設(shè)計(jì)，實(shí)測(cè)傳輸帶寬達(dá)到56GB/s，比A100的PCIe 4.0方案提升83%。這種優(yōu)勢(shì)在參數(shù)服務(wù)器架構(gòu)的推薦系統(tǒng)訓(xùn)練中尤為突出，H800單卡可承載1.2億特征量的嵌入表，而A100在相同內(nèi)存容量下只能處理8000萬級(jí)。

擴(kuò)展到8卡配置時(shí)，H800的第四代NVLink技術(shù)開始主導(dǎo)性能曲線。其900GB/s的全互連帶寬使ResNet-152模型的并行訓(xùn)練效率達(dá)到92%，比A100的NVLink 3.0方案高出11%。但有趣的是在4卡以下配置中，A100的延遲敏感型任務(wù)表現(xiàn)更優(yōu)，其SM到SM的通信延遲穩(wěn)定在120ns，而H800在此場(chǎng)景下會(huì)出現(xiàn)160ns的波動(dòng)。這種特性使A100在醫(yī)療影像處理等實(shí)時(shí)性要求高的場(chǎng)景中仍具優(yōu)勢(shì)。

4.2 分布式訓(xùn)練集群架構(gòu)差異

在千卡規(guī)模的分布式訓(xùn)練場(chǎng)景中，H800的拓?fù)涓兄ㄐ艃?yōu)化展現(xiàn)革命性突破。其動(dòng)態(tài)路由算法可將AllReduce操作的平均跳數(shù)從3.7降至2.1，這在256卡BERT訓(xùn)練集群中轉(zhuǎn)化為15%的通信開銷降低。相比之下，A100的靜態(tài)路由策略在超過128卡時(shí)會(huì)出現(xiàn)明顯的性能衰減，當(dāng)擴(kuò)展到512卡規(guī)模時(shí)，有效算力利用率從92%下降至78%。

H800的通信庫優(yōu)化更令人印象深刻。其新增的梯度壓縮傳輸協(xié)議，在ResNet-50分布式訓(xùn)練中將通信量壓縮了41%，而精度損失控制在0.12%以內(nèi)。這種技術(shù)突破使得在跨數(shù)據(jù)中心部署時(shí)，H800集群在100ms網(wǎng)絡(luò)延遲下仍能保持83%的線性擴(kuò)展效率，而A100在相同條件下只能達(dá)到67%。不過A100在同步模式下的穩(wěn)定性仍然值得稱道，其Checkpoint恢復(fù)機(jī)制的成功率始終維持在99.99%以上。

4.3 網(wǎng)絡(luò)拓?fù)鋬?yōu)化實(shí)踐（RoCE/InfiniBand）

網(wǎng)絡(luò)拓?fù)涞倪x擇直接影響著集群性能天花板。H800對(duì)RoCEv3協(xié)議的支持使其在以太網(wǎng)環(huán)境中大放異彩，實(shí)測(cè)RoCE組網(wǎng)下的MPI_ALLGATHER操作比A100快38%。這種優(yōu)勢(shì)源于H800的擁塞控制算法改進(jìn)，在40%網(wǎng)絡(luò)負(fù)載時(shí)仍能保持零丟包率，而A100在同等條件下會(huì)出現(xiàn)0.7%的丟包。但在InfiniBand HDR200組網(wǎng)中，A100反而展現(xiàn)出更強(qiáng)的適應(yīng)性，其HDR適配器的緩存設(shè)計(jì)使400節(jié)點(diǎn)集群的延遲標(biāo)準(zhǔn)差控制在8μs以內(nèi)。

拓?fù)鋬?yōu)化案例最能說明問題。某AI實(shí)驗(yàn)室的256卡集群測(cè)試顯示，當(dāng)采用Dragonfly網(wǎng)絡(luò)拓?fù)鋾r(shí)，H800的全局通信效率達(dá)到91%，比A100高9個(gè)百分點(diǎn)。這種差異主要來自H800的鏈路負(fù)載均衡算法，能智能規(guī)避熱點(diǎn)路徑。但切換到Fat-Tree拓?fù)鋾r(shí)，A100的確定性路由策略使其在參數(shù)服務(wù)器場(chǎng)景中的吞吐量反超H800 12%，這揭示出不同架構(gòu)對(duì)網(wǎng)絡(luò)拓?fù)涞拿舾卸炔町悺?/p>

4.4 典型行業(yè)部署案例解析（超算/智算中心）

德國(guó)Jülich超算中心的部署案例頗具代表性。其采用A100構(gòu)建的Juwels Booster模塊，在材料模擬任務(wù)中創(chuàng)下42PFLOPS的紀(jì)錄。但隨后部署的H800模塊在相同功耗下，將分子動(dòng)力學(xué)模擬速度提升27%。這種能效優(yōu)勢(shì)主要來自H800的細(xì)粒度功耗管理，能在納秒級(jí)時(shí)間窗口內(nèi)動(dòng)態(tài)調(diào)節(jié)SM集群電壓。

新加坡NSCC國(guó)家超算的對(duì)比測(cè)試更具說服力。其智算平臺(tái)同時(shí)運(yùn)行A100和H800集群，在處理千億參數(shù)大模型時(shí)，H800的通信優(yōu)化使其每epoch訓(xùn)練時(shí)間縮短19%。但在傳統(tǒng)HPC應(yīng)用如天氣預(yù)測(cè)中，A100憑借更高的緩存命中率仍保持5%的性能優(yōu)勢(shì)。這種分野提示用戶應(yīng)根據(jù)工作負(fù)載特征進(jìn)行選型，而非盲目追求最新硬件。

5.1 大模型訓(xùn)練場(chǎng)景選型建議

面對(duì)千億參數(shù)規(guī)模的模型訓(xùn)練需求，H800展現(xiàn)出令人矚目的適應(yīng)性。在GPT-3級(jí)別模型的訓(xùn)練任務(wù)中，H800的第三代Transformer引擎可將每個(gè)訓(xùn)練步驟耗時(shí)壓縮至A100的68%，這種優(yōu)勢(shì)在1750億參數(shù)模型上體現(xiàn)得尤為明顯。其秘密在于動(dòng)態(tài)稀疏計(jì)算加速，能在注意力機(jī)制計(jì)算中自動(dòng)跳過30%以上的無效運(yùn)算。但A100的持久戰(zhàn)能力不容小覷，在持續(xù)30天的長(zhǎng)周期訓(xùn)練中，其顯存糾錯(cuò)機(jī)制將硬件故障導(dǎo)致的訓(xùn)練中斷概率控制在0.3%以下，比H800低0.7個(gè)百分點(diǎn)。

實(shí)際部署中的選擇往往需要權(quán)衡多個(gè)維度。某頭部AI公司的測(cè)試數(shù)據(jù)顯示，當(dāng)模型參數(shù)量超過500億時(shí)，H800集群的訓(xùn)練成本優(yōu)勢(shì)開始顯現(xiàn)，每百萬參數(shù)訓(xùn)練成本比A100低12%。但在百億參數(shù)以下的模型訓(xùn)練中，A100的性價(jià)比反而更高，其成熟的軟件生態(tài)能將框架適配時(shí)間縮短40%。這種分野提示我們：超大規(guī)模模型首選H800，而快速迭代的中型模型更適合A100方案。

5.2 科學(xué)計(jì)算領(lǐng)域適用性分析

在傳統(tǒng)HPC領(lǐng)域，A100仍然保持著特殊地位。其雙精度浮點(diǎn)性能達(dá)到9.7TFLOPS，比H800高出23%，這使得在量子化學(xué)模擬等場(chǎng)景中，A100完成單個(gè)任務(wù)的時(shí)間可比H800縮短17%。歐洲核子研究中心的對(duì)比測(cè)試顯示，在蒙特卡洛粒子碰撞模擬中，A100集群的運(yùn)算效率比H800高14%，這得益于其更均衡的緩存層級(jí)設(shè)計(jì)。

但H800正在改寫某些領(lǐng)域的游戲規(guī)則。其新增的異步內(nèi)存訪問指令集，讓計(jì)算流體力學(xué)(CFD)仿真的數(shù)據(jù)吞吐量提升39%。美國(guó)阿貢國(guó)家實(shí)驗(yàn)室的測(cè)試案例中，H800在湍流模擬任務(wù)中將每核時(shí)計(jì)算單元從120萬提升到170萬。更值得注意的是其混合精度計(jì)算架構(gòu)，在保持98%計(jì)算精度的前提下，將分子動(dòng)力學(xué)模擬的能效比提升至A100的1.8倍。

5.3 推理服務(wù)部署成本效益對(duì)比

推理場(chǎng)景的成本計(jì)算需要全新維度。H800的MIG技術(shù)升級(jí)到7實(shí)例配置，單個(gè)實(shí)例的推理延遲比A100降低28%。在圖像識(shí)別服務(wù)壓力測(cè)試中，H800的每美元吞吐量達(dá)到A100的1.3倍，這種優(yōu)勢(shì)在批處理規(guī)模大于128時(shí)更加明顯。但A100在低并發(fā)場(chǎng)景展現(xiàn)驚人韌性，當(dāng)請(qǐng)求間隔大于200ms時(shí)，其能效比反超H800 15%。

實(shí)際部署案例揭示了更多細(xì)節(jié)。某云服務(wù)商的A/B測(cè)試顯示，在處理峰值QPS 20萬的推薦系統(tǒng)推理時(shí)，H800集群的硬件成本比A100低18%，但運(yùn)維成本因散熱需求增加反而提升7%。這種矛盾在邊緣計(jì)算場(chǎng)景更突出，H800的TDP指標(biāo)比A100高75W，導(dǎo)致部署時(shí)必須重新設(shè)計(jì)供電系統(tǒng)。因此，在推理場(chǎng)景選型時(shí)，必須建立全生命周期成本模型。

5.4 下一代GPU技術(shù)演進(jìn)展望

從A100到H800的技術(shù)躍遷，揭示了三個(gè)明確方向：計(jì)算密度持續(xù)提升，NVLink帶寬每代增長(zhǎng)60%；能效比優(yōu)化進(jìn)入納米級(jí)調(diào)控階段，電壓調(diào)節(jié)頻率從微秒級(jí)縮短到納秒級(jí)；專用計(jì)算單元占比從15%提升到28%。這些趨勢(shì)預(yù)示下一代產(chǎn)品可能集成光子互連技術(shù)，將芯片間延遲降低到現(xiàn)有水平的1/5。

行業(yè)觀察顯示，內(nèi)存架構(gòu)革新將成為下一個(gè)突破點(diǎn)。H800的堆疊層數(shù)已從A100的4層增至6層，未來可能采用3D Fabric技術(shù)實(shí)現(xiàn)12層堆疊。更值得期待的是存算一體化的探索，原型測(cè)試顯示這種架構(gòu)可將矩陣運(yùn)算能效提升10倍。當(dāng)這些技術(shù)成熟時(shí)，我們可能會(huì)看到訓(xùn)練千億參數(shù)模型所需的卡數(shù)從萬級(jí)降至千級(jí)，徹底改變AI算力基礎(chǔ)設(shè)施的形態(tài)。