国产91精品一区二区麻豆网站-国产91精品高跟丝袜在线-国产91精品不卡在线-国产91激情对白露脸全程-在线国产区-在线观着免费观看国产黄

首頁 > 汽車測評 > 汽車測評 > 微軟亞研院多項創新技術,彌合大模型低比特量化與終端部署間鴻溝

微軟亞研院多項創新技術,彌合大模型低比特量化與終端部署間鴻溝

發布時間:2024-08-21 22:59:04來源: 13041198719

在人工智能領域,模型參數的增多往往意味著性能的提升。但隨著模型規模的擴大,其對終端設備的算力與內存需求也日益增加。低比特量化技術,由于可以大幅降低存儲和計算成本并提升推理效率,已成為實現大模型在資源受限設備上高效運行的關鍵技術之一。然而,如果硬件設備不支持低比特量化后的數據模式,那么低比特量化的優勢將無法發揮。

為了解決這一問題,微軟亞洲研究院推出了全新的數據編譯器 Ladder 和算法 T-MAC,使當前只支持對稱精度計算的硬件能夠直接運行混合精度矩陣乘法。測試結果表明,Ladder 在支持 GPU 原本不支持的自定義數據類型方面,最高提速可達14.6倍;T-MAC 在搭載了最新高通 Snapdragon X Elite 芯片組的 Surface AI PC 上,使 CPU 上運行的大模型吞吐率比專用加速器 NPU 快兩倍。此外,研究員們還設計了 LUT Tensor Core 硬件架構,這種精簡設計使硬件能夠直接支持各種低比特混合精度計算,為人工智能硬件設計提供了新思路。

 

大模型已經越來越多地被部署在智能手機、筆記本電腦、機器人等端側設備上,以提供先進的智能及實時響應服務。但包含上億參數的大模型對終端設備的內存和計算能力提出了極高的要求,也因此限制了它們的廣泛應用。低比特量化技術因其能顯著壓縮模型規模,降低對計算資源的需求,成為了大模型在端側部署和實現高效推理的有效手段。

 

隨著低比特量化技術的發展,數據類型日益多樣化,如 int4、int2、int1 等低比特數據,使得大模型在推理中越來越多地采用低比特權重和高比特權重計算的混合精度矩陣乘法(mixed-precision matrix multiplication,mpGEMM)。然而,現有的 CPU、GPU 等硬件計算單元通常只支持對稱計算模式,并不兼容這種混合精度的矩陣乘法。

 

混合精度矩陣乘法與傳統的矩陣乘法有何不同?

 

在傳統的矩陣乘法中,參與運算的兩端數值是對稱的,例如 FP16*FP16、int8*int8。但大模型的低比特量化打破了這種對稱性,使乘法的一端是高比特,另一端是低比特,例如在 1-bit 的 BitNet 模型中實現的 int8*int1 或 int8*int2,以及浮點數與整數的混合乘法 FP16*int4。

 

為了充分發揮低比特量化的優勢,讓硬件設備能夠直接支持混合精度矩陣乘法,確保大模型在端側設備上的高速有效運行,微軟亞洲研究院的研究員們針對現有 CPU、GPU 計算算子和硬件架構進行創新:

 

  • 推出了數據類型編譯器 Ladder,支持各種低精度數據類型的表達和相互轉換,將硬件不支持的數據類型無損轉換為硬件支持的數據類型指令,在傳統計算模式下,使得硬件能夠支持混合精度的 DNN(深度神經網絡)計算;
  • 研發了全新算法 T-MAC,基于查找表(Lookup Table,LUT)的方法,實現了硬件對混合精度矩陣乘法的直接支持,軟件層面,在 CPU 上的計算相比傳統計算模式取得了更好的加速;
  • 提出了新的硬件架構 LUT Tensor Core,為下一代人工智能硬件設計打開了新思路。

 

汽車測評更多>>

2024年北流市婦幼保健院赴廣西醫科大學雙選會招聘編外專業技術人員公告(18人) 2024年象州縣住房和城鄉建設局商調事業單位人員(2人) 2024年象州縣交通運輸局商調事業單位人員(2人) 2024年連云港市東海縣衛生健康事業發展中心轉任工作人員公告 售價7.58萬元起!五菱繽果SUV五座版繽紛上市! 吉利控股集團攜強大陣容亮相臺州國際車展 32.99萬元起售!搭載華為智駕,全新嵐圖夢想家正式上市! 第五代勝達重磅上市,19.58萬起,開辟“戶外輕野”新賽道! 合資2.0時代,北京現代如何奏響變革的蛻變曲 把壓力給到高管?解密長安如何煉就一臺好車 限時優惠價19.68萬元起,領克Z10瞄準小米SU7,這波穩了? 全球車常有,手握300萬份信賴的CR-V不常有 2024年宿州市靈璧縣招聘中學新任教師公告 2024年亳州市利辛縣招聘編外高中教師公告 2024年亳州市華佗中醫院學科帶頭人及特需人才招聘公告 2024年亳州渦陽縣大學生鄉村醫生專項計劃招聘公告 2024年六安市葉集圖書館招聘公告 2024年安徽省防空防災宣傳教育體驗館招聘公告 2024年滁州市12345政務服務便民熱線招聘公告 2024年六安市金寨縣縣直部分事業單位選調工作人員公告 配零重力座椅,華為乾崑智駕,續航1400km,這臺新能源車值得一看 座椅2+2+2布局,配冰箱,優惠后18.86萬起,家用看這款中大型SUV 座椅2+2+2布局,車長超5米,配冰箱,東風奕派eπ008帶勁不? 座椅2+2+3座椅,2.5L油混+四驅,惠后32.78萬,這款中大型MPV香? 配L2級輔助駕駛,爆243馬力,惠后16.39萬,家用可以看這款中型車 前排雙零重力座椅,3.9秒破百+魔毯懸架,家用看這款豪華中型SUV 座椅2+2+2布局,252馬力+9AT,降幅3萬,家用看這款合資中大型SUV 朋友8.5萬買卡羅拉,總覺得哪里不對,你們說呢? 五菱驚世K-Car!側滑門神車僅6萬?國產車王再戰江湖? 中法汽車新秀會師巴黎:零跑B10與雪鐵龍C5 Aircross的同場競技
主站蜘蛛池模板: 91精品免费看 | 在线观看视频欧美 | 亚洲品质自拍视频网站 | 久久久久久久久a免费 | 五月天婷婷爱 | 久操小视频 | 黄网站在线观看高清免费 | 免费大片黄在线观看yw | 99亚洲精品高清一二区 | 天堂网在线免费 | 91秦先生视频在线 | 福利视频影院 | 国产精品久久久久毛片真精品 | 亚洲 [12p] | 四虎影视永久在线观看 | 夜夜操导航 | 日韩精品欧美 | 色偷偷91久久综合噜噜噜噜 | 中文一区二区在线观看 | 亚洲精品综合在线 | 中文字幕精品在线观看 | 国产卡一 | 免费在线观看亚洲 | 中文字幕在线免费视频 | 永久免费在线播放 | 黄色a级在线观看 | 欧美亚洲桃花综合 | 天堂网www天堂在线网 | 久久免费公开视频 | 久久亚洲国产精品影院文轩探花 | 99精品国产福利在线观看 | 一区二区在线观看高清 | 色综合网站在线 | 精品国产免费一区二区三区 | 亚洲福利在线播放 | 久久精品国产免费 | 四虎永久网址 | 写真片 理论 在线播放 | 色色激情网 | 免费在线h | 国产精品一二三 |