国产91精品一区二区麻豆网站-国产91精品高跟丝袜在线-国产91精品不卡在线-国产91激情对白露脸全程-在线国产区-在线观着免费观看国产黄

首頁 > 汽車測評 > 汽車測評 > 微軟亞研院多項創新技術,彌合大模型低比特量化與終端部署間鴻溝

微軟亞研院多項創新技術,彌合大模型低比特量化與終端部署間鴻溝

發布時間:2024-08-21 22:59:04來源: 13041198719

在人工智能領域,模型參數的增多往往意味著性能的提升。但隨著模型規模的擴大,其對終端設備的算力與內存需求也日益增加。低比特量化技術,由于可以大幅降低存儲和計算成本并提升推理效率,已成為實現大模型在資源受限設備上高效運行的關鍵技術之一。然而,如果硬件設備不支持低比特量化后的數據模式,那么低比特量化的優勢將無法發揮。

為了解決這一問題,微軟亞洲研究院推出了全新的數據編譯器 Ladder 和算法 T-MAC,使當前只支持對稱精度計算的硬件能夠直接運行混合精度矩陣乘法。測試結果表明,Ladder 在支持 GPU 原本不支持的自定義數據類型方面,最高提速可達14.6倍;T-MAC 在搭載了最新高通 Snapdragon X Elite 芯片組的 Surface AI PC 上,使 CPU 上運行的大模型吞吐率比專用加速器 NPU 快兩倍。此外,研究員們還設計了 LUT Tensor Core 硬件架構,這種精簡設計使硬件能夠直接支持各種低比特混合精度計算,為人工智能硬件設計提供了新思路。

 

大模型已經越來越多地被部署在智能手機、筆記本電腦、機器人等端側設備上,以提供先進的智能及實時響應服務。但包含上億參數的大模型對終端設備的內存和計算能力提出了極高的要求,也因此限制了它們的廣泛應用。低比特量化技術因其能顯著壓縮模型規模,降低對計算資源的需求,成為了大模型在端側部署和實現高效推理的有效手段。

 

隨著低比特量化技術的發展,數據類型日益多樣化,如 int4、int2、int1 等低比特數據,使得大模型在推理中越來越多地采用低比特權重和高比特權重計算的混合精度矩陣乘法(mixed-precision matrix multiplication,mpGEMM)。然而,現有的 CPU、GPU 等硬件計算單元通常只支持對稱計算模式,并不兼容這種混合精度的矩陣乘法。

 

混合精度矩陣乘法與傳統的矩陣乘法有何不同?

 

在傳統的矩陣乘法中,參與運算的兩端數值是對稱的,例如 FP16*FP16、int8*int8。但大模型的低比特量化打破了這種對稱性,使乘法的一端是高比特,另一端是低比特,例如在 1-bit 的 BitNet 模型中實現的 int8*int1 或 int8*int2,以及浮點數與整數的混合乘法 FP16*int4。

 

為了充分發揮低比特量化的優勢,讓硬件設備能夠直接支持混合精度矩陣乘法,確保大模型在端側設備上的高速有效運行,微軟亞洲研究院的研究員們針對現有 CPU、GPU 計算算子和硬件架構進行創新:

 

  • 推出了數據類型編譯器 Ladder,支持各種低精度數據類型的表達和相互轉換,將硬件不支持的數據類型無損轉換為硬件支持的數據類型指令,在傳統計算模式下,使得硬件能夠支持混合精度的 DNN(深度神經網絡)計算;
  • 研發了全新算法 T-MAC,基于查找表(Lookup Table,LUT)的方法,實現了硬件對混合精度矩陣乘法的直接支持,軟件層面,在 CPU 上的計算相比傳統計算模式取得了更好的加速;
  • 提出了新的硬件架構 LUT Tensor Core,為下一代人工智能硬件設計打開了新思路。

 

汽車測評更多>>

2024年北流市婦幼保健院赴廣西醫科大學雙選會招聘編外專業技術人員公告(18人) 2024年象州縣住房和城鄉建設局商調事業單位人員(2人) 2024年象州縣交通運輸局商調事業單位人員(2人) 2024年連云港市東海縣衛生健康事業發展中心轉任工作人員公告 售價7.58萬元起!五菱繽果SUV五座版繽紛上市! 吉利控股集團攜強大陣容亮相臺州國際車展 32.99萬元起售!搭載華為智駕,全新嵐圖夢想家正式上市! 第五代勝達重磅上市,19.58萬起,開辟“戶外輕野”新賽道! 合資2.0時代,北京現代如何奏響變革的蛻變曲 把壓力給到高管?解密長安如何煉就一臺好車 限時優惠價19.68萬元起,領克Z10瞄準小米SU7,這波穩了? 全球車常有,手握300萬份信賴的CR-V不常有 2024年宿州市靈璧縣招聘中學新任教師公告 2024年亳州市利辛縣招聘編外高中教師公告 2024年亳州市華佗中醫院學科帶頭人及特需人才招聘公告 2024年亳州渦陽縣大學生鄉村醫生專項計劃招聘公告 2024年六安市葉集圖書館招聘公告 2024年安徽省防空防災宣傳教育體驗館招聘公告 2024年滁州市12345政務服務便民熱線招聘公告 2024年六安市金寨縣縣直部分事業單位選調工作人員公告 配零重力座椅,華為乾崑智駕,續航1400km,這臺新能源車值得一看 座椅2+2+2布局,配冰箱,優惠后18.86萬起,家用看這款中大型SUV 座椅2+2+2布局,車長超5米,配冰箱,東風奕派eπ008帶勁不? 座椅2+2+3座椅,2.5L油混+四驅,惠后32.78萬,這款中大型MPV香? 配L2級輔助駕駛,爆243馬力,惠后16.39萬,家用可以看這款中型車 前排雙零重力座椅,3.9秒破百+魔毯懸架,家用看這款豪華中型SUV 座椅2+2+2布局,252馬力+9AT,降幅3萬,家用看這款合資中大型SUV 朋友8.5萬買卡羅拉,總覺得哪里不對,你們說呢? 五菱驚世K-Car!側滑門神車僅6萬?國產車王再戰江湖? 中法汽車新秀會師巴黎:零跑B10與雪鐵龍C5 Aircross的同場競技
主站蜘蛛池模板: 免费一级片视频 | 四虎永久在线免费观看 | 一本久道久久综合婷婷 | 四虎影视在线影院www | 99爱在线精品视频免费观看9 | 在线毛片网站 | 99久久国产综合精品国 | 级毛片久久久毛片精品毛片 | 久久99精品久久久久久黑人 | 日本猛妇色xxxxx在线 | 天天色踪合 | 亚洲精品天堂自在久久77 | 久久精品亚洲精品国产色婷 | 色九| 一区二区三区视频在线观看 | 亚洲激情网站 | 国产精品亚洲一区在线播放 | 精品国产91久久久久久久 | 在线加勒比 | 亚洲精品资源 | 视频在线免费观看 | 免费播放成人生活片 | 久久人人爽爽爽人久久久 | 日本一区二区三区不卡在线视频 | 乡下农村一级毛片 | 欧美精品国产第一区二区 | 激情五月激情综合 | 色香蕉色香蕉在线视频 | 国产97视频在线观看 | 最近高清免费观看视频 | 福利一区二区在线观看 | 免费视频精品一区二区三区 | 99久久一香蕉国产线看观看 | 四虎精品视频在线永久免费观看 | 国产一区2区3区 | 天堂中文字幕 | 一级香蕉视频在线观看 | 日韩欧美一区二区久久黑人 | 亚州综合 | 天天射天 | 32pao强力打造免费高速高清 |