国产91精品一区二区麻豆网站-国产91精品高跟丝袜在线-国产91精品不卡在线-国产91激情对白露脸全程-在线国产区-在线观着免费观看国产黄

首頁 > 汽車性能 > 汽車性能 > 驅動增強終端側生成式AI體驗的技術:多模態生成式AI

驅動增強終端側生成式AI體驗的技術:多模態生成式AI

發布時間:2024-05-11 16:37:39來源: 15210273549

改善情境化和定制化一直是用戶體驗的長期需求。例如,消費者希望終端能夠自動利用來自智能手機數據和傳感器的情境信息和自定義偏好,讓體驗更直觀和無縫,比如基于當前位置、時刻和食物選擇偏好推薦餐廳用餐,創造愉悅體驗。

盡管生成式AI已展現出新興的和變革性的能力,但其仍有很大改進空間。類似多模態生成式AI等這樣的技術可應對生成式AI更加情境化和定制化的體驗趨勢。

多模態生成式AI模型輸入和輸出多種模態,以提供更佳響應和答案

多模態AI模型能夠更好的理解世界

大語言模型(LLM)為純文本訓練模型帶來了驚艷的能力。如果模型能夠支持包含更多知識的不同信息形式,能帶來怎樣的提升呢?

人類能夠通過語言和閱讀文字學到很多東西,但也需要通過各種感官和互動形成對世界的理解:

我們的眼睛讓我們能夠看到球在傾斜地面上滾動的場景,以及當球滾到沙發后面會如何消失。

我們的耳朵可以識別語音中的情緒或警報聲來源的方向。

我們與世界的接觸和互動讓我們知道如何用手握住泡沫塑料咖啡杯,以及如何在走路時避免摔倒。

類似的例子不勝枚舉。

盡管語言可以描述幾乎所有這些事情,但它可能不如其他模態做得那么好或那么高效。

正如人類需要利用各種感官學習,生成式AI除了利用文本之外還可以使用更多其他模態學習:這正是多模態生成式AI模型的作用所在。

多模態生成式AI模型可基于一系列模態進行訓練,包括文本、圖像、語音、音頻、視頻、3D、激光雷達(LIDAR)、射頻(RF)、以及幾乎任何傳感器數據。

通過利用所有這些傳感器,融合數據,并更全面地理解世界,多模態生成式AI模型可以提供更佳答案。AI研究人員已經做到了這一點,他們利用不同模態的一系列數據在云端訓練多模態大模型(LMM),讓模型更“智能”。OpenAIGPT-4V和谷歌Gemini就是這類LMM。

這能給用戶帶來什么?舉例來說,LMM可以充當通用助手,接收任何模態的輸入,為更廣泛的問題類型提供大幅改進的答案。比如基于復雜的停車標志回答用戶可否停車,或基于振動噪音回答用戶該如何修理洗碗機故障。

下一步,部署LMM進行推理:盡管生成式AI推理可在云端運行,但在邊緣終端側運行有著諸多好處,比如隱私、可靠性、成本效益和即時性。

例如,傳感器和相應的傳感器數據來源于邊緣終端,因此在終端側處理和保存數據更具成本效益和可擴展性。

終端側LLM現在具備視覺理解能力

高通AI研究近期演示了全球首個在Android手機上運行的多模態LLM。我們展示了一個超過70億參數的大語言和視覺助理大模型(LLaVA),其可接受包括文本和圖像在內的多種類型的數據輸入,并生成關于圖像的多輪對話。通過全棧AI優化,LLaVA能夠在搭載第三代驍龍8移動平臺的參考設計上以實時響應的速度在終端側生成token。

具有語言理解和視覺理解能力的LMM能夠賦能諸多用例,例如識別和討論復雜的視覺圖案、物體和場景。

例如,視覺AI助手可以幫助視力障礙者更好地理解周圍環境并與之互動,從而提高生活質量。

終端側LLM現在具備聽覺理解能力

在搭載驍龍XElite的WindowsPC上,高通近期還展示了全球首個在終端側運行的超70億參數的LMM,可接受文本和環境音頻輸入(如音樂、交通環境音頻等),并基于音頻內容生成多輪對話。

音頻提供的更多情境信息可以幫助LMM針對用戶的提示給出更佳答案。我們很高興看到終端側LMM現已支持視覺、語音和音頻模態,并期待對更多模態的支持。

生成式AI時代剛剛開始,無限創新即將到來

更多終端側生成式AI技術進步即將到來

打造能夠更好理解情境信息的AI模型是獲得更佳答案和體驗提升的必要條件,多模態生成式AI正是即將應用于未來終端的最新變革性技術之一。歡迎閱讀博客第二部分,我將深入介紹LoRA,探究它將如何幫助應對現有挑戰,為消費者和企業規模化提供情境化、定制化和個性化體驗。

汽車性能更多>>

2024年海南省五指山市中醫醫院招聘就業見習崗位公告(3人) 2024年甘孜州招聘急需緊缺專業教師公告 2024年汨羅市紀委監委選調工作人員公告(6人) 2025年鄂爾多斯市教育體育局直屬學校校園招聘教育緊缺人才公告 上市售價22.99萬元起,極氪7X打造純電SUV新標桿! 此刻至未來,起亞始終相伴,起亞80周年感恩活動正式啟動 強“漢”再進化,2025款漢攜四大進化上市,售價16.58萬起 上市限時價19.68萬起,新豪華智享C級轎車領克Z10正式上市! 新一代梅賽德斯-奔馳V級:70年鑄就豪華典范 選擇一臺BMW,穿梭柴米油鹽中的英雄主義 首搭乾崑ADS 3.0+鴻蒙座艙,全新夢想家能“眾樂樂” 上汽俞經民:榮威新大眾,求同存異 2024年蕪湖市中西醫結合醫院(灣沚區總醫院)招聘康復治療師公告 2024年安徽糧食工程職業學院引進第二批高層次人才(博士)公告 2024年六安市葉集區機關事業單位招募就業見習人員公告 2024年安徽省體育局直屬訓練單位招聘教練員公告 2024年皖江工學院招聘簡章 2024年亳州利辛縣大學生鄉村醫生專項計劃招聘公告 2024年安徽省徽京劇院、安徽樂團招聘公告 2024年馬鞍山雨山區“鄉編村用”招聘事業編制人員公告 東風本田靈悉L,配電子后視鏡,車內五聯屏幕,9月26日上市 中大型SUV,2.0T插混/配華為乾崑智駕,方程豹豹8實拍 軸距2820mm+7座可選,搭載1.5T插混系統,凱翼昆侖iHD適合家用 6/7座可選,2.0T插混+四驅,惠后26.28萬起,紅旗HS7 PHEV適合家用 售26.88萬,座椅2+2+2布局,2.0T+8AT+四驅,第五代勝達帶勁不? 座椅2+2+2布局,配冰箱,惠后18.86萬起,這款中大型SUV適合家用 東風奕派eπ008,6座中大型SUV,提供冰箱、后排獨立屏,適合家用 座椅2+3+2布局,2.5L油電混合+四驅,家用可以看這款合資中型SUV 凱迪拉克新款XT6驚爆!10萬土豪為何紛紛叫好又吐槽? 雷鳥U9系列Mini LED顯示器發布,首發價3699元起
主站蜘蛛池模板: sese色| 伊人狠狠色j香婷婷综合 | 美女网站黄 | 在线a亚洲视频播放在线观看 | 九九色播| 国产99久久精品一区二区 | 亚洲国产成人久久综合野外 | 全网免费在线播放视频入口 | 日韩在线观看网站 | 91新人| 精品视频一区二区三三区四区 | 伊人精品久久久大香线蕉99 | 亚洲a区视频 | 在线传媒 | 毛片毛片毛片毛片毛片毛片 | 99精品这里只有精品高清视频 | 午夜一级福利 | 久久久这里有精品999 | 亚洲乱码在线视频 | 91国内在线视频 | 四虎影院免费网址 | 福利资源在线观看 | 久久国产精品久久久久久久久久 | 国产精品永久在线 | 成人软件视频 | 亚洲最大综合网 | 中文字幕一区二区三区在线不卡 | 久久免费视频8 | 99久久久久久久 | 伊人99在线观看 | 久久国产精品最新一区 | 国产免费高清国产在线视频 | 高清视频大片免费观看 | 91在线永久 | 日日操日日摸 | 四虎在线播放 | 日本不卡一区二区三区在线观看 | 中文国产成人久久精品小说 | 欧美在线亚洲国产免m观看 欧美在线伊人 | 国产成人免费无庶挡视频 | 最新国产精品亚洲二区 |