亚洲变态另类av首页_亚洲国产综合在线一_正在播放极品白嫩一线天_女生麻豆av在线


首頁
產(chǎn)品系列
行業(yè)應(yīng)用
渠道合作
新聞中心
研究院
投資者關(guān)系
技術(shù)支持
關(guān)于創(chuàng)澤
| En
 
  當(dāng)前位置:首頁 > 新聞資訊 > 機(jī)器人開發(fā) > 如何搭建一個(gè)GPU加速的分布式機(jī)器學(xué)習(xí)系統(tǒng),遇到的問題和解決方法  
 

如何搭建一個(gè)GPU加速的分布式機(jī)器學(xué)習(xí)系統(tǒng),遇到的問題和解決方法

來源:阿里機(jī)器智能      編輯:創(chuàng)澤      時(shí)間:2020/6/18      主題:其他   [加盟]

小嘰導(dǎo)讀:在解決實(shí)際問題的時(shí)候,很多人認(rèn)為只要有機(jī)器學(xué)習(xí)算法就可以了,實(shí)際上要把一個(gè)算法落地還需要解決很多工程上的難題。本文將和大家分享如何從零開始搭建一個(gè)GPU加速的分布式機(jī)器學(xué)習(xí)系統(tǒng),介紹在搭建過程中遇到的問題和解決方法。

一  背景

在云計(jì)算環(huán)境下,虛擬機(jī)的負(fù)載均衡、自動(dòng)伸縮、綠色節(jié)能以及宿主機(jī)升級(jí)等需求使得我們需要利用虛擬機(jī)(VM)遷移技術(shù),尤其是虛擬機(jī)熱遷移技術(shù),對(duì)于down time(停機(jī)時(shí)間)要求比較高,停機(jī)時(shí)間越短,客戶業(yè)務(wù)中斷時(shí)間就越短,影響就越小。如果能夠根據(jù)VM的歷史工作負(fù)載預(yù)測(cè)其未來的工作負(fù)載趨勢(shì),就能夠?qū)ふ业阶詈线m的時(shí)間窗口完成虛擬機(jī)熱遷移的操作。

于是我們開始探索如何用機(jī)器學(xué)習(xí)算法預(yù)測(cè)ECS虛擬機(jī)的負(fù)載以及熱遷移的停機(jī)時(shí)間,但是機(jī)器學(xué)習(xí)算法要在生產(chǎn)環(huán)境發(fā)揮作用,還需要很多配套系統(tǒng)去支持。為了能快速將現(xiàn)有算法在實(shí)際生產(chǎn)環(huán)境落地,并能利用GPU加速實(shí)現(xiàn)大規(guī)模計(jì)算,我們自己搭建了一個(gè)GPU加速的大規(guī)模分布式機(jī)器學(xué)習(xí)系統(tǒng),取名小諸葛,作為ECS數(shù)據(jù)中臺(tái)的異構(gòu)機(jī)器學(xué)習(xí)算法加速引擎。搭載以上算法的小諸葛已經(jīng)在生產(chǎn)環(huán)境上線,支撐阿里云全網(wǎng)規(guī)模的虛擬機(jī)的大規(guī)模熱遷移預(yù)測(cè)。

二  方案

那么一套完整大規(guī)模分布式系統(tǒng)機(jī)器學(xué)習(xí)系統(tǒng)需要哪些組成部分呢?

1  總體架構(gòu)

阿里云全網(wǎng)如此大規(guī)模的虛擬機(jī)數(shù)量,要實(shí)現(xiàn)24小時(shí)之內(nèi)完成預(yù)測(cè),需要在端到端整個(gè)流程的每一個(gè)環(huán)節(jié)做優(yōu)化。所以這必然是一個(gè)復(fù)雜的工程實(shí)現(xiàn),為了高效的搭建這個(gè)平臺(tái),大量使用了現(xiàn)有阿里云上的產(chǎn)品服務(wù)來搭建。

整個(gè)平臺(tái)包含:Web服務(wù)、MQ消息隊(duì)列、Redis數(shù)據(jù)庫、SLS/MaxComputer/HybridDB數(shù)據(jù)獲取、OSS模型倉庫的上傳下載、GPU云服務(wù)器、DASK分布式框架、RAPIDS加速庫。

1)架構(gòu)

下圖是小諸葛的總體架構(gòu)圖。






拯救渣畫質(zhì),馬賽克圖秒變高清,杜克大學(xué)提出AI新算法

杜克大學(xué)的一種 AI 算法PULSE可以將模糊、無法識(shí)別的人臉圖像轉(zhuǎn)換成計(jì)算機(jī)生成的圖像,其細(xì)節(jié)比之前任何時(shí)候都更加精細(xì)、逼真

餓了么推薦算法的演進(jìn)及在線學(xué)習(xí)實(shí)踐

餓了么算法專家劉金介紹推薦業(yè)務(wù)背景,包括推薦產(chǎn)品形態(tài)及算法優(yōu)化目標(biāo);然后是算法的演進(jìn)路線;最后重點(diǎn)介紹在線學(xué)習(xí)是如何在餓了么推薦領(lǐng)域?qū)嵺`的

百變應(yīng)用場(chǎng)景下,優(yōu)酷基于圖執(zhí)行引擎的算法服務(wù)框架筑造之路

優(yōu)酷推薦業(yè)務(wù),算法應(yīng)用場(chǎng)景眾多,需求靈活多變,需要一套通用業(yè)務(wù)框架,支持運(yùn)行時(shí)的算法流程的裝配,提升算法服務(wù)場(chǎng)景搭建的效率

內(nèi)容流量管理的關(guān)鍵技術(shù):多任務(wù)保量?jī)?yōu)化算法實(shí)踐

通過分析其中的關(guān)鍵問題,建立了新熱內(nèi)容曝光敏感模型,并最終給出一種曝光資源約束下的多目標(biāo)優(yōu)化保量框架與算法

CVPOS自助收銀的挑戰(zhàn)以及商品識(shí)別算法工程落地方法和經(jīng)驗(yàn)

針對(duì)結(jié)算收銀場(chǎng)景中商品識(shí)別的難點(diǎn),從商品識(shí)別落地中的模型選擇、數(shù)據(jù)挑選與標(biāo)注、前端和云端部署、模型改進(jìn)等方面,進(jìn)行了深入講解

面向動(dòng)態(tài)記憶和學(xué)習(xí)功能的神經(jīng)電晶體可塑性研究

神經(jīng)形態(tài)結(jié)構(gòu)融合學(xué)習(xí)和記憶功能領(lǐng)域的研究主要集中在人工突觸的可塑性方面,同時(shí)神經(jīng)元膜的固有可塑性在神經(jīng)形態(tài)信息處理的實(shí)現(xiàn)中也很重要

人工智能和機(jī)器學(xué)習(xí)之間的差異及其重要性

機(jī)器學(xué)習(xí)就是通過經(jīng)驗(yàn)來尋找它學(xué)習(xí)的模式,而人工智能是利用經(jīng)驗(yàn)來獲取知識(shí)和技能,并將這些知識(shí)應(yīng)用于新的環(huán)境

滴滴機(jī)器學(xué)習(xí)平臺(tái)調(diào)度系統(tǒng)的演進(jìn)與K8s二次開發(fā)

滴滴機(jī)器學(xué)習(xí)場(chǎng)景下的 k8s 落地實(shí)踐與二次開發(fā)的技術(shù)實(shí)踐與經(jīng)驗(yàn),包括平臺(tái)穩(wěn)定性、易用性、利用率、平臺(tái) k8s 版本升級(jí)與二次開發(fā)等內(nèi)容

如何更高效地壓縮時(shí)序數(shù)據(jù)?基于深度強(qiáng)化學(xué)習(xí)的探索

大型商用時(shí)序數(shù)據(jù)壓縮的特性,提出了一種新的算法,分享用深度強(qiáng)化學(xué)習(xí)進(jìn)行數(shù)據(jù)壓縮的研究探索

基于深度學(xué)習(xí)目標(biāo)檢測(cè)模型優(yōu)缺點(diǎn)對(duì)比

深度學(xué)習(xí)模型:OverFeat、R-CNN、SPP-Net、Fast、R-CNN、Faster、R-CNN、R-FCN、Mask、R-CNN、YOLO、SSD、YOLOv2、416、DSOD300、R-SSD

傳統(tǒng)目標(biāo)檢測(cè)算法對(duì)比

SIFT、PCA-SIFT、SURF 、ORB、 VJ 等目標(biāo)檢測(cè)算法優(yōu)缺點(diǎn)對(duì)比及使用場(chǎng)合比較

基于深度學(xué)習(xí)和傳統(tǒng)算法的人體姿態(tài)估計(jì),技術(shù)細(xì)節(jié)都講清楚了

人體姿態(tài)估計(jì)便是計(jì)算機(jī)視覺領(lǐng)域現(xiàn)有的熱點(diǎn)問題,其主要任務(wù)是讓機(jī)器自動(dòng)地檢測(cè)場(chǎng)景中的人“在哪里”和理解人在“干什么”
 
資料獲取
新聞資訊
== 資訊 ==
» 人形機(jī)器人未來3-5年能夠?qū)崿F(xiàn)產(chǎn)業(yè)化的方
» 導(dǎo)診服務(wù)機(jī)器人上崗門診大廳 助力醫(yī)院智慧
» 山東省青島市政府辦公廳發(fā)布《數(shù)字青島20
» 關(guān)于印發(fā)《青海省支持大數(shù)據(jù)產(chǎn)業(yè)發(fā)展政策措
» 全屋無主燈智能化規(guī)范
» 微波雷達(dá)傳感技術(shù)室內(nèi)照明應(yīng)用規(guī)范
» 人工智能研發(fā)運(yùn)營(yíng)體系(ML0ps)實(shí)踐指
» 四驅(qū)四轉(zhuǎn)移動(dòng)機(jī)器人運(yùn)動(dòng)模型及應(yīng)用分析
» 國內(nèi)細(xì)分賽道企業(yè)在 AIGC 各應(yīng)用場(chǎng)景
» 國內(nèi)科技大廠布局生成式 AI,未來有望借
» AIGC領(lǐng)域相關(guān)初創(chuàng)公司及業(yè)務(wù)場(chǎng)景梳理
» ChatGPT 以 GPT+RLHF 模
» AIGC提升文字 圖片滲透率,視頻 直播
» AI商業(yè)化空間前景廣闊應(yīng)用場(chǎng)景豐富
» AI 內(nèi)容創(chuàng)作成本大幅降低且耗時(shí)更短 優(yōu)
 
== 機(jī)器人推薦 ==
 
迎賓講解服務(wù)機(jī)器人

服務(wù)機(jī)器人(迎賓、講解、導(dǎo)診...)

智能消毒機(jī)器人

智能消毒機(jī)器人

機(jī)器人底盤

機(jī)器人底盤

 

商用機(jī)器人  Disinfection Robot   展廳機(jī)器人  智能垃圾站  輪式機(jī)器人底盤  迎賓機(jī)器人  移動(dòng)機(jī)器人底盤  講解機(jī)器人  紫外線消毒機(jī)器人  大屏機(jī)器人  霧化消毒機(jī)器人  服務(wù)機(jī)器人底盤  智能送餐機(jī)器人  霧化消毒機(jī)  機(jī)器人OEM代工廠  消毒機(jī)器人排名  智能配送機(jī)器人  圖書館機(jī)器人  導(dǎo)引機(jī)器人  移動(dòng)消毒機(jī)器人  導(dǎo)診機(jī)器人  迎賓接待機(jī)器人  前臺(tái)機(jī)器人  導(dǎo)覽機(jī)器人  酒店送物機(jī)器人  云跡科技潤(rùn)機(jī)器人  云跡酒店機(jī)器人  智能導(dǎo)診機(jī)器人 
版權(quán)所有 © 創(chuàng)澤智能機(jī)器人集團(tuán)股份有限公司     中國運(yùn)營(yíng)中心:北京·清華科技園九號(hào)樓5層     中國生產(chǎn)中心:山東日照太原路71號(hào)
銷售1:4006-935-088    銷售2:4006-937-088   客服電話: 4008-128-728