7 月 22 日消息,機器人要如何完成這樣一個動作?我們一般會基于強化學(xué)習(xí),在仿真環(huán)境中進行模擬訓(xùn)練。
這時,如果在一臺機器的 CPU 環(huán)境下進行模擬訓(xùn)練,那么需要幾個小時到幾天。
但現(xiàn)在,只需一個 TPU/GPU,就能和數(shù)千個 CPU 或 GPU 的計算集群的速度一樣快,直接將所需時間縮短到幾分鐘,相當(dāng)于將強化學(xué)習(xí)的速度提升了 1000 倍!
這就是來自谷歌的科學(xué)家們開發(fā)的物理模擬引擎 Brax。
現(xiàn)在大多數(shù)的物理模擬引擎都是怎么設(shè)計的呢?
將重力、電機驅(qū)動、關(guān)節(jié)約束、物體碰撞等任務(wù)都整合在一個模擬器中,并行地進行多個模擬,以此來逼近現(xiàn)實中的運動系統(tǒng)。
▲ 對于每個模擬時間步長,力和力矩被整合在一起
這種情況下,每個模擬器中的計算都不相同,且數(shù)據(jù)必須在數(shù)據(jù)中心內(nèi)通過網(wǎng)絡(luò)傳輸。
這種并行布局也就導(dǎo)致了較高的延遲時間 —— 即學(xué)習(xí)者可能需要超過 10000 納秒的等待時間,才能從模擬器中獲得經(jīng)驗。
那么怎樣才能縮短這種延遲時間呢?
Brax 選擇通過避免模擬中的分支來保證數(shù)千個并行環(huán)境中的計算完全統(tǒng)一,進而降低整個訓(xùn)練架構(gòu)的復(fù)雜度。
直到復(fù)雜度降低到可以在單一的 TPU 或 GPU 上執(zhí)行,跨機器通信的計算開銷就隨之降低,延遲也就能被有效消除。
主要分為以下三個方法:
比如,在計算一個小球與墻壁之間的接觸力時,就產(chǎn)生了一個分支:
如果球接觸墻壁,就執(zhí)行模擬球從墻壁反彈的獨立代碼;
否則,就執(zhí)行其他代碼;
這里就可以通過符號距離函數(shù)來避免這種 if/else 的離散分支邏輯的產(chǎn)生。
在仿真時間之前評估基于環(huán)境靜態(tài)屬性的分支,例如兩個物體是否有可能發(fā)生碰撞。
在使用了這三種策略之后,我們就得到了一個模擬由剛體、關(guān)節(jié)、執(zhí)行器組成環(huán)境的物理引擎。
同時也是一種實現(xiàn)在這種環(huán)境中各類操作(如進化策略,直接軌跡優(yōu)化等)的學(xué)習(xí)算法。
那么 Brax 的性能究竟如何呢?
Brax 測試所用的基準(zhǔn)是 OpenAI Gym 中 Ant、HalfCheetah、Humanoid、Reacher 四種。
同時也增加了三個新環(huán)境:包括對物理的靈巧操作、通用運動(例如前往周圍任何一個放置了物體的地點)、以及工業(yè)機器人手臂的模擬:
研究人員首先測試了 Brax 在并行模擬越來越多的環(huán)境時,可以產(chǎn)生多少次物理步驟(也即對環(huán)境狀態(tài)的更新)。
測試結(jié)果中的 TPUv3 8×8 曲線顯示,Brax 可以在多個設(shè)備之間進行無縫擴展,每秒可達到數(shù)億個物理步驟:
而不僅是在 TPU 上,從 V100 和 P100 曲線也能看出,Brax 在高端 GPU 上同樣表現(xiàn)出色。
然后就是 Brax 在單個工作站(workstation)上運行一個強化學(xué)習(xí)實驗所需要的時間。
在這里,研究人員將基于 Ant 基準(zhǔn)環(huán)境訓(xùn)練的 Brax 引擎與 MuJoCo 物理引擎做了對比:
可以看到,相對于 MuJoCo(藍線)所需的將近 3 小時時間,使用了 Brax 的加速器硬件最快只需要 10 秒。
使用 Brax,不僅能夠提高單核訓(xùn)練的效率,還可以擴展到大規(guī)模的并行模擬訓(xùn)練。
? ? ? ? ? ? ? ?Copyright 2020-2026 同袍存儲 粵ICP備2021121885號網(wǎng)站地圖