本公開提供了一種訓(xùn)練數(shù)據(jù)加載方法、分布式訓(xùn)練方法、裝置、設(shè)備及介質(zhì),涉及計(jì)算機(jī)技術(shù)領(lǐng)域。該訓(xùn)練數(shù)據(jù)加載方法包括:響應(yīng)于分布式訓(xùn)練系統(tǒng)中目標(biāo)訓(xùn)練節(jié)點(diǎn)對目標(biāo)訓(xùn)練數(shù)據(jù)的加載請求,獲取目標(biāo)訓(xùn)練節(jié)點(diǎn)對應(yīng)的數(shù)據(jù)通信狀態(tài);基于數(shù)據(jù)通信狀態(tài)確定高速通信...