成果介紹
本發(fā)明適用于檢索技術(shù)領(lǐng)域,提供了跨模態(tài)檢索方法,包括采用堆疊式受限玻爾茲曼機(jī)和多模態(tài)深度置信網(wǎng)絡(luò)提取圖像和文本各自的模態(tài)友好型特征和模態(tài)相互型特征,模態(tài)友好型特征能夠使所獲得的特征之間的統(tǒng)計(jì)特性方面與輸入的更相似,模態(tài)相互型特征能夠得到在原始輸入實(shí)例中丟失的相互信息,將兩種特征進(jìn)行融合得到混合特征,通過(guò)多個(gè)雙模態(tài)自動(dòng)編碼獲得最后的共享特征。本發(fā)明實(shí)施例利用堆疊式的受限玻爾茲曼機(jī)提取各個(gè)模態(tài)的內(nèi)部特征,采用深度置信網(wǎng)絡(luò)挖掘模態(tài)之間丟失的相互信息,將兩種特征進(jìn)行融合,構(gòu)造出適合進(jìn)行跨模態(tài)檢索的混合特征,利用多層雙模態(tài)的自動(dòng)編碼網(wǎng)絡(luò)挖掘跨模態(tài)的復(fù)雜信息,有效提高了跨模態(tài)檢索任務(wù)的準(zhǔn)確性和檢索的速度。