AI ScholarWeekly是AI領域的學術專欄,致力于為你帶來最新潮、最全面、最深度的AI學術概覽,一網(wǎng)打盡每周AI學術的前沿資訊。
每周更新,做AI科研,每周從這一篇開始就夠啦!
本周關鍵詞:視頻理解、時間感知、BERT
本周最佳學術研究
KnowIT VQA:回答有關視頻的知識性問題
在本文中,研究人員通過結合知識和視頻問答,提出了一種新的視頻理解任務。
首先,他們提出了一個稱之為KnowIT(knowledge informated temporal)VQA的視頻數(shù)據(jù)集。該數(shù)據(jù)集源自電視劇生活大爆炸(The Big Bang Theory),其中包含了眾多知識問答。KnowIT擁有24000多個人工生成的問答對,并將視覺、文本和時間與基于知識的問題相結合。其次,他們提出了一個視頻理解模型,將視頻的視覺和文本內容與特定的節(jié)目知識結合起來。