考慮到每天都有無數(shù)新視頻涌入YouTube、TikTok和Instagram等平臺,科技和媒體公司也越來越需要理解所有內(nèi)容的發(fā)展趨勢。好消息是,由麻省理工學(xué)院校友創(chuàng)立的Netra公司,正在利用人工智能技術(shù)來改進大規(guī)模視頻分析。其打造的這套系統(tǒng)能夠識別活動、對象、情感、位置等信息,然后以新的方式來組織視頻、并為其提供上下文。
Netra聯(lián)合創(chuàng)始人兼首席技術(shù)官Shashi Kant SM表示,該公司正在使用Netra解決方案,將類似內(nèi)容分組為亮點或新聞片段、標(biāo)記暴露或暴力內(nèi)容、以及改善廣告出現(xiàn)的位置。
據(jù)悉,Netra正在幫助將視頻與廣告內(nèi)容做得更加匹配,以避免采取容易引發(fā)隱私顧慮的傳統(tǒng)個人追蹤方案(比如cookie)。
與此同時,Netra認(rèn)為此舉有助于改善視頻內(nèi)容的可搜索性。在系統(tǒng)完成了對視頻的處理之后,用戶將能夠更好地使用關(guān)鍵詞進行檢索。
舉個例子,在通過Netra系統(tǒng)對棒球賽季的視頻進行分析處理之后,用戶可以輕松搜到每次擊打的精彩片段,或者點擊查看更多內(nèi)容、找到缺失的其它曲目列表、以及引發(fā)觀眾憤怒的噓聲場景。
Kant指出,視頻是迄今為止j較大的信息資源,從信息的豐富程度和大小上看,它讓文本和其它媒體格式都黯然失色,但迄今該領(lǐng)域的高效搜索分析方案仍是一大片空白。
此前,MIT教授Tim Berners-Lee一直致力于提升機器讀取互聯(lián)網(wǎng)數(shù)據(jù)的能力,而Kant曾是他的研究生,并且受到了改善機器存儲和信息使用方式的遠(yuǎn)見啟發(fā)。
對Kant來說,當(dāng)前的Web服務(wù)仍停留于信息檢索的1.0階段,甚至Google在該領(lǐng)域也長期停滯不前。而他們的新目標(biāo),就是找到信息檢索的新范式。
作為MIT 100K創(chuàng)業(yè)大賽(當(dāng)時其實還是50K美金)的獲勝團隊成員,他曾幫助編寫了一個面向殘障人士的機電矯形器的“主動聯(lián)合支撐” (Active Joint Brace)解決方案的計算機代碼。
2006年畢業(yè)后,Kant創(chuàng)立了一家使用相關(guān)解決方案的人工智能企業(yè)(名叫Cognika)。由于當(dāng)時AI 概念已經(jīng)被鼓吹得有些爛大街,因此Kant更傾向于在向投資者和客戶推銷時使用“認(rèn)知計算”之類的術(shù)語。
2013年的時候,Kant又創(chuàng)立了致力于AI視頻分析的Netra。為回應(yīng)炒作質(zhì)疑,Netra決定拿出更有說服力的演示,比如能夠根據(jù)不同剪輯中發(fā)生的事件,快速分析并組織內(nèi)容的一套解決方案。
這套系統(tǒng)能夠分析人們正在做的類似事情、表達的相似情感、以及相似產(chǎn)品的使用等場景,然后為不同的場景生成元數(shù)據(jù)。但Kant表示,Netra能做到的,其實遠(yuǎn)不止于關(guān)鍵詞標(biāo)記。
Kant解釋稱,Netra為視頻內(nèi)容分類采用了嵌入式方案。舉個例子,當(dāng)棒球選手達成本壘打的時候,肯定會有相應(yīng)的特征,而Netra可以據(jù)此聲稱一套嵌入算法。
作為捕獲內(nèi)容的數(shù)字序列或“向量”,人類常用的標(biāo)記方案與之有一定的差別。為此,Netra決定訓(xùn)練一個模型,以專門檢測所有的本壘打。
但在表象之下,其實Netra還利用一個神經(jīng)網(wǎng)絡(luò),其創(chuàng)建了該視頻的嵌入點,并且能夠通過其它方式,將相關(guān)場景與外出散步等區(qū)分開來。
通過定義不同片段之間的關(guān)系,Netra系統(tǒng)允許客戶以新的方式來組織和檢索其內(nèi)容。對于媒體公司來說,亦可更好地確定粉絲們的情緒,來確定體育賽事中最激動人心的時刻。
此外他們能夠按照不同的主題、位置,根據(jù)剪輯中是否包含敏感或令人不安的內(nèi)容進行分組。在線上廣告即將迎來重大轉(zhuǎn)變的關(guān)鍵時刻,這些能力也變得更具現(xiàn)實意義。
比如Patagonia等品牌廣告公司,可借助Netra的系統(tǒng),將戶外服裝客戶的產(chǎn)品廣告放到遠(yuǎn)足主題的內(nèi)容旁邊,媒體公司也能夠在受其贊助的運動員視頻片段中給特定運動品牌打廣告。
(原標(biāo)題:AI視頻分析公司Netra提出了檢索組織內(nèi)容和打廣告的新時代解決方案)