2014年AIE實驗室研究團隊從信息知識的輸入,輸出,掌握和創(chuàng)新等4個大類;圖像、文字、聲音識別;常識、計算、翻譯、創(chuàng)作、挑選、猜測、發(fā)現(xiàn)等、15個小類,對世界50個搜索引擎和三個不同年齡段人群進行了”人工智能智商測試“,測試結(jié)果發(fā)現(xiàn)目前人工智能系統(tǒng)的智商遠遠低于人類智商,高的谷歌尚不及6歲兒童智商的一半。因此從2014年科技領(lǐng)域關(guān)于人工智能達到三歲兒童智商傳言由此而來,2014年人類和人工智能系統(tǒng)智商排名如下(前13名)。
測試結(jié)果顯示,人工智能的AI得分與兩年前相比,智商都大幅度提高,得分高的谷歌測評分數(shù)為47.28分,高2014年20.78分,距2014年測評的人類6歲兒童的智商差距也由29分縮小至8.22分。具體到一級指標上,人工智能的知識獲取、掌握、反饋能力都表現(xiàn)良好,但知識創(chuàng)新能力仍是短板所在。下面我們分別看一下參與測試的各人工智能系統(tǒng)表現(xiàn)情況。
2016年2月谷歌智商47.28
其中知識的獲取能力(10%)獲得8分,知識的掌握能力(15%)獲得15分,知識的創(chuàng)新能力(65%)獲得18.84分,知識的反饋能力(10%)獲得5.44分。
谷歌搜索引擎在前兩部分表現(xiàn)優(yōu)異,在知識的掌握能力方面獲得滿分,體現(xiàn)了其的翻譯、計算、常識儲備能力。在知識的獲取能力方面也獲得80%的分數(shù),相較于其他搜索引擎都是得分高的。值得一提的是,谷歌搜索引擎在知識創(chuàng)新能力方面獲得了29%的分數(shù),高于其他搜索引擎10%以上,知識反饋方面獲得54.4%,由于國內(nèi)對谷歌的使用限制,本文僅使用了谷歌搜索PC端進行測試,PC端不支持語音回復功能,所以在聲音表達方面獲得0分。但經(jīng)過搜索發(fā)現(xiàn)谷歌是具有文字轉(zhuǎn)語音的功能,期待之后進行測試時會有意外驚喜。
綜上,谷歌搜索引擎的智商在2015-2016年有了突飛猛進的進步,蟬聯(lián),并且拉大了與其他搜索引擎的差距。
2016年2月度秘智商37.2
度秘是百度在2015年世界大會上全新推出,為用戶提供秘書化搜索服務(wù)的機器人(300024)助理。其在廣泛索引真實世界的服務(wù)與信息的基礎(chǔ)上,依托百度搜索與智能交互技術(shù),通過人工智能用機器不斷學習和替代人的行為,為用戶提供服務(wù)。
各方面得分情況:知識的獲取能力(10%)方面獲得6分,知識的掌握能力(15%)方面獲得了15分,知識的創(chuàng)新能力(65%)方面獲得了7.2分,知識的反饋能力(10%)獲得了9分。
具體來說,度秘在知識的掌握能力方面表現(xiàn)好,在常識、計算以及翻譯部分都表現(xiàn),獲得了100%的分數(shù)。其次是知識的反饋能力,可以清晰地進行文字和聲音的表達但仍然缺乏對復雜圖像的表達能力而獲得了90%的分數(shù)。度秘的知識的獲取能力方面表現(xiàn)正常,可以較好識別文字和聲音,但無法掃描圖片以及圖片上的文字,而獲得了60%的分數(shù)。度秘在知識的創(chuàng)新能力方面表現(xiàn)較弱,僅在聯(lián)想、挑選和發(fā)現(xiàn)規(guī)律部分獲得部分分數(shù),其他方面未有獲得分數(shù),故在該部分僅獲得11.1%的分數(shù)。
綜上,度秘相較于其他搜索引擎的智商得分價高,并且在知識掌握方面獲得了滿分,說明世界范圍的人工智能系統(tǒng)的智商還不斷的提升,人工智能機器人在不斷的完善。
2016年2月百度搜索智商32.92
各方面得分情況:知識的獲取能力(10%)方面獲得6.8分,知識的掌握能力(15%)方面獲得14.25分,知識的創(chuàng)新能力(65%)方面獲得2.88分,知識反饋能力(10%)獲得了9分。
具體來說,百度搜索在知識的掌握能力方面表現(xiàn)好,在常識、計算部分表現(xiàn),而翻譯部分有些許欠缺,獲得了95%的分數(shù),其次是知識的反饋能力,可以清晰地進行文字和聲音的表達但仍然缺乏對復雜圖像的表達能力而獲得90%的分數(shù)。知識的獲取能力方面表現(xiàn)正常,可以較好識別文字和聲音,在識別圖像部分可掃描圖片并讀取文字但無法根據(jù)文字證券回答問題而終獲得68%的分數(shù)。百度搜索在知識的創(chuàng)新能力方面表現(xiàn)較差,僅在猜測和發(fā)現(xiàn)規(guī)律部分有所分數(shù),僅獲得4.43%的分數(shù)。
綜上,百度搜索相較于其他搜索引擎的智商得分較高,且對比2014年的測試結(jié)果有所提升,說明世界范圍的人工智能系統(tǒng)的智商提高較為明顯,但在知識的創(chuàng)新能力方面仍然有較大改進空間。
2016年2月搜狗智商32.25
其中知識的獲取能力(10%)獲得6分,知識的掌握能力(15%)獲得14.61分,知識的創(chuàng)新能力(65%)獲得7.2分,知識的反饋能力(10%)獲得4.44分。
搜狗搜索前兩部分均獲得較高的成績,尤其在知識的掌握能力方面獲得的分數(shù)多,獲得97.4%的分數(shù),體現(xiàn)了其的翻譯、計算、常識儲備能力。知識的獲取能力方面獲得了60%的分數(shù),主要受圖像識別的影響,4道題均沒有有效識別。知識創(chuàng)新能力方面只獲得了11%的分數(shù),尤其在排列、創(chuàng)造、發(fā)現(xiàn)能力上均為0分。知識反饋方面獲得44.4%,搜狗搜索不支持語音回復功能,所以在聲音表達方面獲得0分。
綜上,2015年搜狗搜索的得分水平高于2014年,在各項項中均有所提高,但在創(chuàng)新能力、語音表達、圖像識別處理等方面需要進一步提高。
2016年2月微軟必應智商31.98
各方面的得分情況:知識的獲取能力(10%)方面獲得6分,知識的掌握能力(15%)方面獲得13.86分,知識的創(chuàng)新能力(65%)方面獲得7.2分,知識的反饋能力(10%)上獲得4.92分。
必應搜索在知識的獲取能力及知識的掌握能力方面獲得較高的分數(shù),尤其在知識的掌握能力上表現(xiàn)突出,獲得92.4%的分數(shù),體現(xiàn)了的翻譯、計算、常識儲備能力。知識的獲取能力方面獲得了60%的分數(shù),主要是由于其不能有效識別圖像并提供正確答案。知識創(chuàng)新能力方面只獲得了11%的分數(shù),而且得分的方面也只能反饋答案,沒有針對性。知識反饋能力方面僅獲得44.4%的分數(shù),必應在不具備語言回復的功能,所以該項沒有得分。
綜上,2015年必應搜索的得分水平高于2014年,在各項項中均有所提高,但在創(chuàng)新能力、語音表達、圖像識別處理等方面需要進一步提高。
2016年2月微軟小冰智商31.98
“微軟小冰”是微軟(亞洲)互聯(lián)網(wǎng)工程院在2014年5月29日發(fā)布一款人工智能伴侶虛擬機器人。
各方面的得分情況:知識的獲取能力(10%)方面獲得6分,知識的掌握能力(15%)方面獲得12分,知識的創(chuàng)新能力(65%)方面獲得3分,知識的反饋能力(10%)上獲得3.48分。微軟小冰在知識的掌握能力方面表現(xiàn)的好,獲得了80%的分數(shù),其次是知識的獲取能力。知識的反饋能力方面表現(xiàn)處于正常水平,由于不支持語音反饋導致,并且在圖像反饋方面的能力也較差。知識的創(chuàng)新方面表現(xiàn)的相較于其他搜索引擎較差。
綜上,微軟小冰相較于其他搜索引擎智商得分較低,但相比于2014年仍為較高水平,說明世界范圍的人工智能系統(tǒng)的智商提高較為明顯。但在用戶使用功能的方便性上希望可以進一步優(yōu)化,能夠直接獲得完整功能,讓客戶快速獲得有用信息。當然,也是受到這方面因素影響,對小冰的測試結(jié)果存在低估,之后會對其全部解鎖的功能再次測量。
蘋果SIRI2月智商23.94
各方面得分情況:知識獲取能力(10%)獲得6分,知識的掌握能力(15%)獲得10.5分,知識的創(chuàng)新能力(65%)獲得1.44分,知識的反饋能力(10%)獲得6分。
具體來說,Siri在知識的掌握能力方面表現(xiàn)好,在常識、計算部分都有表現(xiàn),但缺乏翻譯功能,獲得了70%的分數(shù)。其次為知識的獲取能力和反饋能力部分,皆獲得了60%的分數(shù),其中在知識的獲取能力方面,在識別文字和聲音部分獲得滿分,但無法掃描圖片故未獲得識別圖片的分數(shù),在知識的反饋能力方面,Siri可以進行文字和聲音的表達但無法給予圖像的表達。知識的創(chuàng)新能力部分則表現(xiàn)差,僅在發(fā)現(xiàn)規(guī)律部分獲得部分分數(shù),故只獲得2.2%的分數(shù)。
綜上,Siri相較于其他搜索引擎的智商得分較低,在知識的掌握、獲取以及反饋能力部分皆有改進空間,而在知識的創(chuàng)新能力部分的較大欠缺表明人工智能系統(tǒng)在創(chuàng)新能力方面仍然有較大進步空間。
結(jié)束語:
AIE實驗室研究團隊后續(xù)將繼續(xù)開展第二批測試,研究對象將涵蓋目前世界上近百個人工智能系統(tǒng),也將與IBM沃森系統(tǒng)積極聯(lián)系,對沃森系統(tǒng)進行智商測試。測試結(jié)果在2016年3月逐步對外公布。期間《人工智能學家》將組織多場研討會對人工智能智商測試問題和人工智能未來發(fā)展方向進行探討。
人工智能與互聯(lián)網(wǎng)進化實驗室(AIELab)是在科學院大數(shù)據(jù)與知識管理重點實驗室等科研機構(gòu)以及諸多專家支持下,由”人工智能學家“籌備建立的獨立前沿科技研究機構(gòu)。
AIE實驗室重點研究互聯(lián)網(wǎng),人工智能,腦科學,虛擬現(xiàn)實,機器人,移動互聯(lián)網(wǎng)等領(lǐng)域的未來發(fā)展趨勢和重大科學問題,發(fā)現(xiàn)符合互聯(lián)網(wǎng)進化趨勢的創(chuàng)新技術(shù)和創(chuàng)新企業(yè)。
AIE實驗室將充分利用互聯(lián)網(wǎng)創(chuàng)新研究模式,邀請跨領(lǐng)域科學家,企業(yè)家和投資人,依托科學院等相關(guān)機構(gòu)的科研優(yōu)勢,開展上述領(lǐng)域的前沿交叉和未來發(fā)展趨勢研究,力爭成為的獨立科學研究機構(gòu)和創(chuàng)新成果孵化器。