智能制造網(wǎng)APP
智能制造網(wǎng)手機(jī)站
智能制造網(wǎng)小程序
智能制造網(wǎng)官微
智能制造網(wǎng)服務(wù)號(hào)
智能控制
機(jī)器人
儀器儀表
物聯(lián)網(wǎng)
3D打印
工業(yè)軟件
回放
品牌
羅克韋爾/Allen Bradley
我們的世界正向著科幻大踏步前進(jìn)。
過去幾個(gè)月，ChatGPT的出現(xiàn)，引爆了一波人工智能熱潮，這個(gè)強(qiáng)大的聊天機(jī)器人讓我們看到了通用語言模型的生產(chǎn)力前景，只要繼續(xù)迭代下去，有望大大提高人類社會(huì)的生產(chǎn)效率，在諸多行業(yè)產(chǎn)生變革。
而就在我們還在適應(yīng)ChatGPT帶來的變化時(shí)，一個(gè)更加重磅的炸彈被引爆了，前幾天，谷歌和柏林工業(yè)大學(xué)的團(tuán)隊(duì)推出了史上最大的視覺語言模型——PaLM-E，該模型包含了5620億個(gè)參數(shù)，相之前最大模型GPT-3的1750億個(gè)參數(shù)，參數(shù)量翻了兩倍多。
更加重要的是，PaLM-E作為一種多模態(tài)具身視覺語言模型，成功實(shí)現(xiàn)了讓人工智能同時(shí)具備“理解文字”和“讀懂圖片”的能力，它不僅可以理解圖像，還能理解、生成語言，執(zhí)行各種復(fù)雜的機(jī)器人指令而無需重新訓(xùn)練。
可以說，PaLM-E的發(fā)布標(biāo)志著人工智能領(lǐng)域的又一個(gè)重要里程碑，極大地推動(dòng)人工智能技術(shù)的發(fā)展和應(yīng)用，它不僅在技術(shù)上提高了人工智能的水平，在應(yīng)用上，也能為更多領(lǐng)域提供更加智能、更加自主的工具和服務(wù)，比如能輕易理解人類指令的智能機(jī)器人或許并不遙遠(yuǎn)了。
視覺-語言多模態(tài)的通才模型
PaLM-E，全稱Pathways Language Model with Embodied，是一種具身視覺語言模型，是PaLM-540B語言模型與ViT-22B視覺Transformer模型的結(jié)合，它的強(qiáng)大之處在于，能夠利用視覺數(shù)據(jù)來增強(qiáng)其語言處理能力。
“PaLM-E是迄今為止已知的最大VLM(視覺語言模型)。我們觀察到諸如多模態(tài)思維鏈推理(允許模型分析包括語言和視覺信息的一系列輸入)，只接受單圖像提示訓(xùn)練的多圖像推理(使用多個(gè)圖像作為輸入來做出推理或預(yù)測)等涌現(xiàn)能力。”論文的第一作者、谷歌AI研究員Danny Driess表示。
PaLM-E中的E，即embodied(具身化)，是指基于語言模型，PaLM-E能夠直接觀察、利用真實(shí)世界中的信息，比如視覺圖像或傳感器數(shù)據(jù)，將它們編碼為一系列與語言標(biāo)記大小相同的向量，不再僅僅依賴于文本輸入，使得機(jī)器人的智能化躍上一個(gè)新的臺(tái)階。
通過具身化功能，PaLM-E能完成即具身推理任務(wù)，即讓機(jī)器人在虛擬或真實(shí)的環(huán)境中，通過多模態(tài)的輸入(如語言、視覺、觸覺以及機(jī)器人的3D空間狀態(tài)信息等)，完成一些需要常識(shí)和邏輯推理的任務(wù)。
比如你跟機(jī)器人說“幫我把桌上的薯片拿過來”，這就是一個(gè)具身推理任務(wù)，不僅需要機(jī)器人理解人類的語言和意圖，還需要機(jī)器人觀察和操作環(huán)境中的物體，以及規(guī)劃一系列的子目標(biāo)和動(dòng)作，具身推理任務(wù)是一個(gè)非常復(fù)雜的領(lǐng)域，涉及到與多模態(tài)語言模型、神經(jīng)符號(hào)系統(tǒng)、對話系統(tǒng)等各方面的技術(shù)，PaLM-E也只是初步涉及而已，不過這也已經(jīng)是非常大的進(jìn)步了。
除此之外，PaLM-E還表現(xiàn)出了強(qiáng)大的正遷移能力，即它可以將從一項(xiàng)任務(wù)中學(xué)到的知識(shí)和技能遷移到另一項(xiàng)任務(wù)中，從而與單任務(wù)機(jī)器人模型相比性能明顯提高。
賦機(jī)器人以智能的PaLM-E
PaLM-E不僅可以指導(dǎo)機(jī)器人完成各種復(fù)雜的任務(wù)，還可以生成描述圖像的語言，展示了前所未有的靈活性和適應(yīng)性，代表著一次重大飛躍，特別是人機(jī)交互領(lǐng)域。
在測試中，機(jī)器人被要求去抽屜里拿薯片。根據(jù)谷歌的說法，當(dāng)給出一個(gè)高級命令時(shí)，比如“把抽屜里的薯片拿給我”，PaLM-E可以為一個(gè)有手臂的移動(dòng)機(jī)器人平臺(tái)生成一個(gè)行動(dòng)計(jì)劃并執(zhí)行自己的行動(dòng)。PaLM-E通過分析來自機(jī)器人相機(jī)的數(shù)據(jù)來實(shí)現(xiàn)這一點(diǎn)，而無需對場景進(jìn)行預(yù)處理，這消除了人類預(yù)處理或注釋數(shù)據(jù)的需要，并允許更自主的機(jī)器人控制。
同時(shí)它還具有彈性，可以對環(huán)境做出反應(yīng)。例如，PaLM-E模型可以引導(dǎo)機(jī)器人從廚房取薯片袋，而且，通過將PaLM-E集成到控制回路中，它可以抵抗任務(wù)期間可能發(fā)生的中斷。在一個(gè)視頻示例中，研究人員從機(jī)器人手中抓取薯片并移動(dòng)它們，但機(jī)器人找到薯片并再次抓取它們。
PaLM-E還能識(shí)別圖像，并生成關(guān)于它的文本信息。研究人員寫道，PaLM-E也是一種“有效的視覺語言模型”。例如，它可以識(shí)別圖像中的籃球明星科比·布萊恩特，并可以生成關(guān)于他的文本信息，比如他贏得了多少次冠軍，在另一個(gè)例子中，PaLM-E看到一個(gè)交通標(biāo)志并解釋與之相關(guān)的規(guī)則。
PaLM-E的出現(xiàn)為機(jī)器人領(lǐng)域提供了更強(qiáng)大的工具，機(jī)器人可以更好地理解環(huán)境和交互，從而更加自主地執(zhí)行任務(wù)。例如，在工廠、醫(yī)院、物流中心等場景下，機(jī)器人可以通過PaLM-E更好地識(shí)別目標(biāo)物體、理解工作流程、執(zhí)行任務(wù)等。
結(jié)語
PaLM-E的出現(xiàn)可以說一個(gè)新的拐點(diǎn)已經(jīng)到來，多模態(tài)的融合將成為未來必然的發(fā)展方向，不管是文字，還是圖片，亦或者語音，都耦合到一個(gè)模型中，制造出通用的全能模型。
就如PaLM-E里面提到的，LLM(大語言模型)有個(gè)天然的局限性，就是它只在文本語料中訓(xùn)練，雖然積累了大量的內(nèi)在知識(shí)，但無法與真實(shí)世界接觸，文本世界的抽象需要用真實(shí)世界的各種信息去標(biāo)定，因此若想實(shí)現(xiàn)AGI(通用人工智能)，必須多模態(tài)。
PaLM-E這種多模態(tài)具身視覺語言模型的出現(xiàn)，也將讓人機(jī)交互方式產(chǎn)生變化，以對話方式控制的產(chǎn)品將越來越多，畢竟誰也不想買個(gè)電子產(chǎn)品，就要在手機(jī)里裝個(gè)App，使用時(shí)還要進(jìn)行繁瑣的操作，說一句話就能完成所有的操作，恐怕沒有人會(huì)拒絕。
原標(biāo)題：重磅！谷歌的這項(xiàng)技術(shù)，真的要顛覆機(jī)器人行業(yè)
浙公網(wǎng)安備 33010602000006號(hào)
智能制造網(wǎng)APP
智能制造網(wǎng)小程序
微信公眾號(hào)
