與OpenAI官宣合作13天后，F(xiàn)igure旗下人形機(jī)器人的性能突飛猛進(jìn)。

近日，F(xiàn)igure AI釋出的一段視頻顯示，人形機(jī)器人Figure 01可以識別眼前物體，回答開放性提問，并聽從指令將黑色塑料袋收拾進(jìn)框子里、將杯子和盤子歸置放在瀝水架上。

Figure創(chuàng)始人兼首席執(zhí)行官Brett Adcock強(qiáng)調(diào)，視頻中Figure 01展示了端到端神經(jīng)網(wǎng)絡(luò)框架下與人類的對話，不存在任何遠(yuǎn)程操控。同時機(jī)器人的速度有了顯著提升，開始接近人類的速度。

能識別、能對話、能思考

“Figure 01，你現(xiàn)在看到了什么？”

“我看到桌中間有個紅蘋果，一個瀝水籃、一些杯子和盤子，以及你站在旁邊，手搭在桌子上?！?/p>

既能識別出靜態(tài)物體，還能判斷人類的動作，F(xiàn)igure 01的視覺識別和理解能力可見一斑。

在隨后的多輪對話里，F(xiàn)igure 01繼續(xù)展現(xiàn)了其在上下文回溯、推理、多任務(wù)處理等方面的能力。

當(dāng)被問到桌上有什么可以食用的，F(xiàn)igure 01回答：“當(dāng)然”，隨后流暢地把紅蘋果遞給了提問者。

隨后提問者往桌上倒了幾個黑色塑料袋，要求Figure 01一邊解釋剛剛為何遞給他蘋果，一邊把桌上垃圾收起來。Figure 01隨后迅速給出反應(yīng)，雙手一邊將塑料袋放回垃圾筐里，一邊回答道：“我剛剛給了你個蘋果，因為這是桌上唯一能吃的東西。”

緊接著，提問者給出了開放式提問，要求Figure 01結(jié)合面前的場景，判斷應(yīng)該把盤子放在哪。Figure 01表示，杯子和盤子可能該放在瀝水籃里，并根據(jù)指令將杯子和盤子放進(jìn)了瀝水籃。

在問答中，F(xiàn)igure 01也顯露了其在上下文推理上的能力。當(dāng)提問者問道：“你能把它們放到那兒去嗎（Can you put them there）？”，沒有明示把何種物體放到何處，F(xiàn)igure 01根據(jù)前后文準(zhǔn)確判斷出代詞所指代的含義，并完成相應(yīng)指令。

Figure 01最后對上述表現(xiàn)進(jìn)行了自我評估：“我覺得我做得很好，蘋果找到了新主人，垃圾被扔掉了，餐具也放到了該放的地方?！?/p>

OpenAI提供“智力支持”

Figure成立于2022年，2023年10月，F(xiàn)igure正式推出了該公司首款人形機(jī)器人Figure 01。根據(jù)官方介紹，F(xiàn)igure 01身高5英尺6英寸，重132磅，設(shè)計可承載44磅的重量，續(xù)航達(dá)5小時。

不久前，F(xiàn)igure宣布完成新一筆融資，金額為6.75億美元（約48.5億元人民幣），投資方包括英偉達(dá)、OpenAI、微軟等科技巨頭及亞馬遜創(chuàng)始人貝索斯。作為協(xié)議的一部分，F(xiàn)igure AI將與OpenAI合作，開發(fā)下一代人形機(jī)器人的人工智能模型。

Brett Adcock稱，與OpenAI的合作是“機(jī)器人技術(shù)的一個里程碑”。他希望，此次合作最終能讓機(jī)器人與人類并肩工作，完成任務(wù)并進(jìn)行對話。從理論上講，理解語言并據(jù)此采取行動的能力，可以讓機(jī)器人更好地與倉庫工人一起工作或接受口頭命令。

與OpenAI的合作，還可以幫助Figure AI的機(jī)器人實現(xiàn)自我糾正，并從過去的錯誤中吸取教訓(xùn)。Brett Adcock稱，F(xiàn)igure AI的機(jī)器人已經(jīng)具備了說話能力，并且可以用它的攝像頭來描述它前面“看到”的東西，還可以描述在一段時間內(nèi)某一特定地區(qū)可能發(fā)生的事情。Figure釋出的最新視頻，無疑印證了這些能力。

國內(nèi)方面，不少人形機(jī)器人本體廠商也在加強(qiáng)與AI大模型的結(jié)合。達(dá)闥機(jī)器人在2023年發(fā)布了生成式AI平臺RobotGPT以及海睿AGI和海睿OS 5.1，并將人形機(jī)器人接入RobotGPT，使機(jī)器人不僅可以與觀眾展開多輪對話，還能扮演多種角色。達(dá)闥機(jī)器人創(chuàng)始人、董事長兼CEO黃曉慶堅信，未來的機(jī)器人一定會是一種基于“云（云端大腦）、網(wǎng)（安全網(wǎng)絡(luò)）、端（機(jī)器人終端）”架構(gòu)的技術(shù)體系。

2023年10月，科大訊飛推出與宇樹科技合作研發(fā)的人形機(jī)器人。科大訊飛董事長劉慶峰表示，星火大模型的推出，將讓AIBOT賦能機(jī)器人發(fā)展進(jìn)入到一個全新的階段，人形機(jī)器人對復(fù)雜任務(wù)的拆解、開放場景的物體尋找明顯提升，在強(qiáng)化學(xué)習(xí)泛化抓取、仿人行走的復(fù)雜地形運動能力上都比主流系統(tǒng)有一個非常大的提升。

“下一步，我們將以人形機(jī)器人為牽引，來推動‘視覺-語言-動作’多模態(tài)具身大模型，能夠更好地賦能人形機(jī)器人?！眲c峰說。