規(guī)模是做好生成式人工智能的撒手锏，大數(shù)據(jù)、大模型和大算力對于生成式人工智能缺一不可。”在近日舉行的第七屆數(shù)字中國峰會之中國移動人工智能生態(tài)大會上，中國工程院院士、鵬城實驗室主任、北京大學(xué)博雅講習(xí)教授高文表示。高文院士回顧了人工智能發(fā)展的三次浪潮，并對影響當(dāng)下生成式人工智能發(fā)展的關(guān)鍵因素進行了分析。
01
歷經(jīng)三次浪潮
1956年夏天，美國達(dá)特茅斯學(xué)院舉行了一場研討會，在會上麥卡錫首提“人工智能”，標(biāo)志著人工智能元年的到來。追憶歷史，高文表示，從1956年開始人工智能經(jīng)歷了三次浪潮：以推理研究為主的第一次浪潮，持續(xù)20年左右時間；以專家系統(tǒng)為主的第二次浪潮，持續(xù)30年左右時間；以及從2006年開始的第三次浪潮。其中第三次浪潮又包括兩大技術(shù)進展：從2009年開始的判別式人工智能，從2018年開始的生成式人工智能。
2009年，華裔科學(xué)家李飛飛和李凱教授提出imageNet（圖像網(wǎng)絡(luò)），一石激起千層浪，業(yè)界八仙過海各顯神通，紛紛基于imageNet提出各自的判別式人工智能算法，直到2012年深度神經(jīng)元網(wǎng)絡(luò)出現(xiàn)，以絕對優(yōu)勢令其他算法黯然失色，將百花齊放的格局進行收斂。2015年微軟研究院何凱明、孫劍等聯(lián)合提出ResNet（殘差網(wǎng)絡(luò)），又將判別式人工智能帶到了新高度。此后，從深度神經(jīng)網(wǎng)絡(luò)DNN到卷積神經(jīng)網(wǎng)絡(luò)CNN再到循環(huán)神經(jīng)網(wǎng)絡(luò)RNN，深度網(wǎng)絡(luò)快速迭代，不斷走向新的技術(shù)高度。
“判別式人工智能以模式識別見長，如圖像分類、人臉識別、智能監(jiān)測等，如今廣泛應(yīng)用的人臉識別正是判別式人工智能的應(yīng)用。判別式人工智能與人的對象認(rèn)知學(xué)習(xí)接近，可以根據(jù)學(xué)習(xí)速度、記憶規(guī)模、判別準(zhǔn)確度判斷其結(jié)果好壞。”高文分析。
02
大語言模型破解
長語言序列難題
不過，判別式人工智能通過在神經(jīng)網(wǎng)絡(luò)中輸入大量數(shù)據(jù)進行快速判別，擅長圖像和矩陣識別，對于長語言序列則力不從心。在這樣的形勢下，大語言模型應(yīng)運而生，致力于解決長語言序列問題，而生成式人工智能則是大語言模型的最主要突破。
高文表示，自2018年開始生成式人工智能快速迭代，從大語言模型LLM到ChatGPT再到Sora多模態(tài)，萬變不離其宗的是底層關(guān)鍵技術(shù)GPT（生成式預(yù)訓(xùn)練模型）。GPT引入注意力機制，使得一個長串中無論相隔多遠(yuǎn)的兩個相關(guān)數(shù)據(jù)都能連接在一起，并訓(xùn)練出關(guān)聯(lián)度。“GPT的核心算法是用大量序列做大模型預(yù)訓(xùn)練，關(guān)鍵是注意力機制。由于GPT算法對業(yè)界并無差別，因此具體應(yīng)用效果取決于學(xué)習(xí)速度、記憶規(guī)模、表達(dá)準(zhǔn)確度等。”高文認(rèn)為。
雖然如今ChatGPT如火如荼，但是GPT起初并沒有激起太多漣漪。這是因為GPT使用起來問題較多：給出的答案要么過于簡單，要么過于復(fù)雜，要么不合規(guī)，存在意識形態(tài)、文化習(xí)慣、行業(yè)差別等方面的問題。
ChatGPT的出現(xiàn)改變了這一現(xiàn)象，使得業(yè)界對于人工智能的印象和投入力度大為改觀。不過從底層技術(shù)看，從GPT到ChatGPT并沒有改變，其不同在于：一是ChatGPT增加了InstructionGPT指令，通過微調(diào)、對齊和抑制，使得回答更加“人模人樣”；二是引入基于人類反饋的增強學(xué)習(xí)RLHF，解決合規(guī)問題和垂應(yīng)用適配等。
03
大數(shù)據(jù)、大模型和大算力
缺一不可
在中國移動人工智能生態(tài)大會上，中國移動發(fā)布了“萬千百”智能基座，其中，“萬”指“萬”卡互聯(lián)并行加速算力供給，中國移動年內(nèi)將投產(chǎn)3個近兩萬卡超大規(guī)模單體智算中心和12個區(qū)域智算中心，廣泛升級1500個邊緣節(jié)點，為全社會提供澎湃算力。
中國移動在智算中心方面的規(guī)模投入并非個例，隨著生成式人工智能的發(fā)展，全國各地多個智算中心如雨后春筍不斷出現(xiàn)，而這背后的原因是人工智能的發(fā)展需要算力支撐。
“生成式人工智能做得好不好，規(guī)模是決性定因素。”高文一語道出其中關(guān)鍵。
高文表示，GPT和Sora等人工智能生成技術(shù)并沒有提出理論革新，與20年前的人工智能神經(jīng)網(wǎng)絡(luò)理論本質(zhì)上并無差異。生成式人工智能的突破得益于大數(shù)據(jù)、大模型和大算力，這三個“大”缺一不可。特別是算力，如今千卡是入門級規(guī)模，要想做大模型必須有萬卡級。
對于規(guī)模，OpenAI等公司也有深刻見解：如果能用規(guī)模解決問題，就無需動用新的算法。不僅如此，OpenAI還提出了“假設(shè)性三公理”，已被AI領(lǐng)域奉為圭臬。
第一條公理，苦澀的教訓(xùn)。多年來人工智能的研究者們一直試著將人類已知的知識構(gòu)建到他們的智能體中，但是屢戰(zhàn)屢敗。成功的極少數(shù)案例都是使用規(guī)模計算，通過搜索和機器學(xué)習(xí)完成的。大規(guī)模、大算力和大數(shù)據(jù)是通用人工智能的必要條件。
第二條公理，規(guī)模即所需。一旦選擇了良好且通用的數(shù)據(jù)標(biāo)注、算法，就能夠找到一套通用的規(guī)律，數(shù)據(jù)越多，模型越大，效果就越好，而且這個規(guī)律在訓(xùn)練之前就可以預(yù)知效果。大規(guī)模是通用人工智能AGI的充分條件，大就是好。
第三條公理，涌現(xiàn)需規(guī)模。隨著規(guī)模的擴大、數(shù)據(jù)的增加，大模型一定會涌現(xiàn)出前所未有的能力，這個能力可以被所有人看到。
最后，高文總結(jié)表示，判別式人工智能方興未艾，生成式人工智能如火如荼，關(guān)于下一波浪潮業(yè)界也有很多預(yù)測，如無人駕駛、具身智能、人形機器等，但總體而言仍不得而知。未來充滿想象，值得我們期待，也需要業(yè)界有所作為。高文特別提到，中國的人工智能需要自己的大模型底座，只有這樣才能實現(xiàn)以中文語料和中國歷史為基礎(chǔ)的文明傳承。