PaLM（Pathways Language Model） 是一種大型語言模型，即 LLM，類似于OpenAI 創(chuàng)建的 GPT 系列或Meta 的 LLaMA 系列模型。谷歌于 2022 年 4 月首次宣布推出 PaLM，超過了5400億個(gè)訓(xùn)練參數(shù)。與其他 LLM 一樣，PaLM 是一個(gè)靈活的系統(tǒng)，可以執(zhí)行各種文本生成和編輯任務(wù)。例如，你可以將 PaLM 訓(xùn)練成像 ChatGPT 這樣的對(duì)話式聊天機(jī)器人，或者你可以將它用于諸如總結(jié)文本甚至編寫代碼等任務(wù)。（這類似于谷歌今天也為其 Workspace 應(yīng)用程序（如 Google Docs 和 Gmail）宣布的功能。）

在 2023 谷歌 I/O 大會(huì)上，谷歌 CEO 皮查伊宣布推出對(duì)標(biāo) GPT-4 的大模型 PaLM 2，并正式發(fā)布預(yù)覽版本，改進(jìn)了數(shù)學(xué)、代碼、推理、多語言翻譯和自然語言生成能力。

谷歌將為 PaLM 2 提供四種不同大小的版本，從最小到最大：Gecko、Otter、Bison 和 Unicorn。Gecko 非常輕巧，可以在移動(dòng)設(shè)備上工作，并且速度足夠快，即使在離線時(shí)也能在設(shè)備上運(yùn)行出色的交互式應(yīng)用程序。這種多功能性意味著可以對(duì) PaLM 2 進(jìn)行微調(diào)，以更多方式支持整個(gè)類別的產(chǎn)品，從而幫助更多人。

PaLM 2的特性

PaLM 2 是谷歌的下一代大語言模型，具有改進(jìn)的多語言、推理和編碼能力。

• 多語言性： PaLM 2 在多語言文本方面接受了更多的訓(xùn)練，涵蓋 100 多種語言。這顯著提高了它在多種語言中理解、生成和翻譯細(xì)微差別文本（包括成語、詩歌和謎語）的能力，這是一個(gè)很難解決的問題。PaLM 2 還通過了“精通”級(jí)別的高級(jí)語言能力考試。
• 推理： PaLM 2 的廣泛數(shù)據(jù)集包括科學(xué)論文和包含數(shù)學(xué)表達(dá)式的網(wǎng)頁。因此，它展示了邏輯、常識(shí)推理和數(shù)學(xué)方面的改進(jìn)能力。
• 編程： PaLM 2 在大量公開可用的源代碼數(shù)據(jù)集上進(jìn)行了預(yù)訓(xùn)練。這意味著它擅長(zhǎng) Python 和 JavaScript 等流行的編程語言，但也可以生成 Prolog、Fortran 和 Verilog 等語言的專用代碼。