PaLM（Pathways Language Model） 是一種大型語言模型，即 LLM，類似于OpenAI 創(chuàng)建的 GPT 系列或Meta 的 LLaMA 系列模型。谷歌于 2022 年 4 月首次宣布推出 PaLM，超過了5400億個訓(xùn)練參數(shù)。與其他 LLM 一樣，PaLM 是一個靈活的系統(tǒng)，可以執(zhí)行各種文本生成和編輯任務(wù)。例如，你可以將 PaLM 訓(xùn)練成像 ChatGPT 這樣的對話式聊天機器人，或者你可以將它用于諸如總結(jié)文本甚至編寫代碼等任務(wù)。（這類似于谷歌今天也為其 Workspace 應(yīng)用程序（如 Google Docs 和 Gmail）宣布的功能。）

在 2023 谷歌 I/O 大會上，谷歌 CEO 皮查伊宣布推出對標(biāo) GPT-4 的大模型 PaLM 2，并正式發(fā)布預(yù)覽版本，改進了數(shù)學(xué)、代碼、推理、多語言翻譯和自然語言生成能力。

谷歌將為 PaLM 2 提供四種不同大小的版本，從最小到最大：Gecko、Otter、Bison 和 Unicorn。Gecko 非常輕巧，可以在移動設(shè)備上工作，并且速度足夠快，即使在離線時也能在設(shè)備上運行出色的交互式應(yīng)用程序。這種多功能性意味著可以對 PaLM 2 進行微調(diào)，以更多方式支持整個類別的產(chǎn)品，從而幫助更多人。

PaLM 2的特性

PaLM 2 是谷歌的下一代大語言模型，具有改進的多語言、推理和編碼能力。

• 多語言性： PaLM 2 在多語言文本方面接受了更多的訓(xùn)練，涵蓋 100 多種語言。這顯著提高了它在多種語言中理解、生成和翻譯細微差別文本（包括成語、詩歌和謎語）的能力，這是一個很難解決的問題。PaLM 2 還通過了“精通”級別的高級語言能力考試。
• 推理： PaLM 2 的廣泛數(shù)據(jù)集包括科學(xué)論文和包含數(shù)學(xué)表達式的網(wǎng)頁。因此，它展示了邏輯、常識推理和數(shù)學(xué)方面的改進能力。
• 編程： PaLM 2 在大量公開可用的源代碼數(shù)據(jù)集上進行了預(yù)訓(xùn)練。這意味著它擅長 Python 和 JavaScript 等流行的編程語言，但也可以生成 Prolog、Fortran 和 Verilog 等語言的專用代碼。