
ColossalChat是由Colossal-AI推出的免費開源版ChatGPT聊天機器人替代品,目前其GitHub項目已斬獲26K星標。
作為當今領先的開源大型人工智能模型解決方案,Colossal AI是第一個基于LLaMA預訓練模型開源完整RLHF機制的公司,該機制包括監(jiān)督數(shù)據(jù)收集、監(jiān)督微調(diào)、獎勵模型訓練和強化學習微調(diào),并共享ColossalChat——與最初的ChatGPT技術解決方案非常相似的開源項目。
該開源項目包括以下內(nèi)容:
- Demo演示:一個交互式演示,無需注冊或加入等待名單即可在線試用
- 訓練代碼:開源完整的RLHF訓練代碼,包括70億和130億的模型。
- 數(shù)據(jù)集:開源104K中英文雙語數(shù)據(jù)集。
- 推理:僅需要4GB GPU內(nèi)存便可進行70億參數(shù)模型的4-bit量化推理。
- 模型權重:在單個服務器上只需少量計算能力即可實現(xiàn)快速復制。