CMMLU是一個綜合性的中文評估基準(zhǔn)，專門用于評估語言模型在中文語境下的知識和推理能力，涵蓋了從基礎(chǔ)學(xué)科到高級專業(yè)水平的67個主題。它包括：需要計算和推理的自然科學(xué)，需要知識的人文科學(xué)和社會科學(xué)，以及需要生活常識的中國駕駛規(guī)則等。此外，CMMLU中的許多任務(wù)具有中國特定的答案，可能在其他地區(qū)或語言中并不普遍適用。因此是一個完全中國化的中文測試基準(zhǔn)。