MMBench是一個(gè)多模態(tài)基準(zhǔn)測(cè)試，由上海人工智能實(shí)驗(yàn)室、南洋理工大學(xué)、香港中文大學(xué)、新加坡國立大學(xué)和浙江大學(xué)的研究人員推出。該體系開發(fā)了一個(gè)綜合評(píng)估流程，從感知到認(rèn)知能力逐級(jí)細(xì)分評(píng)估，覆蓋20項(xiàng)細(xì)粒度能力，從互聯(lián)網(wǎng)與權(quán)威基準(zhǔn)數(shù)據(jù)集采集約3000道單項(xiàng)選擇題。打破常規(guī)一問一答基于規(guī)則匹配提取選項(xiàng)進(jìn)行評(píng)測(cè)，循環(huán)打亂選項(xiàng)驗(yàn)證輸出結(jié)果的一致性，基于ChatGPT精準(zhǔn)匹配模型回復(fù)至選項(xiàng)。

MMBench的特點(diǎn)和優(yōu)勢(shì)

1. 基于感知與推理，將評(píng)估維度逐級(jí)細(xì)分。約 3000 道單項(xiàng)選擇題，覆蓋目標(biāo)檢測(cè)、文字識(shí)別、動(dòng)作識(shí)別、圖像
   理解、關(guān)系推理等 20 個(gè)細(xì)粒度評(píng)估維度
2. 更具魯棒性的評(píng)估方式。相同單選問題循環(huán)選項(xiàng)提問，模型輸出全部指向同一答案認(rèn)定為通過，相比傳統(tǒng)1次性通過評(píng)估 top-1 準(zhǔn)確率平均下降 10% ~ 20%。最大程度減少各種噪聲因素對(duì)評(píng)測(cè)結(jié)果的影響，保證了結(jié)果的可復(fù)現(xiàn)性。
3. 更可靠的模型輸出提取方法。基于 ChatGPT 匹配模型輸出與選項(xiàng)，即使模型未按照指令輸出也可準(zhǔn)確匹配至最合理選項(xiàng)