Ai平臺(tái)模型
CMMLU
CMMLU是一個(gè)綜合性的中文評(píng)估基準(zhǔn),專門用于評(píng)估語(yǔ)言模型在中文語(yǔ)境下的知識(shí)和推理能力,涵蓋了從基礎(chǔ)學(xué)科到高級(jí)專業(yè)水平的67個(gè)主題。
標(biāo)簽:Ai平臺(tái)模型CMMLU是一個(gè)綜合性的中文評(píng)估基準(zhǔn),專門用于評(píng)估語(yǔ)言模型在中文語(yǔ)境下的知識(shí)和推理能力,涵蓋了從基礎(chǔ)學(xué)科到高級(jí)專業(yè)水平的67個(gè)主題。它包括:需要計(jì)算和推理的自然科學(xué),需要知識(shí)的人文科學(xué)和社會(huì)科學(xué),以及需要生活常識(shí)的中國(guó)駕駛規(guī)則等。此外,CMMLU中的許多任務(wù)具有中國(guó)特定的答案,可能在其他地區(qū)或語(yǔ)言中并不普遍適用。因此是一個(gè)完全中國(guó)化的中文測(cè)試基準(zhǔn)。