《麻省理工科技評論》中國從研發(fā)和商業(yè)化能力、外界態(tài)度以及發(fā)展趨勢等維度全方位檢測大模型的能力,力圖評出“最聰明”的國產(chǎn)大模型。選取了“訊飛星火”、“百度文心一言”、“商湯商量”、“阿里通義千問”作為中文大模型平臺的代表,展開系統(tǒng)、科學(xué)的評測。
 
  本次評測使用的測試集包含600道題目,覆蓋了語言專項(xiàng)、數(shù)學(xué)專項(xiàng)、理科綜合、文科綜合、邏輯思維、編程能力、綜合知識、安全性共 8 個(gè)一級大類,126 個(gè)二級分類,290 個(gè)三級標(biāo)簽,并針對問題的豐富性和多樣性做了優(yōu)化。
 
  在題目類型上,為了兼顧定量、定性的評價(jià)與測試,設(shè)置了“單選”、“多選”、“填空”、“簡答”4個(gè)題型,分別有 145 道、138 道、136 道和 181 道。大模型評測體系使用盲評方式,客觀評估國產(chǎn)大模型的聰明程度。
 
  作為“最聰明”的大模型的基礎(chǔ)能力,語言專項(xiàng)評測包含對話理解、多語種、諷刺、古詩詞理解、文本生成、要點(diǎn)總結(jié)、情感分析、語義判斷等 61 個(gè)二級分類,題型則以簡答為主。結(jié)果顯示,訊飛星火 85.73%的得分率排名第一,明顯高于平均值。
000402631+ Z00402631
KEN5-FN/47409-/v01.03
Siemens 6FC3985-7AH 
KEN5/46678-/v03.24
KWD5/46763-/v03.20
Siemens 570.474.9002.01 E: E/6FX1147-4BB00
9301A-SIZG-PHJ-GZ-G 
KEN5/46678-
KW8/46754-/v03.10
T2-10AI-0-Bare
QLN65/0012 A3-102726.9oz-33/LE4-115
Siemens 1FT6044-4AF71-3EB0
KEN5-S10/47804-
6FC4401-0TA01-Z 
KWD5/46763-
6FL3001-4AB12
KEN5-ON/47426-
KW8/46754-
KW8/46754-
700-600-CAN12
R911173398
Siemens 6MA3110-0FB07
KW8/46754-
OPTItec Control Technology/Teco 32 10/12ft
FC/486DX / I - T /2722085/
Bosch Sm 10/20-C 054883-207 
Bosch Socket Contact 1928492555
6ES5242-1AA11
18341-A51116021
M 6DS1703-8RR
R151033554 48317.004 L = 540 mm
063991-102401
A20B-0007-0070 / 06B
462007.9410.00
0.652.960-46.2
LID 311C/315C P10 G10 245 059 17
0103-221-1-00
B1200 - C960 L7151
-102
5-VMK 32 NC
MEM500.100A
pH-Meter pH 161 T
AMT VGA OPTO 16 i - 16 o
AMT VGA OPTO 16i-16o
RMA12.1-32-DC024-050
M 6DS1607-8AB
CPJ-DR
 免責(zé)聲明：AMIKON我們銷售新產(chǎn)品和停產(chǎn)產(chǎn)品，特有渠道購買此類特色產(chǎn)品。阿米控不是本網(wǎng)站特色產(chǎn)品的授權(quán)分銷商、經(jīng)銷商或代表。本網(wǎng)站上使用的所有產(chǎn)品名稱/產(chǎn)品圖片、商標(biāo)、品牌和徽標(biāo)均為其各自所有者的財(cái)產(chǎn)。帶有這些名稱,圖片、商標(biāo)、品牌和徽標(biāo)的產(chǎn)品描述、描寫或銷售僅用于識別目的，并不表示與任何權(quán)利人有任何關(guān)聯(lián)或授權(quán)。