DoNews4月26日消息(筱汐)4月24日,科大讯飞在官微上发布讯飞星火认知大模型,不过目前官方对其介绍并不多,该认知大模型将于5月6日正式亮相。DoNews通过申请拿到了这款认知模型的内测名额,并进行了大量的测试。
通过科大讯飞的介绍,可以看到,通过海量文本、代码和知识的学习,讯飞星火认知大模型拥有跨领域的知识和语言理解能力,能够基于自然对话方式理解与执行任务,只需一个指令,讯飞星火认知大模型便可以懂你所言、答你所问、创你所需、解你所难、学你所教。可以说是非常贴心的“智能助手“。
具体体验如何,我们来亲自体验一下吧。
以下是部分测试的截图:
首先,提出简单的问题:可以做一下自我介绍吗?
在首次操作中,内容的快速生成还是出乎意料的。
一、创作能力
作为文字工作者最关心的莫过于创作能力和数据的实时性。先来一题“出一篇《长月烬明》的影评“,看看它的写作能力。
可以看到,讯飞星火认知大模型的回复仅是在套用模板化的格式,对于其主角描述存在误差的。我们点击“重新生成”按钮,希望讯飞星火认知大模型再次回答,看看结果能否让人满意。
从结果来看,仍然不尽如人意。先抛开剧情的套话描述,其演员团队依旧是错误的。
再来一个问题:以“讯飞星火”做一首藏头诗.
通过以上两次生成的内容来看,讯飞星火认知大模型有一定的能力,但其能力并不完美,完成度只能达到50%左右。
对外的内容出现偏差,可以理解,那对内呢?来问一下,科大讯飞2022年的营收情况。
这个回复是出乎意料的。在时间上,科大讯飞在4月20日晚已发布财报,不是未来时间。同时,作为语言模型,讯飞星火认知大模型也未生成模板化的内容。
二、逻辑能力
把两杯50度的水融在一起后,水的温度是多少?
1+1在什么情况下等于3?
如果猫会爬树,那么狗也会。
针对逻辑性问题,笔者也尝试了重新生成,来看看有没有不同的答案,但多次生成的回复是一样的。
三、编程能力
先来一个简单的编程问题“从1加到100等于多少,请用JAVA语言编程,并得出结论。”
“编写一个JAVA程序,用if-else语言判断2023年是否为闰年。”
对于其编程能力,笔者也问了两位JAVA程序员,他们都表示其编程能力还是有的。但对于大型项目还说,具体编程效果如何,可能还得看能够给出具体的描述。
四、图文生成能力
前有百度文心一言,后有通义千问等等大模型。图文生成能力也是备受关注的一点。
可以看到,讯飞星火认知大模型定位于语言模型目前无法生成图片。
五、交互能力
成语接龙是最直接的交互形式,来玩一局。
对于出现“及时雨”回复时,多次让其重新生成,答案内容并未改变。
整体来看,科大讯飞这次推出的讯飞星火认知大模型表现还比较初级,无论是语义理解,持续对话、编程能力,还是数理推理能力等,与真正的“对话式AI”还有距离。
最后再来一个问题,“目前有几个和你类似的认知智能模型?”
通过回复可以看到,当前类似的认知智能模型已经有很多了,讯飞星火认知大模型的将呈现怎样独有的优势呢?还需要再等十余天才能揭晓。