撰文 | 王晓树
编辑 | 杨博丞
题图 | IC Photo
据贝壳财经消息,国内将有11家大模型陆续通过《生成式人工智能服务管理暂行办法》备案,首批将在8月31日起将陆续向全社会公众开放服务。其中北京5家,上海3家率先上线,广东省2家和其他省市1家也将陆续开放。
据悉,广东地区获批公司分别为华为、腾讯,科大讯飞系其他地区获批产品。
截至发稿前,可以确定已经向全社会开放的大模型有:百度的文心一言、科大讯飞的讯飞星火认知大模型、商汤科技的商量SenseChat、百川智能的百川大模型、智谱AI的智谱清言。
此前,DoNews曾横向评测过国内外大模型文心一言、ChatGPT3.5、Bard大模型。在此背景下,DoNews对上述已经开放的国内大模型进行了横向评测,分别就文学创作、创意、逻辑推理、编程等等方向出题,来看看他们的回答是什么样子的。
首先从外观界面来看,这五大模型大同小异,每一个答案生成后都会出现“赞同、不赞同、重新生成以及内容复制”的功能按钮。
唯一有所不同的是智谱清言的右边有一个界面是“灵感大全”,其中有一系列的选项,包括文章创作、热点选题、语言翻译、广告文案等等。
目前来看,智谱清言的“灵感大全”,是现阶段大模型在C端比较成熟的落地方式。目前市面上已经出现了不少以大模型为基础的应用APP,其中就分为创作、创意、对话等板块。
此外,在生成速度上,就DoNews的体验而言,商汤SenseChat大模型在新问题上的生成速度明显低于其他几家。
在具体的横向评测前,我们首先跟ChatGPT4.0聊了一下,如何看待中国11款大模型通过国家备案向公众全面开放一事,将给行业带来什么影响?
这是大模型“老大哥”的回答,接下来我们来看看文心一言、讯飞星火认知大模型、商量SenseChat、百川大模型、智谱清言的回答。
文心一言
讯飞星火大模型
商汤SenseChat
百川大模型
智谱清言
在这个回答中,这几大模型都有一个共同点,会通过几个明确的点,比较笼统的作答。这不只是国内大模型的回答模式,ChatGPT、Bard都是如此。
只不过,在这些回答中,讯飞的答案稍显突兀。和其他几家明显的“思考”相比,讯飞的答案稍有“问题检索”的意味。
接下来就看看在相同问题下,这五家大模型的回答分别是什么样的吧。
1、文学创作
问题:请用“瞒天过海”做一首藏头诗。
如果用人的思维去思考这个问题,有三个步骤。瞒天过海典故出处,是什么意思以及怎么做藏头诗。
从生成的结果来看,唯一满足“藏头诗”概念的,就只有商汤SenseChat、百川大模型做到了。其他四个大模型虽然做了诗,但都没能理解藏头诗的意思。
再来看看智谱清言答案,似乎有点“投机取巧”了。
2、创意
问题:如果要成立一家比较有中国川菜风味的中式餐厅,你可以帮忙取一下名字并且写一段广告词么?
这五大模型都精准理解了问题的两大点:取名和写广告词。但单从创意上来看,讯飞星火大模型的创意不错,还给出了多个参考。
3、逻辑推理能力
问题:请你运用逻辑推理,解决以下问题:“如果猫会爬树,那么狗也会。”
文心一言、讯飞星火以及百川大模型和智谱清言没有掉入这个逻辑陷阱里,商汤最后却被绕了进去。
4、编程能力
问题:x+2=5,y-3=7,输出x+y等于几,用java做一个简单编程,然后得出结果。
程序猿的福音来了。这几款大模型都可以快速生成简单的代码。就上述题目而言,这五款大模型给出的代码都差不多。
就问题的结果而言,讯飞星火大模型、商汤SenseChat大模型第一次都给出了正确的答案。不过,除了讯飞之外,其他几个大模型重新生成几次后,每次结果都会不同。
最后一个问题,我将“你会取代人类的岗位么?”抛给了这五个大模型。他们给出的答案都是不能完全替代。
就笔者而言,大模型的出现其实就是人类创造的一个生产工具,只是这个生产工具开始有了更多更全面的思考。
目前而言,大模型替代人类工作的可能性并不大,只是可以帮助部分岗位提高工作效率。
不过,随着大模型的广泛应用,它们在社会中的影响也逐渐扩大,涉及到隐私、安全、伦理等多方面的问题。
所以,在越来越多的大模型放开之后的背景下,更需要思考的一个问题是监管该走向何处?
首先,我们需要确保这些模型不会侵犯个人隐私,不被用于非法或不道德的目的。
其次,模型的决策透明度和可解释性也变得尤为重要,这可以帮助我们理解模型是如何做出判断的,以及它可能存在的偏见和不足。
此外,随着技术的发展,我们还需要对模型的使用进行持续的评估和监督,确保其不会带来不可预测的社会风险。
总之,监管不仅仅是限制,更多的是为了确保技术在造福社会的同时,不带来潜在的威胁。