还剩2页未读,继续阅读
文本内容:
360ChatGPT访谈胡ChatGPT带来模型、算力、数据的多维变化,涉及不同层级的产业链,周总是如何看待上游哪个领域是未来发展的关键?周关键是数据、训练、场景算力不关键因为国内互联网巨头账上几百亿美金,公司也有两百亿;而且国内大量超算中心以前没任务,现在可以用于训练ChatGPT的模型和算法很多都是谷歌做的,之所以能成功是因为微软把参数上到千亿万亿级别暴力破解,模型和算法领域的挑战是工程上如何在儿干上万块显卡上训练现在OpenAI一枝独秀,但Meta等巨头也开源了自己的大模型,随着开源推进,模型和算法上技术know-how会快速传播也不是问题计算机行业有句名言垃圾进垃圾出,以前聊天机器人进去的都是聊天语料没有知识,如何能把海量数据清洗预训练很重要如果我们只用中文数据训练知识强度和广度可能不够国内学术机构的大模型不敢展示可能就因为数据不足或规模小此外,模型不是参数越多越好,模型只是为了知识索引的准备,真正想把能力激发出来,需要人类反馈的强化学习即人工调优,可能需要设计几万、十几万、几十万问答对来让GPT理解人类查询意图,这一点被淡化了还有一个很重要的是场景,微软放弃了很多全力帮助OpenAI在工程化和产品化和场景化上强化,让人们真正看到了人工智能如何成功,如果场景没选好很难形成商业化正循环搜索引擎公司原来一直做NLP的事情,谷歌的Bert等模型一直都在用,在获取海量数据有天生优势,公司和百度每天抓取页面几千亿个,要洗掉垃圾网页,需要一套专门的大规模工程化服务器等基础设施很多初创公司可能会卡在工程化百度市占率60%公司30%用户每天搜什么,问什么问题公司都是知道的最后,微软和OpenAI的合作,微软帮助OpenAI占据很多场景如搜索引擎和浏览器,后续微软有可能让OpenAI与公司的云、Teams等2c2B业务全面结合胡我看了Al十年,这次变革最大,未来会不会很多行业被AI取代?周这是一个洗牌的机会,如果能抓住机会有望快速发展三六零内部开会,每个部门、APP、应用都要思考如何使用AI赋能现在大语音模型两年后有望发展成超级人工智能(参考AlphaZero左右互搏迭代),GPT4知识能力已经超越地球人GPT是产生式结果,如果用阅读理解的Bert做反馈和奖励,那GPT成长速度会非常快综上,我认为AI是生产力工具,而不是聊天机器人等,关键是要找到场景化能力胡AI趋势下,以后学生如何学习呢?周AI对各个行业只是赋能,学生需要培养问问题的能力,不问问题会被淘汰比如,新人入职,如果善于用大模型问问题,可能很快能力超过入职三五年的人胡面对巨头扎堆的竞争格局,以三六零为代表的搜索引擎企业优势是什么?周第一是数据,网上数据垃圾很多,需要有清洗数据能力,而且在搜索引擎每天有数以次用户的问答,公司与百度都有知识问答栏目,能够更好了解用户需求使用真实用户场景对AI训练第二是将大模型跑起来很容易,但是将几千张显卡、几个T的数据进行几个月的训练要求工程能力高,学术团队可能会有这种困难搜索引擎是最好的AI产品化场景公司搜索引擎市场占比30%可以利用AI对搜索引擎进行改造因为搜索引擎不具备智能性,不会无中生有,用户问问题我们会先用大模型泛化,做知识图谱的搜索,再通过关键词搜索匹配,把搜索结果的10-20条推给大模型去训练,这样能让AI不会胡说八道第四,360浏览器DAU超一亿,作为企业软件SaaS化入口机会大,可以用大模型进行翻译、网页推荐等辅助综上,我认为三六零可以形成大模型的商业逻辑闭环政协都在说美国能做出大模型是因为模型好、算力好,但实际上我认为大家忽视了微软做到AI出圈以前C端客户对AI不敏感,现在微软做到了让人们很简单地使用AI包括写材料、翻译等,人们与AI更近GPT
3.5发布轰动不大,因为场景化没有提升公司一定会利用先发优势,全方位、最大化的调用公司的资源,就是做大模型方向,公司要做500-1000亿参数的有价值有知识的语料训练的大模型,决不能等到做出发动机再去造飞机抢场景谷歌很尴尬因为模型等技术落后,到底要做什么,如果先打造核心能力则场景都被微软抢了三六零需要做大模型和场景化两翼齐飞,微软现在主要做场景化胡三六零的视角,周总是如何看待未来类ChatGPT的商业应用?周公司除了2c也在做2B公司很重视2B因为公司在做AI网络安全大脑时发现国内很多企业仍然希望使用私有云做大模型,因为不想把数据让竞争对手得到我认为垂直行业场景训练不行,因为GPT最大的突破是完成了通识知识能力部署,再加上企业私有知识训练后效果好实话说,现在国内所有的产品都是根据开源模型改的,想追上GPT4要两三年公司预计先做个几百个亿模型,达到GPT4六成功力时在企业内部部署,因为B端不像C端有那么多长尾需求,B端G端公司已经有很多客户了在ToSME端,公司将推出生成式AI办公套件、AI企业即时通信工具等SaaS应用,OpenAI在美国找了100+SaaS公司,做垂直行业训练面对中小企业国内SME公司痛点是要少花钱、部署简单、简单实用,SaaS更适合/公司去年面向SME推出免费安全云服务,一年收获120w客户,我们可以在SaaS浏览器上建立一个SaaS商店加入GPT能力,找合作伙伴做场景另外我们的浏览器要加上AI插件变成AI个人助理,对2B/2SMB/2c各场景使用不同能力,尽快像微软一样占据用户使用场景胡百度文心一言发布,建立了国内首个芯片、框架、模型、应用层全覆盖的开发平台,三六零以后也要向这个方向发展吗?周不会比如谷歌以前自己开发了GPU做训练,但还是不如A100框架上想做训练还要和其它芯片适配,比如国内很多加速计算技术公司都是基于国际开源框架微软也只是做应用既然发现transformer和decoder的方向是对的,就沿着这个方向干下去把模型干到千亿参数未来三六零会通过自研和合作的方式在框架上发力,在框架基础上占据2G/2B/2SME/2C各场景胡百度文心一言发布后,我们内部测试应用效果还可以,三六零是否更有信心把应用做好?周我们认为百度快速发布是因为GPT4发布后效果好我们更想做一个和搜索引擎相结合的国内,我认为不会像美国一样一枝独大,各个大厂都会公开自己的大模型和API二线大厂不会用一线大厂的模型和API我认为有应用有场景的公司,胡在中国电信也宣布布局企业版ChatGPT后,我国对于ChatGPT的关注已提升到高层视角,从您的角度看,国家队的进入会对业态造成何种化学反应?A我认为民企和国企都在一个起跑线上,我给有关部门写材料,大模型不是传媒、不是聊天软件,是生产力工具,不能过分管制胡国内大模型与国外大模型差距?周GPT4的参数量我预计达到万亿级别(10倍),训练用数据也大了5-10倍同时还有几十万组问答流投喂,我认为GPT4已经有智能了在多模态上,GPT4稳胜国内,因为GPT4把所有图像、文字等都看成序列,凭借知识链可以理解图像每个组成部分GPT4支持
3.2wtokens体现出对文字理解能力强GPT
3.5与国内差距18个月,GPT4差距2-3年我认为大模型上国内与国外差据比芯片、光刻机小多了,GPT4在人工智能训练(标注)上预计有创新,国内有人口红利胡物联网终端与大模型的关系?周无论电脑还是云主机还是手机,GPT和其中的操作系统没关系现在是我们把大数据给GPT引擎训练,如何GPT再用自然语言或API方式传给千家万户原来企业直接用自己的大数据不好用,现在传给GPT训练,将来企业里面有公有云GPT也有私有云GPT纯做GPT模型的公司我不看好,能发起来的要有场景,场景越大商业价值越大胡多模态和机器人的关系如何,未来人型机器人的机会?A如果不考虑机器人的外型,各种工业机器人、扫地机器人等在GPT赋能下和人交流问题不大机器手臂寻找空间定位是指令组合,只要形成一个序列就行,多模态就可以做这个,传统做语音识别、图像识别的公司可能有危险,因为GPT对于序列的预测很有效GPT机器手臂的限指可能是机器手臂抬举的力量,属于是机械问题现在的智能音箱很多都是〃智障〃,但ChatGPT估计通过了图灵实验,这一关如果能突破会带来大机会,让机器人像真人一样有皮肤什么的也有人在做真正人型机器人最大的问题还是物理上的胡从公司的视角如何看待类GPT模型接入物联网终端带来的边缘计算需求?A GPT这样的大模型推理主要还是云计算,比如智能音箱以后都是硬件APP核心还是云端大语言模型很强的是在云端完成计算,直接向终端推送,比如现在智能音箱都不需要改硬件,把软件改了就行了。