chatgpt3.0不能用了么（ChatGPT3.0开启封锁模式）

看了周鸿祎和张朝阳的访问，才知道国内根本还没有搞明白chatGPT的架构原理。目前开源的只是GPT1.0和GPT2.0，而最新的GPT3.0和3.5根本没有开源。chatGPT3.5已经可以通过图灵测试，以前所有的人工智能都没有办法通过图灵测试，这就是chatGPT3.5的革命性。

这个地方可以看一下 OpenAI 发展的技术史，动态看 18 年后一到两年时间国内的技术追赶比较快，提 出比较好的改进模型，但真正的差距拉开是 20 年中，也就是 GPT3.0 出来后，当时可能很多人觉得 GPT3.0 不仅是技术，体现了 AI 模型的发展新理念，这个时候 我们跟 OpenAI 的差距拉得比较远，因为 OpenAI 对这一块有技术的独到见解，也领先了国外的 Google，大概 Google 比 OpenAI 差了半年到一年的时间，国内差了两年的时间。所以梯队上，OpenAI 排第一梯队，Google 排第二梯队，百度排第三梯队。

所以国内企业是拿不到GPT3.0的源代码的，根据美国对中国采取封锁的方针，中国没法使用GPT3.0和3.5源代码是必然的，也就是国内企业根本不懂GPT3.5的算法原理是什么。

拿不到源代码，结果只有2个：一是只能靠国内的力量研发，慢慢的迭代，可能三五年之内都拿不出一款达到chatGPT3.5水平的产品；二是相当长时间以内，国内同款产品的功能远低于chatGPT。

这一波人工智能的突破，最重要的几篇重要的论文都是美国发表的，国内科技工作者几乎毫无建树。这说明了，中国根本就没有研发GPT底层算法这方面的人才，这决定了后面中国发展人工智能的阻力大非常巨大。

百度即将发布类chatGP3.5T的应用，我看了流出的测试版本，与chatGPT差的不是一星半点。谷歌也发布过相关产品，翻车了，股价蒸发7000多亿。

不仅如此，国内还存在一个巨大的问题严重阻碍中国研发出类chatGPT的发展。美国的主要互联网内容都是有网页版的，可以通过搜索引擎搜索分析。而中国的互联网企业圈地思维严重，把自己平台的内容当成私有财产，各自信息都放到APP里面，严禁爬虫抓取。这就导致中国企业即使搞出了一个模仿的算法，也会因为信息孤岛，缺乏训练数据而迭代十分缓慢。中国进步一步，美国企业已经进步十步了了。

1、ChatGPT和以前GPT大模型的区别：ChatGPT是基于GPT3.5的基础模型框架，核心变化在于通过 真实的调用数据以及人类反馈的强化学习进行训练。

2、国内企业与ChatGPT的差距：百度、华为等头部厂商都有大模型，百度文心模型参数量已经达到 2600亿，从技术能力上国内相比专家判断比chatGPT约晚1-2年，OpenAI第一梯队，Google第二梯 队，百度第三梯队。从数据、算力、模型的维度上，主要是差在模型环节，包括清洗、标注、模型结 构设计、训练推理的技术积累。

3、训练成本昂贵：GPT3.0离线训练成本高达1200万美元，大模型重新训练成本达400万美元，都是 租用微软的计算资源，成本与训练数据量成比例，增加gpu也可提升训练速度，中小厂商或将无法承 担高昂的大模型自研成本。

4、模型训练所依赖的高性能芯片被美国卡脖子的解决方案：1）采用国内自研GPU；2）用分布式 CPU替代，部分大厂应用采用分布式CPU的方式进行训练。

5、未来商业模式：OpenAI或将对外输出模型能力，国内百度等企业也会跟进，国内应用软件企业未 来可能采用OpenAI或百度等厂商的AI模型作为基础能力。

1.算法，gpt3.0是开源的，但是到目前这代已经不开源了，想直接用是不可能了，这个是有代差的。

2.算力，这个就是拼财力，但会直接投入多少资金？要不要贷款还是定增，都需要时间。

GPT3.0涉及1700亿参数，内存达300 GB，训练过程耗费1200 万美金，此外离线训练后，访问请 求来来的线上服务也需要开销。基础设施都是微软的计算系统进行，没有自建。训练过程中会出现 bug，但是都没有敢重新训练这个模型，因为成本太高了，所以没有做及时的修补，披露出的数据是重 新训练一次要400 万美金。

GPT3.0对GPU算力要求很大，训练过程采用400 个GPU。未来对GPU需求越来越大，价格变得贵 产业链供应能否跟上需求是重要的限制条件。这也导致创业公司会更难做相关的事情，可能更多集中 在大厂做这些事情。

3.数据，chatgpt是通用型ai，需要通用数据的，国内基本做的是专业型ai，用的是专业数据，讯飞有没有通用数据库？百度，360有搜索引擎的倒是有通用数据。

4.chatgpt已经要接入bing了，这对其他搜索引擎是毁灭性打击。

5.通用ai可以转型专业ai，只要喂专业数据就好了，但是专业ai不能转通用ai，这对专业ai公司也是一种利空。

密集看了ChatGPT，开放的心态看待新事物，包括大咖，工程师和研究员观点，结合自己的想法小结下，科普：ChatGPT模型从18年开始迭代为GPT1，到19年有GPT2，到20年有 GPT3等等，通过一系列的模型迭代，在今年推出了ChatGPT。这个模型是基于GPT3的模型框架，GPT3的参数量级非常大，有1700多亿，这个模型出来后效果比较好。OpenAI的ChatGPT，这里是有几个关键点的：

GPT-3.5：ChatGPT是OpenAI用RLHF的回馈机制强训GPT-3.5后得出来的产品

大模型：ChatGPT是大规模预训练模型GPT-3.5，是能力很强大的高性能基座模型GPT-3的升级版本

参数量：千亿参数量

高算力：每次预训练需要用到1000块以上英伟达A100显卡，工作半个月至一个月。

海量数据：微软的edge浏览器、office办公软件1，ChatGPT是基于GPT3.5架构开发的对话AI模型，随着模型不断迭代，层数也越来越多，对算力的需求也就越来越大。是否会颠覆很多行业的技术运用？现在判断还为时过早。但确实是现在低迷科技界爆发的一个现象级事件，2022-11底上线，两个月时间，一亿用户。

2，ChatGPT完美运行的三个条件：训练数据 模型算法 算力。其中训练数据技术壁垒较低，投入足够的人力物力及财力后即可获得；基础模型及模型调优对算力的需求较低，但获得ChatGPT功能需要在基础模型上进行大规模预训练，存储知识的能力来源于1750亿参数，需要大量算力。所以，算力是ChatGPT运行的关键所在。

3，算力芯片GPU，由于具备并行计算能力，可兼容训练和推理，所以目前被广泛应用，ChatGPT训练模型中就已导入至少1万颗英伟达GPU，现在用的就是英伟达的A100，最近消息，英伟达推出一款性能差一些的A800到国内，应对瞌睡乔的禁运，所以，ChatGPT的火热兴起对GPU的需求可见一斑。

还有种说法是CPU FPGA或gpu fpga的算力组合，从深度学习的角度来看，虽然GPU是最适合深度学习应用的芯片，但CPU和FPGA也不可忽略。4，美国股票市场来看，今年从价值切换到成长，ChatGPT的概念涨幅大，行情先，算力的英伟达相对小些，但从底部也有一倍的涨幅。5，国内ChatGPT与美帝有代差，大多停留在概念层面， 但市场也是概念先行，如$云从科技-UW(SH688327)$ ，被证监会点名的格灵深瞳，科大智飞。随后刺激算力芯片股，如gpu的海光科技，cpu的龙芯中科，和fpga的安路科技-U(SH688107) ，这些芯片股跟顶流差距大，我熟悉点的安路跟amd的产品至少十年以上的差距。不过资本市场就是这个套路，一波上涨需要事件点火催化。

我会在 公众号：海涵财经 每天更新最新的医疗新基建、一体化压铸、 汽车智能化，激光雷达，HUD，车规芯片，空气悬挂、L3级智能驾驶、PET铜箔，纳电池，800V高压，光伏HJT、TOPCON、钙钛矿、光伏XBC、BIPV、IGBT芯片、碳化硅SIC、CTP/CTC/CTB电池、4680电池、工业母机、海风柔直高压、新能源车高压快充、高镍三元、碳纤维、PET铝箔、PET铜箔、空气源热泵、新材料、中药创新药、中药配方颗粒、乡村振兴、锂矿、钒液流电池、钠离子电池、分布式储能、集中式储能、抗原检测等最新题材热点挖掘，未来属于高预期差的结构性市场，把握核心赛道以及个股的内在价值逻辑预期差才是根本所在。

— END —

先赞后看，养成习惯

免责声明：图片、数据来源于网络，转载仅用做交流学习，如有版权问题请联系作者删除