AI/CV重磅干货，第一时间送达
GeorgeHotz：除了苹果，大多数公司保密的原因不是隐藏黑色技术，而是隐藏一些黑色技术「不那么酷」的东西。
「GPT-参数高达100万亿。」相信很多人还记得今年年初刷屏。「重磅」病毒式传播的消息和表格。
但很快，OpenAICEOSamaltman就出来辟谣，证实这是个假消息，并表示，「关于GPT-4的谣言都很荒谬。我甚至不知道从哪里开始。」
事实上，由于近年来人工智能社区不断增加人工智能模型的参数规模，很多人相信并传播这样的谣言。2021年1月谷歌发布的Switchtransformer将AI大模型参数提升到6万亿。此后，许多机构也纷纷推出了自己的万亿参数大模型。因此，人们有充分的理由相信，GPT-4将是万亿参数的巨型模型，100万亿参数也不是不可能。
尽管Samaltman的辟谣帮助我们消除了一个错误的答案，但他背后的OpenAI团队一直保持着GPT-4的真实参数，甚至GPT-4的官方技术报告也没有透露任何信息。
直到最近，这个谜团被怀疑是被怀疑的「天才黑客」乔治・霍兹刺破了。
乔治・霍兹在17岁时破解了iPhone、以21岁攻占索尼PS3而闻名，目前是一家开发自动驾驶辅助系统的公司的老板。
最近，他接受了一位名为LatentSpace的人工智能技术播客的采访。在采访中，他谈到了GPT-GPT-4实际上是一个混合模型。具体来说，它采用了由8个专家模型组成的集成系统，每个专家模型有2200亿个参数，并对不同的数据和任务分布进行了培训。
Pytorch创始人SoumithChintala在播出后表示，他似乎听说过同样的事情「传闻」，很多人可能都听说过，但只有GeorgeHotz在公开场合说出来。
为什么OpenAI对此保密？GeorgeHotz认为，除了苹果，大多数公司保密的原因不是隐藏黑色技术，而是隐藏一些技术「不那么酷」不想让别人知道的东西，不想让别人知道「只要你花8倍的钱，你也可以得到这个模型」。
至于未来的趋势，他认为人们会通过长时间的微调和发现各种技能来训练小型模型来提高性能。他提到，与过去相比，训练效果显著提高，尽管计算资源没有改变，但这表明训练方法的改进发挥了重要作用。
现在GeorgeHotz关于GPT-4的内容「爆料」它在推特上广泛传播。
有人从中得到了灵感，声称要训练LLAMA来对抗GPTT-
还有人说，如果真的像GeorgeHotz说的那样，GPT-四是由8个2200亿参数的专家模型组合而成的混合模型，很难想象背后的推理成本有多高。
需要指出的是，由于GeorgeHotz没有提到消息来源，我们无法判断上述判断是否正确。
最新CVPR2023论文和代码下载
后台回复：CVPR202可下载CVPR2023论文及代码开源论文集
后台回复：Transformer综述，即可下载最新的3篇Transformer综述PDF
文章为作者独立观点，不代表股票自动交易程序化数据接口观点
相关文章
股民评论