ChatGPT-深度思考(2)
  QHt7QJyNQUoA 2023年11月02日 34 0

国内同类技术 1. 2020年OpenAI发布1750亿参数的GPT-3之后,国内企业和科研机构,同Google、微软、DeepMind、Meta AI等一样,于2021-2022年间,研制了类似于GPT-3架构的千亿级大模型。 因此,在底层技术上我们不存在任何问题。 2. 但是要实现中国版的ChatGPT,需要在多个方面加强研究,压实工作。 首先,在数据上,我们要使用与GPT-3相当的数据量和计算量训练模型,目前中文缺乏像英文那样的多个开源大规模数据集,各家企业使用的中文数据也很少开源,很多时候数据也未像OpenAI那样进行精细处理以提升质量; 其次,国内在AI对齐研究上需要加强,尤其是在已经预训练的大模型上,要进行对齐,要继续优化和精调大模型; 再次,要充分调动以大模型为代表的新型AI技术的研发活力,鼓励已经研制的大模型向大众公开,接受广大用户检测,同时也要积极培育专攻某一类核心技术(如大模型AI对齐技术)的初创企业,不求短期市场回报。 4、ChatGPT背后大模型技术的争议 1. 大模型的优缺点在业内讨论非常多,也非常激烈,大模型存在伦理问题、环保问题、资源垄断不开源问题等等,这些问题学术界和产业界都在进行研究,寻找技术、策略、机制等方面的解决方案。 2. 个人认为,业内对大模型争议最激烈的地方在于大模型是否是通向AGI之路、是否具备类人理解力、是否具有情绪/意识,这些问题已经不单纯是在自然语言处理领域、人工智能领域讨论了,一些争论已经在哲学层面进行了,包括借助思想实验等。 除此之外,这些问题涉及的AGI、意识等,对它们的定义,本身也没有共识,存在争议。 3.就大模型是否能像人一样“理解”用户输入的句子以及自身生成的文本这个问题而言,从技术层面看,大模型本质上是根据单词共现概率基于已生成的单词序列预测下一个单词,共现概率或依存关系是大模型从海量文本数据中建模学习而来。 由于大模型的数据都是符号,模型是无法像人一样将意义、概念奠基到符号之外的物理世界,符号系统在语意上是不充分的。 符号系统本身并不能真正理解符号的意义,所有的意义都是被外部观察者或设计者所赋予的,即使将视觉模态加入到大模型中,大模型学到的也只是符号和视觉元素之间的统计关联关系,仍然不能奠基到真实的物理世界。 也就是说,大模型无法做到类人理解。这里涉及到人工智能图灵测试、中文屋思想实验、符号奠基问题等,感兴趣者可以参考《神经机器翻译:基础、原理、实践与进阶》第19章短评“预训练技术争议与符号奠基问题”。 4. 自然语言处理和人工智能领域的研究者在学术论文中或者介绍AI模型时,经常使用拟人化的描述,如“理解”、“学习”等,主要是为了让读者或听众更容易理解模型或算法的原理,并不不代表机器、模型真的像人一样思考、学习、理解。 5、未来趋势 1. ChatGPT类技术其背后体现的,首先是预示着一种深层次的信息革命。 人类发明计算机和互联网之后,获取、存储和使用信息的方式出现了翻天覆地的变化,但最近几十年基本上没有大的变动,主要以搜索引擎为主,呈现的信息通常需要用户进行二次处理或再加工才能满足要求。 ChatGPT呈现的信息则通常可以直接满足用户的需求,或通过交互方式逐步达到用户的要求,虽然目前还存在信息可靠性问题,但相信未来这些问题会不断得到改善。 其次是人和机器关系会出现重大转变。 以ChatGPT为代表的一类技术在精准捕获用户的真实意图方面迈出了一大步,一旦机器可以“理解”人类意图并完成相应任务,人和机器的交互就不再需要翻译成机器语言,而是直接使用人类语言作为交互载体。 再次是机器生成内容的能力大大增强。 一些文字内容类工作,机器可以辅助人类,人的工作效率会得到极大提升,一些“枯燥乏味”的文字工作则可交给机器完成,人专注于更高层次的内容、思想编辑工作,或通过人机交互方式协同生成更好的内容。 2. 基于以上趋势,未来人类获取信息的方式、与机器交互的方式都会出现变化。 与人类意图、价值观、伦理准则高度对齐的信息智能体会帮助我们高效获取信息、生成信息和发布信息。 以ChatGPT为代表的大模型及其后续更新技术会逐步充当各种机器、设备、机器人的“大脑”,人机之间的交互会更加以人为中心,而不是以机器为中心。 相应的技术会对多个行业、领域产生影响,如教育(规范使用ChatGPT等类型技术,避免学生使用它们做作业,发挥新技术对教育的积极辅助作用,而不是成为作弊利器)、医疗(将大模型技术应用于医疗问答、药物研发、DNA/蛋白质建模等)等,传统的计算机软件,如搜索引擎、办公软件等,也会受到影响和冲击。

此外更多更详细的教程、AIGC导航、AIGC辅助工具、AIGC赚钱案例等更多有趣的玩法等你点击~~~

具体获取方式在公众号【程序员了不起】,回复【eee996】获得。

作者:猿员中的战斗机
链接:https://juejin.cn/post/7239321198034387003
来源:稀土掘金
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2023年11月08日 0

暂无评论

推荐阅读
QHt7QJyNQUoA