- 1次围观
通过回顾深度学习、语言模型、语义表示和预训练技术的发展历程,全面解析了ChatGPT的技术渊源和演进路线。在语言模型方面,从早期的N-gram统计方法逐步演进到神经网络语言模型,通过对机器翻译技术的研究和影响也催生了Transformer的出现,继而又推动了神经网络语言模型的发展。在语义表示和预训练技术发展方面,从早期的TF-IDF、pLSA和LDA等统计方法发展到Word2Vec等基于神经网络的词向量表示,继而发展到ELMo、BERT和GPT-2等预训练语言模型,预训练框架日益成熟,为模型提供了丰富的语义知识。GPT-3的出现揭示了大语言模型的潜力,但依然存在幻觉问题,如生成不可控、知识谬误及逻辑推理能力差等。为了缓解这些问题,ChatGPT通过指令学习、监督微调、基于人类反馈的强化学习等方式在GPT-3.5上进一步与人类进行对齐学习,效果不断提升。ChatGPT等大模型的出现,标志着该领域技术进入新的发展阶段,为人机交互以及通用人工智能的发展开辟了新的可能。
来源出处
ChatGPT大模型技术发展与应用
http://sjcj.nuaa.edu.cn/sjcjycl/article/abstract/202305002
相关内容
发布日期
01/21/2024 - 12:12
发布日期
10/31/2021 - 01:47
发布日期
10/31/2021 - 01:16
发布日期
10/31/2021 - 01:48
发布日期
05/12/2024 - 09:43
发布日期
10/16/2024 - 19:36
发布日期
11/02/2023 - 23:34
发布日期
01/10/2022 - 19:31
发布日期
02/24/2024 - 15:39
发布日期
07/04/2024 - 17:54
发布日期
11/28/2023 - 00:31
发布日期
01/10/2022 - 19:31
发布日期
12/15/2023 - 01:19
发布日期
01/01/1970 - 08:00
发布日期
08/04/2020 - 01:35
发布日期
10/31/2021 - 01:12
发布日期
06/17/2022 - 10:21
发布日期
06/17/2022 - 10:21
发布日期
10/20/2024 - 19:37
发布日期
06/11/2024 - 17:46