电话咨询
业务留言
回到顶部

客户案例

文章博客

文章博客

全部文章
解决方案
企业动态

文章博客 > 文章内容

大语言模型技术发展(8月)

分类:

FinOps解决方案

发布日期: 2024年08月21日

1 摘要

海外闭源模型领域竞争激烈,OpenAI 保持领先地位,而开源模型如 Meta  Llama 系列也逐渐崛起。LLM 技术呈现出大型模型和小型模型并行发展的趋势,同时,多模态功能和长上下文能力成为顶级模型的标准配置。MoE 架构的出现推动了模型参数量向万亿级别迈进。未来,Scaling Law 的极限尚未触及,开源模型将扮演重要角色,数据供给成为关键挑战,新的模型架构将涌现,AI Agent 和具身智能将成为推动通用人工智能发展的重要引擎。报告还预测了 GPT-5 的几个潜在特性,包括 MoE 架构的持续发展、训练集质量和规模的提升、CoT  AI 监督层的引入、端到端模型的增强、多样化参数规模的支持以及基于 LLM 的新型操作系统的出现。最后,报告分析了 LLM 应用发展趋势,包括多模态数据融合、自适应和迁移学习能力提升、可解释性算法的应用、垂直领域深度定制、隐私保护与数据安全问题的妥善处理以及能效比与绿色计算的重视。

2 LLM技术发展回顾

2.1 海外收敛,国内绽放

海外:OpenAIGPT系列模型处于领先地位,GoogleGeminiAnthropicClaude紧随其后。MetaLlama系列开源模型也占据重要地位,为闭源模型提供了竞争压力。

国内:百度、阿里巴巴、科大讯飞等互联网巨头以及初创公司纷纷推出LLM产品,竞争激烈。模型性能差距不大,但部分产品在特定功能上有所突破,例如长上下文处理能力。

2.2 特征:大型模型和小型模型并行进化

Scaling Law理论:更大的模型参数规模、更多的训练数据和更强的计算能力能够提升模型的智能水平。

大模型:GPT-4Gemini等模型参数量已突破万亿级别,展现出强大的能力,但也面临推理速度慢、成本高等问题。小模型:Gemini NanoPhi等模型更适合边缘计算设备,在推理速度和成本方面更具优势。

2.3 特征:原始多模态功能已成为顶级大模型的标准配置

ChatGPT:支持文本、图像、音频和视频等多模态输入输出,成为多模态功能最全面的大语言模型产品。

Gemini:具备端到端原生多模态能力,直接嵌入所有支持模态。

Claude:配备多模态图像识别能力,在科学图表识别领域表现出色。

2.4 特征:在大型语言模型(LLM)中,上下文扮演着记忆的角色,并成为促进模型通用性提升的核心要素

长上下文能力:GPT-4Gemini等模型支持更长的上下文长度,能够更好地理解用户意图,提高模型通用性。

应用场景:虚拟角色、开发者、AI代理、垂直行业等场景都需要长上下文能力。

实现方法:优化注意力机制、引入显式记忆机制、改进位置编码、上下文预/后处理等。

2.5 特征:MoE 架构成为推动模型参数量从千百亿级别迈向万亿级的转折点

MoE架构优势:加快预训练速度、提升推理效率、降低推理成本。

MoE架构应用:GPT-4Grok-1Mistral-8x7B-MoE等模型采用MoE架构,推动模型参数量提升。

3 LLM技术未来展望

3.1 Scaling Law 在理论上存在极限,但当前尚未触及

尽管Scaling Law存在理论极限,但当前LLM发展尚未触及,模型性能仍有望进一步提升。

自对弈技术成为发展趋势,模型能够自我学习和教学,进一步提升性能。

3.2 短期内克服模型幻觉挑战大,CoT 成为关键策略

模型幻觉是LLM发展面临的挑战,主要来源于训练数据、训练过程和推理机制。

CoT等技术可以提升模型的知识回溯能力,减少幻觉现象。

3.3 开源模型预计将在未来的技术生态系统中扮演关键角色

开源模型份额持续增长,Llama系列模型性能不断提升,与闭源模型差距缩小。

开源模型和闭源模型各有优势,未来发展趋势仍需观察。

3.4 数据供给成为制约大模型扩展的关键障碍,合成数据或为突破路径

训练数据稀缺性成为LLM发展的瓶颈,合成数据有望缓解数据短缺问题。

合成数据技术需要进一步发展,提高数据质量和模型训练效果。

3.5 新的模型设计涌现,而 Transformer 依然占据主导地位

MambaRecurrentGemma等新型架构展现出潜在优势,但仍需时间验证。

Transformer架构在LLM领域仍占据主导地位,但未来可能会有更多新型架构涌现。

3.6 AI Agent 作为推动通用人工智能发展的关键引擎

AI Agent是通往通用人工智能(AGI)的重要途径,具备理解、规划、学习与执行能力。

LLM技术为AI Agent发展提供基础,提升其自然语言处理、推理和学习能力。

AI Agent在编程、工程、客服等场景展现出应用潜力,未来应用场景将更加广泛。

3.7 具身智能与 LLM 结合落地加速

具身智能是具有物理形式和感知能力的人工智能系统,与LLM结合将更加实用。

OpenAIFigure AI的合作展示了多模态大模型赋能具身智能的潜力。

未来,LLM+具身智能将推动机器人与人工智能领域的协同创新。

4 GPT-5 的几个预期

MoE架构持续发展:专家模型参数规模和数量增加,MoE架构本身进行优化。

训练集质量和规模提升:整合更多高质量的私域数据,实现更庞大的数据集规模。

引入AI监督层:基于CoT思维框架,引入过程监督机制,提升推理准确性和可解释性。

端到端模型增强:支持更多外部工具集成,提升多模态交互能力。

多样化参数规模:推出适用于边缘设备使用的较小参数配置模型。

进阶至基于LLM的新型操作系统:LLM成为操作系统核心,推动人机交互模式升级。

AI Agent实用性与智能化提升:AI Agent能够解决更复杂的任务,并实现更高成功率。

5 LLM技术应用发展趋势

5.1 大模型将更加注重多模态数据融合

多模态数据融合提升模型的表达力、理解能力和创造、推理能力。

应用场景:自动驾驶、艺术创作、医疗诊断等。

5.2 大模型将提升自适应和迁移学习能力

自适应能力:模型能够根据不同场景自动调整参数和结构。

迁移学习能力:模型能够将知识迁移到相关任务,提高学习效率。

应用场景:智能对话系统、图像分类、自然语言处理等。

5.3 采用可解释性算法提高模型透明度

可解释性算法揭示模型决策逻辑,增强用户信任感。

应用场景:医疗诊断、风险评估、智能客服等。

5.4 垂直大模型产品研发需结合行业深度定制

垂直领域大模型聚焦特定领域,满足专业需求。

应用场景:医疗、金融、智能客服等。

5.5 大模型发展需妥善处理隐私保护与数据安全问题

数据加密、数据匿名化、访问控制、合规与审计等措施保障数据安全。

应用场景:所有涉及用户数据的LLM应用。

5.6 大模型需更加注重能效比与绿色计算

优化模型设计、采用节能设备、发展绿色计算技术,提升能效比。

应用场景:所有LLM应用。

6 结语

LLM技术正处于快速发展阶段,未来将展现出更加强大的能力,并广泛应用于各个领域。然而,LLM技术也面临着数据、安全、伦理等方面的挑战,需要不断探索和创新。相信随着技术的进步和应用场景的不断拓展,LLM技术将为人类社会带来更多可能性。

业务标签

FinOps DevOps MSP 云安全 大数据

精选文章

联系我们

选择您关注的产品或解决方案,我们将尽快联系您!

售前咨询

400-670-5818 (周一至周五 9:30-18:00)
隐私政策

更新日期:2021年 08 月 27 日
生效日期:2021年 08 月 27 日

上海联蔚数字科技集团股份有限公司及其关联公司(简称“我们”)深知个人信息对您的重要性,我们将按照法律法规的规定,会尽全力保护您的个人信息安全可靠。我们制定本“隐私政策”并特别提示:希望您在使用我们招聘及相关服务前仔细阅读并理解本隐私政策,以便做出适当的选择。

请仔细阅读——了解我们如何收集和使用您的信息,以及您可以如何控制这些信息非常重要。有关您个人信息权益的条款重要内容我们已用加粗形式提示,请特别关注。

一、我们收集哪些信息以及如何使用信息

个人信息是以电子或者其他方式记录的与已识别或者可识别的自然人有关的各种信息,不包括匿名化处理后的信息。
(一) 您须授权我们收集和使用您个人信息的情形
收集个人信息的目的在于向您提供产品和/或服务,并且保证我们遵守适用的相关法律、法规及其他规范性文件。请您注意,只有在您确认同意后,我们才会开始收集、使用、处理和存储您的个人信息。您有权自行选择是否同意授权提供您的个人信息,但多数情况下,如果您不提供,我们可能无法向您提供相应的服务,也无法回应您遇到的问题。

例如,当您通过我们网站申请意向职位时,我们需要您提供:真实姓名、联系方式等个人信息。这些信息包含敏感个人信息,亦属于使用我们服务所必须的信息,您可以选择不予提供,但您可能无法完全使用我们提供的招聘等服务。

为评估您是否符合我们对相关职位的预期与需求,我们可能会使用您的上述个人信息进行职位、工作能力以及相关职业资格等方面的评估,如您符合/不符合我们的预期与需求,我们可能使用您提供的手机号与您联系

(二) 收集您的设备信息
为了保障服务的安全运行及优化改进系统功能,我们也会收集您的IP 地址、操作、服务日志(即使您未向我们申请职位,仅仅是浏览我们网页)。

(三) 征得授权同意的例外
根据相关法律法规的规定,在以下情形中,我们可以在不征得您的授权同意的情况下收集、使用一些必要的个人信息:
1. 与国家安全、公共安全、公共卫生、重大公共利益直接相关的;
2. 与犯罪侦查、起诉、审判和判决执行等直接相关的;
3. 所收集的个人信息是您自行向社会公众公开的;
4. 从合法公开披露的信息中收集到您的个人信息,如从合法的新闻报道、政府信息公开等渠道;
5. 法律法规规定的其他情形。

二、我们如何共享、转让、公开披露个人信息

(一)共享
为改善我们的产品或服务水平,提高您的服务体验,我司基于合法、正当目的会遵循以下原则向第三方共享您的信息
1. 事先获得您的明确授权或同意。 获得您的明确同意,我们会与其他方共享您的个人信息;除非共享的个人信息是去标识化处理后的信息,且共享第三方无法重新识别此类信息的自然人主体。
2. 合法正当与最小必要原则:向第三方共享的数据必须具有合法正当目的,且共享的数据以达成目的必要为限。比如在收到您的职位申请后,我们进行岗位评估时,启动对您的背景调查,包括委托第三方背景调查服务提供商或向您的前雇主进行调查,可能涉及需向第三方共享您个人信息情形,但我们会坚持最小必要原则进行信息共享。
(二) 转让
我们不会转让您的个人信息给任何其他第三方,除非征得您的明确同意。
(三)披露 除非获取您的明确同意,我们不会公开披露您的个人信息。
但基于法律、法律程序、诉讼或政府主管部门强制性要求的情况下,我们会向有权机关披露您的个人信息。但我们保证,在上述情况发生时,我们会要求披露请求方必须出具与之相应的有效法律文件,同时尽合理可能对被披露的信息采取符合法律和业界标准的安全防护措施。

三、我们如何存储个人信息

(一) 存储地点
我们依照法律法规的规定,将在境内运营过程中收集和产生的您的个人信息存储于中华人民共和国境内。目前,我们不会将上述信息传输至境外,如果我们向境外传输,我们将会遵循相关国家规定及征求您的同意。
(二) 存储期限
我们仅在为实现您申请的岗位招聘之目的所必需的期间内保留您的个人信息,超出必要期限后,我们将对您的个人信息进行删除或匿名化处理,但法律法规另有规定的除外。

四、我们如何保护个人信息的安全

(一) 技术安全
我们非常重视您个人信息的安全,将努力采取合理的安全措施(包括技术方面和管理方面)来保护您的个人信息,防止您提供的个人信息被不当使用或未经授权的情况下被访问、公开披露、使用、修改、损坏、丢失或泄漏。
(二)我们已经取得公安部信息安全等级保护三级认证,并与监管机构建立了良好的沟通协调机制,及时抵御并处置各类信息安全威胁,为您的信息安全提供全方面的保障。
(三)您知悉并理解,通过互联网传输信息并不完全安全。尽管我们将实施并保持合理措施来保护您的个人信息,但我们不能保证通过本网站或以其他方式通过互联网传输的信息的安全性,有可能因我们可控范围外的因素而出现问题,因此我们强烈建议您采取积极措施保护个人信息的安全。
(四)在不幸发生个人信息安全事件后,我们将按照法律法规的要求,及时向您告知:安全事件的基本情况和可能的影响,我们已采取或将采取的处置措施、您可自主防范和降低风险的建议、对您的补救措施等等。同时,我们还将按照监管部门的要求,主动上报个人信息安全事件的处置情况。

五、访问隐私政策

您可以在我们官网页面查看本隐私政策全部内容,我们有权根据服务范围和内容的更新,适时对本隐私政策进行修订,并及时通过官方网站进行发布。

六、联系我们

如果您对本隐私政策内容有任何疑问、意见或建议,您可以通过(【(021)6196-1588 】)与我们联系,我们核查并验证您的用户身份后会及时向您反馈。

本“隐私政策”的版权为我们所有,在法律允许的范围内,我们拥有解释和修改的权利。

以下规则(以下称“使用条款”)适用于所有访问本网站的用户或浏览者,上海联蔚数字科技集团股份有有限公司和/或其关联公司(以下统称"联蔚")保留随时修改这些规则的权利。访问本网站的权利由联蔚根据下列条款授予。

一、权利归属

1. 本网站上的所有内容均受著作权法的保护,其著作权均为联蔚拥有,但注明引用他方内容除外。 2. 联蔚仅允许仅为个人目的而非商业目的的浏览、拷贝、打印、传播本网页的内容。 3. 未经联蔚许可,任何人擅自使用上述内容,均可能会侵犯联蔚权利,我们将会追究侵权者的法律责任。 4. 本网站上所使用的所有商标、商号、标识的所有权均为联蔚所拥有,但注明属于他方拥有的商标、商号、标识除外。本网站的浏览、使用在任何情况下不得被解释为被授予使用本网站出现的任何标记的许可或权利。

二、网站使用说明

1. 任何人不得出于任何非法或本使用条款禁止的目的使用本网站包含的任何内容,不得将本网站包含的任何内容用于任何非法用途,也不得唆使任何非法活动或其他侵犯联蔚或他人权利的活动。 2. 任何人不得以任何非法方式,在未经授权的情况下访问本网站及其任何部分,或接受通过本网站提供的任何服务。 3. 任何人不得使用任何自动或手动的流程、抓取设备、程序、算法或方法,来访问、获取、拷贝或监控本网站的任何组成部分或内容。 4. 任何人不得以任何方式(包括但不限于使用任何设备、软件或程序)干扰或试图干扰本网站的正常运作及其他人对本网站的正常使用。 5. 任何人在使用本网站及其内容时,需遵守国家法律法规、社会公共道德。不得利用本网站及其内容从事制作、查阅、复制和传播任何违法、侵犯他人权益等扰乱社会秩序、破坏社会稳定的行为,亦不得利用本网站及其内容从事任何危害或试图危害计算机系统及网络安全的活动。

三、第三方链接

1. 如果联蔚将来提供了若干第三方网站的超级链接或指针,提供与这些第三方网站的任何链接只是为了向用户提供方便和信息而已。 2. 所链接的任何网站中的内容不在我们联蔚的控制之下,如果用户决定访问这些网站,则完全由用户本人承担风险和责任。

四、免责条款

1. 本网站所载的材料和信息,包括但不限于文本、图片、数据、观点、建议,联蔚并不保证这些材料和内容的准确、完整和可靠性,并且明确声明不对这些材料和内容的错误或遗漏承担责任,也不对这些材料和内容作出任何明示或默示的、包括但不限于有关所有权担保、没有侵犯第三方权利、质量和没有计算机病毒的保证。 2. 联蔚并不就网址上提供的任何产品、服务或信息作出任何声明、保证或认可,所有销售的产品和服务应受实际签订的销售合同约束。联蔚不应对间接、附带、特殊或任何形式的惩罚性赔偿承担任何责任,也不应对任何利润、收入、数据、数据使用的损失承担任何责任。联蔚不对本网站的“资料”承担任何责任,不论该责任因何原因引起或者基于何种侵权理论。 3. 联蔚可以在没有任何通知或提示的情况下随时对本网站上的内容进行修改,为了得到最新版本的信息,请定时访问本网站。

五、隐私保护

1. 联蔚深知个人信息的重要性,尊重并保护每个用户的个人信息安全。 2. 用户可以通过访问《隐私政策》来了解联蔚会收集哪些数据、为什么收集这些数据,会利用这些数据做些什么及如何保护这些数据。

六、争议解决及所适用法律

因本声明或使用本网站发生争议,应当协商解决,协商不成的,各方一致同意中国上海市有管辖权的法院具有相关的管辖权,所发生的争议适用中华人民共和国法律。

版权声明

此网站上的所有内容,包括但不限于文本、设计、图表、界面及其选择和安排,作为汇集作品受版权相关法律保护,上海联蔚数字科技集团股份有限公司及其关联公司(以下统称“联蔚”)对其发行作品享有版权。对于联蔚作品,未经联蔚书面许可的使用行为,联蔚均保留追究法律责任的权利。

商标声明

联蔚网站上使用和显示的所有商标、标志皆属联蔚或其许可人所有。未经事先书面许可,任何人不得以任何方式使用联蔚名称及联蔚的商标、标记。