博客专栏

EEPW首页 > 博客 > 亚马逊年终王炸!两大自研AI芯片性能飙升,推AI助手硬杠微软,联手老黄造最强超算

亚马逊年终王炸!两大自研AI芯片性能飙升,推AI助手硬杠微软,联手老黄造最强超算

发布人:芯东西 时间:2023-11-29 来源:工程师 发布文章


AWS最强自研训练芯片炸场,还有新一代服务器CPU。


作者 |  芯东西编辑部
芯东西11月28日美国拉斯维加斯报道,北京时间11月29日凌晨,全球第一大公有云巨头AWS(亚马逊云科技)扔出了其生成式AI年终“王炸”。摇滚乐开场,AWS的CEO亚当·塞利普斯基(Adam Selipsky)在一阵掌声中登上re:Invent舞台。



距离微软和OpenAI联盟的GPT-4新品“轰炸”过去还不到一个月,AWS紧接着放出了新的大招,从芯片、大模型平台、AI应用、生态合作等多个方面秀出“肌肉”:1、推出第四代自研服务器CPU芯片AWS Graviton4,相比三代处理速度快30%,能将处理大型Java应用的速度提升45%。2、推出为生成式AI和机器学习训练设计的云端AI芯片AWS Trainium2,性能比上一代芯片提高到4倍,可提供65ExaFlops超算性能。3、英伟达创始人兼CEO黄仁勋到场,宣布英伟达与AWS达成战略合作,针对生成式AI推出全新超级计算基础设施、软件及服务。4、推出生成式AI助手Amazon Q,支持聊天、生成内容、编程、插件及定制开发,硬杠微软Copilot。


▲现场展区展出了Amazon Q免费体验的申请二维码入口


5、数据分析平台Amazon QuickSight、呼叫中心服务Amazon Connect等应用接入Amazon Q,具备生成式AI能力。6、Amazon Bedrock大模型平台三大升级:支持微调、知识库RAG(检索增强生成)和持续预训练,全面推出Amazon Bedrock Agent、安全产品Guardrails for Amazon Bedrock预览版。7、S3对象存储服务更新,推出新的高性能、低延迟层S3存储类别Amazon S3 Express One Zone,比Amazon S3标准版快10倍,计算成本降低60%。8、推出4项Zero-ETL(提取、转换、加载)集成功能,使跨数据存储的数据访问和分析更快、更容易。9、推出由生成式AI驱动的Amazon DataZone智能推荐功能,可生成数据资产及其模式的详细说明。10、扩大与OpenAI竞争对手Anthropic的合作,Claude大模型的早期访问、自动定制和微调功能优先提供给AWS客户。11、全球最大药企辉瑞扩大与AWS的合作关系,辉瑞利用生成式AI每年减少了7.5亿至10亿美元的成本。今年4月,AWS推出了覆盖IaaS(基础设施即服务)、PaaS(平台即服务)、SaaS(软件即服务)的生成式AI“全家桶”,空降全球AI大模型竞赛战场。(《亚马逊AIGC全家桶推出!迎战微软谷歌,云巨头们杀疯了》)彼时,微软正凭借接入GPT-4的升级产品族风头正盛。AWS则扔出大模型开发平台Amazon Bedrock、计算实例EC2 Trn1n实例和EC2 Inf2及AI编程伴侣CodeWhisperer等产品,亮出亚马逊杀入生成式AI的第一枪。今天,AWS全面披露了亚马逊生成式AI技术堆栈:底层基础架构层+中间基础模型构建工具层+上层基础模型AI应用层,版图逐渐完整。




01.新一代服务器CPU、AI训练芯片来了!
支持数万亿参数大模型训练




会上,AWS CEO塞利普斯基宣布推出第四代自研服务器CPU芯片AWS Graviton4、为生成式AI和机器学习训练设计的云端AI芯片AWS Trainium2。此前已有超过5万个客户使用Graviton。最新推出的Graviton4是AWS迄今最高能效的自研数据中心处理器,基于Arm架构,相比Graviton3,处理速度快30%,内核增加50%,内存带宽增加了75%,能将数据库应用提速40%,将处理大型Java应用的速度提升45%。AWS客户现可开始测试该处理器,由Graviton4支持的R8g实例已推出预览版。



Trainium2芯片为拥有数千亿甚至数万亿个参数的基础模型训练做了优化,性能比上一代芯片提高到4倍,内存容量提高到3倍,能效提高到2倍。OpenAI的竞争对手、明星生成式AI独角兽Anthropic计划用Trainium2芯片构建模型。



Trainium2将在Amazon EC2 Trn2实例中提供,单个实例中包含16个Trainium芯片,Trn2实例可帮助在下一代EC2 UltraCluster中扩展到多达10万个Trainium2芯片,通过搭配AWS Elastic Fabric Adapter (EFA) 网络互连,提供65ExaFlops超算级性能。基于此,客户只用几周就能训练出有3000亿个参数的大模型。AWS Neuron SDK被用于优化跑在AWS自研训练芯片Trainium和推理芯片Inferentia的机器学习任务,支持主流AI框架。



AWS与英伟达宣布扩大战略合作。英伟达创始人兼CEO黄仁勋来到re:Invent大会现场,宣布AWS将支持英伟达最新推出的H200 GPU,并将托管一个特殊的计算集群供英伟达使用。



AWS是在云端配备英伟达GH200 Grace Hopper超级芯片的首家云大厂,双方联手推出首款结合Grace Hopper超级芯片与亚马逊UltraCluster扩展功能的云AI超级计算机,以及首次在AWS上提供首个配置GH200 NVL32的英伟达DGX Cloud AI训练即服务(能加速训练参数量超1万亿的生成式AI与大模型)。英伟达与AWS合作构建的AI超级计算机Project Ceiba便部署在亚马逊云科技上,配备GH200 NVL32与Amazon EFA互连技术,包括16384颗GH200超级芯片,能提供65ExaFlops AI算力。此外,AWS宣布其S3对象存储服务推出重大更新:一种新的高性能、低延迟层S3存储类别Amazon S3 Express One Zone,旨在为延迟敏感的应用提供个位数、毫秒级的每秒数十万次数据访问。



Amazon S3 Express One Zone的数据访问速度比Amazon S3标准版快10倍,请求成本降低50%,计算成本降低60%。以上从计算到存储新品的发布,主要是AWS的底层基础架构层的能力更新,在其生成式AI技术堆栈中的位置如下图所示。




02.Amazon Bedrock全家桶升级,
联手OpenAI最强竞对反击微软




今日,AWS对Amazon Bedrock生成式AI平台完成了能力新升级。Amazon Bedrock平台是亚马逊4月推出、9月全面开放的大模型开发平台,支持用户调用来自亚马逊自己的泰坦(Titan)模型,以及AI21 Labs、Anthropic、Stability AI等第三方的多样化模型进行调用和定制化开发。



1、Amazon Bedrock推出三个客制化功能塞利普斯基宣布,托管服务Amazon Bedrock今天推出三个客制化自定义功能:微调(Fine-tuning)、知识库的RAG(检索增强生成)、持续预训练。



通过微调,用户可以提供私有的特定任务标注训练数据集来提高模型的准确性,进一步使基础模型(FM)专业化。Amazon Bedrock现在支持对Meta Llama 2、Cohere Command Light和Amazon Titan模型进行微调。



Amazon Bedrock知识库于今年9月推出预览版,今日起全面开放。通过知识库,用户可以安全地将Amazon Bedrock中的基础模型与公司的数据连接起来,并进行检索增强生成,访问附加数据以生成更相关、更具体和更准确的响应,而无需不断重新训练基础模型。此外,从知识库中检索到的所有信息都会注明来源,以提高透明度并减少幻觉。



持续预训练可用于Amazon Titan Text模型的公开预览版,包括Titan Text Express和Titan Text Lite。预训练完成后,用户可以收到唯一的模型ID,定制模型将由Amazon Bedrock再次存储。



2、全面推出Agents for Amazon BedrockAWS曾在今年7月推出Agents for Amazon Bedrock预览版,今天,塞利普斯基宣布其全面上市。



借助Agents for Amazon Bedrock,用户可以通过简单的几个步骤创建和部署完全托管式的Agent,通过动态调用API来执行复杂的业务任务。Amazon Bedrock可以根据用户提供的自然语言指令,如“你是专门处理未结理赔的保险代理人”,完成任务所需的API架构,并使用来自知识库的私有数据来源详细信息创建提示语。



Agents for Amazon Bedrock可将用户请求的任务分解为较小的子任务,从而做出周密安排。例如,对于“向所有具有待处理文件的保单持有人发送提醒”,它会将任务分解成:获取特定时间段的理赔,确定所需的文书工作,发送提醒。Agent会确定正确的任务顺序,并处理中途出现的任何错误状况。



3、推出Guardrails for Amazon Bedrock预览版AWS推出Guardrails for Amazon Bedrock预览版,根据应用程序需求和AI政策定制保障措施。Guardrails可以跨基础模型,为所有应用程序提供一致的AI安全级别,阻止生成式AI应用程序中不需要的话题,根据AI政策过滤有害内容等。



据称,Amazon Bedrock平台目前在全球各行业中已有超10000个客户,包括阿迪达斯、纳斯达克、雷克萨斯等众多知名企业。



今日,AWS宣布扩大与OpenAI强力竞对Anthropic的合作。Bedrock客户将拥有其他云所没有的Anthropic旗下Claude大模型的早期访问、自动定制和微调功能的特供功能。Anthropic由前OpenAI工程师于2021年创立,于近期推出了其聊天机器人Claude的2.1版本,支持20万Tokens的超长上下文。Anthropic的CEO兼联合创始人达里奥·阿莫迪(Dario Amodei)亲临了现场,他谈道,Anthropic和AWS之间合作由三个部分组成:计算、客户支持和硬件优化。他们的目标是为客户提供定制模型、专有数据和独特的微调功能,目前已基于AWS的服务在生物医学、法律和金融行业有成功落地案例。与Anthropic扩大合作无疑是AWS反击微软OpenAI联盟的一记重拳。9月25日,亚马逊与Anthropic宣布达成战略合作,亚马逊称将向Anthropic投资至多40亿美元,并拥有该公司的少数股权。



全球最大药企辉瑞的首席数字与技术官莉迪亚·丰塞卡(Lidia Fonseca)也来到现场,并宣布扩大与AWS的合作关系。丰塞卡称,辉瑞于2019年开始,通过整合来自多个实验室和仪器的数据来组织其数字基础设施,其与AWS的合作始于新冠疫情时期,“如果没有与AWS的密切关系,我们不可能实现如此巨大的影响力”。她谈道,公司在42周内迁移了12000个应用程序和8000台服务器,退出三个数据中心转而上云,并减少了4700吨二氧化碳排放——相当于1000个家庭一年的能源使用量,这为辉瑞每年节省了4700万美元。



这使得辉瑞在生产中的云计算使用率从10%提升到80%,辉瑞还计划在其癌症生产线上继续依赖云计算。此外,使用云服务后,辉瑞的生产效率也得到提升。丰塞卡称,其疫苗产量提高了20%,即每批次多生产约20000支疫苗,公司的疫苗年度产量从以往的2.2亿支增加到2022年的40亿支。丰塞卡还提到,利用生成式AI,辉瑞每年减少了7.5亿至10亿美元的成本。




03.硬刚微软Copilot!AI助手Amazon Q亮相,三步完成定制




今日,AWS推出了一款新型生成式AI助手Amazon Q。它支持用户输入问题,从而进行聊天、生成内容及插件联动。



AWS的客户可以选用Amazon Q服务,通过提问的方式快速解答疑惑,有望节省大量的架构和故障排除时间,并优化工作负载。



对于开发者来说,Amazon Q嵌入了AI编程助手CodeWhisperer,将利用其对AWS的深入了解和对代码库的理解,帮助开发者提高开发效率。用户只需编写一个提示符,Amazon Q将会给出一个初版草案,然后用户可以用自然语言对话进行协作迭代。



这一功能目前在Amazon Code Catalyst可用,且不久后将向全部客户开放。AWS称用户目前还无法从其他云厂商那获取这一能力。Amazon Q的使用步骤非常简单,大致分为三步:第一步,用户可以通过连接结合自己的组织自定义Amazon Q,它目前支持Salesforce、微软、谷歌、Slack等40多家公司的商业应用程序开箱即用。



第二步,一旦连接,Amazon Q就会开始索引用户的所有数据和内容,学习有关业务的所有知识。



第三步,用户几乎不需要什么操作,只需在浏览器中打开完全定制的Amazon Q。这一智能助手知道用户身份角色,能针对详细问题给出量身定制的答案,并给出引用参考来源。



Amazon Q注重隐私和安全,其宣称不会在外部共享用户数据,也不会使用它来改进基础模型。此外,Amazon Q还通过一组可配置的插件支持用户采取行动。



目前,亚马逊旗下的数据分析平台Amazon QuickSight已内置了Amazon Q。业务分析师称,通过简单地告知Amazon Q他们想要可视化内容,就可以创建仪表板和报告,耗时从几小时缩短到了几分钟。QuickSight中的Amazon Q功能自今天起提供预览版。亚马逊的呼叫中心服务Amazon Connect也接入了Amazon Q。在传统的联络中心,用户往往会花费大量时间收集客户信息以了解他们的问题,然后花更多的时间寻找正确答案。但现在,Amazon Connect已通过机器学习、转录和分析使这变得更加容易,支持Agent在Amazon Connect中与Amazon Q聊天,帮助他们快速响应客户问题。



亚马逊称,这些应用是Amazon Q落地的一个开始,亚马逊生成式AI的技术堆栈全景图如下所示。




04.数据库推出4项Zero-ETL集成,
生成式AI自动化组织数据




要实现以上所有的功能,背后的数据尤为关键。为此,AWS宣布推出4项Zero-ETL(提取、转换、加载)集成功能:Amazon Aurora PostgreSQL、Amazon DynamoDB、Amazon RDS for MySQL与Amazon Redshift数据库的集成,以及Amazon DynamoDB与Amazon OpenSearch服务的Zero-ETL集成。新的Amazon Aurora PostgreSQL、Amazon DynamoDB、Amazon RDS for MySQL功能与Amazon Redshift数据库的集成使用户可以更轻松地连接和分析来自Amazon Redshift中多个关系型或非关系型数据库中的数据,以进行综合分析。



Amazon DynamoDB与Amazon OpenSearch服务的Zero-ETL集成可实现几乎实时的全文和矢量搜索,从而获得跨多个应用的整体洞察力,在提高运营效率的同时降低成本。



AWS还宣布推出由生成式AI驱动的Amazon DataZone智能推荐功能,旨在大幅减少为组织数据提供上下文所需的时间。



该功能由Amazon Bedrock的模型提供支持,可生成数据资产及其模式的详细说明,并提出分析用例。只需单击一下,即可生成全面的业务上下文。




05.结语:对战微软OpenAI联盟,
亚马逊如何后发制人?




微软和OpenAI联盟风头正盛,全球第一大云巨头也在年底面向AI再出一记重拳。虽然亚马逊对这波生成式反应相对慢一些,但其在IaaS、PaaS、MaaS、SaaS的布局却一点不少,尤其在底层硬件、生态聚合方面表现突出。当下,美国三大公有云服务巨头AWS、微软Azure、谷歌云都已将生成式AI置于重要战略位置,试图为增长疲软的云业务找到新的成长曲线。AWS的打法有所区别,不是对AI公司及消费级产品的重大投资,而是建立平台汇聚众多中小企业的模型,侧重为大模型及终端客户提供底层云基座,有望通过其海量客户及底座规模实现后发制人。



*博客内容为网友个人发布,仅代表博主个人观点,如有侵权请联系工作人员删除。



关键词: 亚马逊

相关推荐

技术专区

关闭