新智元报说念

剪辑：Aeneas 好困

【新智元导读】昨晚的Google Cloud Next 2024大会上，接连放出一堆模子和居品王炸：Gemini 1.5 Pro公开可用、上线音频处理才能；代码模子CodeGemma上新，首款自研Arm处理器Axion认真向微软和亚马逊讲和……这次，谷歌要以量取胜。

昨天的谷歌Next大会关联词太精彩了，谷歌一连放出不少炸弹。

- 升级「视频版」Imagen 2.0，下场AI视频模子大混战

- 发布时被Sora光环隐蔽的Gemini 1.5 Pro，认真绽开

- 首款Arm架构CPU发布，全濒临垒/亚马逊/英伟达/英特尔

此外，谷歌的AI超算平台也进行了一系列紧要升级——最强TPU v5p上线、升级软件存储，以及更无邪的耗尽模式，皆让谷歌云在AI领域的竞争力进一步普及。

连放大招的谷歌，必不会在这场AI大战中退缩。

从OpenAI跳槽的扣问员Logan Kilpatrick，也在第一期间转发了Gemini 1.5 Pro的音信。看得出来，他还是是又名确切确正的谷歌职工了

在短短两个月内，谷歌一键将多种前沿模子引入Vertex AI，包括自家的Gemini 1.0 Pro、轻量级开源模子Gemma，以及Anthropic的Claude 3。

Gemini 1.5 Pro，东说念主东说念主可用了！

传奇中的谷歌最强杀器Gemini 1.5 Pro，还是在Vertex AI上绽开公测了！

开发者们终于不错躬行体验到，前所未有的最长陡立文窗口是什么嗅觉。

Gemini 1.5 Pro的100万token，比Claude 3中最大的200K陡立文，径直卓越了五倍！而GPT-4 Turbo，陡立文也只须128K。

天然，超长陡立文在无缝处理输入信息方面，仍然有一定的局限性。

但无论若何，它让对多数数据进行本机多模态推理成为可能。从此，多海量的数据，皆不错进行全面、多角度的分析。

自关联词然地，咱们不错认真用Gemini 1.5 Pro开发新的用例了。比如AI驱动的客户处事智能体和在线学术导师，分析复杂的金融文献，发现文档中的遗漏，查询所有这个词代码库，或者天然谈话数据集。

当今，还是有无数企业用Gemini 1.5 Pro的确地蜕变了我方的责任流。

比如，软件供应商念念爱普用它来为客户提供与业务策划的AI惩处决议；日本播送公司TBS用它扫尾了大型媒体档案的自动元数据标注，极大提高了贵寓搜索的遵循；初创公司Replit，则用它更高效、更快、更准确地生成、讲解和转机代码。

加入音频处理才能

不仅如斯，Gemini 1.5 Pro当今还增多了音频功能。

它能处理音频流，包括语音和视频中的音频。

这径直就无缝突破了文本、图像、音频和视频的领域，一键开启多模态文献之间的无缝分析。

在财报电话会议中，一个模子就能对多种序论进行转录、搜索、分析、发问了。

Imagen 2.0能生视频了：4秒24帧640p

况且，这次谷歌也下场开卷AI模子了！

AI生图器用Imagen，当今不错生成视频了。

只用文本教导，Imagen就能创作出及时的动态图像，帧率为每秒24帧，分辨率达到360x640像素，抓续期间为4秒。

谷歌默示，Imagen在处理天然景不雅、食品图像和动物等主题时，发扬尤为出色。

它不仅大略创造出一系列种种的影相角度和动作，还能确保所有这个词序列的视觉一致性。

同期，这些动态图像也配备了安全过滤和数字水印本领。

图像剪辑

况且，谷歌对Imagen 2.0也升级了图像剪辑功能，增多了图像开发、膨胀、数字水印功能。

想把图中这个男东说念主去掉？一键圈出，他就没了！况且模子还自动补全了山上的布景。

想让远方的山高一丝？Imagen 2.0也能应酬作念到。

另外，它还不错帮咱们扩大图片边际，得到更强盛的视角。

而数字水印功能，由Google DeepMind的SynthID强力驱动。

这么，用户为就不错图片和视频生成隐形水印，况且考证它们是否由Imagen所生成。

全新代码模子CodeGemma发布，中枢团队华东说念主占6成

最新发布轻量级代码生成模子CodeGemma，聘请的是与Gemma系列疏导的架构，并进一步在卓越5000亿个代码Token上进行了寻查。

刻下， CodeGemma还是全系加入Vertex AI。

论文地址：https://storage.googleapis.com/deepmind-media/gemma/codegemma_report.pdf

具体来说，CodeGemma共有三个模子寻查点（Checkpoint）：

CodeGemma 7B的预寻查版块（PT）和指示微调版块（IT）在相识天然谈话方面发扬出色，具有出众的数学推理才能，况且在代码生成才能上与其他开源模子不相陡立。

CodeGemma 2B则是一个SOTA的代码补全模子，不错进行快速的代码填充和绽开式生成。

预寻查数据

CodeGemma的寻查数据包括了来自网罗文档、数学和代码的5000亿个Token（主若是英文）。

2B鸿沟的模子所有使用代码进行寻查，而7B鸿沟的模子则聘请了80%编程代码外加20%天然谈话的阵势。

为了确保数据的质地，谷歌对数据集进行了去重和过滤，移除了可能影响评估的代码样本和一些个东说念主或敏锐信息。

此外，谷歌还对CodeGemma模子的预寻查聘请了一种更动的中间填空（Fill-in-the-Middle, FIM）措施，以此来普及了模子的寻查成果。

具体不错分为两种模式：PSM（前缀-后缀-中间）和SPM（后缀-前缀-中间）。

指示微调

通过让模子打仗种种数知识题，不错普及它在逻辑推理和惩处问题方面的才能，这对编写代码来说是曲常迫切的。

为此，谷歌选用了多个主流的数学数据集进行监督微调，包括：MATH、GSM8k、MathQA，以及合成数学数据。

在代码方面，谷歌聘请了合成代码指示的措施来创建数据集，用于后续的监督微调（SFT）和基于东说念主类响应的强化学习（RLHF）之中。

为了确保生成的代码指示数据既灵验又准确，谷歌遴选了以下措施：

- 示例生成：证实OSS-Instruct的措施，制作一系列颓落的问题与谜底对；

- 后期过滤：哄骗大谈话模子来筛选这些问题与谜底对，评估它们的实用性和准确性。

代码补全

如表2所示，CodeGemma 2B在代码补全场景下展现出了不凡的性能，尤其是在低延伸的发扬上。

其中，推理速率更是比不少模子快了有2倍之多。

Python

HumanEval和Mostly Basic Python Problems的评估圆寂如表3所示。

与Gemma基础模子比拟，CodeGemma在编程领域的任务上发扬昭着更强。

多种编程谈话

BabelCode每每用来评估模子在多种编程谈话中的代码生成性能，圆寂如表4所示。

谈话处理才能

图3展示了多个领域的性能评估圆寂，包括问答、以及数学推理。

不错看到，CodeGemma不异有着Gemma基础模子的天然谈话处理才能，其PT和IT版块在性能上均优于Mistral 7B和Llama2 13B——分散最初了7.2%和19.1%。

进一时局，如表5所示，CodeGemma在数学推理方面，比拟同等鸿沟的模子有着更出色的发扬。

推理提议

如图4所示，在进行代码补全任务时，比如函数补全、把稳文档字符串生成或者导入模块提议，应当按照一定的面目来设想输入教导。

官宣自研Arm架构CPU处理器Axion

这次Next大会上，谷歌还认真文牍，将自研首款基于Arm的CPU。

据称这款CPU处理器Axion，将提供比英特尔CPU更好的性能和动力的遵循，其中性能提高50%，动力遵循提高60%。

据悉，比起刻下基于Arm的最快通用芯片，Axion的性能还要卓越30%。

凭着这个新火器，谷歌也在AI武备竞赛中，认真向微软和讲和！

新CPU Axion，昭着是谷歌随从亚马逊AWS和微软Azure的动作——它也想自研处理器了。

Axion将匡助谷歌提高通用责任负载的性能，比如开源数据库、Web和应用措施处事器、内存缓存、数据分析引擎、媒体处理和AI寻查。

由此，谷歌在开发新的设想资源方面，又上前迈进了一步。在本年晚些时候，Axion就可用于云处事了。

AI武备竞赛加速，CPU迫切性突显

关于AI武备竞赛来说，像Axion这么的CPU至关迫切，因为它能普及寻查AI模子所需的算力。

要寻查复杂的AI模子，就需要处理大型数据集，而CPU有助于更快地开动这些数据集。

要说此举的最大的平正，那无疑等于——省钱！

无人不晓，购买AI芯片的资本惊东说念主，的Backwell芯片，瞻望售价在3万好意思元到4万好意思元之间。

当今，Axion芯片还是在为YouTube 告白、Google Earth引擎提供加抓了。

而且，很快就不错在谷歌设想引擎、谷歌Kubernetes引擎、Dataproc、Dataflow、Cloud Batch等云处事中使用。

不仅如斯，蓝本在使用Arm的客户，无需重新架构或者重写应用措施就不错应酬地迁徙到Axion上来。

TPU v5p上线，与英伟达合营加速AI开发

在这次Google Cloud Next 2024年会上，谷歌文牍：对自家超算平台进行大鸿沟升级！

升级列表中的第一位，等于谷歌云的张量处理单元TPU v5p了。如今，该定制芯片全面向云客户绽开。

谷歌的TPU，一直被用作英伟达GPU的替代品，用于AI加速任务。

手眼下一代加速器，TPU v5p特意用于寻查一些最大、最暴戾的生成式AI模子。其中，单个TPU v5p pod包含8,960个芯片，是TPU v4 pod芯片数目的两倍之多。

另外，谷歌云还将和英伟达合营加速AI开发——推出配备H100的全新A3 Mega VM编造机，单芯片搭载高达800亿个晶体管。

而且谷歌云还会将英伟达最新核弹Blackwell整合进居品中，增强对高性能设想和AI责任负载的解救，尤其所以B200和GB200提供解救的编造机阵势。

其中，B200专为「最暴戾的AI、数据分析和HPC责任负载而设想」。

而配备液冷的GB200，将为万亿参数模子的及时LLM推理和大鸿沟寻查提供算力。

天然当今万亿参数的模子还未几（少许几个选手是SambaNova和谷歌的Switch Transformer），但英伟达和Cerebras皆在冲万亿参数模子硬件了。

昭着，他们还是预料想，AI模子的鸿沟还会赶快扩大。

软件

在软件方面，谷歌云推出了JetStream，这是一款针对LLM的模糊量和内存优化了的推理引擎。

这个新器用不错提高开源模子的单元好意思元性能，并与JAX和PyTorch/XLA框架兼容，从而降本增效。

存储大战

此外，谷歌的存储惩处决议也在不断升级——不仅加速了AI寻查和微调，优化了GPU和TPU的使用，还提高了能效和资本效益。

这次，谷歌推出的Hyperdisk ML，显贵造谣了模子加载期间，提高了模糊量，并对AI推理和处事责任负载进行了优化。

不仅解救每个存储卷承载2,500个实例，而且还提供了高达1.2TiB/s的数据模糊量，性能径直超越微软和AWS。

已发布的Cloud Storage FUSE，可将基础模子的寻查模糊量提高2.9倍，性能提高2.2倍。

高性能并行文献系统Parallelstore可将寻查速率提高到3.9倍，并将寻查模糊量提高到3.7倍。

而专为AI模子量身定制的Filestore系统，允许在集群中的所有GPU和TPU之间同期拜访数据，将寻查期间造谣56%。

总之，这次谷歌超算的大鸿沟更新标明，谷歌在英勇为客户带来内容的买卖利益，创建无缝集成、高效可膨胀的AI寻查和推理环境。

参考贵寓：

https://cloud.google.com/blog/products/ai-machine-learning/google-cloud-gemini-image-2-and-mlops-updates

https://storage.googleapis.com/deepmind-media/gemma/codegemma_report.pdf

https://www.businessinsider.com/google-ramped-up-ai-competition-against-microsoft-amazon-2024-4

https://www.theverge.com/2024/4/9/24125074/google-axion-arm-cpu-ai-chips-cloud-server-data-center

https://blogs.nvidia.com/blog/nvidia-google-cloud-ai-development/

https://venturebeat.com/ai/google-upgrades-its-ai-hypercomputer-for-enterprise-use-at-cloud-next/