北京时间4月22日晚，谷歌GOOGle Cloud Next大会开幕，谷歌CEO桑达尔.皮查伊(Sundar Pichai)发文表示，通过客户直接使用API的方式，谷歌的模型每分钟处理超过160亿tokens(词元)，而上季度是100亿tokens。他预计到2026年，谷歌机器学习计算总投资的一半以上将用于云业务。在大会上，谷歌还将推出第八代TPU，面向智能体的两款芯片——TPU8t和TPU8i，博客提到它们旨在应对苛刻的人工智能工作负载，并适应不断演进的模型架构。
2月3日，云天励飞正式举办“大算力芯片战略前瞻会”，首次对外公布未来三年的大算力AI推理芯片战略布局。会上，云天励飞提出“训练追赶、推理超车”的战略方向，并发布了基于“PD 分离”思路的芯片路线图：力争实现百万Tokens推理成本降低100倍以上的目标，推动AI从技术尝鲜走向普惠生产力。
8月1日，月之暗面发布Kimi K2高速版 ——Kimi-K2-turbo-preview，模型参数与Kimi-K2一致，但输出速度由每秒10 Tokens提升至每秒40 Tokens。此前7月11日，月之暗面正式发布Kimi K2模型，并同步开源。Kimi K2是一款具备更强代码能力、更擅长通用Agent任务的MoE架构基础模型，总参数1T，激活参数32B。
7月31日，字节跳动Seed团队发布实验性扩散语言模型Seed Diffusion Preview。据介绍，其目标是以结构化的代码生成为实验领域，系统性地验证离散扩散技术路线作为下一代语言模型基础框架的可行性。实验结果显示，Seed Diffusion Preview代码推理速度可达到2146 tokens/s，速度相比同等规模的自回归模型提升5.4倍。
4月15日，智谱发布新一代开源模型GLM-4-32B-0414系列，包含基座、推理、沉思模型权重，并遵循MIT License。目前系列所有模型可以通过“z.ai”访问体验。据介绍，推理模型GLM-Z1-Air/AirX-0414模型推理速度可以做到最高200 Tokens/秒（MaaS平台bigmodel.cn上实测）。
6月25日，百度智能云千帆推出大模型普惠计划，即日起为新注册企业用户提供0元调用、0元训练、0元迁移等服务。其中，文心旗舰模型首次免费，赠送ERNIE3.5旗舰模型5000万Tokens包，主力模型ERNIE Speed/ERNIE Lite和轻量模型ERNIE Tiny持续免费；针对OpenAI迁移用户额外赠送与OpenAI使用规模对等的ERNIE3.5旗舰模型Tokens包。以上优惠活动均在2024年7月25日24点前适用。
6月5日，智谱AI Open Day在京举办，智谱AI现场发了布MaaS大模型开放平台的最新升级。据介绍，MaaS 2.0大模型开放平台支持最新开源的 GLM-4-9B等一系列新模型，同时支持LoRA高效参数微调和FPFT 全参微调，效果仅折损3%-5%。其中，GLM-4-Flash价格相较之前的GLM-3 Turbo降价10倍，100万tokens仅需1毛钱。
5月29日，商汤正式对外发布日日新大模型5.0粤语版，定价为30港元1M tokens（输入和输出同价），最大支持128K窗口。同时，“商量粤语版”将推出网页版及App版两个端口给公众使用。