夜雨聆风摘要
本文为AI专家一线分享纪要，主要探讨了AI云行业竞争格局、推理层软件优化与效率提升、不同云厂商优化能力对比、基础设施层优化与盈利测算、云厂商盈利空间与技术趋势，
以及AI原生云长期发展前景和AI应用落地与生态壁垒。分享内容详细分析了传统云厂商与AI原生云厂商的差异，深入解析了推理引擎优化、投机解码、量化技术和Flash Attention等核心优化技术路径，并对不同芯片（如GPU、TPU）的生态壁垒和实际应用表现进行了对比评估。此外，还包含了针对Together AI等专业推理服务商的Q&A环节。
1、AI云行业竞争格局
·AI云玩家分类：AI云服务厂商可按核心业务划分为两大赛道，各赛道头部玩家清晰。GPU租赁赛道的核心玩家包括CoreWeave、Nebius、Lambda，核心业务为GPU算力资源出租。推理服务赛道的核心玩家包括Baseten、Firework，聚焦推理相关服务供给。当前GPU 租赁与推理服务的边界逐渐融合，部分GPU租赁厂商持续迭代软件能力，AI应用公司也同时为GPU租赁厂商的客户，推理服务的具体内涵及两类业务的关联是行业关注的重点问题。
·传统云与AI原生云差异：传统云厂商与AI原生云厂商在成本结构、定价策略、服务特点与目标客户群体上存在显著差异，核心对比如下：
a.成本与定价差异：以AWS为代表的传统云厂商GPU租赁价格较高，单价较市场价高出2-4倍，同时存在多项额外收费，例如数据跨区域传输的ingress fee收费高昂；部分初期未自有算力、基于AWS搭建服务的推理厂商，因底层算力成本远高于自有算力厂商，整体利润率较低。AI原生云厂商定价优势突出，部分厂商价格甚至低于部分头部同业的底价，且无ingress fee等额外传输费用，支持按分钟计费，收费规则透明。
b.服务能力差异：传统云厂商的基础设施经过全面优化，网络传输速度快、存储能力强，配套服务体系完善，涵盖EKS、EC2等多元服务产品，能够满足复杂的服务需求；AI原生云厂商更适配AI开发场景，交互流程更便捷。
c.适用场景差异：AI原生云性价比优势突出、使用灵活，更受初创企业、AI开发者的青睐。
2、推理层软件优化与效率提升
·核心优化技术路径：推理层软件优化主要涵盖四大核心技术方向，各方向的优化逻辑、效果及成熟度如下：
a.推理引擎优化：当前行业内开展推理业务通用的引擎包括传统VR、VRM、STR、TensorRT（TRT）等，所有企业开展推理业务均需使用上述引擎，不同企业的优化效果存在显著差异，核心取决于技术研发团队的配置。具备核心研发能力的企业可拥有STR核心贡献者、TRT及kernel、TRT LLM优化专项团队，可实现大模型推理吞吐量的更高提升，其他企业优化能力不足的核心原因是缺乏足够的专项研发人员，技术储备有限导致优化效果受限。不同模型的优化效果存在差异，头部企业整体可实现模型2-3倍的速度提升，例如经过优化的Kimi模型是当前速度最快的大模型，相关表现可通过公开人工智能分析平台查询。
b.投机解码：这是当前重要的推理优化技术，其中成熟度较高的Eagle3技术可实现任意模型2倍以上的速度提升；尚在验证阶段的DeepFlash技术可实现模型3-4倍的提速，需更多时间验证成熟后可推广应用。该技术的核心优化逻辑是训练出最优的speculator，核心衡量指标为accept rate与accept length，accept rate每提升10%，对应模型速度提升8%-10%，同时利润率同步提升8%-10%，可直接体现在GPU的token per minute（TPM）指标增长上，相关优化效果可通过与MiniMax的合作项目数据直观体现，随技术升级提升显著。
c. 量化技术：主流量化方案包括FP8与FP4两类，其中FP8量化几乎无效果损失，FP4量化的效果损失仅为1%-3%，处于可控范围。针对原生支持FP4的英伟达Blackwell（B200）系列芯片，FP4 量化可实现更优的提速表现，整体而言量化技术可实现模型1.5-2倍的速度提升，针对新发布的大模型可提前获取并完成量化适配，在保障效果的前提下实现效率升级。
d. Flash Attention：该技术的核心发明者为相关团队创始人，技术迭代速度快，最新发布的Flash Attention Four在Flash Attention Two的基础上实现进一步优化，Flash Attention Three 可适配H100等芯片，可大幅提升kernel运行效率，实现单卡吞吐量提升2倍。
上述四大类软件优化技术叠加应用后，单GPU节点的整体算力可提升10倍以上，是当前AI推理层效率提升的核心支撑。
·优化后的盈利提升：当前海外市场英伟达B系列裸卡的租赁基础毛利率约为30%该水平随芯片供需、迭代等市场情况存在一定波动。在叠加上述推理层软件优化技术后，裸卡租赁业务的毛利率可大幅提升至70%-90%，软件优化对盈利的拉动作用十分显著。软件优化带来的效率提升可直接转化为盈利能力的增长，核心逻辑在于优化技术可直接提升GPU的token per minute（TPM）指标，在硬件投入成本相对固定的前提下，单位GPU可承载的推理输出量大幅提升，直接带动利润率同步增长。
3、不同云厂商优化能力对比
·传统云厂商优化能力：传统云厂商并未将通用推理服务作为核心成熟业务，虽具备基础的instance供给能力，但未针对具体开源模型做深度推理优化，仅开放通用调用接口，相关服务未形成规模化成熟体系。AI开发者及创业公司选择推理服务供应商时，会优先考虑Together AI、Fireworks AI、Base Ten等专业推理厂商，传统云厂商的相关服务存在价格缺乏竞争力、配套服务不完善等明显短板。推理服务的低价策略不具备长期普适性，部分较低定价可能仅为营销性质，若无足够需求规模与持续调用请求支撑，厂商难以长期维持低价供给。
·闭开源模型服务差异：推理服务运营及闭开源模型的相关合作模式存在以下差异：
a. 运营策略：多数模型刚上线时热度较高，盈利性较好，但经过1-2个月后热度下降易出现亏损，厂商可通过低价策略吸引用户，引导其转向专属GPU服务，通过连续、大量的请求提升GPU利用率以摊薄成本。
b. 闭源模型：核心推理优化工作由厂商自主完成，Anthropic 等闭源大模型厂商会预先完成模型层面的深度优化，与云厂商合作时，仅提供打包好的镜像、专属密钥等内容，不允许云厂商接触模型核心代码；云厂商仅需提供集群、硬件资源与基础网络、路由等配套支持，无需参与模型层面的优化。部分闭源大模型为提升GPU利用率，可能采用量化等相对激进的操作，这是模型流量上升后出现”降智”问题的潜在原因。
c. 开源模型：推理优化可由第三方服务商完成，为专业推理服务厂商提供了充足的市场空间。
·AI原生云核心价值：CoreWeave等AI原生云厂商的核心竞争力首先来自底层硬件资源，硬件资源价值占AI云服务总价值的85%，是当前阶段的核心壁垒，在现阶段市场算力供给短缺的背景下，激进拿卡获得的算力容量是这类厂商的核心优势。长期来看，硬件基础之上的软件优化、基础设施调度能力是提升毛利率的重要手段，可在现有硬件的利润基础上进一步抬升盈利空间，但软件优化本身不构成核心壁垒。若云厂商的主力服务对象为闭源模型，其在软件层面可开展的优化空间较为有限，但这类厂商往往SOP更成熟，整体服务效果可能更好，基础设施调度能力也是影响云厂商服务能力的重要因素。
4、基础设施层优化与盈利测算
·基础设施核心优化方向：基础设施层优化是保障AI 业务稳定运行的核心前提，核心优化要点涵盖集群稳定性、通信能力、存储可靠性三大维度，各维度配置水平直接决定AI服务运行效率。a.通信与存储配置是核心基础：AI 集群通信层需基于InfiniBand 架构搭建，配套使用NCCL、RDMA、共享存储等集群组件，上述组件的可靠性需充分保障，配置不到位会引发系列运行故障。若基础设施稳定性不足，会直接影响GPU 的可用性，单节点故障修复周期可达2 天，期间节点完全无法使用，严重拖累AI 训练、推理任务推进。当前部分仅拥有算力卡资源的厂商，比如拥有算力卡资源但基础设施能力薄弱的iron，其服务稳定性极差，因通信层、存储层配置不完善，经常出现模型下载相关的共享存储故障，难以满足大规模AI业务的运行需求。b. 不同厂商基础设施能力差异显著：CoreWeave 拥有成熟稳定的硬件适配名单及标准化RDMA 接口，在其提供的算力资源上开展AI 训练、推理业务的稳定性远高于其他普通厂商。
·GPU 租赁盈利测算：当前GPU 租赁业务依托上游算力资源合作开展，核心盈利来源于基础设施优化带来的算力增值，具体经营模式、定价及盈利测算如下：
a. 业务合作模式：合作模式分为两类，一类是项目制集群优化服务，即按客户需求完成定制化AI集群搭建、基础设施适配优化后项目结束；另一类是算力转售模式，即从上游算力供应商处采购算力卡资源，完成基础设施层性能优化、稳定性调试后转售下游客户，上游供应商本身无基础设施优化能力，仅能提供基础的算力卡硬件部署服务。
b.定价体系与增值空间：以上游供应商Aron的合作为例，从Aron 处采购算力卡的基础成本为2元/张/小时，完成基础设施优化后对外售价按合作周期区分，短期临时租赁的售价为2.6 元/张/小时，长期稳定合作的售价为2.3-2.4 元/张/小时；受市场竞价影响，部分价格敏感型客户的订单成交价可低至2.15 元/张/小时，该价格仅与CoreWeave 的同类型产品定价水平基本持平。在不考虑算力卡本身市场价格波动的前提下，基础设施优化带来的增值空间为10%-30%，增值空间差异主要受市场竞争烈度、合作周期影响，长期合作定价更低、增值空间收窄，短期应急需求定价更高、增值空间更可观。若前期与上游供应商签订长期低价算力采购协议，后续算力卡市价上涨时盈利空间会进一步提升。c. 回本周期与毛利率水平：GPU 租赁业务的投资回报周期较短，单位算力的回本成本为1.65元，仅靠租赁收入即可在1.5年内实现算力卡采购成本完全回本，对应GPU租赁业务的毛利率可达70%以上，整体盈利水平较为可观。
5、云厂商盈利空间与技术趋势
·大模型合作模式：推理优化业务既可针对开源模型开展，也可服务于半开放闭源大模型：部分闭源大模型厂商（如阿里千问）会对合作方开放权限，双方联合开展推理侧优化。此类合作结算规则清晰，按GPU 小时计费，双方预先约定恒定吞吐标准，若实际吞吐超出约定值即可续约且合同金额对应上涨。当前与MiniMax 等半开放大模型厂商开展合作，MiniMax今年合作金额近1 亿美元，对应使用约500 张B 系列卡。租卡业务本身利润率最高，通过软件层面的推理优化提升算力利用率后，盈利空间可进一步扩大。
·集群利用率与定价差异：头部云厂商的毛利率优化空间无统一判断标准，核心取决于算力实际用途（训练、推理或其他场景）以及服务的客群类型（前沿大模型实验室、普通企业客户、大众用户等），不同场景下的定价与成本差异极大。不同厂商的集群利用率水平差异显著：SAI的集群利用率仅11%，谷歌内部集群利用率可达60%-70%。定价策略方面，AWS的H100 算力租赁价格分层明显，提前预定的周租价格为3000美元，即时按需使用的周租价格高达9000 美元，普通用户基本不会采购该高价服务，仅针对特定合作大客户提供专属优惠定价。目前亚马逊的高端算力资源大量被Anthropic等合作的前沿大模型厂商占用，面向内部模型团队的B 系列卡供给不足，会对其自身推理效率产生负面影响。
·硬件技术发展趋势：硬件层面的效率优化路径分为两类，除直接更换底层芯片外，还可通过集群通信架构优化、数据中心标准化运维等方式实现。专用推理芯片方面，目前已有部分产品可实现3000+TPS 的处理效率，加速效果优于通用GPU、TPU，但整体仍处于尝试阶段，尚未大规模落地商用。集群内通信是影响算力服务稳定性与利润率的核心因素，大模型训练阶段的参数交换可通过InfiniBand、RDMA（NCCL）等技术实现，数据中心若按标准配置相关通信架构可大幅提升服务利润率。头部云厂商可针对不同区域的集群连接、专属Fabric 连接等增值服务单独收费，相关业务盈利空间广阔。
6、AI 原生云长期发展前景
·AI 原生云发展逻辑：AI 大模型的发展本质是compute scaling，算力资源是决定大模型效果的核心基础，掌握算力越充足的企业，大模型效果越优。全行业当前都在争抢算力资源，
算力卡供给极度紧张，市面上只要有算力卡就会被采购，即便单卡价格较华为同类产品贵几毛钱，也会被客户抢收。若排除头部AI公司上市带来大模型爆发基点的特殊情况，当前算力紧缺态势至少会持续1年，算力相关订单体量可观，头部厂商可签订12-20亿美元级别的大单，算力资源的核心价值凸显。
·GPU 市场竞争格局：从AI 产业链价值量环节来看，云厂、硬件、大模型三个环节中，最底层的硬件价值最为核心。其中英伟达毛利率可达75%，显著高于云厂裸卡租赁毛利率：当前裸卡租赁价格已从之前的30 左右上涨至50-60，但仍未超过硬件环节毛利水平，该差异主要由市场供需因素决定。GPU 市场竞争格局中，英伟达技术与生态壁垒极为突出：其下一代GPU 架构为Rubik，再下一代Feyman 为最终架构，是当前GPU 领域的最优架构，竞争力远超同类竞品。谷歌TPU、亚马逊Trainium 等产品竞争力远低于英伟达，训练端行业普遍采用英伟达的卡开展大模型训练；推理端即便使用适配TPU 的JAX 架构模型，TPU 运行效果与英伟达产品仍有一定差距，更核心的差距在于生态投入：行业普遍招聘大量kernel engineer 优化CUDA 生态下的attention 等常见模块，无动力在TPU 等竞品上投入优化资源，进一步巩固了英伟达的生态优势。英伟达与AMD 的GPU 产品后续仍有较大上涨空间。
7、AI 应用落地与生态壁垒
·Agent 应用渗透情况：AI 全面普及应用的进程已不可避免，从token 消耗维度可直观看到应用需求的快速增长：个人年token 消耗相关费用去年仅约1000 美元，今年已达1-2 万美元，较去年实现20 倍左右的增长。相关消耗均由公司报销，因此需求并不受个人支付能力限制，核心取决于使用能力。目前token消耗增长存在两大瓶颈：一是成本端限流导致增长放缓，二是使用方法仍有优化空间，当前安排为闲置时段供他人使用，活跃时段可同时支持3个使用场景；若能获得充足资源并优化使用方法，参考业内Open Cloud项目作者等前沿使用者的消耗水平，单日消耗可达2万美元级别。对于未来的需求增长预期，当前部分任务使用AI完成的流畅度仍有不足，但随着技术迭代该问题将逐步解决，叠加今年以来agent的出现，使得AI任务产出与原有人力成本的对比已较为清晰，若没有使用额度限制，应用端需求将持续扩张，明年token消耗费用有望实现10倍级增长。此外，随着AI工具的普及，企业管理层对人效的预期同步提升，这也是当前硅谷出现裁员现象的原因之一。
·芯片生态壁垒变化：当前不同芯片的实际应用表现存在明显差异，核心壁垒源于生态与设计层面。TPU 实际应用表现远不及英伟达GPU，核心原因一方面是软生态不完善，需要专人做大量适配优化工作，而CUDA生态成熟度更高；另一方面TPU 本身设计存在一定缺陷，这类问题仅看硬件参数无法识别，需要实际部署测试才能发现，直接反映为应用性能大幅下降，影响每分钟token产出量等核心运营指标。经实际测试十几个常用模型，在使用TPU 官方提供的生态、指标与运行环境的前提下，整体运行效果仍一般。关于芯片的bug问题，各厂商的芯片产品均存在bug，即便是英伟达工程师开发的成熟开源框架，也可能出现导致性能下降5%的问题，当前借助AI辅助排查修复，多数bug 可在一周左右解决，不存在无法修复的严重问题。从不同厂商的对比来看，不同芯片之间不存在英伟达bug 显著更少的情况，英伟达与多数厂商的bug数量无明显差异，仅AMD的bug问题较为突出。
Q&A
Q: Together AI 公司当前的核心业务布局包括哪些方面？相关负责人主要负责哪些技术环节？
A: Together AI 业务涵盖工程层面的推理服务、强化学习相关产品、面向公众的API 服务以及GPU 租借服务。研发方面专注于推理加速技术，包括量化、投机解码、内核优化，并探索扩散语言模型、内部RL 训练及智能体相关技术。
Q: 在AI云服务领域，CoreWeave、Nebius、Lambda 等新兴云厂商与AWS、GCP 等传统云巨头在软件能力与通信能力方面存在哪些核心差异？这些差异如何量化体现在业务利润率上？
A: 竞争对手分为两类：GPU租借类与推理服务类。新兴厂商凭借硬件规模，在租借GPU 基础上叠加专用推理服务，实现双重收费以提升利润率；传统云巨头虽提供GPU实例，但价格为市场价2-4倍，且存在跨区域数据传输费等隐性成本。Firework、Baseten等构建于AWS之上的推理服务商因底层成本高，利润率显著低于拥有自建集群的Together AI。新兴AI原生云厂商提供透明定价、无附加费用，更受初创企业青睐。
Q: Together AI 在软件层面通过哪些具体技术优化推理效率？这些优化对模型推理速度及业务利润率的量化提升效果如何？
A: 软件优化包括三方面：推理引擎优化；投机解码技术；量化技术。Flash Attention 系列可提升内核效率约2倍。综合优化可使单卡算力能力提升10 倍以上，与MiniMax 合作数据验证优化效果显著。
Q: 当前海外B系列GPU 裸卡租赁业务的毛利率水平如何？通过软件优化，Together AI 可将该业务的毛利率提升至什么范围？
A: 当前B系列GPU裸卡租赁毛利率约30%左右。通过叠加推理服务、提升单卡利用率等软件优化手段，毛利率可提升至70%-90%。优化核心在于将单纯硬件租赁转化为硬件+服务模式，通过按小时或token计费实现价值增值。
Q: 谷歌、亚马逊、微软等传统云巨头在推理层软件优化能力方面与Together AI 等专业推理服务商相比有何差异？
A: 传统云巨头未将推理服务作为核心成熟业务，多以开放接口形式提供，缺乏针对具体开源模型的深度定制优化；其服务成本高，且未形成规模化推理服务生态。Together AI 等专业厂商专注开源模型推理优化，提供端到端服务，价格透明、交互高效，更契合AI开发者与初创企业需求。
Q: Together AI 能够提供更具竞争力的价格，是否主要得益于软件优化带来的成本降低与利用率提升？
A: 价格竞争力源于综合策略：通过公共API 低价吸引流量，引导用户转向专用服务，提升GPU连续使用率与整体利用率。高利用率是利润率核心驱动力。需注意，若模型热度下降导致流量不足，低价策略可能转为亏损，因此稳定性与流量规模至关重要。
Q: 在GPU利用率方面，新兴云厂商与谷歌、亚马逊等传统云巨头相比处于何种水平？影响利用率的关键因素是什么？
A: 利用率需区分场景：传统云巨头为闭源大模型提供专用优化，面向海量用户，利用率较高；Together AI等开源模型服务商的利用率取决于推理时TPM 是否打满、全球流量路由策略及服务稳定性。闭源与开源模型优化逻辑不同，闭源厂商可能采用更激进的量化等手段提升利用率。
Q: 当大模型厂商与云厂商合作时，推理层的模型优化工作主要由哪一方负责？云厂商在其中提供哪些服务？
A: 推理层模型优化主要由大模型厂商自主完成。云厂商仅提供硬件基础设施、基础路由服务，不涉及模型内部优化。大模型厂商将优化后的模型以密钥、镜像等形式交付部署，云厂商无权查看细节。Together AI 部分团队成员曾参与AWS 为Anthropic 提供的基础设施支持工作。
Q: 对于以闭源模型为主的云厂商，其在软件层面的优化空间是否有限？长期来看，这类厂商能否发展为提供高利润率服务的稳定云厂商？
A: 硬件底层是核心重点，软件优化是在此基础上提升边际利润的手段。闭源模型云厂商优化空间相对有限，因其服务对象多为闭源模型，优化工作由模型厂商主导。但通过基础设施稳定性优化仍可提升服务质量和利用率。长期竞争力取决于算力资源获取能力与硬件利用率提升水平。
Q: 在硬件基础设施层面，Together AI 通过哪些方式优化服务稳定性与效率？请结合实例说明。
A: 硬件优化聚焦可靠性：采用InfiniBand、RDMA、NCCL 等技术保障集群通信与共享存储稳定性。例如，与Iron 合作时因对方网络配置问题导致模型下载失败、节点维修耗时，严重影响GPU可用性；而CoreWeave 提供稳定硬件清单与RDMA接口，显著提升训练与推理服务的连续性与效率。
Q: 请以Iron为例，说明GPU租赁业务的成本加价结构、市场竞争对定价的影响，以及基础设施优化带来的增值空间。
A: 历史案例显示，从Iron采购GPU成本约2美元/卡/小时，Together AI 售价通常为2.3-2.6美元，受市场竞争影响曾降至2.15美元以匹配CoreWeave。在GPU 采购价不变前提下，基础设施优化可带来10%-30%的增值空间。租赁业务回本周期约1.5年，对应毛利率可达70%以上。
Q: Together AI 的软件优化技术是否适用于闭源大模型？与开源模型优化有何区别？
A: 软件优化适用于两类场景：闭源模型由厂商自主优化；经授权后，Together AI 可为合作闭源模型提供量化、推理加速等优化。开源模型优化是核心业务，闭源模型优化需基于商业合同与数据授权，合作模式包括公开优化与定制化服务。
Q: 如何评价阿里巴巴自身的大模型推理能力？其与Together AI 合作的原因与规模如何？
A:国内外应用生态与流量环境差异显著，阿里巴巴主要聚焦国内市场。合作分为开源模型公开优化与商业合同定制：例如与MiniMax签订年价值约2000万美元合同，部署于500张H200 GPU，按小时计费并设定吞吐量阈值，超量则合同金额上浮。具体点击率等运营数据未披露。
Q: 企业用户在使用Llama、Qwen等开源模型时，是否更倾向于与Together AI 等专业推理服务商合作？
A:是。传统云巨头主要优化自身闭源模型，对开源模型支持有限且成本高。企业用户为获得更高推理性能、更低延迟与成本效益，普遍选择Together AI、Fireworks 等专注开源模型推理优化的专业服务商。
Q: 在硬件不变的前提下，通过通信层、集群效率等基础设施优化，还能在多大程度上提升推理集群的性能与稳定性？
A:基础设施优化空间取决于实施标准与专业运维能力。规范部署InfiniBand、RDMA、共享存储等可实现99.9%级别稳定性。许多厂商因缺乏专业团队导致配置错误、节点故障频发，直接影响GPU可用性与服务连续性。优化集群内通信可显著提升TPM与服务可靠性。
Q: 谷歌与亚马逊在基础设施层面有何差异？未来云厂商通过软硬件优化提升毛利率的空间有多大？
A: 谷歌内部集群利用率较高，亚马逊部分团队尚未部署B200系列GPU。毛利率提升空间高度依赖业务类型、客户属性及定价策略。例如AWS H100 实例周租金3000-9000美元，主要面向大客户；集群内通信稳定性对利用率与利润率影响显著，但优化效果因厂商实施能力而异，整体提升路径复杂。
Q: 您是否看好CoreWeave、Nebius等新兴云厂商的长期发展前景？核心依据是什么？
A:看好。AI发展高度依赖算力规模，当前GPU等算力资源持续紧缺，拥有更多算力的公司将在模型效果上占据优势。市场对算力需求旺盛，紧缺状态预计至少持续一年以上。新兴云厂商凭借融资能力与激进采购策略获取算力资源，具备显著竞争优势。
Q:从投资价值角度，新兴云厂商与纯硬件厂商相比，哪一环节更具吸引力？各环节毛利率水平如何？
A: NVIDIA等硬件厂商毛利率约75%，新兴云厂商裸卡租赁毛利率当前约30%-60%，通过软件优化可提升至70%-90%。NVIDIA下一代架构被内部视为重要迭代节点。投资价值需综合评估，但当前算力资源获取能力与利用率提升是云厂商盈利关键。
Q: 在推理层面，谷歌TPU与英伟达GPU的性能差距主要体现在哪些方面？生态因素是否为主要制约？
A: 性能差距主因是软件生态：英伟达CUDA生态成熟，Together AI 投入大量内核工程师优化Attention 等操作；TPU 生态优化不足，且硬件设计存在实际缺陷。TPU在TPM 等关键指标上表现不及英伟达GPU。AMD芯片在稳定性与bug数量方面问题相对更突出。
Q: 从行业趋势与个人使用体验看，AI Agent的渗透率在过去一年有何变化？对未来一年的使用增长有何预期？
A: AI应用进程已不可逆转。个人层面，Together AI员工年API使用额度从约1000美元增至1-2万美元，反映使用量显著增长。对未来持乐观态度，认为工具链进步将推动使用量进一步提升，行业层面Agent正加速替代人力，硅谷裁员与上海团队扩张即为佐证。实际增长受公司资源分配与商业效益评估制约，但技术演进趋势明确。
有投研需求的大佬们，可以付费订阅获得各大机构完整调研纪要、录音、点评、数据资讯等等，覆盖各大行业，大大节约您到处找资料的时间成本，缩短信息差，一站式投研，有更高投研需求的大佬，可加客服微信私信“包年纪要”付费订阅，欢迎交流！
另：我们为活跃交易用户争取到券商专属福利——入金达标后，星球会期可直接抵扣（低至五折甚至全免）。感兴趣的粉丝私信客服“交易福利”。
↑↑扫码添加客服订阅更多纪要↑↑
📌 更新内容不易，觉得内容不错？点个“在看”支持一下吧！
