| 1. 模型研发与训练 | • 芯片:NVIDIA H100 / B100、AMD MI300X、Huawei 昇腾910B• 训练集群:Amazon Web Services UltraCluster、Google Cloud TPU v5e• 数据/网络:NVLink、InfiniBand、S3 / Ceph | • 训练框架:DeepSpeed、Megatron-LM、Colossal-AI• 数据与标注:Scale AI、Databricks Mosaic• 对齐与多模态:RLHF pipeline、统一 tokenizer、数据蒸馏 | • 基础模型:OpenAI GPT 系列、Anthropic Claude、Meta Llama、DeepSeek、Moonshot AI Kimi• 开源社区:Hugging Face、ModelScope |
| 2. 推理部署与优化 | • 推理芯片:NVIDIA L40S、Groq LPU、寒武纪 MLU• 边缘计算:Apple Neural Engine、Qualcomm Snapdragon X Elite• 服务器架构:MGX、Atlas | • 推理引擎:vLLM、TensorRT-LLM、TGI、SGLang• 托管推理:Fireworks AI、Together AI、Replicate• AI 代工厂:SiliconFlow(硅基流动) | • 私有化推理:百炼、文心千帆• 长上下文能力:Claude、GPT 系列 extended context• 实时推理产品:低延迟语音、多模态交互 |
| 3. API 分发与路由 | • API 网关:Kong、APISIX、Cloudflare Workers• 计费系统:Stripe + usage metering• 缓存/CDN:边缘缓存、KV storage | • 多模型路由:OpenRouter、One API• 网关与治理:Portkey、Helicone、LiteLLM• 企业分发:SLA、审计、权限控制 | • 模型市场:GPT Store、Replicate marketplace、ModelScope• 插件生态:Notion AI、Slack AI、Figma AI |
| 4. 应用开发与集成 | • 向量数据库:Pinecone、Zilliz Milvus、Qdrant、Weaviate• 缓存系统:Redis + semantic cache• 数据管道:ETL、embedding pipeline | • 开发框架:LangChain、LlamaIndex、LangGraph• Agent 框架:Microsoft AutoGen、Semantic Kernel、CrewAI• 低代码平台:Flowise、Dify | • AI 原生应用:Perplexity AI、Cognition Labs Devin、Cursor• 行业应用:营销、客服、销售自动化 |
| 5. 终端消费与反馈 | • 终端设备:iPhone、Mac、AI PC• 遥测系统:token usage、latency、task success rate• 数据回流系统:日志、interaction replay | • 反馈与优化:RLHF、RLAIF、Step-level optimization• 评测体系:Evals、A/B testing、prompt optimization• 用户建模:长期记忆、profile、behavior embedding | • 用户产品:ChatGPT、Claude、Gemini、Kimi• 企业应用:Salesforce Einstein、Zendesk AI、Tableau AI |