136 万行 Rust 的 AI 编程助手长什么样?——grok-build 架构拆解

grok-build/
├── Cargo.toml              ← 自动生成的 workspace 根（只读）
├── Cargo.lock              ← 340KB 的依赖锁
├── SOURCE_REV              ← 内部 monorepo 的 commit SHA
├── crates/
│   ├── codegen/            ← 62 个核心 crate
│   ├── common/             ← 11 个公共 crate
│   └── build/              ← 构建工具 crate
├── third_party/            ← Vendored 代码（Mermaid 渲染栈）
├── bin/                    ← DotSlash 工具（protoc）
└── prod/mc/                ← CLI chat proxy 类型

# Auto-generated workspace root. Prefer editing per-crate Cargo.toml files.

pubmod app;           // 主应用逻辑
pubmod scrollback;    // 对话历史渲染
pubmod input;         // 键盘/鼠标事件处理
pubmod diff;          // 代码 diff 渲染
pubmod search;        // 搜索功能
pubmod slash;         // Slash 命令
pubmod acp;           // Agent Client Protocol
pubmod pty_wrap;      // PTY 封装
pubmod headless;      // 无头模式
pubmod minimal_api;   // Minimal 模式 API
pubmod models;        // 模型选择
pubmod notifications; // 通知系统
pubmod sessions_cmd;  // 会话管理命令
pubmod plugin_cmd;    // 插件命令
pubmod share_cmd;     // 分享功能

┌──────────────────────────────────────────────┐
│              Leader 进程                      │
│  ┌────────────────────────────────────────┐  │
│  │         Agent (共享状态)                │  │
│  │   - 会话管理                           │  │
│  │   - 持久化到 ~/.grok/                  │  │
│  └────────────────┬───────────────────────┘  │
│                   │ ACP                       │
│  ┌────────────────┴───────────────────────┐  │
│  │       IPC Server (Unix Socket)         │  │
│  │   - 路由消息                           │  │
│  │   - 请求 ID 命名空间隔离               │  │
│  │   - 会话所有权追踪                     │  │
│  └────────────────┬───────────────────────┘  │
└───────────────────┼──────────────────────────┘
                    │ Unix Socket (~/.grok/leader.sock)
        ┌───────────┼───────────┐
        ▼           ▼           ▼
   ┌─────────┐ ┌─────────┐ ┌─────────┐
   │ TUI     │ │ IDE     │ │ Headless│
   │ Client  │ │ 插件    │ │ CLI     │
   └─────────┘ └─────────┘ └─────────┘

// xai-acp-lib/src/lib.rs 核心导出
pubuse self::message::{
    AcpAgentMessage,    // Agent → Client 的消息
    AcpClientMessage,   // Client → Agent 的消息
    AcpMethod,          // JSON-RPC 方法
    AcpRequest,         // 请求封装
};
pubuse self::gateway::{
    AcpGatewayReceiver, // 网关接收端
    AcpGatewaySender,   // 网关发送端
};

// AgentBuilder 的关键字段
pubstructAgentBuilder {
    working_directory: PathBuf,
    definition: Option<AgentDefinition>,
    name: Option<String>,
    tools: Option<Vec<String>>,
    disallowed_tools: Vec<String>,
    skill_names: Vec<String>,
    permission_mode: PermissionMode,
    compaction_policy: CompactionPolicy,
    reminder_policy: ReminderPolicy,
    custom_system_prompt: Option<String>,
// ...
}

prompt/
├── mod.rs            # 总入口
├── context.rs        # PromptContext 组装
├── agents_md.rs      # AGENTS.md 发现与注入
├── skills.rs         # 技能指令注入
├── template.rs       # 模板渲染
├── workspace_user.rs # 工作区信息注入
├── user_message.rs   # 用户消息模板
└── subagent_prompts.rs # 子 agent 专用 prompt

// 每个 host 实现自己的 trait，解耦 compaction 引擎与具体产品
traitCompactionItem { /* 抽象一个对话 turn */ }
traitItemTokenCounter { /* Token 计数 */ }
traitCompactionSampler { /* LLM 调用 */ }

implementations/
├── codex/               ← 移植自 OpenAI Codex (Apache 2.0)
│   ├── read_file/       #   apply_patch, grep_files,
│   ├── list_dir/        #   list_dir, read_file
│   └── grep_files/
├── opencode/            ← 移植自 sst/opencode (MIT)
│   ├── bash/            #   bash, edit, glob, grep,
│   ├── edit/            #   skill, todowrite, write
│   └── ...
├── grok_build/          ← xAI 自研
│   └── ...
├── grok_build_hashline/ ← xAI 自研（hashline 编辑方案）
│   └── ...
├── memory/              ← 记忆系统
├── web_search/          ← 网页搜索
├── lsp/                 ← Language Server Protocol
└── skills/              ← 技能调用

// 核心能力
pubmod file_system;       // 文件系统抽象
pubmod permission;        // 权限管理
pubmod worktree;          // Git worktree 管理
pubmod foreign_sessions;  // 外部会话发现
pubmod hub;               // Computer Hub 连接
pubmod mcp;               // MCP 服务器管理
pubmod discovery;         // 工作区发现
pubmod folder_trust;      // 目录信任管理
pubmod recovery;          // 恢复机制

grok --worktree=feat "重构模块 X"# 在独立 worktree 中工作
grok -w --ref main "从 main 实现功能"# 基于 main 分支创建 worktree

~/.grok/memory/
├── MEMORY.md                           # 全局知识
└── {workspace_hash}/                   # 按项目隔离 (blake3 哈希)
    ├── MEMORY.md                       # 项目级知识
    └── sessions/
        └── YYYY-MM-DD-{slug}-{sid}.md  # 会话日志

pubmod embedding;        // 嵌入向量生成
pubmod index;            // SQLite 向量索引
pubmod search;           // 语义搜索
pubmod mmr;              // Maximal Marginal Relevance 去重
pubmod query_expansion;  // 查询扩展
pubmod chunker;          // 文档分块
pubmod dream;            // "梦境"——离线整理记忆

┌──────────────────────────────────────────────┐
│                   插件 (Plugins)              │
│  目录发现 + marketplace + trust 验证          │
│  可包含：技能 + agent 定义 + MCP 服务器       │
├──────────────────────────────────────────────┤
│                   技能 (Skills)               │
│  Markdown 指令文件 + 脚本 + 资源              │
│  注入到 system prompt 中                     │
├──────────────────────────────────────────────┤
│                   Hooks                       │
│  事件驱动的命令执行                           │
│  pre_tool_use 可阻断                         │
└──────────────────────────────────────────────┘

plugins/
├── discovery.rs       # 插件发现
├── manifest.rs        # 插件清单解析
├── registry.rs        # 插件注册表
├── trust.rs           # 信任验证
├── marketplace.rs     # 在线市场
├── git_install.rs     # 从 Git 安装
├── install_registry.rs # 安装记录
├── hooks_adapter.rs   # Hook 适配
└── local_refresh.rs   # 本地刷新

参考链接

[1] https://github.com/ratatui/ratatui

[2] https://github.com/openai/codex

[3] https://github.com/sst/opencode