运维人的 AI实验室自建 Codex 类助手全记录

AI只是聊天机器人？运维不需要AI？

运维人的AI实验室

自建 Codex 类助手全记录

本地部署 · 推理框架选型 · 模型量化 · Prompt工程 · RAG知识库 · 安全审计

PART 01

痛点与动机

为什么自建

PART 02

选型与部署

硬件·框架·模型

PART 03

接入运维链

工具·Prompt·RAG

PART 04

踩坑与优化

实战经验

PART ///

写在最后

未来展望

01

PART

痛点与动机

WHY SELF-BUILD · 真实场景与核心理由

02

PART

选型与部署

INFRA · 硬件选型 · 推理框架 · 模型量化

硬件选型

推理框架选型

模型选择与量化

部署实操

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey |

apt-key add -

curl -s -L https://nvidia.github.io/libnvidia-container/

ubuntu22.04/libnvidia-container.list |

tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

apt-get update && apt-get install -y nvidia-container-toolkit

systemctl restart docker

docker run --gpus all -p 8000:8000 \

-v /data/models:/models \

--name deepseek-coder \

vllm/vllm-openai:latest \

--model /models/deepseek-coder-6.7b-instruct \

--served-model-name codex-ops \

--max-model-len 4096 \

--gpu-memory-utilization 0.9

03

PART

接入运维工具链

INTEGRATION · 日志分析 · 告警初筛 · 脚本生成 · Prompt模板 · RAG

import openai, re, subprocess

from datetime import datetime

# --- 初始化本地模型客户端 ---

client = openai.OpenAI(

base_url="http://localhost:8000/v1",

api_key="EMPTY"

)

MODEL = "codex-ops"

# --- 高危命令过滤 ---

DANGER_PATTERNS = [

r"rm\s+-rf", r"DROP\s+TABLE",

r"shutdown", r"reboot",

r":\(\)\{\s*:\|:&\s*\}", # fork bomb

]

def is_dangerous(cmd):

return any(re.search(p, cmd, re.I) for p in DANGER_PATTERNS)

# --- 功能1：日志根因分析 ---

def analyze_logs(error_lines, context="生产环境Java应用"):

prompt = f"""你是资深运维工程师，擅长日志根因定位。

环境：{context}

以下是筛选后的关键错误日志（含ERROR/FATAL/Exception行）：

{error_lines}

请按以下格式输出：

1. 根因判断（一句话）

2. 影响范围评估

3. 1-3条可执行的修复建议（含具体命令）"""

resp = client.chat.completions.create(

model=MODEL, temperature=0.3,

messages=[{"role":"user","content":prompt}]

)

result = resp.choices[0].message.content

# 审计记录

log_audit("日志分析", error_lines, result)

return result

# --- 功能2：告警智能初筛 ---

def triage_alert(alert_name, metrics, severity="unknown"):

prompt = f"""你是运维告警研判助手。

告警名称：{alert_name}

当前相关指标：{metrics}

原始严重等级：{severity}

请输出：

1. 真实严重等级（P0/P1/P2/噪音）

2. 是否需要立即响应

3. 建议排查方向"""

resp = client.chat.completions.create(

model=MODEL, temperature=0.2,

messages=[{"role":"user","content":prompt}]

)

return resp.choices[0].message.content

# --- 功能3：脚本草稿生成 ---

def generate_script(task_desc, lang="bash"):

prompt = f"""你是运维脚本生成助手，只输出{lang}代码。

任务描述：{task_desc}

要求：

- 添加详细注释

- 关键操作前加确认步骤

- 禁止使用rm -rf等高危命令

- 输出纯代码，不要解释"""

resp = client.chat.completions.create(

model=MODEL, temperature=0.4,

messages=[{"role":"user","content":prompt}]

)

script = resp.choices[0].message.content

if is_dangerous(script):

raise SecurityError("生成脚本含高危命令，已拦截")

return script

# 向量检索（Milvus）

from pymilvus import MilvusClient

milvus = MilvusClient(uri="http://localhost:19530")

def retrieve_context(query, top_k=3):

results = milvus.search(

collection_name="ops_knowledge",

data=[embed(query)], # 文本→向量

limit=top_k,

output_fields=["title","content"]

)

return "\n".join(r["content"] for r in results[0])

# 组合RAG调用

def analyze_with_rag(log_text):

ctx = retrieve_context(log_text)

prompt = f"""参考以下运维知识库内容：

{ctx}

分析日志：{log_text}"""

return call_model(prompt)

04

PART

踩坑与优化

PITFALLS · GPU显存 · 模型幻觉 · Token陷阱 · 性能调优

禁止生成 rm -rf、DROP TABLE、shutdown 等高危命令——输出过滤是第一道防线

阶段一：智能副驾驶

告警→AI研判→人确认→执行。已经落地，每天200+告警自动初筛，80%噪音直接过滤。

阶段二：半自动愈合

已知故障模式→AI匹配历史方案→自动执行预审批的修复动作，人只做最终确认。正在建设中。

阶段三：预防性运维

AI分析历史趋势，在故障发生前给出预警和扩容建议。每次故障处理的完整链路自动归档成可检索的知识条目——这才是终极形态。

自建这条路走起来不容易

但踩过的坑都是自己的经验资产