【世界经济】AI 不只是聊天:非结构化文本能让出口预测更准吗?(附Python代码)

一、原文简介

1.1 研究背景

出口预测一直是宏观经济研究、外贸政策分析和企业经营决策中的重要问题。传统出口预测主要依赖结构化宏观指标，例如工业生产、价格指数、PMI、汇率、国际需求、物流运输和全球风险等变量。这类指标具有可量化、可比较、可建模的优势，但也存在一个明显问题：很多宏观统计数据具有发布滞后性，难以及时捕捉市场预期、政策变化、供应链扰动和国际风险冲击。

本项目围绕“非结构化数据是否能够增强出口预测”展开复现分析。研究思路是：在传统结构化宏观变量的基础上，引入由大语言模型提取的文本指标，比较加入文本指标前后出口预测效果是否发生改善。

通俗来说，这个项目想回答的问题是：

新闻、政策文本和外部信息中隐藏的经济信号，能不能通过大语言模型转化成一个有效指标，并进一步提高出口预测准确率？

1.2 研究核心逻辑

原始预测框架可以理解为两组模型对比：

如果 withLLM 模型的误差低于 noLLM 模型，就说明文本指标提供了额外预测信息。

1.3 复现结论概括

本次复现结果显示，加入 LLM 文本指标后，多数机器学习模型的预测误差整体下降。其中 XGBoost 表现最稳定，尤其在 T+6 中长期预测中，LLM 指标带来的提升最明显。这说明非结构化文本信息并不是简单的“辅助材料”，而可能包含传统结构化宏观变量难以及时捕捉的预期信息和风险信号。

二、数据与方法

2.1 数据构成

本项目使用的数据主要包括结构化宏观变量、出口目标变量和文本指标三大类。

结构化宏观变量覆盖国内供给、国际需求和世界贸易形势等维度，包括工业生产、价格指数、PMI、汇率、财政金融、物流运输、全球供应链、海外需求和不确定性等指标。经过前期筛选后，项目形成 120 个候选结构化变量。

文本指标部分主要包括 LLM 文本指标和词典法文本指标。LLM 文本指标由大语言模型从非结构化文本中提取，用于刻画宏观预期、风险情绪和外贸相关信息；词典法文本指标则作为传统文本量化方法的对照，用来检验大语言模型文本指标是否比简单词典统计更有效。

2.2 预测任务设置

预测目标变量为出口，预测任务分为三个步长：

在代码中，预测目标通过 shift(-horizon) 构造：

y_shifted = df[target].shift(-horizon).rename("_y_")

这行代码的含义是：如果当前时间是 t，模型使用 t 时点及之前的信息，去预测 t + horizon 的出口值。

例如：

2.3 时间切分方法

代码按照时间顺序划分训练集、验证集和测试集：

TRAIN_END  = pd.Timestamp("2022-12-31")VAL_START  = pd.Timestamp("2023-01-01")VAL_END    = pd.Timestamp("2023-12-31")TEST_START = pd.Timestamp("2024-01-01")TEST_END   = pd.Timestamp("2024-12-31")

这里不是随机划分样本，而是按照时间顺序划分。这样更符合宏观预测任务的真实场景，因为真实预测中不能使用未来数据训练过去模型。

代码中的切分逻辑大致如下：

label_idx = X.index + DateOffset(months=horizon)train_pos = np.flatnonzero(label_idx <= TRAIN_END)val_pos   = np.flatnonzero((label_idx >= VAL_START) & (label_idx <= VAL_END))test_pos  = np.flatnonzero((label_idx >= TEST_START) & (label_idx <= TEST_END))

这段代码的重点是：模型不是根据特征时间 X.index 直接切分，而是根据预测目标对应的时间 label_idx 切分。这样可以保证 T+1、T+3、T+6 的预测口径一致。

2.4 整体方法流程

整体方法流程如下：

结构化宏观数据        ↓层次聚类与变量筛选        ↓构造滞后项、季节项和交互项        ↓加入 / 不加入 LLM 文本指标        ↓构建 T+1、T+3、T+6 预测模型        ↓比较 noLLM 与 withLLM 的预测效果        ↓稳健性检验、SHAP 解释、机制检验和扩展检验

在模型方面，项目不仅使用传统 ARIMA 模型作为基准，还进一步使用 GBDT、LightGBM、随机森林、XGBoost 和 LSTM 等模型进行对比。其中 XGBoost 是本项目中表现最稳定、结果最核心的模型。

三、代码复现

3.1 读取数据与时间索引处理

复现代码首先读取 Excel 数据，并将 Date 列转化为时间索引：

data_base = pd.read_excel(BASE_FILE_PATH)data_base["Date"] = pd.to_datetime(data_base["Date"])data_base = data_base.set_index("Date").sort_index().interpolate(method="time")

这段代码完成了三件事：

第一，读取结构化宏观变量数据。

第二，将日期列转换为 pandas 能识别的时间格式。

第三，将日期设置为索引，并按时间排序，同时对缺失值进行时间序列插值。

这里使用：

interpolate(method="time")

是因为数据属于月度时间序列，用时间插值比简单均值填补更符合数据结构。

3.2 读取 LLM 文本指标

withLLM 模型需要把文本指标合并进结构化数据中。代码中通常使用 _read_llm() 函数读取 LLM 指标：

def _read_llm(path: str, value_col: str = "LLM") -> pd.DataFrame:    tmp = pd.read_excel(path, usecols=["Date", value_col]).copy()    tmp["Date"] = pd.to_datetime(        tmp["Date"].astype(str).str.replace("年", "-").str.replace("月", ""),        errors="coerce"    ) + pd.offsets.MonthEnd(0)    tmp[value_col] = pd.to_numeric(tmp[value_col], errors="coerce")    return tmp.dropna(subset=["Date"]).set_index("Date").sort_index()

这段代码的作用是：

随后，代码将 LLM 指标与结构化变量拼接：

llm = _read_llm(LLM_FILE, LLM_COL)data_with_llm = data_base.join(llm, how="left")data_with_llm = data_with_llm.interpolate(method="time")

这里的 join 表示按日期索引合并。data_base 是 noLLM 使用的数据，data_with_llm 是 withLLM 使用的数据。

3.3 构造滞后特征

宏观预测不能只使用当期变量，还需要构造过去若干期的滞后项。代码中的基本逻辑是：

feat[f"{base}__lag{L}"] = df[base].shift(L)

例如：

中国:PPI:同比__lag3

表示“中国 PPI 同比”的 3 期滞后值。

滞后变量的含义是：

在复现中，部分公开数据列和模型保存的特征列不完全一致，因此代码做了本地兼容处理：

if base not in df.columns:    print(f"[WARN] 缺少列，已跳过：{base}，无法构造 {base}__lag{L}")    continue

这段代码的含义是：如果某个基础变量在公开数据中不存在，就跳过这个滞后特征，而不是让整个程序中断。

3.4 构造季节项

出口数据通常存在季节性，因此代码构造了 Fourier 季节项：

label_idx = df.index + DateOffset(months=horizon)month = label_idx.monthfeat[f"SEASON_sin{k}"] = pd.Series(    np.sin(2*np.pi*k*month/12.0),    index=df.index)feat[f"SEASON_cos{k}"] = pd.Series(    np.cos(2*np.pi*k*month/12.0),    index=df.index)

这段代码用正弦和余弦函数表示月份周期。

为什么要这样做？因为月份是循环变量，12 月之后是 1 月。如果直接把月份写成 1 到 12，模型会误以为 12 和 1 距离很远；而使用 sin/cos 可以更自然地表达这种周期关系。

3.5 构造交互项

代码中还会根据训练阶段保存的特征名解析交互项：

if "__x__" in body:    a, b = body.split("__x__", 1)    op = "prod"elif "__div__" in body:    a, b = body.split("__div__", 1)    op = "ratio"elif "__minus__" in body:    a, b = body.split("__minus__", 1)    op = "spread"

交互项主要有三类：

对应代码如下：

if it["op"] == "prod":    s = a * belif it["op"] == "spread":    s = a - belse:    s = pd.Series(        np.divide(num, den, out=np.zeros_like(num), where=np.abs(den) > RATIO_EPS),        index=a.index,        dtype=float    )

交互项的作用是捕捉变量之间的组合关系。例如，一个外部需求变量和一个汇率变量的交互项，可能比单独看两个变量更能反映出口压力。

3.6 根据 used_cols 重建特征矩阵

预训练模型保存了训练时使用的特征列，代码会读取这些列并按相同顺序重建特征矩阵：

with open(used_cols_json, "r", encoding="utf-8") as f:    used_cols = json.load(f)X_all, y_all = build_design_from_used_cols(    df_data,    used_cols,    TARGET_COL,    horizon)

这一步是复现中的关键。因为模型训练时的特征顺序、特征名称和预测时必须一致，否则模型输入就会错位。

原始逻辑中，如果有任何特征无法构建，代码会直接报错。为了保证公开复现包能够在本地跑通，本次做了兼容处理：

missing = [c for c in used_cols if (c not in feat and c not in df.columns)]if missing:    print(f"[WARN] 有 {len(missing)} 个特征无法构建，已跳过。前10个：{missing[:10]}")used_cols_available = [c for c in used_cols if (c in feat or c in df.columns)]

这段代码的意思是：先检查哪些特征无法构建，然后只保留可以构建出来的特征继续运行。

3.7 特征列名清洗

部分中文变量名中包含冒号、括号、空格和特殊字符。为了让模型、scaler 和 XGBoost 更稳定地识别特征名，代码会对列名进行清洗：

def sanitize_feature_name(name: str) -> str:    s = str(name)    s = _CONTROL_CHARS_RE.sub(" ", s)    for ch in _JSON_BAD_CHARS:        s = s.replace(ch, "_")    s = re.sub(r"\s+", " ", s).strip()    return re.sub(r"[^0-9A-Za-z_\-\.%/()+*^=<> \u4e00-\u9fff]", "_", s)

这段代码主要做了几件事：

如果清洗后出现重复列名，代码还会自动去重：

def dedupe_names(names):    seen, out = {}, []    for n in names:        k = seen.get(n, 0)        out.append(n if k == 0 else f"{n}__dup{k}")        seen[n] = k + 1    return out

3.8 scaler 对齐与标准化

机器学习模型在训练前通常做过标准化。因此，预测时也必须使用同一个 scaler 对测试集进行转换：

scaler = joblib.load(scaler_pkl)expected = list(getattr(scaler, "feature_names_in_", X_test.columns))

expected 表示 scaler 训练时见过的特征列名。

如果当前测试集缺少某些列，代码会自动补 0：

missing = [c for c in expected if c not in X_test.columns]if missing:    print(f"[WARN] [{tag}] X_test 缺少 scaler 需要的列 {len(missing)} 个，已用 0 补齐。")    for c in missing:        X_test[c] = 0X_test = X_test.reindex(columns=expected, fill_value=0)

这段代码的作用是保证预测时输入给 scaler 的列顺序与训练时完全一致。如果不做这一步，很容易出现“特征数量不一致”“特征名称不一致”或“列顺序错位”的问题。

随后进行标准化：

Xs = pd.DataFrame(    scaler.transform(X_test),    index=X_test.index,    columns=X_test.columns)

3.9 加载模型并预测

标准化后，代码加载预训练模型进行预测：

model = joblib.load(model_pkl)y_pred = model.predict(Xs)

对于 XGBoost，有些模型在训练时使用 GPU。如果本地没有 CUDA，预测可能报错。因此代码加入了 CPU 回退逻辑：

def safe_predict(model, X):    try:        return model.predict(X)    except Exception as e:        msg = str(e).lower()        if ("cuda" in msg) or ("gpu" in msg) or ("device" in msg):            model.set_params(device="cpu")            return model.predict(X)        raise

这段代码的含义是：先正常预测，如果遇到 GPU、CUDA 或 device 相关错误，就自动切换到 CPU 再预测。

3.10 计算评价指标

预测完成后，代码计算 MSE、RMSE、MAE、MAPE、R² 等指标：

mse  = mean_squared_error(y_test, y_pred)rmse = float(np.sqrt(mse))mae  = mean_absolute_error(y_test, y_pred)nz = (y_test != 0)mape = float(np.mean(np.abs((y_test[nz] - y_pred[nz]) / y_test[nz])))r2 = r2_score(y_test, y_pred)

各指标含义如下：

3.11 同比方向准确率

除了误差指标，代码还计算同比方向预测准确率：

def da_yoy(y_true, y_pred, base, lag_months=12):    base_aligned = base.reindex(y_true.index - DateOffset(months=lag_months))    mask = base_aligned.notna().to_numpy()    yt = y_true.to_numpy()[mask]    yp = y_pred.to_numpy()[mask]    b  = base_aligned.to_numpy()[mask]    return float(np.mean((yt - b) * (yp - b) > 0))

这段代码判断的是：预测值和真实值相对于去年同期的变化方向是否一致。

如果真实出口同比上升，模型也预测上升，就算方向正确；如果真实下降，模型也预测下降，也算方向正确。

3.12 SHAP 解释代码

SHAP 分析用于解释模型中哪些变量贡献最大。核心代码如下：

explainer = shap.TreeExplainer(model)shap_values = explainer.shap_values(Xs)shap_df = pd.DataFrame(shap_values, columns=Xs.columns)shap_mean = shap_df.abs().mean().sort_values(ascending=False)

这段代码的含义是：

SHAP 的意义在于，它不仅告诉我们模型预测准不准，还告诉我们模型主要依赖哪些变量进行预测。

3.13 机制检验代码

机制检验的核心是先用结构化变量预测 LLM 指标，再取残差：

orth = (y_all - yhat_oof).rename("Orthogonal_Sentiment")

这里：

LLM 残差 = 实际 LLM 指标 - 结构化变量预测出来的 LLM 指标

如果这个残差仍然能提升出口预测，就说明 LLM 中存在结构化变量无法覆盖的信息。

为了方便后续模型读取，代码还将残差复制为 LLM 列：

out_df = pd.DataFrame(orth)out_df["LLM"] = out_df["Orthogonal_Sentiment"]

3.14 结果导出

每个模型和每个预测步长都会导出预测结果和指标汇总：

pd.DataFrame({    "Actual": y_true_s,    "Predicted": y_pred_s}).to_excel(pred_xlsx)

指标表导出：

with pd.ExcelWriter(metrics_out) as w:    metrics_df.to_excel(w, sheet_name="metrics", index=False)    wilcoxon_df.to_excel(w, sheet_name="wilcoxon", index=False)

同时保存 JSON summary：

with open(summary_path, "w", encoding="utf-8") as f:    json.dump(summary, f, ensure_ascii=False, indent=2)

这些输出文件可以用于后续绘图、写说明文档和整理推文结果。

3.15 本地运行适配说明

本次复现是在本地 Windows + Anaconda 环境下完成。为了保证公开复现包可以顺利运行，代码做了若干本地兼容处理：

四、结果展示

4.1 基准结果：XGBoost 加入 LLM 后提升明显

在核心 XGBoost 模型中，加入 LLM 文本指标后，T+1、T+3、T+6 三个预测步长的 MAPE 均下降，R² 均提高。

从误差下降幅度看，T+1 的 MAPE 下降约 30.0%，T+3 下降约 15.5%，T+6 下降约 40.4%。这说明 LLM 文本指标不仅对短期预测有帮助，对中长期预测的增强作用更明显。

4.2 多模型对比：多数模型支持 LLM 有效

除 XGBoost 外，GBDT、LightGBM 和随机森林的结果也显示，加入 LLM 后多数预测误差下降。

这说明 LLM 指标的有效性不是某一个模型的偶然结果，而是在多种树模型中都具有较稳定的预测增益。

4.3 稳健性检验：滚动预测依然有效

项目进一步进行了多类稳健性检验，包括重复性检验、替换文本版本、MASK 检验、同一起点检验和 TSCV 滚动预测检验。

其中，TSCV 滚动预测更接近真实预测场景。结果如下：

这说明加入 LLM 文本指标后的提升并不是由某一次固定样本划分造成的，而是在滚动预测设定下依然成立。

4.4 SHAP 解释：LLM 对中长期预测贡献更高

SHAP 结果显示，出口预测主要受到国内供给、国际需求、世界贸易形势、出口自身滞后项和 LLM 文本指标等因素影响。

在 withLLM 模型中，LLM 指标本身也具有一定解释贡献：

可以看到，LLM 指标在 T+6 中的贡献占比最高，这与 T+6 预测误差下降最明显的结果相互印证。文本指标可能更擅长捕捉中长期预期变化和风险变化。

4.5 机制检验：LLM 含有结构化变量无法覆盖的信息

机制检验将 LLM 指标中可以被结构化变量解释的部分剥离出去，只保留残差信息，再将残差指标加入预测模型。

结果显示，LLM 残差指标依然能改善预测效果：

这说明 LLM 指标并不是对结构化宏观变量的简单重复，而是包含了传统结构化数据无法完全覆盖的额外信息。

4.6 词典法对比：简单词典不如 LLM 稳定

项目还使用传统词典法构造文本指标，并与 LLM 指标进行对比。

结果说明，不是所有文本指标都一定有效。简单词典法在短期预测中可能引入噪声，而 LLM 指标能够更好理解语义和上下文，因此表现更稳定。

4.7 国别与省份扩展：结论具有一定外推性

项目进一步在上海和美国样本上进行扩展检验。

上海和美国样本均显示，加入 LLM 文本指标后预测误差下降。这说明该框架不仅适用于总体出口预测，也具有一定的场景迁移能力。

4.8 总体结论

本次复现结果可以概括为三点。

第一，LLM 文本指标能够显著增强出口预测能力。尤其在 XGBoost 模型中，加入 LLM 后三个预测步长的 MAPE 均下降，R² 均提高。

第二，LLM 对中长期预测更有价值。T+6 中 MAPE 下降幅度最大，SHAP 中 LLM 的贡献占比也最高。

第三，LLM 指标并不是简单重复结构化变量。机制检验显示，LLM 残差信息仍能改善预测结果，说明非结构化文本中确实存在结构化宏观数据难以完全覆盖的信息。

因此，这个复现项目的核心启示是：

在宏观经济预测中，非结构化文本不是装饰性材料，而是能够补充传统统计变量的重要信息来源。大语言模型的价值不只在于生成文本，也可以体现在经济信号提取、风险识别和预测增强上。

五、参考文献

Amiti, M.; Itskhoki, O. and Konings, J. “Importers, Exporters, and Exchange Rate Disconnect.” The American Economic Review, 2014, 104(7), pp. 1942–1978.

Bertomeu, J. “Machine Learning Improves Accounting: Discussion, Implementation and Research Opportunities.” Review of Accounting Studies, 2020, 25(3), pp. 1135–1155.

Bianchi, D.; Büchner, M. and Tamoni, A. “Bond Risk Premiums With Machine Learning.” The Review of Financial Studies, 2021, 34(2), pp. 1046–1089.

Breitung, C. and Müller, S. “Global Business Networks.” Journal of Financial Economics, 2025, 166, 104007.

Cabezas, L. M. C.; Izbicki, R. and Stern, R. B. “Hierarchical Clustering: Visualization, Feature Importance and Model Selection.” Applied Soft Computing, 2023, 141, 110303.