核心实战期间 2.5《RAG文档切片检索:前端AI可复用的完整代码实现》

// chunker.js - 基础文档切片器class DocumentChunker {  constructor(options = {}) {    this.chunkSize = options.chunkSize || 500;    this.chunkOverlap = options.chunkOverlap || 50;    this.separators = options.separators || [      '\n\n',   // 双换行（段落）      '\n',     // 单换行      '。',      // 句号      '；',      // 分号      '，',      // 逗号      ' '       // 空格    ];  }  splitText(text, metadata = {}) {    if (!text || text.trim().length === 0) {      return [];    }    const chunks = [];    let startIndex = 0;    while (startIndex < text.length) {      let endIndex = startIndex + this.chunkSize;      if (endIndex >= text.length) {        endIndex = text.length;      } else {        endIndex = this._findSplitPoint(text, startIndex, endIndex);      }      const chunkText = text.slice(startIndex, endIndex).trim();      if (chunkText.length > 0) {        chunks.push({          content: chunkText,          metadata: {            ...metadata,            chunkIndex: chunks.length,            charStart: startIndex,            charEnd: endIndex          }        });      }      startIndex = endIndex - this.chunkOverlap;      if (startIndex < 0) startIndex = 0;    }    return chunks;  }  _findSplitPoint(text, start, end) {    for (const separator of this.separators) {      const lastSepIndex = text.lastIndexOf(separator, end);      if (lastSepIndex > start) {        return lastSepIndex + separator.length;      }    }    return end;  }}export default DocumentChunker;

import DocumentChunker from './chunker.js';const chunker = new DocumentChunker({  chunkSize: 500,  chunkOverlap: 50});const text = `人工智能是计算机科学的一个重要分支...`;const chunks = chunker.splitText(text, {  source: 'ai-intro.md',  category: 'technology'});console.log(chunks.length);console.log(chunks[0]);

// recursive-chunker.js - 递归字符切片器class RecursiveCharacterChunker {  constructor(options = {}) {    this.chunkSize = options.chunkSize || 500;    this.chunkOverlap = options.chunkOverlap || 50;    this.separators = [      '\n\n',      // 段落      '\n',        // 换行      '。',         // 句号      '！',         // 感叹号      '？',         // 问号      '；',         // 分号      '，',         // 逗号      ' ',         // 空格      ''           // 字符级别（兜底）    ];  }  splitText(text, metadata = {}) {    return this._splitTextRecursive(text, this.separators, metadata);  }  _splitTextRecursive(text, separators, metadata, startIndex = 0) {    const chunks = [];    if (text.length <= this.chunkSize) {      if (text.trim()) {        chunks.push({          content: text.trim(),          metadata: {            ...metadata,            charStart: startIndex,            charEnd: startIndex + text.length          }        });      }      return chunks;    }    const separator = separators[0];    const remainingSeparators = separators.slice(1);    if (separator === '') {      for (let i = 0; i < text.length; i += this.chunkSize - this.chunkOverlap) {        const chunk = text.slice(i, i + this.chunkSize);        if (chunk.trim()) {          chunks.push({            content: chunk.trim(),            metadata: {              ...metadata,              charStart: startIndex + i,              charEnd: startIndex + i + chunk.length            }          });        }      }      return chunks;    }    const splits = text.split(separator);    let currentChunk = '';    let currentStart = startIndex;    for (const split of splits) {      const part = split + separator;      if ((currentChunk + part).length <= this.chunkSize) {        currentChunk += part;      } else {        if (currentChunk.trim()) {          chunks.push({            content: currentChunk.trim(),            metadata: {              ...metadata,              charStart: currentStart,              charEnd: currentStart + currentChunk.length            }          });        }        if (part.length > this.chunkSize) {          const subChunks = this._splitTextRecursive(            part,            remainingSeparators,            metadata,            currentStart + currentChunk.length          );          chunks.push(...subChunks);          currentChunk = '';          currentStart = currentStart + currentChunk.length + part.length;        } else {          currentChunk = part;          currentStart = startIndex + text.indexOf(part, currentStart);        }      }    }    if (currentChunk.trim()) {      chunks.push({        content: currentChunk.trim(),        metadata: {          ...metadata,          charStart: currentStart,          charEnd: currentStart + currentChunk.length        }      });    }    return chunks;  }}export default RecursiveCharacterChunker;

// markdown-chunker.js - Markdown专用切片器class MarkdownChunker {  constructor(options = {}) {    this.chunkSize = options.chunkSize || 500;    this.chunkOverlap = options.chunkOverlap || 50;  }  splitText(markdown, metadata = {}) {    const chunks = [];    const sections = this._parseSections(markdown);    for (const section of sections) {      const sectionChunks = this._splitSection(section, metadata);      chunks.push(...sectionChunks);    }    return chunks;  }  _parseSections(markdown) {    const lines = markdown.split('\n');    const sections = [];    let currentSection = { title: '', level: 0, content: [] };    for (const line of lines) {      const headingMatch = line.match(/^(#{1,6})\s+(.+)$/);      if (headingMatch) {        if (currentSection.content.length > 0) {          sections.push({            ...currentSection,            content: currentSection.content.join('\n')          });        }        currentSection = {          title: headingMatch[2],          level: headingMatch[1].length,          content: []        };      } else {        currentSection.content.push(line);      }    }    if (currentSection.content.length > 0) {      sections.push({        ...currentSection,        content: currentSection.content.join('\n')      });    }    return sections;  }  _splitSection(section, baseMetadata) {    const chunks = [];    const header = `${'#'.repeat(section.level)}${section.title}\n\n`;    if (section.content.length <= this.chunkSize) {      chunks.push({        content: header + section.content,        metadata: {          ...baseMetadata,          sectionTitle: section.title,          sectionLevel: section.level        }      });      return chunks;    }    const recursiveChunker = new RecursiveCharacterChunker({      chunkSize: this.chunkSize - header.length,      chunkOverlap: this.chunkOverlap    });    const contentChunks = recursiveChunker.splitText(      section.content,      {        ...baseMetadata,        sectionTitle: section.title,        sectionLevel: section.level      }    );    for (const chunk of contentChunks) {      chunks.push({        content: header + chunk.content,        metadata: chunk.metadata      });    }    return chunks;  }}export default MarkdownChunker;

// hybrid-search.js - 混合检索器class HybridSearcher {  constructor(vectorStore, keywordIndex) {    this.vectorStore = vectorStore;    this.keywordIndex = keywordIndex;  }  async search(query, options = {}) {    const topK = options.topK || 10;    const vectorWeight = options.vectorWeight || 0.7;    const keywordWeight = options.keywordWeight || 0.3;    // 1. 向量检索    const queryEmbedding = await this.generateEmbedding(query);    const vectorResults = await this.vectorStore.query(queryEmbedding, topK * 2);    // 2. 关键词检索    const keywordResults = this.keywordIndex.search(query).slice(0, topK * 2);    // 3. 归一化分数并融合    const mergedResults = this._mergeResults(      vectorResults,      keywordResults,      vectorWeight,      keywordWeight    );    return mergedResults.slice(0, topK);  }  _mergeResults(vectorResults, keywordResults, vWeight, kWeight) {    const scoreMap = new Map();    for (let i = 0; i < vectorResults.ids[0].length; i++) {      const id = vectorResults.ids[0][i];      const distance = vectorResults.distances[0][i];      const score = 1 / (1 + distance);      scoreMap.set(id, {        id,        content: vectorResults.documents[0][i],        metadata: vectorResults.metadatas[0][i],        score: score * vWeight      });    }    for (const result of keywordResults) {      const existing = scoreMap.get(result.ref);      if (existing) {        existing.score += result.score * kWeight;      } else {        scoreMap.set(result.ref, {          id: result.ref,          content: result.content,          metadata: result.metadata,          score: result.score * kWeight        });      }    }    return Array.from(scoreMap.values())      .sort((a, b) => b.score - a.score);  }}export default HybridSearcher;

// reranker.js - LLM重排序器class Reranker {  constructor(llmClient) {    this.llmClient = llmClient;  }  async rerank(query, candidates, topK = 3) {    if (candidates.length <= topK) {      return candidates;    }    const prompt = this._buildRerankPrompt(query, candidates);    const response = await this.llmClient.complete(prompt);    const rankedIndices = this._parseRanking(response);    return rankedIndices      .map(idx => candidates[idx])      .filter(Boolean)      .slice(0, topK);  }  _buildRerankPrompt(query, candidates) {    const candidateTexts = candidates      .map((c, i) => `[${i}] ${c.content}`)      .join('\n\n');    return `请评估以下文档片段与问题的相关性，按相关度从高到低排序。问题：${query}文档片段：${candidateTexts}请按相关度从高到低返回序号，格式如：[2, 0, 1]只返回序号列表，不要其他内容。`;  }  _parseRanking(llmResponse) {    const match = llmResponse.match(/\[([\d,\s]+)\]/);    if (match) {      return match[1]        .split(',')        .map(s => parseInt(s.trim()))        .filter(n => !isNaN(n));    }    return candidates.map((_, i) => i);  }}export default Reranker;

// rag-pipeline.js - 完整RAG流程import RecursiveCharacterChunker from './recursive-chunker.js';import ChromaClient from './chroma-client.js';import HybridSearcher from './hybrid-search.js';class RAGPipeline {  constructor(options) {    this.chunker = new RecursiveCharacterChunker({      chunkSize: options.chunkSize || 500,      chunkOverlap: options.chunkOverlap || 50    });    this.chroma = new ChromaClient(options.collectionName);    this.searcher = null;  }  async indexDocument(content, metadata = {}) {    const chunks = this.chunker.splitText(content, metadata);    const embeddings = await Promise.all(      chunks.map(chunk => this.generateEmbedding(chunk.content))    );    await this.chroma.addDocuments(      chunks.map(c => c.content),      embeddings,      chunks.map((_, i) => `${metadata.source}_${i}`),      chunks.map(c => c.metadata)    );    console.log(`索引完成：${chunks.length}个chunks`);  }  async query(question, options = {}) {    const results = await this.searcher.search(question, {      topK: options.topK || 5    });    const context = results.map(r => r.content).join('\n\n---\n\n');    const prompt = `基于以下资料回答问题，如果资料中没有相关信息，请如实告知。参考资料：${context}问题：${question}回答：`;    const answer = await this.callLLM(prompt);    return {      answer,      sources: results.map(r => ({        content: r.content,        metadata: r.metadata      }))    };  }}export default RAGPipeline;