从零开始构建 AI 搜索技术栈——你实际需要哪些组件？

我已经多次搭建过这类技术栈。以下是我用的框架：

核心架构（RAG 模式）：

用户查询
    ↓
查询嵌入（嵌入模型）
    ↓
向量检索（向量数据库）
    ↓
候选获取
    ↓
重排序（cross-encoder）
    ↓
上下文拼装
    ↓
大模型生成
    ↓
响应

针对你规模（50 万文档）的组件推荐：

预算现实考量：

50 万文档时，你需要：

• 向量数据库：托管每月约 $100-500
• 嵌入成本：一次性对语料嵌入约 $50-100
• 大模型费用：按用量计，需预留 $500-2000/月

两名工程师，托管服务绝对值得。

我们上线 AI 搜索已经 18 个月了。以下是我们曾经的错误和经验：

犯过的错误：

1. 自建向量数据库——基础设施上浪费了 3 个月，应该一开始就用托管服务。

2. 用了便宜的嵌入模型——每月省了 $20，却损失了大量检索质量。高质量嵌入非常值得。

3. 最初没有混合搜索——纯向量检索漏掉了精确匹配查询。混合（向量+BM25）后解决了。

4. 低估了监控需求——检索质量指标看不到，调试非常困难。

我们现在的架构：

• Pinecone（向量）+ Elasticsearch（BM25）混合搜索
• OpenAI 嵌入（ada-002，准备升级到 3）
• Cohere 重排序
• Claude 生成
• 自建监控面板跟踪检索指标

延迟分解：

• 嵌入：30ms
• 混合检索：40ms
• 重排序：60ms
• 大模型：800ms（流式输出优化体验）

总感知延迟没问题，因为我们用大模型流式输出。

补充一下经常被忽视的数据管道视角：

文档处理非常关键：

在数据进向量数据库之前，你需要：

1. 分块策略——如何拆分文档？
2. 元数据提取——抓取哪些属性？
3. 清洗流程——去除模板、规范文本
4. 更新机制——新文档/变更文档如何流转？

分块建议：

易踩的坑：

很多人花几周选向量数据库，几天就做完分块。其实应该反过来。分块做不好，无论数据库多好，检索都很差。

基于你的需求的向量数据库对比：

50 万文档 + 2 人团队 + 200ms 以内：

Pinecone：

• 优点：全托管，文档齐全，价格可预期
• 缺点：厂商锁定，自定义能力有限
• 适配：非常适合你的场景

Qdrant：

• 优点：性能优秀，混合检索支持好，可托管可自建
• 缺点：托管服务较新
• 适配：如果考虑混合检索，是不错选择

Weaviate：

• 优点：混合检索强，内置向量化
• 缺点：部署复杂
• 适配：更适合大团队

Milvus：

• 优点：最可扩展，完全开源
• 缺点：需要基础设施经验
• 适配：对你来说太重了，建议跳过

我的建议：

先用 Pinecone，虽然有点“无聊”，但很靠谱。等你真正了解需求后再评估其他方案也不迟。

不要忘了 MLOps 和可观测性：

需要追踪的内容：

1. 检索指标

   • Precision@K（前 K 个结果相关吗？）
   • Recall（能找到所有相关文档吗？）
   • 延迟分布

2. 生成指标

   • 答复相关性（答案是否匹配查询？）
   • 事实依赖性（答案有上下文支撑吗？）
   • 臆造率

3. 系统指标

   • 查询延迟 p50/p95/p99
   • 错误率
   • 单次查询成本

工具推荐：

• Weights & Biases 做实验追踪
• Datadog/Grafana 做系统监控
• LangSmith 做大模型可观测性
• 自建看板监控业务指标

没人告诉你的事：

你会花比搭建系统更多的时间在监控和调试上。所以一开始就要做好准备。

创业实际情况提醒：

如果你是为商业而非研究构建，建议考虑：

自研 vs 平台：

• 自己开发 RAG：2-3 个月开发周期
• 用现有 RAG 平台：几天即可上线

现成平台举例：

• LlamaIndex + 托管向量数据库
• Vectara（全托管 RAG 服务）
• Cohere RAG 接口

何时自研：

• 需要极致定制
• 数据敏感有要求
• 规模经济合理
• 技术差异化是核心

何时用平台：

• 上线速度关键
• 小团队
• RAG 不是你的产品本身，只是赋能

大多数商业场景，优先用平台，等规模遇到瓶颈后再考虑自研。

大家没提到的安全注意事项：

数据问题：

1. 向外部嵌入 API 发送了哪些数据？
2. 向大模型服务商传了哪些信息？
3. 向量数据库部署在哪里？

敏感数据的选项：

• 自建嵌入模型（Sentence Transformers）
• 自建向量数据库（Qdrant、Milvus）
• 本地部署大模型（Llama、Mixtral）
• VPC 内的托管服务

合规检查清单：

• 满足数据驻留要求
• 静态和传输中加密
• 访问控制与审计日志
• 数据保留政策
• PII 处理机制

不要假设托管服务都能满足合规，必须主动核查。

这个讨论串太有价值了。我的最新方案如下：

架构决策：

为追求上线速度和团队规模，选择托管服务：

• Pinecone 存储向量
• OpenAI text-embedding-3 生成嵌入
• Cohere 重排序
• Claude 生成
• LangChain 做编排

核心体会：

1. 分块策略和向量数据库同等重要 —— 这部分要投入精力
2. 重排序性价比很高 —— 一开始就上
3. 混合检索提高覆盖率 —— 会做向量+BM25
4. 监控从第一天做起 —— 可观测性内建而不是后补
5. 提前做安全审查 —— 上线前确保合规

时间规划：

• 第 1-2 周：数据管道与分块
• 第 3-4 周：核心 RAG 实现
• 第 5 周：监控和优化
• 第 6 周：安全审查与上线准备

感谢大家的详细分享，这个社区太宝贵了。