向量数据库选型指南

Maurice | 灵阙学院 2026-02-27

为什么需要专用向量数据库

传统数据库按精确匹配设计（WHERE id = 123），而 AI 应用需要按语义相似度检索（"找到含义最接近的前 10 条记录"）。向量数据库专为高维向量的近似最近邻（ANN）搜索优化，是 RAG、推荐系统、图像检索等 AI 应用的基础设施。

核心索引算法

┌─────────────────────────────────────────────────────────┐
│              ANN 索引算法                                │
├──────────┬──────────────┬──────────────┬───────────────┤
│  HNSW    │   IVF        │   PQ         │  DiskANN      │
│          │              │              │               │
│ 图遍历   │ 聚类倒排     │ 乘积量化     │  磁盘友好图   │
│ 精度最高  │ 可扩展性好   │ 极致压缩     │  超大数据集   │
│ 内存占用大│ 精度中等     │ 精度有损     │  性价比高     │
└──────────┴──────────────┴──────────────┴───────────────┘

算法对比

主流向量数据库全面对比

基本特性

性能与规模

价格（月费估算，100万向量 x 1536维）

选型决策树

你需要向量数据库吗？
│
├── 向量数 < 10万 且只是原型
│   └── Chroma (零配置，pip install 即用)
│
├── 已有 PostgreSQL 且不想加新组件
│   └── pgvector (ALTER TABLE + CREATE INDEX)
│
├── 需要全托管，不想运维
│   ├── 预算充足 → Pinecone (最省心)
│   └── 预算敏感 → Qdrant Cloud 或 Weaviate Cloud
│
├── 需要自部署，对性能要求高
│   ├── 数据量 < 5000万 → Qdrant (Rust，单机性能最强)
│   └── 数据量 > 5000万 → Milvus (分布式，GPU 加速)
│
└── 需要丰富的混合搜索 + 对象存储
    └── Weaviate (GraphQL API + 内置 BM25 + 模块化)

代码示例

Chroma（开发/原型）

import chromadb
from chromadb.utils.embedding_functions import OpenAIEmbeddingFunction

client = chromadb.PersistentClient(path="./chroma_db")

embedding_fn = OpenAIEmbeddingFunction(
    model_name="text-embedding-3-small",
    api_key="sk-..."
)

collection = client.get_or_create_collection(
    name="tax_docs",
    embedding_function=embedding_fn,
    metadata={"hnsw:space": "cosine"},
)

# 插入
collection.add(
    documents=["增值税税率分为13%、9%、6%三档", "小规模纳税人适用3%征收率"],
    metadatas=[{"source": "tax_law", "chapter": 2}, {"source": "tax_law", "chapter": 3}],
    ids=["doc1", "doc2"],
)

# 查询
results = collection.query(query_texts=["增值税税率是多少"], n_results=5)
print(results["documents"])

Qdrant（生产环境）

from qdrant_client import QdrantClient
from qdrant_client.models import Distance, VectorParams, PointStruct, Filter, FieldCondition, MatchValue

client = QdrantClient(url="http://localhost:6333")

# 创建 collection
client.create_collection(
    collection_name="tax_docs",
    vectors_config=VectorParams(size=1536, distance=Distance.COSINE),
)

# 插入（带 payload 过滤字段）
client.upsert(
    collection_name="tax_docs",
    points=[
        PointStruct(id=1, vector=embedding_1, payload={"source": "tax_law", "year": 2025}),
        PointStruct(id=2, vector=embedding_2, payload={"source": "regulation", "year": 2024}),
    ],
)

# 带过滤的向量搜索
results = client.query_points(
    collection_name="tax_docs",
    query=query_vector,
    query_filter=Filter(
        must=[FieldCondition(key="year", match=MatchValue(value=2025))]
    ),
    limit=10,
)

pgvector（PostgreSQL 扩展）

-- 启用扩展
CREATE EXTENSION IF NOT EXISTS vector;

-- 创建表
CREATE TABLE documents (
    id SERIAL PRIMARY KEY,
    content TEXT NOT NULL,
    source VARCHAR(100),
    embedding vector(1536)
);

-- 创建 HNSW 索引
CREATE INDEX ON documents
USING hnsw (embedding vector_cosine_ops)
WITH (m = 16, ef_construction = 128);

-- 相似度搜索（余弦距离）
SELECT id, content, source,
       1 - (embedding <=> $1::vector) AS similarity
FROM documents
WHERE source = 'tax_law'
ORDER BY embedding <=> $1::vector
LIMIT 10;

Embedding 维度对性能的影响

建议：768-1024 维是性价比甜点；除非有极高精度要求，否则不建议用 3072 维。Matryoshka Embedding（如 OpenAI text-embedding-3 系列）支持按需截断维度，灵活平衡精度与成本。

生产部署要点

1. 索引选择：数据量 < 100万用 HNSW；> 100万考虑 IVF+PQ 或 DiskANN
2. 过滤策略：先过滤再搜索（pre-filtering）比先搜索再过滤（post-filtering）更高效
3. 批量写入：避免逐条 upsert，批量 1000-5000 条一次
4. 监控指标：查询延迟 P99、召回率、索引构建时间、内存使用率
5. 备份策略：定期快照；Qdrant 和 Milvus 支持增量备份
6. 多租户隔离：Pinecone 用 Namespace、Qdrant 用 Payload 过滤、Milvus 用 Partition

Maurice | [email protected]