覆盖范围
我们把语言模型放进人们已经在用的产品：支持、文档、搜索。检索、评估和护栏让质量是你能看见的，而不是指望的。
我们把模型放进人们已经在用的产品。也就是基于你数据的检索、模型被允许调用的工具，以及回答出错时能看见的办法。
Python、FastAPI 和 LangChain 放在与产品其余部分相同的 Node 或 Go API 旁边。合适时用 OpenAI 和 Anthropic；需要自己跑的模型时用 Hugging Face、TensorFlow 和 PyTorch。
只要聊天机器人就够，我们会说。还没准备好进生产，我们也会说。
- LLM 应用、副驾驶和智能体
- 基于你文档和 API 的 RAG
- 评估、追踪和护栏
- 放在产品旁边的 Python 服务
实际怎么做
- 调用你工具的支持和内部助手
- 跨越 PDF、工单和知识库的搜索与问答
- 文档抽取和分类流水线
- OpenAI、Anthropic 以及经 Hugging Face 的开源模型
- 用 Qdrant、Postgres 或 Redis 做向量搜索
- 有帮助时用 LangChain — 没帮助时用普通 Python
- API 不合适时用 TensorFlow 和 PyTorch 做自定义模型
- 任何东西离开 VPC 之前的隐私审查
我们使用的技术
这些是我们用来交付的工具。为产品和后续维护的团队选，不是为幻灯片选。
模型与框架
OpenAI
Anthropic
Hugging Face
LangChain
TensorFlow
PyTorch
Python
FastAPI
数据、搜索与服务
Qdrant
PostgreSQL
Redis
Elasticsearch
Node.js
Go
Docker
AWS
产品界面
React
Next.js
TypeScript
GraphQL
常听到的问题
- 这只是 ChatGPT 套壳吗？
- 不是。检索、评估、护栏以及模型周围的集成才是工作。
- 能处理公司私有数据吗？
- 能。流水线建在你的文档和 API 上。领域有要求时会做隐私审查。
- 用哪些模型和工具？
- 多数产品功能用 OpenAI 和 Anthropic。需要自托管模型时用 Hugging Face、TensorFlow 和 PyTorch。流水线用 LangChain、FastAPI 和 Python。检索用 Qdrant、Postgres 或 Redis。为工作选 — 不为博文选。
