使用 OpenAI 的 Embeddings 接口实现文本和代码的语义搜索

May 6, 2023 · 9 min read

本文主要介绍 OpenAI 的 Embeddings (嵌入) 接口，该接口可以轻松执行自然语言和代码任务，如语义搜索、聚类、主题建模和分类。

Embeddings 是转换为数字序列的概念的数字表示，使计算机可以轻松理解这些概念之间的关系。Embeddings 在 3 个标准基准测试中优于顶级模型，其中代码搜索的改进相对提升了 20%。

Embeddings 对于处理自然语言和代码非常有用，因为它们可以很容易地被其他机器学习模型和算法（如聚类或搜索）使用和比较。

Vector

在 Embeddings 中，两组相似的数值在语义上也是相似的。例如，“犬类同伴说”的嵌入向量将更类似于“woof”的嵌入向量，而不是“meow”的嵌入向量。

新的接口使用神经网络模型（GPT-3 的后代）将文本和代码映射到矢量数据上 - 将它们“嵌入”在高维空间中。每个维度捕获输入的某些方面。

OpenAI API 中的新 /embeddings 端点提供包含几行代码的文本和代码嵌入：

import openai
response = openai.Embedding.create(
input="canine companions say",
engine="text-similarity-davinci-001")

OpenAI 发布了三个系列的嵌入模型，每个系列都经过调整以在不同的功能上表现良好，包括：文本相似性、文本搜索和代码搜索。这些模型将文本或代码作为输入，并返回嵌入向量。

	模型	使用场景
文本相似度: 捕获文本片段之间的语义相似性.	text-similarity-{ada, babbage, curie, davinci}-001	聚类、回归、异常检测、可视化
文本搜索：文档的语义信息检索。	text-search-{ada, babbage, curie, davinci}-{query, doc}-001	搜索, 上下文相关性, 信息检索
代码搜索：使用自然语言查询查找相关代码。	code-search-{ada, babbage}-{code, text}-001	代码搜索和相关性

文本相似性模型

文本相似性模型提供用于捕获文本片段的语义相似性。这些模型可用于许多任务，包括聚类分析、数据可视化和分类。

以下交互式可视化显示了来自 DBpedia 数据集的文本示例的嵌入：

clusting

来自 text-similarity-babbage-001 模型，使用的是 DBpedia 数据集。我们从涵盖 5 个类别的数据集中随机选择了 100 个样本，并通过 /embeddings 端点计算嵌入。不同的类别在嵌入空间中显示为 5 个清晰的簇。为了可视化嵌入空间，我们使用 PCA 将嵌入维度从 2048 减少到 3。有关如何在 3D 维度中可视化嵌入空间的代码，请参阅此处。

要比较两段文本的相似性，您只需在文本嵌入上使用点积即可。结果是 –1 和 1 之间的“相似性得分”，有时称为“余弦相似性”，其中数字越大意味着相似性越大。在大多数应用中，可以预先计算嵌入，然后非常快速地进行点积比较。

import openai, numpy as np

resp = openai.Embedding.create(
input=["feline friends say", "meow"],
engine="text-similarity-davinci-001")

embedding_a = resp['data'][0]['embedding']
embedding_b = resp['data'][1]['embedding']

similarity_score = np.dot(embedding_a, embedding_b)

Embeddings 的一个常见用途是将它们用作机器学习任务（如分类）中的特征。在机器学习文献中，当使用线性分类器时，这种分类任务称为“线性探针”。我们的文本相似性模型在 SentEval 中实现了线性探针分类的最新结果（Conneau et al.，2018），这是评估嵌入质量的常用基准。

7 个数据集的线性探针分类

linear-probe

文本搜索模型

文本搜索模型提供嵌入，支持大规模搜索任务，例如在给定文本查询的文档集合中查找相关文档。文档和查询的嵌入分别生成，然后使用余弦相似性来比较查询与每个文档之间的相似性。

基于嵌入的搜索可以比经典关键字搜索中使用的单词重叠技术更好地概括，因为它捕获文本的语义含义，并且对确切的短语或单词不太敏感。我们评估了文本搜索模型在 BEIR (Thakur, et al. 2021)搜索评估套件上的性能，并获得了比以前方法更好的搜索性能。我们的文本搜索指南提供了有关将嵌入用于搜索任务的更多详细信息。

BEIR 中 11 个搜索任务的平均准确率

BEIR

代码搜索模型

代码搜索模型为代码搜索任务提供代码和文本嵌入。给定一组代码块，任务是查找自然语言查询的相关代码块。我们在 CodeSearchNet（Husian et al., 2019）评估套件上评估代码搜索模型，其中我们的嵌入比以前的方法获得了明显更好的结果。可以通过代码搜索指南来了解使用嵌入进行代码搜索的方法。

超过 6 种编程语言的平均准确度

code search

嵌入 API 的实际应用示例

JetBrains Research

JetBrains Research 的 Astroparticle Physics Lab 分析了 The Astronomer’s Telegram 和 NASA 的 GCN Circulars 等数据，这些报告包含传统算法无法解析的天文事件。

在 OpenAI 嵌入这些天文报告的支持下，研究人员现在能够在多个数据库和出版物中搜索诸如“蟹状脉冲星爆发”之类的事件。嵌入还通过 k 均值聚类在数据源分类上实现了 99.85% 的准确率。

FineTune Learning

FineTune Learning 是一家为学习构建人机混合解决方案的公司，例如帮助学生达到学术标准的自适应学习循环。

OpenAI 的嵌入显着改进了根据学习目标查找教科书内容的任务。 OpenAI 的文本搜索居里嵌入模型达到了 89.1% 的前 5 准确率，优于之前的方法，如 Sentence-BERT (64.5%)。虽然人类专家仍然更好，但 FineTune 团队现在能够在几秒钟内标记整本教科书，而专家则需要数小时。

FineTune

Fabius

Fabius 帮助公司将客户对话转化为结构化的内容，为规划和优先级排序提供信息。 OpenAI 的嵌入允许公司更轻松地查找和标记具有功能请求的客户通话记录。

例如，客户可能会使用“自动化”或“易于使用”等词来要求更好的自助服务平台。此前，Fabius 曾使用模糊关键字搜索来尝试为那些带有自助服务平台标签的成绩单打上标签。借助 OpenAI 的嵌入，他们现在能够找到 2 倍以上的一般示例，以及 6 到 10 倍的具有抽象用例的特征示例，这些用例没有客户可能使用的明确关键字。

所有 API 客户都可以开始使用嵌入文档，以便在他们的应用程序中使用嵌入。

本文译自 https://openai.com/blog/introducing-text-and-code-embeddings

文本相似性模型​

文本搜索模型​

代码搜索模型​

嵌入 API 的实际应用示例​

JetBrains Research​

FineTune Learning​

Fabius​