软件工程师在这个世界上占据着令人兴奋的地位。无论技术堆栈或行业如何，我们的任务都是解决直接有助于实现雇主目标的问题。作为奖励，我们可以使用技术来缓解我们遇到的任何挑战。 对于此示例，我想重点介绍  （Postgres 的开源矢量相似性搜索）如何用于识别企业数据中存在的数据相似性。 pgvector 一个简单的用例 举一个简单的例子，我们假设营销部门需要为他们计划发起的活动提供帮助。目标是覆盖与软件行业密切相关的行业中的所有 帐户。 Salesforce 最后，他们希望重点关注前三个最相似行业的账户，以便将来能够使用此工具来查找其他行业的相似之处。如果可能的话，他们希望能够选择提供所需数量的匹配行业，而不是总是返回前三名。 高层设计 该用例以执行相似性搜索为中心。虽然可以手动完成此练习，但由于已经为多种语言创建了预先训练的嵌入，因此我想到了 工具。词嵌入（也称为向量）是包含句法和语义信息的词的数字表示。通过将单词表示为向量，我们可以从数学上确定哪些单词在语义上与其他单词“更接近”。 Wikipedia2Vec 在我们的示例中，我们还可以编写一个简单的 Python 程序来为 Salesforce 中配置的每个行业创建词向量。   扩展需要 Postgres 数据库。但是，我们示例的企业数据当前驻留在 Salesforce 中。幸运的是，  提供了一种将 Salesforce 帐户与 Heroku Postgres 同步的简单方法，将其存储在名为 的表中。然后，我们将有另一个名为 的表，其中包含 Salesforce 中的每个行业（作为 VARCHAR 键）及其关联的词向量。 pgvector Heroku Connect salesforce.account salesforce.industries 借助 Postgres 中的 Salesforce 数据和词向量，我们将使用 Java 和 Spring Boot 创建 RESTful API。该服务将执行必要的查询并以 JSON 格式返回结果。 我们可以这样说明该解决方案的高级视图：  源代码将驻留在 GitLab 中。发出 命令将触发 Heroku 中的部署，引入营销团队可以轻松使用的 RESTful API。 git push heroku 构建解决方案 高层设计到位后，我们就可以开始构建解决方案了。使用我的 Salesforce 登录名，我能够导航到 屏幕以查看此练习的数据。以下是企业数据首页的示例：  “帐户” 创建 Heroku 应用程序 为此，我计划使用 Heroku 来解决营销团队的请求。我登录到 Heroku 帐户并使用 按钮建立一个名为 的新应用程序：  “创建新应用程序” similarity-search-sfdc 创建应用程序后，我导航到 选项卡以查找 Heroku Postgres 插件。我在附加组件搜索字段中输入“Postgres”。  “资源” 从列表中选择 后，我选择了 计划，但 。  Heroku Postgres Standard 0 pgvector 可在运行 PostgreSQL 15 或 beta Essential 层数据库的标准层（或更高）数据库产品上使用 当我确认该附加组件时，Heroku 生成并提供了 连接字符串。我在应用程序的“设置 选项卡的 部分中找到了它。我使用此信息连接到我的数据库并启用 pgvector 扩展，如下所示： DATABASE_URL ” “配置变量”   CREATE EXTENSION vector; 接下来，我搜索并找到了 插件。我知道这将为我提供一种连接到 Salesforce 中的企业数据的简单方法。  Heroku Connect 对于本练习，免费的 计划效果很好。  演示版 此时，  应用程序的 选项卡如下所示：  similarity-search-sfdc “资源” 我按照“  ”说明将我的 Salesforce 帐户链接到 Heroku Connect。然后，我选择了 对象进行同步。完成后，我能够在 Heroku Connect 和底层 Postgres 数据库中看到相同的 Salesforce 帐户数据。  设置 Heroku Connect 帐户 从 SQL 角度来看，我所做的结果是创建了一个具有以下设计的 表： salesforce.account   create table salesforce.account ( createddate timestamp, isdeleted boolean, name varchar(255), systemmodstamp timestamp, accountnumber varchar(40), industry varchar(255), sfid varchar(18), id serial primary key, _hc_lastop varchar(32), _hc_err text ); 生成向量 为了使相似性搜索按预期发挥作用，我需要为每个 Salesforce 帐户行业生成词向量： 服饰 银行业 生物技术 建造 教育 电子产品 工程 娱乐 食品与饮料 金融 政府 卫生保健 款待 保险 媒体 不以营利为目的 其他 娱乐 零售 船运 技术 电信 运输 公用事业 由于主要用例表明需要找到软件行业的相似之处，因此我们也需要为该行业生成一个词向量。 为了使本练习保持简单，我使用 Python 3.9 和一个名为 的文件手动执行此任务，如下所示： embed.py   from wikipedia2vec import Wikipedia2Vec wiki2vec = Wikipedia2Vec.load('enwiki_20180420_100d.pkl') print(wiki2vec.get_word_vector('software').tolist())   方法需要行业的小写表示。 请注意 – get_word_vector() 运行 python  为 单词生成以下词向量： embed.py software   [-0.40402618050575256, 0.5711150765419006, -0.7885153293609619, -0.15960034728050232, -0.5692323446273804, 0.005377458408474922, -0.1315757781267166, -0.16840921342372894, 0.6626015305519104, -0.26056772470474243, 0.3681095242500305, -0.453583300113678, 0.004738557618111372, -0.4111144244670868, -0.1817493587732315, -0.9268549680709839, 0.07973367720842361, -0.17835664749145508, -0.2949991524219513, -0.5533796548843384, 0.04348105192184448, -0.028855713084340096, -0.13867013156414032, -0.6649054884910583, 0.03129105269908905, -0.24817068874835968, 0.05968991294503212, -0.24743635952472687, 0.20582349598407745, 0.6240783929824829, 0.3214546740055084, -0.14210252463817596, 0.3178422152996063, 0.7693028450012207, 0.2426985204219818, -0.6515568494796753, -0.2868216037750244, 0.3189859390258789, 0.5168254971504211, 0.11008890718221664, 0.3537853956222534, -0.713259220123291, -0.4132286608219147, -0.026366405189037323, 0.003034653142094612, -0.5275223851203918, -0.018167126923799515, 0.23878540098667145, -0.6077089905738831, 0.5368344187736511, -0.1210874393582344, 0.26415619254112244, -0.3066694438457489, 0.1471938043832779, 0.04954215884208679, 0.2045321762561798, 0.1391817331314087, 0.5286830067634583, 0.5764685273170471, 0.1882934868335724, -0.30167853832244873, -0.2122340053319931, -0.45651525259017944, -0.016777794808149338, 0.45624101161956787, -0.0438646525144577, -0.992512047290802, -0.3771328926086426, 0.04916151612997055, -0.5830298066139221, -0.01255014631897211, 0.21600870788097382, -0.18419665098190308, 0.1754663586616516, -0.1499166339635849, -0.1916201263666153, -0.22884036600589752, 0.17280352115631104, 0.25274306535720825, 0.3511175513267517, -0.20270302891731262, -0.6383468508720398, 0.43260180950164795, -0.21136239171028137, -0.05920517444610596, 0.7145522832870483, 0.7626600861549377, -0.5473887920379639, 0.4523043632507324, -0.1723199188709259, -0.10209759324789047, -0.5577948093414307, -0.10156919807195663, 0.31126976013183594, 0.3604489266872406, -0.13295558094978333, 0.2473849356174469, 0.278846800327301, -0.28618067502975464, 0.00527254119515419] 为行业创建表 为了存储词向量，我们需要使用以下 SQL 命令向 Postgres 数据库添加 表： industries   create table salesforce.industries ( name varchar not null constraint industries_pk primary key, embeddings vector(100) not null ); 创建 表后，我们将插入每个生成的词向量。我们使用类似于以下的 SQL 语句来执行此操作： industries   INSERT INTO salesforce.industries (name, embeddings) VALUES ('Software','[-0.40402618050575256, 0.5711150765419006, -0.7885153293609619, -0.15960034728050232, -0.5692323446273804, 0.005377458408474922, -0.1315757781267166, -0.16840921342372894, 0.6626015305519104, -0.26056772470474243, 0.3681095242500305, -0.453583300113678, 0.004738557618111372, -0.4111144244670868, -0.1817493587732315, -0.9268549680709839, 0.07973367720842361, -0.17835664749145508, -0.2949991524219513, -0.5533796548843384, 0.04348105192184448, -0.028855713084340096, -0.13867013156414032, -0.6649054884910583, 0.03129105269908905, -0.24817068874835968, 0.05968991294503212, -0.24743635952472687, 0.20582349598407745, 0.6240783929824829, 0.3214546740055084, -0.14210252463817596, 0.3178422152996063, 0.7693028450012207, 0.2426985204219818, -0.6515568494796753, -0.2868216037750244, 0.3189859390258789, 0.5168254971504211, 0.11008890718221664, 0.3537853956222534, -0.713259220123291, -0.4132286608219147, -0.026366405189037323, 0.003034653142094612, -0.5275223851203918, -0.018167126923799515, 0.23878540098667145, -0.6077089905738831, 0.5368344187736511, -0.1210874393582344, 0.26415619254112244, -0.3066694438457489, 0.1471938043832779, 0.04954215884208679, 0.2045321762561798, 0.1391817331314087, 0.5286830067634583, 0.5764685273170471, 0.1882934868335724, -0.30167853832244873, -0.2122340053319931, -0.45651525259017944, -0.016777794808149338, 0.45624101161956787, -0.0438646525144577, -0.992512047290802, -0.3771328926086426, 0.04916151612997055, -0.5830298066139221, -0.01255014631897211, 0.21600870788097382, -0.18419665098190308, 0.1754663586616516, -0.1499166339635849, -0.1916201263666153, -0.22884036600589752, 0.17280352115631104, 0.25274306535720825, 0.3511175513267517, -0.20270302891731262, -0.6383468508720398, 0.43260180950164795, -0.21136239171028137, -0.05920517444610596, 0.7145522832870483, 0.7626600861549377, -0.5473887920379639, 0.4523043632507324, -0.1723199188709259, -0.10209759324789047, -0.5577948093414307, -0.10156919807195663, 0.31126976013183594, 0.3604489266872406, -0.13295558094978333, 0.2473849356174469, 0.278846800327301, -0.28618067502975464, 0.00527254119515419] ');   需要与大写的行业名称（软件）相匹配。 请注意 - 虽然我们使用软件行业（软件）的小写表示创建了词向量，但 Industries.name industries.name 一旦所有生成的词向量都添加到 表中，我们就可以将重点转向引入 RESTful API。 industries 引入Spring Boot服务 这就是我作为软件工程师的热情爆发的时刻，因为我已经准备好了解决手头挑战的一切。 接下来，使用 Spring Boot 3.2.2 和 Java (temurin) 17，我在 IntelliJ IDEA 中创建了 项目，并具有以下 Maven 依赖项： similarity-search-sfdc   <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-actuator</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-jpa</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <dependency> <groupId>com.pgvector</groupId> <artifactId>pgvector</artifactId> <version>0.1.4</version> </dependency> <dependency> <groupId>org.postgresql</groupId> <artifactId>postgresql</artifactId> <scope>runtime</scope> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-configuration-processor</artifactId> <optional>true</optional> </dependency> <dependency> <groupId>org.projectlombok</groupId> <artifactId>lombok</artifactId> <optional>true</optional> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-test</artifactId> <scope>test</scope> </dependency> </dependencies> 我为 对象和  （嵌入）对象创建了简化的实体，它们与之前创建的 Postgres 数据库表对齐。 Account Industry   @AllArgsConstructor @NoArgsConstructor @Data @Entity @Table(name = "account", schema = "salesforce") public class Account { @Id @Column(name = "sfid") private String id; private String name; private String industry; } @AllArgsConstructor @NoArgsConstructor @Data @Entity @Table(name = "industries", schema = "salesforce") public class Industry { @Id private String name; } 使用 JpaRepository 接口，我添加了以下扩展，以便轻松访问 Postgres 表：   public interface AccountsRepository extends JpaRepository<Account, String> { @Query(nativeQuery = true, value = "SELECT sfid, name, industry " + "FROM salesforce.account " + "WHERE industry IN (SELECT name " + " FROM salesforce.industries " + " WHERE name != :industry " + " ORDER BY embeddings <-> (SELECT embeddings FROM salesforce.industries WHERE name = :industry) " + " LIMIT :limit)" + "ORDER BY name") Set<Account> findSimilaritiesForIndustry(String industry, int limit); } public interface IndustriesRepository extends JpaRepository<Industry, String> { } 请注意，  方法是解决此用例的所有繁重工作的地方。该方法将接受以下参数： findSimilaritiesForIndustry()    ：寻找相似之处的行业 industry  ：查询帐户时要搜索的行业相似性的最大数量 limit 请注意上面查询中的欧几里得距离运算符 (<->)。这是扩展的内置 ，用于执行相似性搜索。 运算符 使用原始的“软件”行业用例并将限制设置为三个最接近的行业，执行的查询将如下所示：   SELECT sfid, name, industry FROM salesforce.account WHERE industry IN (SELECT name FROM salesforce.industries WHERE name != 'Software' ORDER BY embeddings <-> (SELECT embeddings FROM salesforce.industries WHERE name = 'Software') LIMIT 3) ORDER BY name; 从那里，我构建了 类来与 JPA 存储库交互： AccountsService   @RequiredArgsConstructor @Service public class AccountsService { private final AccountsRepository accountsRepository; private final IndustriesRepository industriesRepository; public Set<Account> getAccountsBySimilarIndustry(String industry, int limit) throws Exception { List<Industry> industries = industriesRepository.findAll(); if (industries .stream() .map(Industry::getName) .anyMatch(industry::equals)) { return accountsRepository .findSimilaritiesForIndustry(industry, limit); } else { throw new Exception( "Could not locate '" + industry + "' industry"); } } } 最后，我让 类提供 RESTful 入口点并连接到  ： AccountsController AccountsService   @RequiredArgsConstructor @RestController @RequestMapping(value = "/accounts") public class AccountsController { private final AccountsService accountsService; @GetMapping(value = "/similarities") public ResponseEntity<Set<Account>> getAccountsBySimilarIndustry(@RequestParam String industry, @RequestParam int limit) { try { return new ResponseEntity<>( accountsService .getAccountsBySimilarIndustry(industry, limit), HttpStatus.OK); } catch (Exception e) { return new ResponseEntity<>(HttpStatus.NOT_FOUND); } } } 部署到 Heroku 准备好 Spring Boot 服务后，我将以下 添加到项目中，让 Heroku 了解更多有关我们服务的信息： Procfile   web: java $JAVA_OPTS -Dserver.port=$PORT -jar target/*.jar 为了安全起见，我添加了 文件来指定所需的 Java 和 Maven 版本： system.properties   java.runtime.version=17 maven.version=3.9.5 使用 Heroku CLI，我将一个远程添加到我的 GitLab 存储库，以便为 Heroku 平台提供 服务： similarity-search-sfdc   heroku git:remote -a similarity-search-sfdc 我还通过以下命令设置 服务的构建包类型： similarity-search-sfdc   heroku buildpacks:set https://github.com/heroku/heroku-buildpack-java 最后，我使用以下命令将 服务部署到 Heroku： similarity-search-sfdc   git push heroku 现在，  应用程序的 卡出现，如下所示：  similarity-search-sfdc “资源”选项 相似性搜索的实际应用 在 RESTful API 运行的情况下，我发出以下 cURL 命令来定位最接近 行业的前三个 Salesforce 行业（以及关联帐户）： 软件   curl --location 'https://HEROKU-APP-ROOT-URL/accounts/similarities?industry=Software&limit=3'  RESTful API 返回 响应状态以及以下有效负载： 200 OK HTTP   [ { "id": "001Kd00001bsP80IAE", "name": "CleanSlate Technology Group", "industry": "Technology" }, { "id": "001Kd00001bsPBFIA2", "name": "CMG Worldwide", "industry": "Media" }, { "id": "001Kd00001bsP8AIAU", "name": "Dev Spotlight", "industry": "Technology" }, { "id": "001Kd00001bsP8hIAE", "name": "Egghead", "industry": "Electronics" }, { "id": "001Kd00001bsP85IAE", "name": "Marqeta", "industry": "Technology" } ] 因此，在此示例中， 、 和 行业是与 行业最接近的行业。 技术 媒体 电子 软件 现在，营销部门有了一份可以联系以开展下一次营销活动的客户列表。 结论 多年前，我花在 多人视频游戏上的时间比我愿意承认的还要多。这是 2012 年一次非常有趣的活动的屏幕截图：  《军团要塞 2》 那些熟悉我生活这方面的人可能会告诉你，我默认选择的玩家职业是士兵。这是因为士兵拥有健康、移动、速度和火力的最佳平衡。 我觉得软件工程师就是现实世界中的“士兵阶层”，因为我们可以适应任何情况，专注于高效地提供满足期望的解决方案。 几年来，我一直专注于以下使命宣言，我认为它可以适用于任何 IT 专业人员：  “将时间集中在提供可扩展知识产权价值的特性/功能上。利用框架、产品和服务来完成其他一切。”  - J.维斯特 在本文的示例中，我们能够利用 Heroku Connect 将企业数据与 Postgres 数据库同步。安装 pgvector 扩展后，我们从这些 Salesforce 帐户中为每个独特的行业创建了词向量。最后，我们引入了 Spring Boot 服务，该服务简化了查找行业与另一个行业最接近的 Salesforce 帐户的过程。 我们利用现有的开源技术、添加的小型 Spring Boot 服务和 Heroku PaaS 快速解决了这个用例——完全遵循我的使命宣言。我无法想象如果没有这些框架、产品和服务，需要多少时间。 如果您有兴趣，可以在 GitLab 上找到本文的原始源代码：   https://gitlab.com/johnjvester/similarity-search-sfdc 祝你有美好的一天！

This story contains new, firsthand information uncovered by the writer.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

使用 pgvector 查找企业数据中的相似之处

About Author

註釋

標籤

这篇文章刊登在

Related Stories

成功云迁移的完整指南：策略和最佳实践

架构师指南：构建 AI/ML 数据湖参考架构

从论坛到信息流：社交媒体算法如何塑造数字互动

如何将您的工作流程提高 10 倍：17 个必备应用程序

成功云迁移的完整指南：策略和最佳实践

架构师指南：构建 AI/ML 数据湖参考架构

从论坛到信息流：社交媒体算法如何塑造数字互动

如何将您的工作流程提高 10 倍：17 个必备应用程序

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps