AI时代，如何用好大模型是当前各行各业瞩目的焦点。向量数据库作为大模型“记忆体”，不仅能够为其提供数据存储，而且能通过数据检索、分析让大模型进行知识增强，成为生成式AI应用开发新范式的重要组成部分。
用图片搜索图片或者文本搜索文本时，在数据库中存储和对比的并不是图片和视频片段，而是通过深度学习等算法将其提取出来的“特征”，“特征”提取的过程称为Embedding，提取出的“特征”用数学中的向量来表示。向量化的目的是为了通过向量相似来进行非结构化数据的检索，向量化后的数据才能够被AI模型更好的理解使用。向量数据库就是用于生产、存储、索引和分析来自机器学习模型产生的海量向量数据的数据库系统。其典型应用场景比如：基于大语言模型的智能客服、基于企业知识库的问答以及Chatdoc等工具应用。
火山引擎向量数据库技术演进之路
● 存算分离的分布式架构搭建
在抖音集团内部，早期的向量化检索引擎是围绕搜索、推荐、广告业务来构建的，由于这些业务天然具有极大的数据规模，因此从一开始，就需要思考如何在向量索引中支持百亿数据的检索需求，比如图虫拥有几亿图片素材，数量规模早已超出单机内存的极限，举个例子，对于1亿条128维的Float向量，不考虑任何辅助结构，就需要100000000* 128 * 4 bytes 也就是约48GB的服务器内存。
研发团队设计了一套存算分离的分布式系统架构，来进行向量数据的分片和分布式编排，通过向量存储、批式构建和实时在线检索，解决一份向量多个索引、支持多个场景的问题，同时，还能够节省索引构建资源，加快索引构建，使在线检索服务稳定性得到明显提升。对于用户来讲，在抖音上搜索内容则会又快又准。
本文链接：http://www.28at.com/showinfo-45-1997-0.html抖音大规模实践，火山引擎向量数据库对外开放服务
声明：本网页内容旨在传播知识，不代表本站观点，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
