AI Studio星河社区生产力实践:基于文心一言快速搭建知识库问答

2023-09-15 12:06:38

还在寻找基于文心一言搭建本地知识库问答的方案吗?AI Studio星河社区带你实战演练(支持私有化部署)!

相信对于大语言模型(LLM)有所涉猎的朋友,对于“老网红”知识库问答不会陌生。自从大模型爆火后,开发者都希望尽快进行开发实战,企业都希望尽快在产品中集成LLM的能力,结合业务快速落地,那最直接的方式就是构建知识库问答。本项目由AI Studio星河社区开发者「SWHL」创作并发布体验应用,应用中使用AI Studio SDK(文末获取文档)提供的能力完成文心一言与向量检索增强的结合,与此同时,开发者「SWHL」提供的开源项目还支持本地私有化部署的版本,助力个人和企业完成知识问答系统搭建。

项目亮点

1、除大语言模型接口需要单独部署外,其他部分均可使用CPU

2、整个项目模块化,不依赖lanchain库,各个部分都可以轻松替换,代码简单易懂

3、WebUI向量检索Log可视化

4、支持接入多个LLM模型

5、支持本地私有化部署

应用体验

图片

应用参数解读:

  • max_length:生成结果时的最大token数
  • top_p:用于控制模型生成文本时,选择下一个单词的概率分布的范围。具体来说,当使用top_p参数时,模型将考虑累积概率分布中概率之和最大的最小集合中的所有单词,并在其中选择下一个单词
  • temperature:用于调整模型生成文本时的创造性程度,较高的temperature将使模型更有可能生成新颖、独特的文本,而较低的温度则更有可能生成常见或常规的文本
  • Search Top_K:从文档向量数据库中召回的前K个相关内容,用于和问题拼接为完整内容送到大模型中,可选值有5,10, 15

工作流程

1、解析文档并存入数据库

图片

2、检索并回答问题

图片

搭建知识库问答应用

  • Fork该项目

图片

  • 启动进入线上开发环境

选择CPU环境即可
图片

AI Studio星河社区每周均可免费获得一定数量算力

  • 查看文件进行开发

图片

  • 本地私有化部署

创作者已将该项目进行开源,有私有化部署需求的可移步至该项目Github,获取代码文件进行部署。项目作者:SWHL,RapidAI开源组织成员,日常研究方向为大模型落地和CV相关,包括OCR和目标检测等方向。

  1. 作者主页

https://github.com/SWHL

  1. RapidAI开源组织主页

https://github.com/RapidAI

  1. 该项目Github

https://github.com/RapidAI/Knowledge-QA-LLM

AI Studio星河社区已上线SDK开发工具,支持文心一言、Embedding等能力的高效使用,搜索飞桨AI Studio小程序查看SDK开发工具使用文档。

更多推荐

Go 字符串处理

一、字符串处理函数我们从文件中将数据读取出来以后,很多情况下并不是直接将数据打印出来,而是要做相应的处理。例如:去掉空格等一些特殊的符号,对一些内容进行替换等。这里就涉及到对一些字符串的处理。在对字符串进行处理时,需要借助于包“strings”下面讲解一下常用的字符串处理函数:1.ContainsfuncContain

ChatGLM 实现一个BERT

前言本文包含大量源码和讲解,通过段落和横线分割了各个模块,同时网站配备了侧边栏,帮助大家在各个小节中快速跳转,希望大家阅读完能对BERT有深刻的了解。同时建议通过pycharm、vscode等工具对bert源码进行单步调试,调试到对应的模块再对比看本章节的讲解。涉及到的jupyter可以在代码库:篇章3-编写一个Tra

电脑不在身边能远程控制吗?

​什么是无人值守远程访问?无人值守远程访问是指对方电脑面前没有授权连接的人,可以直接远程访问对方的电脑。那么,电脑不在身边能远程控制它吗?答案当然是可以的。您可以使用远程桌面软件,在电脑无人值守的情况下远程访问它。无人值守远程访问有什么好处?无人值守的远程访问为企业提供了许多优势,如提高工作效率和安全性,员工通过无人值

用户与权限管理

文章目录用户与权限管理1.用户管理1.1MYSQL用户1.2登录MySQL服务器1.3创建用户1.4修改用户1.5删除用户1.6修改密码1.修改当前用户密码2.修改其他用户密码1.7MYSQL8密码管理用户与权限管理1.用户管理1.1MYSQL用户MYSQL用户分为普通用户和root用户root用户:超级管理员,拥有所

安防监控系统/视频云存储EasyCVR平台视频无法播放是什么原因?

安防视频监控/视频集中存储/云存储/磁盘阵列EasyCVR平台可拓展性强、视频能力灵活、部署轻快,可支持的主流标准协议有国标GB28181、RTSP/Onvif、RTMP等,以及支持厂家私有协议与SDK接入,包括海康Ehome、海大宇等设备的SDK等。平台既具备传统安防视频监控的能力,也具备接入AI智能分析的能力,可拓

docker-基本操作命令,生成docker镜像包

一、帮助启动类命令。1、启动,命令:systemctlstartdocker2、停止,命令:systemctlstopdocker3、重启,命令:systemctlrestartdocker4、查看docker状态,命令:systemctlstatusdocker5、开机启动,命令:systemctlenabledoc

20230921研发面经总结

1.cpp中引用和指针的区别引用是在概念上定义一个变量的别名,而指针是存储一个变量的地址。引用必须从一而终,不能再指向其他数据;指针可以随意改变指向。引用在定义时必须初始化,而指针是最好初始化,不初始化也不会报错。指针可以有多级,引用不可以。存在空指针,但是不存在空引用。2.介绍const,各种使用情况的效果1.con

Codeforces Round 896 (Div. 1) C. Travel Plan(树形dp+组合数学)

题目有一棵n(1<=n<=1e18)个点的树,点i连着2*i和2*i+1两个点,构成一棵完全二叉树对于每个点i,记其值为a[i],a[i]可以取[1,m](1<=m<=1e5)的整数记i到j的简单路径上的最大值为s[i][j],则一棵权值确定的树对答案的贡献是现在求所有可能情况下的树的贡献之和,答案对998244353

手撕 LFU 缓存

大家好,我是方圆。LFU的缩写是LeastFrequentlyUsed,简单理解则是将使用最少的元素移除,如果存在多个使用次数最小的元素,那么则需要移除最近不被使用的元素。LFU缓存在LeetCode上是一道困难的题目,实现起来并不容易,所以决定整理和记录一下。如果大家想要找刷题路线的话,可以参考Github:Leet

数据分析实战│时间序列预测

时间序列预测问题是一类常见的数据分析问题。数据中往往包含时间标签,这类问题往往根据过去一段时间的数据,建立能够比较精确地反映序列中所包含的动态依存关系的数学模型,并对未来的数据进行预测。01、问题描述及数据挖掘目标本案例给出二战时期的某气象站温度记录值,通过分析之前的天气状况来预测将来天气情况。与回归分析模型进行预测不

使用新版Maven-mvnd快速构建项目

目前我们项目的构建方式多数是maven、gradle,但是maven相对gradle来说,构建速度较慢,特别是模块相对较多的时候,构建速度更加明显。但是我们将项目由maven替换为gradle相对来说会比较麻烦,成本较高。于是我们可以选择mvnd来构建项目,可以使得构建项目速度更快,而且项目无需任何改动。1、下载mvn

热文推荐