重建了lobechat
重建了lobechat
Sheldon ZhengLobeChat 服务器版本部署
今天折腾了一整天,终于把lobechat的服务器版给建立好了。

非常良心,服务器版本竟然是完全开源,没有一点隐藏,反而部署到服务器上比云版本的更好,因为储存空间就没有了限制了。
但是实际上能当成云盘还是有门槛的,我是使用了花生壳的透穿映射,所以可以有无限的流量,同时服务器的硬盘大大的,能够真的无限制上传文件到知识库。
我是使用的minio作为S3数据库来储存各种文件到本地,免费又好用,然后使用github作为auth对用户登录进行验证,唯一有点门槛的是需要用花生壳将minio的api接口映射出去,同时还需要映射lobechat的登录界面,这样就需要消耗两个端口映射,具体的部署方法可以直接看lobehub官方说明.
对于知识库这个东西,其实还是有点用的,我是没有用官方的模型作为embedding模型,因为太贵了,但是目前似乎lobechat只支持openai的embedding 模型,没办法只能使用模型商的二手,这里用的是chatanywhere家的,网址是:https://api.chatanywhere.tech,需要注意的是在写的时候需要加上v1的字符,不然编码会报错:
其他的设置都是比较一般的了,刚好llama3.1放出来了,可以直接部署到本地,这样除了编码文件要钱,其他的知识库相关的东西,包括模型本身都是免费的了。
惊喜的是,我在测试文档使用知识库,还真的很管用,下面是我将grid2op的所有说明文档直接转化为txt格式后扔进知识库,两个回答一个是带知识库,一个不带,效果还是很明显的,唯一不足的是可能界面没搞好,第二个回答明明没有引用源,但是出来的界面上还是有这个应用,容易造成混淆。需要将问题上下文限制给设为0或者清空回答才能解决这个问题。
其他的还没有试用,不过能做到这步已经很了不起了,希望再接再厉,继续加油!