输入“/”快速插入内容

🌟私有化部署

本文讨论了如何在自己机器上对研发的算法模型进行私有化部署,包括部署优势、方法、注意事项及常见问题解答等内容。关键要点包括:
1.
私有化部署优势:可免在算法服务排队,完成后能永久免费使用产品,但外部技术模型如“百度文心”无法私有化部署。
2.
部署方法:推荐使用Google Colab工具,无硬件环境需求;也可本地安装,需准备Git工具、Python环境等。
3.
本地安装步骤:获取源代码用git clone命令;安装方式有pip(推荐)和Docker两种;部署命令因安装方式而异。
4.
注意事项:首次部署会自动下载模型文件,中国地区可百度网盘下载;部署成功需等待加载模型。
5.
使用配置:在产品设置面板打开“使用本地服务”开关,填写与部署地址一致的本地服务地址。
6.
Q&A:解答是否该部署、不懂代码怎么办、显存不足等常见问题。
7.
产品界面定制与图片存储:用户量小时通过商业合作定制,量大时可能开源代码;图片目前存云端,未来考虑存本地。
如果您点进了这个文档,恭喜您——您已经迈入了极客领域的大门!
该文档会教您如何在您自己的机器上部署我们研发的算法模型,从而能让您免于在我们拥挤的算法服务上排队。而且,当您完成私有化部署后,您将可以永久免费地使用我们的产品:我们将不再收取您任何费用!
不过,对于像「百度文心」这样外部技术模型,私有化部署将无法覆盖到,您还是会需要依赖外部的算力集群😣
当然,和我们合作的都是顶尖的技术团队,所以用他们的模型时,您基本不必担心排队的问题!😆
私有化部署有两种方法:
1.
使用 Google Colab 工具(推荐!
2.
在本地进行安装
前者对您的机器没有任何硬件或环境上的需求(但您可能需要比较良好的网络环境),后者则会有一定的门槛,我们会在相应章节进行说明
使用 Google Colab 工具(推荐!)
您只需点开这个链接(英文)这个链接(中文),并根据里面的提示进行操作即可!
如果您在使用中遇到了困难,请随时联系我们,我们会尽快尝试帮您解决!
在本地进行安装
准备
在开始之前,需要确保您的电脑上已经拥有:
Git 工具
Python 环境(版本 3.8+)
PyTorch 第三方库(版本 1.8+,而且越新越好)
一个显存在 6GB 以上的显卡
如果想要使用所有功能,则需要 8~10GB
良好的网络环境
就可以了!
获取源代码
我们研发的算法模型是完全开源的,您可以点击这里访问
😄
如果您觉得我们的产品有用,可以给予我们一个 Star⭐ 作为支持!
然后,可以通过如下 git 命令获取源代码:
git clone https://github.com/carefree0910/carefree-creator.git
cd carefree-creator
安装
安装方式有两种:通过 Python 自带的 pip 安装(推荐!),或者通过 Docker 安装
pip(推荐!)
使用 pip 安装的话,只需一行指令即可:
pip install -e .
此后,每次想要获得更新时,都使用 git 来拉取最新代码即可,无需再运行 pip 指令
Docker
使用 Docker 安装的话,需要提前安装好 Docker 相应的工具 / 环境,然后使用相应命令进行安装
export TAG_NAME=cfcreator
docker build -t $TAG_NAME .
如果您网络所在地为中国,那么可能如下指令会更快一些:
export TAG_NAME=cfcreator
docker build -t $TAG_NAME -f Dockerfile.cn .
部署
在安装完之后,我们需要部署我们本地的服务。自然,通过 pip 安装的部署方式和通过 Docker 安装的部署方式会有所不同
pip(推荐!)
如果使用 pip 进行安装,那么部署起来也很简单:
cfcreator serve
Docker
如果使用 Docker 进行安装,部署命令会稍微复杂些:
docker run --gpus all --rm -p 8123:8123 -v /full/path/to/your/client/logs:/workplace/apis/logs $TAG_NAME:latest