这一篇算是接在上一篇Build a super fast on demand local PyPi mirror的后面吧～

这里会以 docker-compose 的方式为例子，详细写一下～不使用docker-compose的话，则也仅仅需要手动指定 pypicache 与需要这个服务的 container 到同一个 docker 网络中，这样就可以不用去找 pypicache 的 IP 地址，对最终用户透明化，不用增加额外的 pip 安装参数，即可轻松享受本地高速缓存，特别是对于大一点的文件效果更明显～

Continue reading 多用户 Docker 环境下 PyPi 源按需加速 →

• 当公司/局域网里有多人都使用 Python 开发，并且几乎都会用到 pip 来部署环境时，虽然已经有各种镜像源了，但是下载仍受限于与外网的宽带速度，并且同样的包可能被多人下载了多次，在包较大时，重复花的时间并不值
• 当你使用 Docker 来构建不同的 Python 应用/环境时，在测试 Dockerfile 时可能需要不断的删掉之前 build 的版本，从头开始 build 时，pip 下载与上面面临同样的问题——重复消耗不必要的时间

其一解决方案是公司/局域网内部搞一个 PyPi 的镜像源，实际上维护一个完整的镜像源相当麻烦，占用的储存空间太大，在公司/局域网的情况下，大家开发的东西、使用的技术栈相对比较固定，这就导致完整的镜像源里会有很多包其实几乎没人用。

其二的解决方案可以是预先构建好一个或多个 Docker 镜像，其中包含大家都会用到的包，剩余的一些包则在使用时才被少数需要的人安装。这种方案的缺点则是目前 Docker 服务 + 多用户方案在重启之后会丢掉已经配置过的环境，重启之后依旧需要从镜像源下载包。

那么这里相对一劳永逸的方案则是搭建一个本地的按需下载的 PyPi 镜像源，其原理则是在镜像源与公司/局域网内增加了一个高速缓存，并且由于 PyPi 已经提交分发的whl或者tar.gz是不会变的，因此不用顾虑缓存时间的设置。

最后就像这样～ 182KB/s VS. 36.4MB/s
(cache server为千兆有线链接，MacBook为802.11 AC，测试时链接速度585Mbps)

Continue reading Build a super fast on demand local PyPi mirror →

这个是在之前导师的实验室积累的一些东西，使用场景的话，是适用于2-8人左右的小团队吧，当时有两台机器，一台是放在学校机房的服务器，CPU没注意是什么，印象中是64G内存，4块P20，貌似24G显存？；另一台机器则放在办公室，主要配置的话，一颗AMD Ryzen 2700X，64G内存，再附加两块1080ti 11G，经费肯定是还做不到一人分一块GPU，部分模型的大小也不需要完全独占一块GPU。但是构建一个小型团队使用的AI Lab服务器是没问题了。

当时搭建的AI Lab服务器的主要架构如下

系统方面选择了Ubuntu 18.04 LTS，简单方便，毕竟是做AI不是做OS，没有任何必要引入其他方面复杂的操作。然后在这之上则是系统层面的GPU驱动，当时对应的版本为396.26，目前已经有400版本号的驱动了。接下来就是与docker对接的nvidia的runc，由这个runc去给docker内的GPU提供支持。随后当时则是使用了支持多用户的JupyterHub，当然也可以通过分配多个账号解决，这一部分和之后的部分解决方案就很多了。

Continue reading A brief tutorial on setup an AI lab server for a small team →