Conda 环境迁移

Posted by Tian on October 18, 2019

内容来自 Conda官方博文

Conda 是著名的包管理器和虚拟环境管理器。

在配置完项目环境,并编写和测试代码后,您可能希望将其移至另一台计算机。

Conda 提供了多种保存和移动环境的方法。

Clone

在本地,conda 可以方便地创建环境的快照或者备份:

1
conda create --name snapshot --clone myenv

Spec List

如果需要在具有 相同操作系统 的计算机之间复制环境,则可以生成 spec list

生成 spec list 文件:

1
conda list --explicit > spec-list.txt

重现环境:

1
conda create  --name python-course --file spec-list.txt

Environment.yml

也可以使用 -export 选项生成一个 environment.yml 文件,以在 不同的平台和操作系统之间 复现项目环境。 spec list 文件和 environment.yml 文件之间的区别在于: environment.yml 文件不针对特定操作系统,并且使用YAML格式。 environment.yml 仅列出了软件包名称,由 conda 基于软件包的名称构建环境。 另一个区别是 -export 还包括使用pip安装的软件包,而 spec list 则没有。

导出 environment.yml 文件:

1
conda env export > environment.yml

注意:如果当前路径已经有了 environment.yml 文件,conda 会重写这个文件

重现环境:

1
conda env create -f environment.yml

Conda Pack

Conda-pack 是一个命令行工具,用于打包 conda 环境,其中包括该环境中安装的软件包的所有二进制文件。 当您想在有限或没有网络访问的系统中重现环境时,此功能很有用。上面的方法均从其各自的存储库下载软件包以创建环境。而此方法不需要。注意,conda-pack 指定平台和操作系统,目标计算机必须具有与源计算机相同的平台和操作系统。

要安装 conda-pack,请确保您位于 root 或 base 环境中,以便 conda-pack 在子环境中可用。Conda-pack 可通过 conda-forge 或者 PyPI 安装。

conda-forge:

1
conda install -c conda-forge conda-pack

PyPI:

1
pip install conda-pack

打包一个环境:

1
2
3
4
5
6
7
8
# Pack environment my_env into my_env.tar.gz
conda pack -n my_env

# Pack environment my_env into out_name.tar.gz
conda pack -n my_env -o out_name.tar.gz

# Pack environment located at an explicit path into my_env.tar.gz
conda pack -p /explicit/path/to/my_env

重现环境:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
# Unpack environment into directory `my_env`
mkdir -p my_env
tar -xzf my_env.tar.gz -C my_env

# Use Python without activating or fixing the prefixes. Most Python
# libraries will work fine, but things that require prefix cleanups
# will fail.
./my_env/bin/python

# Activate the environment. This adds `my_env/bin` to your path
source my_env/bin/activate

# Run Python from in the environment
(my_env) $ python

# Cleanup prefixes from in the active environment.
# Note that this command can also be run without activating the environment
# as long as some version of Python is already installed on the machine.
(my_env) $ conda-unpack

Summary

Conda 提供了多种复制项目环境的方法。 创建环境的克隆可以提供定制的基本环境或该环境的快照。spec listconda-pack 可创建特定于平台和操作系统的环境副本。 其中 spec list 使用网络来下载环境中特定的软件包,而 conda-pack 可以打包包括软件包二进制文件在内的整个环境,这在带宽不足或没有网络的情况下很有用。 Conda导出 environment.yml 的方式非常适合在不同平台和操作系统之间重新创建环境。

更多详情请见 docs.conda.ioconda-pack project page.