Python如何建立一个完美的项目工程环境

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

CDA网校：数据科学、人工智能从业者的在线大学。

数据科学（Python/R/Julia）数据分析、机器学习、深度学习

在程序开发时候一套好的开发环境和工具栈，可以帮我们极大的提高开发的效率，避免把大量时间浪费在周边琐事上。本文以Python为例，教大家如何快速打造完美的Python项目开发环境：内容涵盖了模块依赖管理、代码风格管理、调试测试管理和Git版本管理，使用git hook做项目规范检查等。

pipx

Pipx是一款跨平台的Python环境隔离管理工具，可以在支持在 Linux、Mac OS 和 Windows 上运行。Pipx默认在是个人用户下建立虚拟Python环境，并以此建立实现完全隔离的Python运行环境。安装pipx需要Pthon 3.6及以上版本：

python3 -m pip install --user pipx

python3 -m pipx ensurepath

升级Pipx使用：

python3 -m pip install -U pipx

包依赖管理pipenv

Pipenv会自动为你的项目创建和管理虚拟环境，以pipfile文件方式方式管理项目的依赖包，支持包的安装和卸载。和requirements.txt不同，pipfile是TOML格式，支持开发环境与正式环境，还可以使用Pipfile.lock锁定环境版本。pipxenv的安装可以使用pipx：

pipx install pipenv

有些发行版也是可以直接通过其包管理器安装的：

比如MacOS可以下可以使用：

brew install pipenv

一个pipfile的示例如下：

Pipfile.lock的示例部分如下：

代码风格

代码格式化black

代码格式的统一不光可以给我们一个惬意的代码格式，而且可以避免由于开发人员之间的代码风格差异导致的沟通和协作问题。

Black就是用来格式化Python代码的程序。它可以自动帮我们对代码格式进行调整和统一，提高代码效率和可读性。而且通过Black减小代码风格的差异，可以极大提高团队进行代码审查的效率。

一个Black格式化示例如下：

原始代码：

def very_important_function(template: str, *variables, file: os.PathLike, engine: str, header: bool = True, debug: bool = False):

"""Applies `variables` to the `template` and writes to `file`."""

with open(file, 'w') as f:

...

格式化后的代码：

def very_important_function(

template: str,

*variables,

file: os.PathLike,

engine: str,

header: bool = True,

debug: bool = False,

):

"""Applies `variables` to the `template` and writes to `file`."""

with open(file, "w") as f:

...

isort美化import部分代码

Python开发中经常需要import第三方的模块，往往这部分代码混乱不堪，使用isort可以则可以美化这部分的代码。 isort可以按字母表顺序对import进行排序，自动分成多个部分。

我们可以使用pipenv安装black 和isort：

pipenv install black isort -dev

isort的效果示例，可以看下面的动图：

Black和isort同时使用时，两者默认配置不兼容，我们需要覆盖isort配置，优先以Black的格式化为准。可以通过setup.cfg文件并添如下配置来完成该任务。

[isort]

multi_line_output=3

include_trailing_comma=True

force_grid_wrap=0

use_parentheses=True

line_length=88

关注“AIU人工智能”公众号，回复“白皮书”获取数据分析、大数据、人工智能行业白皮书及更多精选学习资料！

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏1 回帖

flake8代码风格检测

Flake8可以用来确保代码遵循PEP8中定义的标准Python编程约定，是Python官方辅助代码风格检测工具，lake8检查规则灵活，支持集成额外插件（比如vim、sublime、PyCharm、vsc等都有其相关插件），扩展性强。

其安装也可以使用pipenv：

pipenv install flake8 –dev

flake8的使用示例如下：

flake8 example.py的检查结果：

flake8默认会忽略一些约定（E，F），如果我们检查所有约定：

flake8 --select E,F example.py，结果：

和isort一样，为了配合兼容Black，需要在setup.cfg中额外配置：

[flake8]

ignore = E203, E266, E501, W503

max-line-length = 88

max-complexity = 18

select = B,C,E,F,W,T4

mypy静态类型

Mypy是Python的可选静态类型检查器，可以用结合动态（或"鸭子"）类型和静态类型优点其他代码的性能。通过Mypy将Python的动态类型便捷性和表现力的优势与静态类型强系统和编译时类型检查相结合，并且生成原生代码，支持通过Python VM运行，可以没有运行时开销的高性能运行。在Python中使用静态类型好处有：

可以使程序更易于理解和维护；

可以帮助编译时调试和发现错误，减少测试和调试。

可以在代码部署到生产环境之前就可以找到难以捕捉的错误。

可以使用pipenv直接安装Mypy：

pipenv install mypy –dev

mypy动态类型和静态类型一个示例如下：

项目配置

默认情况下，Mypy会递归检查所有类型注释的导入，这会导致库不包含这些注释时出错。需要修改mypy配置仅检查当前代码运行，并忽略没有类型注释的import模块。这也可以在setup.cfg中设置：

[mypy]

files=项目,test

ignore_missing_imports=true

代码测试

程序开发中，除了写代码外，另外一个重要的部分是单元测试。Python测试方面我们要介绍的工具有pytest。

可以使用pipenv添加测试工具包及扩展：

pipenv install pytest pytest-cov --dev

Pytest框架可以让编写小测试变得容易，而且支持以扩展的方式提供更加复杂的功能。下面是pytest网站的一个简单示例：

# content of test_sample.py

def inc(x):

return x + 1

def test_answer:

assert inc(3) == 5

通过以下命令测试

pipenv run pytest

结果如下：

pytest-cov是pytest的单元测试行覆盖率的插件。pytets-cov的测试结果示例如下：

pytest还有很多的扩展插件：

pytest-cov: 单元测试覆盖率报告

pytest-django: 对Django框架的单元测框架

pytest-asyncio：对asyncio的支持

pytest-twisted: 对twisted框架的单元测框架

pytest-instafail: 发送错误时报告错误信息

pytest-bdd 测试驱动开发工具

pytest-konira 测试驱动开发工具

pytest-timeout: 支持超时功能

pytest-pep8: 支持PEP8检查

pytest-flakes: 结合pyflakes进行代码检查

更多插件可以查看github pytest-dev组织下的项目。

项目配置

项目中，所有的测试都应该放在test目录中，我需要给setup.cfg添加配置：

[tool:pytest]

testpaths=test

单元覆盖率的项目配置需要创建一个新文件.coveragerc返回应用程序代码的覆盖率统计信息，配置示例如下：

[run]

source = 项目

[report]

exclude_lines =

pragma: no cover

def __repr__

if self\.debug

raise AssertionError

raise NotImplementedError

if 0:

if __name__ == .__main__.:

然后再工程中运行一下命令，测试项目的覆盖率

pipenv run pytest --cov --cov-fail-under =100

如果程序代码的测试覆盖率低于100%，就会报错。

Git pre-commit hook规范检查

Git hook可以让我们在提交或推送时执行检查脚本，脚本可以配置对项目镜像测试或者规范性检查。运行脚本。我们可以配置pre-commit hook允许轻松配置这些钩子，下面.pre-commit-config.yaml配置示例可以帮我们自动做代码规范化，包括isort检查、black检查、flake8检查、mypy静态类型检查、pytest测试、pytest-cov测试覆盖率检查：

repos:

- repo: local

hooks:

- id: isort

name: isort

stages: [commit]

language: system

entry: pipenv run isort

types: [python]

- id: black

name: black

stages: [commit]

language: system

entry: pipenv run black

types: [python]

- id: flake8

name: flake8

stages: [commit]

language: system

entry: pipenv run flake8

types: [python]

exclude: setup.py

- id: mypy

name: mypy

stages: [commit]

language: system

entry: pipenv run mypy

types: [python]

pass_filenames: false

- id: pytest

name: pytest

stages: [commit]

language: system

entry: pipenv run pytest

types: [python]

- id: pytest-cov

name: pytest

stages: [push]

language: system

entry: pipenv run pytest --cov --cov-fail-under=100

types: [python]

如果你需要跳过这些钩子，你可以运行git commit --no-verify或git push --no-verify

cookiecutter自动创建项目

上面我们提到Python项目应该具备的工具集和配置，可以将其作为模版。cookiecutter的模版定义范例如下：

cookiecutter.json

{

"full_name": "Chongchong",

"project_name": "Python-Practice",

"repo_name": ""Python-Practice ",

"project_short_description": "The Simple Python Development Practice Example.",

"release_date": "2019-09-02",

"year": "2019",

"version": "0.0.1"

}

然后使用cookiecutter自动生成整改工程：

pipx run cookiecutter Python-Practice

cd Python-Practice

git init

安装依赖项

pipenv install --dev

运行 pre-commit和pre-push hook：

pipenv run pre-commit install -t pre-commit

pipenv run pre-commit install -t pre-push

总结

本文我们介绍了在Python项目开发时候必须要具备的一些开发测试检查工具。通过这些可以自动生成Python项目，代码风格检查、代码测试等操作，可以帮助我们打造一个高效完美的Python开发环境。

模块依赖管理、代码风格管理、调试测试管理和Git版本管理，使用git hook做项目规范检查

东方祥 发表于 2019-11-12 11:16
模块依赖管理、代码风格管理、调试测试管理和Git版本管理，使用git hook做项目规范检查