Cao Note

外观

Python测试框架 ​

测试框架的概念和重要性 ​

什么是测试框架 ​

测试框架是一套用于编写、组织和运行测试的工具集合。它提供了断言机制、测试发现、测试执行、结果报告等功能，帮助开发者编写高质量的测试用例。

测试的重要性 ​

  1. 确保代码质量：测试可以验证代码的正确性和稳定性
  2. 便于重构：有了测试用例，重构代码时可以快速验证是否引入新的问题
  3. 提高开发效率：自动化测试可以节省手动测试的时间
  4. 增强团队信心：测试用例可以作为代码质量的保障，增强团队对代码的信心
  5. 便于协作：测试用例可以作为文档，帮助其他开发者理解代码的功能

测试的类型 ​

  1. 单元测试：测试代码中的最小可测试单元，如函数、方法
  2. 集成测试：测试多个组件之间的交互
  3. 功能测试：测试系统的功能是否符合需求
  4. 性能测试：测试系统的性能指标，如响应时间、吞吐量等
  5. 回归测试：测试修改后的代码是否破坏了现有功能

unittest框架 ​

unittest简介 ​

unittest是Python标准库中的测试框架，它基于Java的JUnit框架，提供了完整的测试框架功能。

unittest的核心组件 ​

  1. TestCase：测试用例的基类，用于定义测试方法
  2. TestSuite：测试套件，用于组织多个测试用例
  3. TestLoader：测试加载器，用于自动发现和加载测试用例
  4. TextTestRunner：测试运行器，用于执行测试用例并生成结果报告
  5. 断言方法：用于验证测试结果是否符合预期

编写第一个unittest测试用例 ​

python
import unittest

# 要测试的函数
def add(a, b):
    return a + b

# 定义测试类，继承自unittest.TestCase
class TestAddFunction(unittest.TestCase):
    
    # 测试方法，以test_开头
    def test_add_positive_numbers(self):
        result = add(2, 3)
        self.assertEqual(result, 5)  # 断言结果是否等于预期
    
    def test_add_negative_numbers(self):
        result = add(-2, -3)
        self.assertEqual(result, -5)
    
    def test_add_zero(self):
        result = add(0, 5)
        self.assertEqual(result, 5)

# 运行测试
if __name__ == '__main__':
    unittest.main()
import unittest

# 要测试的函数
def add(a, b):
    return a + b

# 定义测试类，继承自unittest.TestCase
class TestAddFunction(unittest.TestCase):
    
    # 测试方法，以test_开头
    def test_add_positive_numbers(self):
        result = add(2, 3)
        self.assertEqual(result, 5)  # 断言结果是否等于预期
    
    def test_add_negative_numbers(self):
        result = add(-2, -3)
        self.assertEqual(result, -5)
    
    def test_add_zero(self):
        result = add(0, 5)
        self.assertEqual(result, 5)

# 运行测试
if __name__ == '__main__':
    unittest.main()

运行unittest测试用例 ​

bash
# 方法1：直接运行脚本
python test_add.py

# 方法2：使用unittest命令
python -m unittest test_add.py

# 方法3：运行特定的测试类
python -m unittest test_add.TestAddFunction

# 方法4：运行特定的测试方法
python -m unittest test_add.TestAddFunction.test_add_positive_numbers

# 方法5：运行测试目录下的所有测试用例
python -m unittest discover
# 方法1：直接运行脚本
python test_add.py

# 方法2：使用unittest命令
python -m unittest test_add.py

# 方法3：运行特定的测试类
python -m unittest test_add.TestAddFunction

# 方法4：运行特定的测试方法
python -m unittest test_add.TestAddFunction.test_add_positive_numbers

# 方法5：运行测试目录下的所有测试用例
python -m unittest discover

unittest断言方法 ​

断言方法描述
assertEqual(a, b)断言a等于b
assertNotEqual(a, b)断言a不等于b
assertTrue(x)断言x为True
assertFalse(x)断言x为False
assertIs(a, b)断言a和b是同一个对象
assertIsNot(a, b)断言a和b不是同一个对象
assertIsNone(x)断言x为None
assertIsNotNone(x)断言x不为None
assertIn(a, b)断言a在b中
assertNotIn(a, b)断言a不在b中
assertIsInstance(a, b)断言a是b的实例
assertNotIsInstance(a, b)断言a不是b的实例
assertRaises(exc, func, *args, **kwargs)断言调用func(*args, **kwargs)会引发exc异常
assertAlmostEqual(a, b, places=7)断言a和b在指定的小数位数上相等
assertGreater(a, b)断言a大于b
assertGreaterEqual(a, b)断言a大于等于b
assertLess(a, b)断言a小于b
assertLessEqual(a, b)断言a小于等于b

unittest的 setUp 和 tearDown 方法 ​

setUp方法在每个测试方法执行前调用，用于设置测试环境；tearDown方法在每个测试方法执行后调用，用于清理测试环境。

python
import unittest

class TestExample(unittest.TestCase):
    
    def setUp(self):
        print("测试前的设置")
        self.value = 10
    
    def tearDown(self):
        print("测试后的清理")
    
    def test_example(self):
        self.assertEqual(self.value, 10)
    
    def test_another_example(self):
        self.assertEqual(self.value + 5, 15)

if __name__ == '__main__':
    unittest.main()
import unittest

class TestExample(unittest.TestCase):
    
    def setUp(self):
        print("测试前的设置")
        self.value = 10
    
    def tearDown(self):
        print("测试后的清理")
    
    def test_example(self):
        self.assertEqual(self.value, 10)
    
    def test_another_example(self):
        self.assertEqual(self.value + 5, 15)

if __name__ == '__main__':
    unittest.main()

unittest的 setUpClass 和 tearDownClass 方法 ​

setUpClass方法在测试类执行前调用一次，用于设置类级别的测试环境；tearDownClass方法在测试类执行后调用一次，用于清理类级别的测试环境。

python
import unittest

class TestExample(unittest.TestCase):
    
    @classmethod
    def setUpClass(cls):
        print("测试类前的设置")
        cls.class_value = 100
    
    @classmethod
    def tearDownClass(cls):
        print("测试类后的清理")
    
    def test_example(self):
        self.assertEqual(self.class_value, 100)
    
    def test_another_example(self):
        self.assertEqual(self.class_value + 50, 150)

if __name__ == '__main__':
    unittest.main()
import unittest

class TestExample(unittest.TestCase):
    
    @classmethod
    def setUpClass(cls):
        print("测试类前的设置")
        cls.class_value = 100
    
    @classmethod
    def tearDownClass(cls):
        print("测试类后的清理")
    
    def test_example(self):
        self.assertEqual(self.class_value, 100)
    
    def test_another_example(self):
        self.assertEqual(self.class_value + 50, 150)

if __name__ == '__main__':
    unittest.main()

pytest框架 ​

pytest简介 ​

pytest是一个功能强大的第三方测试框架，它提供了比unittest更简洁的语法、更丰富的插件生态系统和更好的测试报告。

安装pytest ​

bash
pip install pytest
pip install pytest

编写第一个pytest测试用例 ​

python
# 要测试的函数
def add(a, b):
    return a + b

# 测试函数，以test_开头
def test_add_positive_numbers():
    result = add(2, 3)
    assert result == 5  # 使用Python的assert语句

def test_add_negative_numbers():
    result = add(-2, -3)
    assert result == -5

def test_add_zero():
    result = add(0, 5)
    assert result == 5
# 要测试的函数
def add(a, b):
    return a + b

# 测试函数，以test_开头
def test_add_positive_numbers():
    result = add(2, 3)
    assert result == 5  # 使用Python的assert语句

def test_add_negative_numbers():
    result = add(-2, -3)
    assert result == -5

def test_add_zero():
    result = add(0, 5)
    assert result == 5

运行pytest测试用例 ​

bash
# 方法1：运行当前目录下的所有测试用例
pytest

# 方法2：运行特定的测试文件
pytest test_add.py

# 方法3：运行特定的测试函数
pytest test_add.py::test_add_positive_numbers

# 方法4：运行特定的测试类和测试方法
pytest test_module.py::TestClass::test_method

# 方法5：运行名称包含特定字符串的测试用例
pytest -k "positive"

# 方法6：显示详细的测试结果
pytest -v

# 方法7：显示测试失败时的详细信息
pytest -v -s
# 方法1：运行当前目录下的所有测试用例
pytest

# 方法2：运行特定的测试文件
pytest test_add.py

# 方法3：运行特定的测试函数
pytest test_add.py::test_add_positive_numbers

# 方法4：运行特定的测试类和测试方法
pytest test_module.py::TestClass::test_method

# 方法5：运行名称包含特定字符串的测试用例
pytest -k "positive"

# 方法6：显示详细的测试结果
pytest -v

# 方法7：显示测试失败时的详细信息
pytest -v -s

pytest的断言机制 ​

pytest支持Python的标准assert语句，并且提供了更详细的失败信息。

python
def test_example():
    # 基本断言
    assert 1 + 1 == 2
    
    # 断言列表包含元素
    assert 1 in [1, 2, 3]
    
    # 断言字典包含键值对
    assert {"a": 1} == {"a": 1, "b": 2}
    
    # 断言字符串包含子串
    assert "hello" in "hello world"
    
    # 断言异常
    with pytest.raises(ValueError):
        int("abc")
    
    # 断言警告
    with pytest.warns(UserWarning):
        warnings.warn("这是一个警告", UserWarning)
    
    # 断言接近的值
    assert 0.1 + 0.2 == pytest.approx(0.3)
def test_example():
    # 基本断言
    assert 1 + 1 == 2
    
    # 断言列表包含元素
    assert 1 in [1, 2, 3]
    
    # 断言字典包含键值对
    assert {"a": 1} == {"a": 1, "b": 2}
    
    # 断言字符串包含子串
    assert "hello" in "hello world"
    
    # 断言异常
    with pytest.raises(ValueError):
        int("abc")
    
    # 断言警告
    with pytest.warns(UserWarning):
        warnings.warn("这是一个警告", UserWarning)
    
    # 断言接近的值
    assert 0.1 + 0.2 == pytest.approx(0.3)

pytest的fixture ​

fixture是pytest中用于设置测试环境的机制，它比unittest的setUp和tearDown方法更灵活。

python
import pytest

# 定义fixture
@pytest.fixture
def setup_data():
    print("设置测试数据")
    data = [1, 2, 3, 4, 5]
    yield data  # 返回测试数据
    print("清理测试数据")

# 使用fixture
def test_sum(setup_data):
    assert sum(setup_data) == 15

def test_average(setup_data):
    assert sum(setup_data) / len(setup_data) == 3
import pytest

# 定义fixture
@pytest.fixture
def setup_data():
    print("设置测试数据")
    data = [1, 2, 3, 4, 5]
    yield data  # 返回测试数据
    print("清理测试数据")

# 使用fixture
def test_sum(setup_data):
    assert sum(setup_data) == 15

def test_average(setup_data):
    assert sum(setup_data) / len(setup_data) == 3

fixture的作用域 ​

fixture可以设置不同的作用域，控制fixture的执行次数：

  • function：每个测试函数执行一次（默认）
  • class：每个测试类执行一次
  • module：每个测试模块执行一次
  • session：每个测试会话执行一次
python
@pytest.fixture(scope="class")
def setup_class_data():
    print("设置类级别的测试数据")
    data = {"name": "测试", "value": 100}
    yield data
    print("清理类级别的测试数据")
@pytest.fixture(scope="class")
def setup_class_data():
    print("设置类级别的测试数据")
    data = {"name": "测试", "value": 100}
    yield data
    print("清理类级别的测试数据")

pytest的参数化测试 ​

参数化测试允许使用不同的参数运行同一个测试用例。

python
import pytest

# 要测试的函数
def add(a, b):
    return a + b

# 参数化测试
@pytest.mark.parametrize("a, b, expected", [
    (2, 3, 5),  # 测试用例1
    (-2, -3, -5),  # 测试用例2
    (0, 5, 5),  # 测试用例3
    (10, 20, 30),  # 测试用例4
])
def test_add(a, b, expected):
    result = add(a, b)
    assert result == expected
import pytest

# 要测试的函数
def add(a, b):
    return a + b

# 参数化测试
@pytest.mark.parametrize("a, b, expected", [
    (2, 3, 5),  # 测试用例1
    (-2, -3, -5),  # 测试用例2
    (0, 5, 5),  # 测试用例3
    (10, 20, 30),  # 测试用例4
])
def test_add(a, b, expected):
    result = add(a, b)
    assert result == expected

pytest的测试类 ​

pytest也支持测试类，与unittest类似，但语法更简洁。

python
class TestAddFunction:
    
    def test_add_positive_numbers(self):
        assert add(2, 3) == 5
    
    def test_add_negative_numbers(self):
        assert add(-2, -3) == -5
    
    def test_add_zero(self):
        assert add(0, 5) == 5
class TestAddFunction:
    
    def test_add_positive_numbers(self):
        assert add(2, 3) == 5
    
    def test_add_negative_numbers(self):
        assert add(-2, -3) == -5
    
    def test_add_zero(self):
        assert add(0, 5) == 5

pytest的插件生态系统 ​

pytest拥有丰富的插件生态系统，可以扩展其功能：

  1. pytest-cov：生成测试覆盖率报告
  2. pytest-html：生成HTML格式的测试报告
  3. pytest-xdist：并行运行测试用例
  4. pytest-django：用于测试Django应用
  5. pytest-flask：用于测试Flask应用
  6. pytest-mock：用于模拟对象
  7. pytest-asyncio：用于测试异步代码

unittest vs pytest ​

特性unittestpytest
语法简洁性较繁琐，需要继承TestCase类简洁，支持函数式测试和类测试
断言机制提供了大量的断言方法支持标准assert语句，提供更详细的失败信息
测试发现自动发现以test开头的文件、类和方法自动发现以test开头或结尾的文件、类和方法
插件生态有限丰富，有大量的第三方插件
参数化测试支持，但语法繁琐支持，语法简洁
Fixture机制支持setUp/tearDown方法支持更灵活的fixture机制
并行测试不支持通过pytest-xdist插件支持
测试覆盖率支持，但需要第三方库通过pytest-cov插件支持，生成更详细的报告
兼容性Python标准库，无需安装需要单独安装

测试最佳实践 ​

1. 测试用例的命名规范 ​

  • 测试文件：以test_开头或结尾，如test_module.py或module_test.py
  • 测试类：以Test开头，如TestAddFunction
  • 测试方法：以test_开头，如test_add_positive_numbers
  • 测试用例名称应清晰描述测试的功能和预期结果

2. 测试用例的设计原则 ​

  • 独立性：每个测试用例应独立运行，不依赖其他测试用例的结果
  • 原子性：每个测试用例应只测试一个功能点
  • 可重复性：测试用例应可以重复运行，每次运行的结果应一致
  • 可读性：测试用例应易于理解，便于维护
  • 完整性：测试用例应覆盖各种边界情况和异常情况

3. 测试用例的组织结构 ​

  • 将测试用例与生产代码分离，通常放在tests目录下
  • 按照模块或功能组织测试用例
  • 使用测试套件组织相关的测试用例

4. 测试数据的管理 ​

  • 避免在测试用例中硬编码测试数据
  • 使用fixture或配置文件管理测试数据
  • 考虑使用测试数据生成工具

5. 模拟对象的使用 ​

  • 对于外部依赖，如数据库、网络服务等，使用模拟对象
  • 模拟对象可以控制外部依赖的行为，使测试更加稳定和快速
  • 可以使用unittest.mock或pytest-mock库创建模拟对象

6. 测试覆盖率 ​

  • 测试覆盖率是衡量测试用例覆盖代码程度的指标
  • 建议测试覆盖率达到80%以上
  • 但不要盲目追求100%的覆盖率，应关注关键功能和复杂逻辑

7. 持续集成 ​

  • 将测试集成到持续集成流程中，每次提交代码时自动运行测试
  • 可以使用CI工具，如Jenkins、GitHub Actions、GitLab CI等
  • 持续集成可以快速发现代码中的问题，提高开发效率

测试覆盖率 ​

安装测试覆盖率工具 ​

bash
# 用于unittest的覆盖率工具
pip install coverage

# 用于pytest的覆盖率工具
pip install pytest-cov
# 用于unittest的覆盖率工具
pip install coverage

# 用于pytest的覆盖率工具
pip install pytest-cov

生成unittest的覆盖率报告 ​

bash
# 运行测试并生成覆盖率数据
coverage run -m unittest discover

# 查看覆盖率报告
coverage report

# 生成HTML格式的覆盖率报告
coverage html
# 运行测试并生成覆盖率数据
coverage run -m unittest discover

# 查看覆盖率报告
coverage report

# 生成HTML格式的覆盖率报告
coverage html

生成pytest的覆盖率报告 ​

bash
# 运行测试并生成覆盖率报告
pytest --cov=myproject tests/

# 生成HTML格式的覆盖率报告
pytest --cov=myproject tests/ --cov-report=html

# 生成XML格式的覆盖率报告（用于CI）
pytest --cov=myproject tests/ --cov-report=xml
# 运行测试并生成覆盖率报告
pytest --cov=myproject tests/

# 生成HTML格式的覆盖率报告
pytest --cov=myproject tests/ --cov-report=html

# 生成XML格式的覆盖率报告（用于CI）
pytest --cov=myproject tests/ --cov-report=xml

持续集成 ​

GitHub Actions示例 ​

yaml
# .github/workflows/python-test.yml
name: Python Tests

on:
  push:
    branches: [ main ]
  pull_request:
    branches: [ main ]

jobs:
  test:
    runs-on: ubuntu-latest
    strategy:
      matrix:
        python-version: [3.8, 3.9, 3.10]

    steps:
    - uses: actions/checkout@v2
    - name: Set up Python ${{ matrix.python-version }}
      uses: actions/setup-python@v2
      with:
        python-version: ${{ matrix.python-version }}
    - name: Install dependencies
      run: |
        python -m pip install --upgrade pip
        pip install pytest pytest-cov
        if [ -f requirements.txt ]; then pip install -r requirements.txt; fi
    - name: Run tests with pytest
      run: |
        pytest --cov=myproject tests/ --cov-report=xml
    - name: Upload coverage to Codecov
      uses: codecov/codecov-action@v1
      with:
        file: ./coverage.xml
        flags: unittests
        name: codecov-umbrella
        fail_ci_if_error: true
# .github/workflows/python-test.yml
name: Python Tests

on:
  push:
    branches: [ main ]
  pull_request:
    branches: [ main ]

jobs:
  test:
    runs-on: ubuntu-latest
    strategy:
      matrix:
        python-version: [3.8, 3.9, 3.10]

    steps:
    - uses: actions/checkout@v2
    - name: Set up Python ${{ matrix.python-version }}
      uses: actions/setup-python@v2
      with:
        python-version: ${{ matrix.python-version }}
    - name: Install dependencies
      run: |
        python -m pip install --upgrade pip
        pip install pytest pytest-cov
        if [ -f requirements.txt ]; then pip install -r requirements.txt; fi
    - name: Run tests with pytest
      run: |
        pytest --cov=myproject tests/ --cov-report=xml
    - name: Upload coverage to Codecov
      uses: codecov/codecov-action@v1
      with:
        file: ./coverage.xml
        flags: unittests
        name: codecov-umbrella
        fail_ci_if_error: true

总结 ​

Python提供了多种测试框架，其中unittest是标准库中的测试框架，pytest是功能更强大的第三方测试框架。选择合适的测试框架取决于项目的需求和团队的偏好。

测试是保证代码质量的重要手段，编写高质量的测试用例可以提高代码的正确性、稳定性和可维护性。在实际开发中，应遵循测试最佳实践，将测试融入到开发流程中，实现测试驱动开发（TDD）或行为驱动开发（BDD）。

通过使用测试框架和持续集成工具，可以自动化测试过程，提高开发效率，确保代码质量，为项目的成功提供保障。

Copyright © 2024-present xiaocao