PyAutoGUI 界面自动化库：Python GUI自动化入门教程

简介

电脑上的许多重复性任务都可以实现自动化：点击鼠标、输入文本、查找屏幕上的按钮、移动窗口等。当需要自动化用户与图形界面的交互时，Python 的首选库就是 PyAutoGUI。

这是一个跨平台的库，允许你通过编程方式控制鼠标和键盘、截取屏幕截图、在屏幕上查找图像以及执行自动化脚本。它广泛应用于 GUI 测试、编写机器人、简化日常任务，甚至用于游戏控制。

本文将介绍其理论基础、架构、核心方法、实际案例、常见错误以及与其他工具的集成。

什么是 PyAutoGUI

PyAutoGUI 是一个由 Al Sweigart 创建的 Python GUI 自动化库。它提供了一个简单的编程接口，用于执行用户通常会执行的操作：移动鼠标、点击、输入文本、按键以及截取屏幕截图。

该库在操作系统层面工作，模拟用户的真实操作。这意味着它可以与任何接受标准鼠标和键盘输入的应用程序进行交互。

PyAutoGUI 的主要功能

鼠标控制

• 按坐标移动光标
• 执行各种类型的点击
• 拖放操作
• 滚动内容

键盘操作

• 在活动字段中输入文本
• 按下单个按键
• 执行快捷键组合
• 支持特殊按键

屏幕操作

• 截取全屏或部分屏幕截图
• 获取屏幕分辨率信息
• 分析像素颜色
• 在屏幕上查找图像

安全与控制

• 内置安全系统（故障保护）
• 设置操作之间的暂停时间
• 异常处理

安装与导入

基础安装

pip install pyautogui

额外依赖

为了获得更强大的功能，建议安装以下库：

pip install pillow  # 用于图像处理
pip install opencv-python  # 用于精确的图像查找
pip install pygetwindow  # 用于窗口管理
pip install pymsgbox  # 用于对话框
pip install pyperclip  # 用于剪贴板操作

在代码中导入

import pyautogui
import time

架构与基础功能

PyAutoGUI 直接与操作系统交互，模拟用户的真实操作：点击、移动、按键、屏幕捕获以及屏幕上的模板查找。

主要功能模块

1. 鼠标控制 — 移动光标、点击、滚动
2. 键盘操作 — 输入文本、按键
3. 屏幕与截图 — 屏幕捕获、像素分析
4. 图像与模板查找 — 自动查找界面元素
5. 对话框 — 与用户交互
6. 安全系统 — 防止意外执行

鼠标控制

获取鼠标信息

# 获取当前光标位置
x, y = pyautogui.position()
print(f"光标位于: ({x}, {y})")

# 获取屏幕尺寸
width, height = pyautogui.size()
print(f"屏幕分辨率: {width}x{height}")

# 检查光标是否在屏幕上
if pyau