133.0.6943.60_chrome用在爬虫时如何调用,如何启动
1980 2023-01-21 12:24 2025-12-12 09:39
我来帮你搜索一下关于 Chrome 133.0.6943.60 版本在爬虫开发中的使用方法。
搜索
ChromeDriver 133.0.6943.60 爬虫配置
46 个结果
根据搜索结果,我来为你详细介绍如何在爬虫中使用 Chrome 133.0.6943.60 版本。
Chrome 133.0.6943.60 在爬虫中的使用方法
1. 环境准备
首先需要下载与 Chrome 133.0.6943.60 版本匹配的 ChromeDriver:
-
官方下载:从 ChromeDriver 官方页面 下载 133 版本
-
国内镜像:使用淘宝镜像 https://npm.taobao.org/mirrors/chromedriver/ 下载
-
自动管理:推荐使用
webdriver-manager库自动管理驱动版本
2. 基础爬虫代码示例
Python
复制
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
# 配置 Chrome 选项
chrome_options = Options()
chrome_options.add_argument('--headless') # 无头模式
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-dev-shm-usage')
# 创建浏览器实例
driver = webdriver.Chrome(
service=Service(ChromeDriverManager().install()),
options=chrome_options
)
# 访问网页
driver.get('https://example.com')
print(driver.title)
# 关闭浏览器
driver.quit()
3. 反检测配置
为了避免被网站检测到是爬虫,可以添加以下配置:
Python
复制
chrome_options.add_argument("--disable-blink-features=AutomationControlled")
chrome_options.add_experimental_option("excludeSwitches", ["enable-automation"])
chrome_options.add_experimental_option('useAutomationExtension', False)
chrome_options.add_argument('--disable-web-security')
chrome_options.add_argument('--disable-features=VizDisplayCompositor')
4. 高级启动方式
如果基础方式被检测到,可以使用远程调试模式:
步骤 1:手动启动 Chrome
bash
复制
chrome.exe --remote-debugging-port=9222 --user-data-dir="D:\chrometemp"
步骤 2:在代码中连接已打开的 Chrome
Python
复制
chrome_options = Options()
chrome_options.add_experimental_option("debuggerAddress", "127.0.0.1:9222")
chrome_options.add_argument("--disable-blink-features=AutomationControlled")
service = Service('path/to/chromedriver.exe')
driver = webdriver.Chrome(service=service, options=chrome_options)
5. 版本兼容性注意事项
-
Selenium 版本:使用 4.18+ 版本以支持 Chrome 133 的 CDP v133 协议
-
版本锁定:在 CI/CD 环境中锁定浏览器版本
-
容器化:考虑使用 Docker 固定测试环境
6. 安装依赖
bash
复制
pip install selenium webdriver-manager
7. 完整爬虫示例
Python
复制
import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
def create_driver():
chrome_options = Options()
chrome_options.add_argument('--headless=new') # 新版无头模式
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-dev-shm-usage')
chrome_options.add_argument("--disable-blink-features=AutomationControlled")
chrome_options.add_experimental_option("excludeSwitches", ["enable-automation"])
driver = webdriver.Chrome(
service=Service(ChromeDriverManager().install()),
options=chrome_options
)
return driver
# 使用示例
driver = create_driver()
driver.get('https://example.com')
# 等待页面加载
time.sleep(3)
# 获取数据
title = driver.title
print(f"页面标题: {title}")
# 关闭浏览器
driver.quit()
这种方式可以有效使用 Chrome 133.0.6943.60 进行网页爬虫开发,同时降低被网站检测到的风险。
全部评论