133.0.6943.60_chrome用在爬虫时如何调用,如何启动

1980 2023-01-21 12:24 2025-12-12 09:39

我来帮你搜索一下关于 Chrome 133.0.6943.60 版本在爬虫开发中的使用方法。
 
搜索

ChromeDriver 133.0.6943.60 爬虫配置

46 个结果
根据搜索结果,我来为你详细介绍如何在爬虫中使用 Chrome 133.0.6943.60 版本。

Chrome 133.0.6943.60 在爬虫中的使用方法

1. 环境准备

首先需要下载与 Chrome 133.0.6943.60 版本匹配的 ChromeDriver:

2. 基础爬虫代码示例

Python
 
复制
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager

# 配置 Chrome 选项
chrome_options = Options()
chrome_options.add_argument('--headless')  # 无头模式
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-dev-shm-usage')

# 创建浏览器实例
driver = webdriver.Chrome(
    service=Service(ChromeDriverManager().install()),
    options=chrome_options
)

# 访问网页
driver.get('https://example.com')
print(driver.title)

# 关闭浏览器
driver.quit()
 

3. 反检测配置

为了避免被网站检测到是爬虫,可以添加以下配置:
Python
 
复制
chrome_options.add_argument("--disable-blink-features=AutomationControlled")
chrome_options.add_experimental_option("excludeSwitches", ["enable-automation"])
chrome_options.add_experimental_option('useAutomationExtension', False)
chrome_options.add_argument('--disable-web-security')
chrome_options.add_argument('--disable-features=VizDisplayCompositor')
 

4. 高级启动方式

如果基础方式被检测到,可以使用远程调试模式:
步骤 1:手动启动 Chrome
bash
 
复制
chrome.exe --remote-debugging-port=9222 --user-data-dir="D:\chrometemp"
 
步骤 2:在代码中连接已打开的 Chrome
Python
 
复制
chrome_options = Options()
chrome_options.add_experimental_option("debuggerAddress", "127.0.0.1:9222")
chrome_options.add_argument("--disable-blink-features=AutomationControlled")

service = Service('path/to/chromedriver.exe')
driver = webdriver.Chrome(service=service, options=chrome_options)
 

5. 版本兼容性注意事项

  • Selenium 版本:使用 4.18+ 版本以支持 Chrome 133 的 CDP v133 协议
  • 版本锁定:在 CI/CD 环境中锁定浏览器版本
  • 容器化:考虑使用 Docker 固定测试环境

6. 安装依赖

bash
 
复制
pip install selenium webdriver-manager
 

7. 完整爬虫示例

Python
 
复制
import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager

def create_driver():
    chrome_options = Options()
    chrome_options.add_argument('--headless=new')  # 新版无头模式
    chrome_options.add_argument('--disable-gpu')
    chrome_options.add_argument('--no-sandbox')
    chrome_options.add_argument('--disable-dev-shm-usage')
    chrome_options.add_argument("--disable-blink-features=AutomationControlled")
    chrome_options.add_experimental_option("excludeSwitches", ["enable-automation"])
    
    driver = webdriver.Chrome(
        service=Service(ChromeDriverManager().install()),
        options=chrome_options
    )
    return driver

# 使用示例
driver = create_driver()
driver.get('https://example.com')

# 等待页面加载
time.sleep(3)

# 获取数据
title = driver.title
print(f"页面标题: {title}")

# 关闭浏览器
driver.quit()
 
这种方式可以有效使用 Chrome 133.0.6943.60 进行网页爬虫开发,同时降低被网站检测到的风险。

全部评论

·