动态网页抓取(中结合selenium脚本的登录页面抓取位于地图右侧区域 )

优采云 发布时间: 2022-03-15 09:23

  动态网页抓取(中结合selenium脚本的登录页面抓取位于地图右侧区域

)

  我用python结合selenium编写了一个脚本,从它的登录页面获取位于地图右侧区域的不同属性的链接。

  链接到着陆页

  当我从 chrome 手动单击每个块时,我在新选项卡中看到 /for_sale/ 收录此部分的链接,而我的脚本获取收录 /homedetails/ 的内容。

  我怎样才能获得结果的数量(例如 153 个待售房屋)和正确的房产链接?

  到目前为止我的尝试:

  from selenium import webdriver

from selenium.webdriver.common.by import By

from selenium.webdriver.support.ui import WebDriverWait

from selenium.webdriver.support import expected_conditions as EC

link = "https://www.zillow.com/homes/33155_rb/"

driver = webdriver.Chrome()

wait = WebDriverWait(driver, 10)

driver.get(link)

itemcount = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,"#map-result-count-message h2")))

print(itemcount.text)

for item in wait.until(EC.visibility_of_all_elements_located((By.CSS_SELECTOR,".zsg-photo-card-overlay-link"))):

print(item.get_attribute("href"))

driver.quit()

  当前输出之一:

  https://www.zillow.com/homedetails/6860-SW-48th-Ter-Miami-FL-33155/44206318_zpid/

  这样的预期输出之一:

  https://www.zillow.com/homes/for_sale/Miami-FL-33155/house_type/44184455_zpid/72458_rid/globalrelevanceex_sort/25.776783,-80.256072,25.695446,-80.364905_rect/12_zm/0_mmm/

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线