动态网页抓取(中结合selenium脚本的登录页面抓取位于地图右侧区域 )
优采云 发布时间: 2022-03-15 09:23动态网页抓取(中结合selenium脚本的登录页面抓取位于地图右侧区域
)
我用python结合selenium编写了一个脚本,从它的登录页面获取位于地图右侧区域的不同属性的链接。
链接到着陆页
当我从 chrome 手动单击每个块时,我在新选项卡中看到 /for_sale/ 收录此部分的链接,而我的脚本获取收录 /homedetails/ 的内容。
我怎样才能获得结果的数量(例如 153 个待售房屋)和正确的房产链接?
到目前为止我的尝试:
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
link = "https://www.zillow.com/homes/33155_rb/"
driver = webdriver.Chrome()
wait = WebDriverWait(driver, 10)
driver.get(link)
itemcount = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,"#map-result-count-message h2")))
print(itemcount.text)
for item in wait.until(EC.visibility_of_all_elements_located((By.CSS_SELECTOR,".zsg-photo-card-overlay-link"))):
print(item.get_attribute("href"))
driver.quit()
当前输出之一:
https://www.zillow.com/homedetails/6860-SW-48th-Ter-Miami-FL-33155/44206318_zpid/
这样的预期输出之一:
https://www.zillow.com/homes/for_sale/Miami-FL-33155/house_type/44184455_zpid/72458_rid/globalrelevanceex_sort/25.776783,-80.256072,25.695446,-80.364905_rect/12_zm/0_mmm/