js抓取网页内容(我正在尝试从当用户向下滚动到底部时动态生成内容的页面中抓取链接)

　　js抓取网页内容(我正在尝试从当用户向下滚动到底部时动态生成内容的页面中抓取链接)

　　我试图从当用户向下滚动到底部（无限滚动）时动态生成内容的页面中抓取链接。我已经尝试将 Phantomjs 用于不同的事情，但我无法采集第一页之外的链接。假设在底部加载内容的元素具有类 .has-more-items。它在滚动加载最终内容之前可用，然后在 DOM 中变得不可用（显示：无）。这是我尝试过的 - 之后立即将 viewportSize 设置为更大的高度 var page = require('webpage').create();page.viewportSize = { width: 1600, height: 10000, };page.scrollPosition = {顶部：10000，左侧：0 } 在内部使用 page.open 但没有效果，例如 - 也尝试将其放入 page.evaluate 函数中，但这会给出参考错误：未找到可变页面尝试内部使用 jQuery 和 JS 代码 page.evaluate, page.open 但无济于事 - $("html, body").animate({ scrollTop: $(document).height() }, 10, function () { //console.log ('检查执行'); }); 照原样，也在 document.ready 中。同样对于 JS 代码 - 在 window.onload 中，我已经被它击中了两天，但找不到方法。任何帮助或提示将不胜感激。更新我在#!topic/phantomjs/8LrWRW8ZrA0 找到了一段有用的代码，其中是我想要访问的元素的类。has-more-items，最初位于页面底部，当我们滚动时它会向下移动down ，直到所有数据都加载完毕，然后变得不可用。然而，当我测试它时，很明显，它在没有向下滚动的情况下进入了无限循环（我渲染图片以检查）。我也试过 page.scrollPosition = { top: page.