htmlunit抓取动态网页(-scrapinghtmlunit使用htmlunit-的网页上的javascript办法)

优采云 发布时间: 2022-03-31 11:22

  htmlunit抓取动态网页(-scrapinghtmlunit使用htmlunit-的网页上的javascript办法)

  标签:javajavascriptscreen-scrapinghtmlunit

  在使用 htmlunit 抓取网页时,我偶尔会注意到这些警告充斥着控制台输出。

  Jul 24, 2011 5:12:59 PM com.gargoylesoftware.htmlunit.javascript.StrictErrorReporter warning

WARNING: warning: message=[Calling eval() with anything other than a primitive string value

will simply return the value. Is this what you intended?] sourceName=[http://ad.doubleclick.net/adj/N5762.morningstar.com/B5553006.25;sz=728x90;click0=http://ads.morningstar.com/RealMedia/ads/click_lx.ads/www.morningstar.com/quicktake/fund/L34/648978540/TopLeft/Morningstar/JPM_FRpt_728x90_Jul_3827448/Fund_Reports_728x90_content.html/656d5477595534723465554144664a2b?;ord=648978540?] line=[356] lineSource=[null] lineOffset=[0]

  有没有办法让htmlunit忽略

  javascript

  就算了

  再次,有没有办法让 htmlunit 只解释收录特定子字符串或匹配正则表达式的网页上的 javascript?

  1 个回答:

  答案 0 :( 得分:2)

  您可以通过实现自己的 javascript 来删除不需要的 JavaScriptScriptPreProcessor。您的 ScriptPreProcessor 可以检测到您不想执行的 jsvascript,而不是将其从 网站 中删除。

  我没有尝试过,但它可能会起作用。

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线