htmlunit抓取动态网页(-scrapinghtmlunit使用htmlunit-的网页上的javascript办法)
优采云 发布时间: 2022-03-31 11:22htmlunit抓取动态网页(-scrapinghtmlunit使用htmlunit-的网页上的javascript办法)
标签:javajavascriptscreen-scrapinghtmlunit
在使用 htmlunit 抓取网页时,我偶尔会注意到这些警告充斥着控制台输出。
Jul 24, 2011 5:12:59 PM com.gargoylesoftware.htmlunit.javascript.StrictErrorReporter warning
WARNING: warning: message=[Calling eval() with anything other than a primitive string value
will simply return the value. Is this what you intended?] sourceName=[http://ad.doubleclick.net/adj/N5762.morningstar.com/B5553006.25;sz=728x90;click0=http://ads.morningstar.com/RealMedia/ads/click_lx.ads/www.morningstar.com/quicktake/fund/L34/648978540/TopLeft/Morningstar/JPM_FRpt_728x90_Jul_3827448/Fund_Reports_728x90_content.html/656d5477595534723465554144664a2b?;ord=648978540?] line=[356] lineSource=[null] lineOffset=[0]
有没有办法让htmlunit忽略
javascript
就算了
再次,有没有办法让 htmlunit 只解释收录特定子字符串或匹配正则表达式的网页上的 javascript?
1 个回答:
答案 0 :( 得分:2)
您可以通过实现自己的 javascript 来删除不需要的 JavaScriptScriptPreProcessor。您的 ScriptPreProcessor 可以检测到您不想执行的 jsvascript,而不是将其从 网站 中删除。
我没有尝试过,但它可能会起作用。