java从网页抓取数据(web端获取数据获取多网页数据web链接常见格式(图))

　　java从网页抓取数据(web端获取数据获取多网页数据web链接常见格式(图))

　　一、从网上获取数据

　　只需转到bi desktop的“获取数据”中的“网络”选项即可。“网络”界面有两个选项卡，“基本”和“高级”。通常情况下，“基本”选项卡可以满足日常工作的需要。下面以此为例。

　　二、获取数据

　　进入网页链接后，会执行导航器的“加载”、“编辑”等常用功能，您只需根据实际工作需要进行操作即可。

　　三、获取多个网页数据

　　网页链接的常用格式如下：最后一个“1”表示当前链接为第一页数据，第二页数据链接应为“”。当网页数据较大时，如果每次都通过网页链接获取数据，会消耗大量时间。但是在组件查询中有相应的函数来简化操作，如下：

　　获取到某页数据后，进入“编辑查询”界面，在“编辑查询”界面中选择“高级编辑器”选项卡，高级编辑器界面为当年的工作路径。类似于下图：

　　这时候需要在“let”前面输入“(p as number) as table=>”；并在链接中修改网页的页码，即上面提到的“1,2”和其他数字“(Number.ToText(p ))”。

　　备注：网页链接有两种，一种是页码数据在链接的末尾，按照上面的操作即可；另一个是链接以 .html 结尾。除了上面的替换操作，这个类型是 _"&(Number.ToText (p))&".html")) 只需点击这里单独定义html。

　　四、 抓取多个数据网页

　　首先，使用空查询创建一个数字序列。如果要抓取前100页的数据，创建一个从1到100的序列。在空查询中输入={1..100}，生成一个从1开始的序列，然后将序列转换为100到一张桌子。

　　然后调用自定义函数，

　　在弹出的窗口中，点击【函数查询】下拉框，选择你刚刚创建的自定义函数Data_Zhaopin，其他的都是默认的。

　　点击确定开始批量抓取网页，抓取成功。可根据工作需要进行后续操作。