整套解决方案:熊猫智能采集监测软件
　　优财云采集器
软件是新一代采集软件，全程鼠标操作。用户无需关心网页源代码，编写采集规则，使用正则表达式技术。全程智能辅助，是采集软件行业的更新换代产品。
　　基本介绍
　　
　　如果您不能通过熊猫软件解决您的采集
需求，最可能的原因是您还不熟悉熊猫的功能和操作。优财云采集器
软件是新一代采集软件，全程鼠标操作。用户无需关心网页源代码，编写采集规则，使用正则表达式技术。全程智能辅助，是采集软件行业的更新换代产品。同时它也是一款通用的采集软件，可应用于各行业，满足各种采集需求（包括站群系统）。是复杂采集需求的必备之选，也是新手使用采集软件的首选。
　　软件特色
　　
　　优财云采集器
软件与同类软件最大的区别在于它功能强大，同时操作简单，类似于从DOS操作系统切换到windows操作系统。前者需要专业技术人员才能有效操作，而Panda则是面向大众的可视化操作平台。
　　本产品为免费安全软件，欢迎有需要的朋友到188soft软件园下载使用。
　　解决方案:oracle sql_profile文件基本管理操作及调用sql调优助手
　　1、什么是SQL配置文件？
　　SQL 配置文件是存储在数据字典中的信息集合，它使查询优化器能够为 SQL 语句创建最佳执行计划。SQL 配置文件收录
对自动 SQL 调优期间发现的优化器估计不佳的更正。这些信息可以提高优化器的基数和选择性估计，进而指导优化器选择更好的计划。
　　SQL 配置文件不收录
有关各个执行计划的信息。相反，优化器在选择计划时具有以下信息来源：
　　重要的是要注意 SQL Profile 不会像存储的配置文件那样冻结 SQL 语句的执行计划。随着表的增长或索引的创建或删除，可以使用相同的 SQL 配置文件更改执行计划。即使相应语句的数据分布或访问路径发生变化，其中存储的信息仍然具有相关性。但是，时间长了，其内容可能会过时，必须重新生成。这可以通过在同一语句上再次运行 Auto SQL Tuning 重新生成 SQL 配置文件来完成。
　　二、如何控制SQL Profile的范围？
　　SQL 配置文件的范围可以由 CATEGORY 配置文件属性控制。此属性确定哪些用户会话可以应用配置文件。SQL Profile 的 CATEGORY 属性可以在 DBA_SQL_PROFILES 视图的 CATEGORY 列中查看。
　　SQL> select * from DBA_SQL_PROFILES;
no rows selected
　　默认情况下，所有配置文件都创建在 DEFAULT 类别中。这意味着所有将 SQLTUNE_CATEGORY 初始化参数设置为 DEFAULT 的用户会话都可以使用该配置文件。
　　通过更改 SQL 配置文件的类别，您可以确定哪些会话受到配置文件创建的影响。例如，通过将 SQL Profile 的类别设置为 DEV，只有那些 SQLTUNE_CATEGORY 初始化参数设置为 DEV 的用户会话才能使用该配置文件。所有其他会话无权访问 SQL profile，SQL 语句的执行计划不受 SQL profile 的影响。此技术使您能够在受限环境中测试 SQL 配置文件，然后再将它们提供给其他用户会话。
　　3、SQL Profile适用于哪些语句？
　　选择语句
　　更新语句
　　INSERT 语句（仅带有 SELECT 子句）
　　删除语句
　　CREATE TABLE 语句（仅限 AS SELECT 子句）
　　MERGE 语句（更新或插入操作）
　　四、sql配置文件管理 4.1、创建测试数据
　　SQL> select * from dept where deptno='20';
Execution Plan
----------------------------------------------------------
Plan hash value: 2852011669
---------------------------------------------------------------------------------------
| Id | Operation | Name | Rows | Bytes | Cost (%CPU)| Time |
---------------------------------------------------------------------------------------
| 0 | SELECT STATEMENT | | 1 | 30 | 1 (0)| 00:00:01 |
| 1 | TABLE ACCESS BY INDEX ROWID| DEPT | 1 | 30 | 1 (0)| 00:00:01 |
|* 2 | INDEX UNIQUE SCAN | PK_DEPT | 1 | | 1 (0)| 00:00:01 |
---------------------------------------------------------------------------------------
Predicate Information (identified by operation id):
---------------------------------------------------
2 - access("DEPTNO"=20)
Statistics
----------------------------------------------------------
1 recursive calls
0 db block gets
2 consistent gets
0 physical reads
0 redo size
572 bytes sent via SQL*Net to client
387 bytes received via SQL*Net from client
1 SQL*Net roundtrips to/from client
0 sorts (memory)
0 sorts (disk)
1 rows processed
SQL> select /*+ no_index(dept,pk_dept) */ * from dept where deptno='20';
Execution Plan
----------------------------------------------------------
Plan hash value: 3383998547
--------------------------------------------------------------------------
| Id | Operation | Name | Rows | Bytes | Cost (%CPU)| Time |
--------------------------------------------------------------------------
| 0 | SELECT STATEMENT | | 1 | 30 | 2 (0)| 00:00:01 |
|* 1 | TABLE ACCESS FULL| DEPT | 1 | 30 | 2 (0)| 00:00:01 |
--------------------------------------------------------------------------
Predicate Information (identified by operation id):
---------------------------------------------------
1 - filter("DEPTNO"=20)
Statistics
----------------------------------------------------------
1 recursive calls
0 db block gets
8 consistent gets
0 physical reads
0 redo size
712 bytes sent via SQL*Net to client
428 bytes received via SQL*Net from client
2 SQL*Net roundtrips to/from client
0 sorts (memory)
0 sorts (disk)
1 rows processed
　　4.2. 创建调整任务
　　SQL> declare
2 my_task_name VARCHAR2(30);
3 my_sqltext CLOB;
4 begin
5 my_sqltext := 'select /*+ no_index(dept,pk_dept) */ * from dept where deptno=20';
6 my_task_name := DBMS_SQLTUNE.CREATE_TUNING_TASK(
7 sql_text => my_sqltext,
8 user_name => 'SCOTT',
9 scope => 'COMPREHENSIVE',
10 time_limit => 60,
11 task_name => 'my_sql_tuning_task_2',
12 description => 'Task to tune a query on a specified table');
13 end;
14 /
PL/SQL procedure successfully completed.
SQL> begin
2 DBMS_SQLTUNE.EXECUTE_TUNING_TASK( task_name => 'my_sql_tuning_task_2');
3 end;
4 /
PL/SQL procedure successfully completed.
　　SQL> set long 10000
SQL> set longchunksize 1000
SQL> set linesize 100
SQL> set heading off
SQL> SELECT DBMS_SQLTUNE.REPORT_TUNING_TASK( 'my_sql_tuning_task_2') from DUAL;
set heading on
GENERAL INFORMATION SECTION
-------------------------------------------------------------------------------
Tuning Task Name : my_sql_tuning_task_2
Tuning Task Owner : SYS
Workload Type : Single SQL Statement
Scope : COMPREHENSIVE
Time Limit(seconds): 60
Completion Status : COMPLETED
Started at : 10/18/2022 19:46:07
Completed at : 10/18/2022 19:46:08
-------------------------------------------------------------------------------
Schema Name: SCOTT
SQL ID : 2zh9xq5rc29zp
SQL Text : select /*+ no_index(dept,pk_dept) */ * from dept where deptno=20
-------------------------------------------------------------------------------
FINDINGS SECTION (2 findings)
-------------------------------------------------------------------------------
1- Statistics Finding
---------------------
Table "SCOTT"."DEPT" and its indices were not analyzed.
Recommendation
--------------
- Consider collecting optimizer statistics for this table and its indices.
execute dbms_stats.gather_table_stats(ownname => 'SCOTT', tabname =>
'DEPT', estimate_percent => DBMS_STATS.AUTO_SAMPLE_SIZE,
method_opt => 'FOR ALL COLUMNS SIZE AUTO', cascade => TRUE);
Rationale
---------
The optimizer requires up-to-date statistics for the table and its indices
in order to select a good execution plan.
2- SQL Profile Finding (see explain plans section below)
--------------------------------------------------------
A potentially better execution plan was found for this statement.
Recommendation (estimated benefit: 71.42%)
------------------------------------------
- Consider accepting the recommended SQL profile.
execute dbms_sqltune.accept_sql_profile(task_name =>
'my_sql_tuning_task_2', task_owner => 'SYS', replace => TRUE);
Validation results
------------------
The SQL profile was tested by executing both its plan and the original plan
and measuring their respective execution statistics. A plan may have been
only partially executed if the other could be run to completion in less time.
Original Plan With SQL Profile % Improved
------------- ---------------- ----------
Completion Status: COMPLETE COMPLETE
Elapsed Time (s): .000027 .000017 37.03 %
CPU Time (s): .000021 .000008 61.9 %
User I/O Time (s): 0 0
Buffer Gets: 7 2 71.42 %
Physical Read Requests: 0 0
Physical Write Requests: 0 0
Physical Read Bytes: 0 0
Physical Write Bytes: 0 0
Rows Processed: 1 1
Fetches: 1 1
Executions: 1 1
Notes
-----
1. Statistics for the original plan were averaged over 10 executions.
2. Statistics for the SQL profile plan were averaged over 10 executions.
-------------------------------------------------------------------------------
EXPLAIN PLANS SECTION
-------------------------------------------------------------------------------
1- Original With Adjusted Cost
------------------------------
Plan hash value: 3383998547
--------------------------------------------------------------------------
| Id | Operation | Name | Rows | Bytes | Cost (%CPU)| Time |
--------------------------------------------------------------------------
| 0 | SELECT STATEMENT | | 1 | 18 | 3 (0)| 00:00:01 |
|* 1 | TABLE ACCESS FULL| DEPT | 1 | 18 | 3 (0)| 00:00:01 |
--------------------------------------------------------------------------
Predicate Information (identified by operation id):
---------------------------------------------------
1 - filter("DEPTNO"=20)
Hint Report (identified by operation id / Query Block Name / Object Alias):
Total hints for statement: 3 (U - Unused (3))
---------------------------------------------------------------------------
0 - STATEMENT
U - IGNORE_OPTIM_EMBEDDED_HINTS / hint overridden by another in parent query block
U - OPTIMIZER_FEATURES_ENABLE(default) / hint overridden by another in parent query block
1 - SEL$1 / DEPT@SEL$1
U - no_index(dept,pk_dept) / rejected by IGNORE_OPTIM_EMBEDDED_HINTS
2- Using SQL Profile
--------------------
Plan hash value: 2852011669
---------------------------------------------------------------------------------------
| Id | Operation | Name | Rows | Bytes | Cost (%CPU)| Time |
---------------------------------------------------------------------------------------
| 0 | SELECT STATEMENT | | 1 | 18 | 1 (0)| 00:00:01 |
| 1 | TABLE ACCESS BY INDEX ROWID| DEPT | 1 | 18 | 1 (0)| 00:00:01 |
|* 2 | INDEX UNIQUE SCAN | PK_DEPT | 1 | | 0 (0)| 00:00:01 |
---------------------------------------------------------------------------------------
Predicate Information (identified by operation id):
---------------------------------------------------
2 - access("DEPTNO"=20)
Hint Report (identified by operation id / Query Block Name / Object Alias):
Total hints for statement: 1 (U - Unused (1))
---------------------------------------------------------------------------
1 - SEL$1 / DEPT@SEL$1
U - no_index(dept,pk_dept) / rejected by IGNORE_OPTIM_EMBEDDED_HINTS
-------------------------------------------------------------------------------
　　4.3. 接受资料
　　SQL> DECLARE
2 my_sqlprofile_name VARCHAR2(30);
3 begin
4 my_sqlprofile_name := DBMS_SQLTUNE.ACCEPT_SQL_PROFILE (
5 task_name => 'my_sql_tuning_task_2',
6 name => 'my_sql_profile');
7 end;
8 /
PL/SQL procedure successfully completed.
　　SQL> select /*+ no_index(dept,pk_dept) */ * from dept where deptno=20;
Execution Plan
----------------------------------------------------------
Plan hash value: 2852011669
---------------------------------------------------------------------------------------
| Id | Operation | Name | Rows | Bytes | Cost (%CPU)| Time |
---------------------------------------------------------------------------------------
| 0 | SELECT STATEMENT | | 1 | 18 | 1 (0)| 00:00:01 |
| 1 | TABLE ACCESS BY INDEX ROWID| DEPT | 1 | 18 | 1 (0)| 00:00:01 |
|* 2 | INDEX UNIQUE SCAN | PK_DEPT | 1 | | 0 (0)| 00:00:01 |
---------------------------------------------------------------------------------------
Predicate Information (identified by operation id):
---------------------------------------------------
2 - access("DEPTNO"=20)
Hint Report (identified by operation id / Query Block Name / Object Alias):
Total hints for statement: 1 (U - Unused (1))
---------------------------------------------------------------------------
1 - SEL$1 / DEPT@SEL$1
U - no_index(dept,pk_dept) / rejected by IGNORE_OPTIM_EMBEDDED_HINTS
Note
-----
- SQL profile "my_sql_profile" used for this statement
Statistics
----------------------------------------------------------
0 recursive calls
0 db block gets
2 consistent gets
0 physical reads
0 redo size
572 bytes sent via SQL*Net to client
415 bytes received via SQL*Net from client
1 SQL*Net roundtrips to/from client
0 sorts (memory)
0 sorts (disk)
1 rows processed
　　4.4. 修改资料
　　SQL> col name for a30
SQL> col sql_text for a50
SQL> col STATUS for a10
SQL> select name,sql_text,status from dba_sql_profiles;
NAME SQL_TEXT STATUS
<p>
------------------------------ -------------------------------------------------- ----------
my_sql_profile select /*+ no_index(dept,pk_dept) */ * from dept w ENABLED
here deptno=20
SQL> BEGIN
2 DBMS_SQLTUNE.ALTER_SQL_PROFILE(
3 name => 'my_sql_profile',
4 attribute_name => 'STATUS',
5 value => 'DISABLED');
6 END;
7 /
PL/SQL procedure successfully completed.
SQL> select name,sql_text,status from dba_sql_profiles;
NAME SQL_TEXT STATUS
------------------------------ -------------------------------------------------- ----------
my_sql_profile select /*+ no_index(dept,pk_dept) */ * from dept w DISABLED
here deptno=20

SQL> select /*+ no_index(dept,pk_dept) */ * from dept where deptno=20;
Execution Plan
----------------------------------------------------------
Plan hash value: 3383998547
--------------------------------------------------------------------------
| Id | Operation | Name | Rows | Bytes | Cost (%CPU)| Time |
--------------------------------------------------------------------------
| 0 | SELECT STATEMENT | | 1 | 20 | 3 (0)| 00:00:01 |
|* 1 | TABLE ACCESS FULL| DEPT | 1 | 20 | 3 (0)| 00:00:01 |
--------------------------------------------------------------------------
Predicate Information (identified by operation id):
---------------------------------------------------
1 - filter("DEPTNO"=20)
Statistics
----------------------------------------------------------
102 recursive calls
0 db block gets
117 consistent gets
0 physical reads
0 redo size
712 bytes sent via SQL*Net to client
426 bytes received via SQL*Net from client
2 SQL*Net roundtrips to/from client
10 sorts (memory)
0 sorts (disk)
1 rows processed
</p>
　　4.5、删除个人资料
　　SQL> begin
2 DBMS_SQLTUNE.DROP_SQL_PROFILE(name => 'my_sql_profile');
3 end;
4 /
PL/SQL procedure successfully completed.
SQL> select name,sql_text,status from dba_sql_profiles;
no rows selected
　　5、调用sql优化助手 5.1。创建调优任务
　　SQL> DECLARE
2 my_task_name VARCHAR2(30);
3 sqltext CLOB;
4 BEGIN
5 sqltext := 'select /*+ no_index(dept,pk_dept) */ * from dept where deptno=20';
6 my_task_name := DBMS_SQLTUNE.CREATE_TUNING_TASK(
7 sql_text => sqltext,
8 user_name => 'SCOTT',
9 scope => 'COMPREHENSIVE',
10 time_limit => 60,
11 task_name => 'task1',
12 description => 'tuning a sql');
13 END;
14 /
PL/SQL procedure successfully completed.
--对于已知sql_id,可以使用如下
SQL> SET SERVEROUTPUT ON
SQL> declare
2 my_task VARCHAR2(40);
3 begin
4 my_task := DBMS_SQLTUNE.CREATE_TUNING_TASK(sql_id => '8xfufkq3nnuwa');
5 DBMS_OUTPUT.put_line('task_id: ' || my_task );
6 end;
7 /
task_id: TASK_168
PL/SQL procedure successfully completed.
##### 5.2、检查任务
SQL> select owner,task_id,task_name,status,status_message from dba_advisor_log;
OWNER TASK_ID TASK_NAME STATUS STATUS_MESSAGE
-------------------- ---------- ------------------------------ -------------------- ------------------------------
SCOTT 168 TASK_168 INITIAL
SYS 167 task1 INITIAL
　　5.3、运行任务
　　SQL> begin
2 dbms_sqltune.Execute_tuning_task(task_name=>'TASK_168');
3 end;
4 /
PL/SQL procedure successfully completed.
SQL> begin
2 dbms_sqltune.Execute_tuning_task(task_name=>'task1');
3 end;
4 /
PL/SQL procedure successfully completed.
SQL> select owner,task_id,task_name,status,status_message from dba_advisor_log;
SCOTT 168 TASK_168 COMPLETED
SYS 167 task1 COMPLETED
　　5.4. 检查建议
　　
SQL> set long 65536
SQL> set longchunksize 65536
SQL> set linesize 100
SQL> select dbms_sqltune.report_tuning_task('task1') from dual;
DBMS_SQLTUNE.REPORT_TUNING_TASK('TASK1')
----------------------------------------------------------------------------------------------------
GENERAL INFORMATION SECTION
-------------------------------------------------------------------------------
Tuning Task Name : task1
Tuning Task Owner : SYS
Workload Type : Single SQL Statement
Scope : COMPREHENSIVE
Time Limit(seconds): 60
Completion Status : COMPLETED
Started at : 10/20/2022 04:47:25
Completed at : 10/20/2022 04:47:25
DBMS_SQLTUNE.REPORT_TUNING_TASK('TASK1')
----------------------------------------------------------------------------------------------------
-------------------------------------------------------------------------------
Schema Name: SCOTT
SQL ID : 2zh9xq5rc29zp
SQL Text : select /*+ no_index(dept,pk_dept) */ * from dept where deptno=20
-------------------------------------------------------------------------------
FINDINGS SECTION (1 finding)
-------------------------------------------------------------------------------
1- SQL Profile Finding (see explain plans section below)
--------------------------------------------------------
DBMS_SQLTUNE.REPORT_TUNING_TASK('TASK1')
----------------------------------------------------------------------------------------------------
A potentially better execution plan was found for this statement.
Recommendation (estimated benefit: 66.64%)
------------------------------------------
- Consider accepting the recommended SQL profile.
execute dbms_sqltune.accept_sql_profile(task_name => 'task1', task_owner
=> 'SYS', replace => TRUE);
Validation results
------------------
The SQL profile was tested by executing both its plan and the original plan
DBMS_SQLTUNE.REPORT_TUNING_TASK('TASK1')
----------------------------------------------------------------------------------------------------
and measuring their respective execution statistics. A plan may have been
only partially executed if the other could be run to completion in less time.
Original Plan With SQL Profile % Improved
------------- ---------------- ----------
Completion Status: COMPLETE COMPLETE
Elapsed Time (s): .000028 .000022 21.42 %
CPU Time (s): .000029 .000022 24.13 %
User I/O Time (s): 0 0
Buffer Gets: 6 2 66.66 %
Physical Read Requests: 0 0
DBMS_SQLTUNE.REPORT_TUNING_TASK('TASK1')
----------------------------------------------------------------------------------------------------
Physical Write Requests: 0 0
Physical Read Bytes: 0 0
Physical Write Bytes: 0 0
Rows Processed: 1 1
Fetches: 1 1
Executions: 1 1
Notes
-----
1. Statistics for the original plan were averaged over 10 executions.
2. Statistics for the SQL profile plan were averaged over 10 executions.
DBMS_SQLTUNE.REPORT_TUNING_TASK('TASK1')
----------------------------------------------------------------------------------------------------
-------------------------------------------------------------------------------
EXPLAIN PLANS SECTION
-------------------------------------------------------------------------------
1- Original With Adjusted Cost
------------------------------
Plan hash value: 3383998547
--------------------------------------------------------------------------
| Id | Operation | Name | Rows | Bytes | Cost (%CPU)| Time |
DBMS_SQLTUNE.REPORT_TUNING_TASK('TASK1')
----------------------------------------------------------------------------------------------------
--------------------------------------------------------------------------
| 0 | SELECT STATEMENT | | 1 | 20 | 3 (0)| 00:00:01 |
|* 1 | TABLE ACCESS FULL| DEPT | 1 | 20 | 3 (0)| 00:00:01 |
--------------------------------------------------------------------------
Predicate Information (identified by operation id):
---------------------------------------------------
1 - filter("DEPTNO"=20)
Hint Report (identified by operation id / Query Block Name / Object Alias):
DBMS_SQLTUNE.REPORT_TUNING_TASK('TASK1')
----------------------------------------------------------------------------------------------------
Total hints for statement: 3 (U - Unused (3))
---------------------------------------------------------------------------
0 - STATEMENT
U - IGNORE_OPTIM_EMBEDDED_HINTS / hint overridden by another in parent query block
U - OPTIMIZER_FEATURES_ENABLE(default) / hint overridden by another in parent query block
1 - SEL$1 / DEPT@SEL$1
U - no_index(dept,pk_dept) / rejected by IGNORE_OPTIM_EMBEDDED_HINTS
2- Using SQL Profile
DBMS_SQLTUNE.REPORT_TUNING_TASK('TASK1')
----------------------------------------------------------------------------------------------------
--------------------
Plan hash value: 2852011669
---------------------------------------------------------------------------------------
| Id | Operation | Name | Rows | Bytes | Cost (%CPU)| Time |
---------------------------------------------------------------------------------------
| 0 | SELECT STATEMENT | | 1 | 20 | 1 (0)| 00:00:01 |
| 1 | TABLE ACCESS BY INDEX ROWID| DEPT | 1 | 20 | 1 (0)| 00:00:01 |
|* 2 | INDEX UNIQUE SCAN | PK_DEPT | 1 | | 0 (0)| 00:00:01 |
---------------------------------------------------------------------------------------
DBMS_SQLTUNE.REPORT_TUNING_TASK('TASK1')
----------------------------------------------------------------------------------------------------
Predicate Information (identified by operation id):
---------------------------------------------------
2 - access("DEPTNO"=20)
Hint Report (identified by operation id / Query Block Name / Object Alias):
Total hints for statement: 1 (U - Unused (1))
---------------------------------------------------------------------------
1 - SEL$1 / DEPT@SEL$1
U - no_index(dept,pk_dept) / rejected by IGNORE_OPTIM_EMBEDDED_HINTS
DBMS_SQLTUNE.REPORT_TUNING_TASK('TASK1')
----------------------------------------------------------------------------------------------------
-------------------------------------------------------------------------------
　　SQL> set long 65536
SQL> set longchunksize 65536
SQL> set linesize 100
SQL> select dbms_sqltune.report_tuning_task('TASK_168') from dual;
DBMS_SQLTUNE.REPORT_TUNING_TASK('TASK_168')
----------------------------------------------------------------------------------------------------
GENERAL INFORMATION SECTION
-------------------------------------------------------------------------------
Tuning Task Name : TASK_168
Tuning Task Owner : SCOTT
Workload Type : Single SQL Statement
Execution Count : 2
Current Execution : EXEC_184
Execution Type : TUNE SQL
Scope : COMPREHENSIVE
Time Limit(seconds): 1800
Completion Status : COMPLETED
DBMS_SQLTUNE.REPORT_TUNING_TASK('TASK_168')
----------------------------------------------------------------------------------------------------
Started at : 10/20/2022 04:47:14
Completed at : 10/20/2022 04:47:14
-------------------------------------------------------------------------------
Schema Name: SCOTT
SQL ID : 8xfufkq3nnuwa
SQL Text : select /*+ no_index(emp,PK_EMP) */ count(*) from emp
-------------------------------------------------------------------------------
FINDINGS SECTION (1 finding)
-------------------------------------------------------------------------------
DBMS_SQLTUNE.REPORT_TUNING_TASK('TASK_168')
----------------------------------------------------------------------------------------------------
1- SQL Profile Finding (see explain plans section below)
--------------------------------------------------------
A potentially better execution plan was found for this statement.
Recommendation (estimated benefit: 83.31%)
------------------------------------------
- Consider accepting the recommended SQL profile.
execute dbms_sqltune.accept_sql_profile(task_name => 'TASK_168',
task_owner => 'SCOTT', replace => TRUE);
DBMS_SQLTUNE.REPORT_TUNING_TASK('TASK_168')
<p>
----------------------------------------------------------------------------------------------------
Validation results
------------------
The SQL profile was tested by executing both its plan and the original plan
and measuring their respective execution statistics. A plan may have been
only partially executed if the other could be run to completion in less time.
Original Plan With SQL Profile % Improved
------------- ---------------- ----------
Completion Status: COMPLETE COMPLETE
Elapsed Time (s): .000026 .000018 30.76 %
CPU Time (s): .000024 .000018 25 %
DBMS_SQLTUNE.REPORT_TUNING_TASK('TASK_168')
----------------------------------------------------------------------------------------------------
User I/O Time (s): 0 0
Buffer Gets: 6 1 83.33 %
Physical Read Requests: 0 0
Physical Write Requests: 0 0
Physical Read Bytes: 0 0
Physical Write Bytes: 0 0
Rows Processed: 1 1
Fetches: 1 1
Executions: 1 1
Notes
DBMS_SQLTUNE.REPORT_TUNING_TASK('TASK_168')
----------------------------------------------------------------------------------------------------
-----
1. Statistics for the original plan were averaged over 10 executions.
2. Statistics for the SQL profile plan were averaged over 10 executions.
-------------------------------------------------------------------------------
EXPLAIN PLANS SECTION
-------------------------------------------------------------------------------
1- Original With Adjusted Cost
------------------------------
Plan hash value: 2083865914
DBMS_SQLTUNE.REPORT_TUNING_TASK('TASK_168')
----------------------------------------------------------------------------------------------------
-------------------------------------------------------------------
| Id | Operation | Name | Rows | Cost (%CPU)| Time |
-------------------------------------------------------------------
| 0 | SELECT STATEMENT | | 1 | 3 (0)| 00:00:01 |
| 1 | SORT AGGREGATE | | 1 | | |
| 2 | TABLE ACCESS FULL| EMP | 14 | 3 (0)| 00:00:01 |
-------------------------------------------------------------------
Hint Report (identified by operation id / Query Block Name / Object Alias):
Total hints for statement: 3 (U - Unused (3))
DBMS_SQLTUNE.REPORT_TUNING_TASK('TASK_168')
----------------------------------------------------------------------------------------------------
---------------------------------------------------------------------------
0 - STATEMENT
U - IGNORE_OPTIM_EMBEDDED_HINTS / hint overridden by another in parent query block
U - OPTIMIZER_FEATURES_ENABLE(default) / hint overridden by another in parent query block
2 - SEL$1 / EMP@SEL$1
U - no_index(emp,PK_EMP) / rejected by IGNORE_OPTIM_EMBEDDED_HINTS
2- Using SQL Profile
--------------------
DBMS_SQLTUNE.REPORT_TUNING_TASK('TASK_168')
----------------------------------------------------------------------------------------------------
Plan hash value: 2937609675
-------------------------------------------------------------------
| Id | Operation | Name | Rows | Cost (%CPU)| Time |
-------------------------------------------------------------------
| 0 | SELECT STATEMENT | | 1 | 1 (0)| 00:00:01 |
| 1 | SORT AGGREGATE | | 1 | | |
| 2 | INDEX FULL SCAN| PK_EMP | 14 | 1 (0)| 00:00:01 |
-------------------------------------------------------------------
Hint Report (identified by operation id / Query Block Name / Object Alias):
DBMS_SQLTUNE.REPORT_TUNING_TASK('TASK_168')
----------------------------------------------------------------------------------------------------
Total hints for statement: 1 (U - Unused (1))
---------------------------------------------------------------------------
2 - SEL$1 / EMP@SEL$1
U - no_index(emp,PK_EMP) / rejected by IGNORE_OPTIM_EMBEDDED_HINTS
-------------------------------------------------------------------------------
</p>
　　6、sql_profile的导入导出 6.1．检查 sql_profile
　　SQL> col name for a30
SQL> col sql_text for a50
SQL> col STATUS for a10
SQL> select name,sql_text,status from dba_sql_profiles;
NAME SQL_TEXT STATUS
------------------------------ -------------------------------------------------- ----------
SYS_SQLPROF_0183f21bc4c50000 select /*+ no_index(dept,pk_dept) */ * from dept w ENABLED
here deptno=20
1 row selected.
SQL> select /*+ no_index(dept,pk_dept) */ * from dept where deptno=20;
Execution Plan
----------------------------------------------------------
Plan hash value: 2852011669
---------------------------------------------------------------------------------------
| Id | Operation | Name | Rows | Bytes | Cost (%CPU)| Time |
---------------------------------------------------------------------------------------
| 0 | SELECT STATEMENT | | 1 | 20 | 1 (0)| 00:00:01 |
| 1 | TABLE ACCESS BY INDEX ROWID| DEPT | 1 | 20 | 1 (0)| 00:00:01 |
|* 2 | INDEX UNIQUE SCAN | PK_DEPT | 1 | | 0 (0)| 00:00:01 |
---------------------------------------------------------------------------------------
Predicate Information (identified by operation id):
---------------------------------------------------
2 - access("DEPTNO"=20)
Hint Report (identified by operation id / Query Block Name / Object Alias):
Total hints for statement: 1 (U - Unused (1))
---------------------------------------------------------------------------
1 - SEL$1 / DEPT@SEL$1
U - no_index(dept,pk_dept) / rejected by IGNORE_OPTIM_EMBEDDED_HINTS
Note
-----
- SQL profile "SYS_SQLPROF_0183f21bc4c50000" used for this statement
Statistics
----------------------------------------------------------
8 recursive calls
0 db block gets
5 consistent gets
1 physical reads
0 redo size
572 bytes sent via SQL*Net to client
415 bytes received via SQL*Net from client
1 SQL*Net roundtrips to/from client
0 sorts (memory)
0 sorts (disk)
1 rows processed
　　6.2. 存储 SQL 配置文件
　　SQL> begin
2 DBMS_SQLTUNE.CREATE_STGTAB_SQLPROF(table_name=>'tmp_profile',schema_name=>'SCOTT');
3 end;
4 /
PL/SQL procedure successfully completed.
SQL> begin
2 DBMS_SQLTUNE.PACK_STGTAB_SQLPROF (staging_table_name=>'tmp_profile',profile_name=>'SYS_SQLPROF_0183f21bc4c50000');
3 end;
4 /
PL/SQL procedure successfully completed.
--staging_table_name = >存储SQL概要文件的表的名称。
--profile_name = >要打包的SQL概要文件的名称。
--table_name = >存储SQL概要文件的表的名称。
--schema_name = >要在其中创建表的模式的名称。
--table_name和schema_name区分大小写。
　　6.3、目标数据库创建数据
　　SQL> create directory dir1 as '/tmp';
Directory created.
SQL> create public database link orcl connect to scott identified by oracle using 'ORCL';
Database link created.
SQL> select sysdate from dual@orcl;
SYSDATE
---------
20-OCT-22
[oracle@19c01 ~]$ impdp scott/tiger@pdbprod1 directory=dir1 schemas=scott table_exists_action=replace network_link=orcl
Import: Release 19.0.0.0.0 - Production on Thu Oct 20 05:38:42 2022
Version 19.3.0.0.0
Copyright (c) 1982, 2019, Oracle and/or its affiliates. All rights reserved.
Connected to: Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production
Starting "SCOTT"."SYS_IMPORT_SCHEMA_01": scott/********@pdbprod1 directory=dir1 schemas=scott table_exists_action=replace network_link=orcl
Estimate in progress using BLOCKS method...
Processing object type SCHEMA_EXPORT/TABLE/TABLE_DATA
Total estimation using BLOCKS method: 36.81 MB
Processing object type SCHEMA_EXPORT/USER
ORA-31684: Object type USER:"SCOTT" already exists
Processing object type SCHEMA_EXPORT/SYSTEM_GRANT
Processing object type SCHEMA_EXPORT/ROLE_GRANT
Processing object type SCHEMA_EXPORT/DEFAULT_ROLE
Processing object type SCHEMA_EXPORT/PRE_SCHEMA/PROCACT_SCHEMA
Processing object type SCHEMA_EXPORT/TABLE/TABLE
. . imported "SCOTT"."T" 72511 rows
. . imported "SCOTT"."T2" 72602 rows
. . imported "SCOTT"."T3" 72603 rows
. . imported "SCOTT"."TMP_PROFILE" 3 rows
. . imported "SCOTT"."TEST" 10000 rows
. . imported "SCOTT"."DEPT" 4 rows
. . imported "SCOTT"."EMP" 14 rows
. . imported "SCOTT"."SALGRADE" 5 rows
. . imported "SCOTT"."BONUS" 0 rows
Processing object type SCHEMA_EXPORT/TABLE/INDEX/INDEX
Processing object type SCHEMA_EXPORT/TABLE/CONSTRAINT/CONSTRAINT
Processing object type SCHEMA_EXPORT/TABLE/INDEX/STATISTICS/INDEX_STATISTICS
Processing object type SCHEMA_EXPORT/TABLE/CONSTRAINT/REF_CONSTRAINT
Processing object type SCHEMA_EXPORT/TABLE/STATISTICS/TABLE_STATISTICS
Processing object type SCHEMA_EXPORT/STATISTICS/MARKER
Job "SCOTT"."SYS_IMPORT_SCHEMA_01" completed with 1 error(s) at Thu Oct 20 05:39:42 2022 elapsed 0 00:00:58
　　这一步还导入了sql_profile的临时表
　　6.4. 目标库测试sql
　　SQL> select /*+ no_index(dept,pk_dept) */ * from dept where deptno=20;
Execution Plan
----------------------------------------------------------
Plan hash value: 3383998547
--------------------------------------------------------------------------
| Id | Operation | Name | Rows | Bytes | Cost (%CPU)| Time |
--------------------------------------------------------------------------
| 0 | SELECT STATEMENT | | 1 | 20 | 3 (0)| 00:00:01 |
|* 1 | TABLE ACCESS FULL| DEPT | 1 | 20 | 3 (0)| 00:00:01 |
--------------------------------------------------------------------------
Predicate Information (identified by operation id):
---------------------------------------------------
1 - filter("DEPTNO"=20)
Statistics
----------------------------------------------------------
14 recursive calls
18 db block gets
11 consistent gets
0 physical reads
3140 redo size
712 bytes sent via SQL*Net to client
426 bytes received via SQL*Net from client
2 SQL*Net roundtrips to/from client
0 sorts (memory)
0 sorts (disk)
1 rows processed
--全表扫描，未使用sql_profile
　　6.5. 解压配置文件临时表
　　SQL> begin
2 DBMS_SQLTUNE.UNPACK_STGTAB_SQLPROF(replace => TRUE,staging_table_name => 'TMP_PROFILE',staging_schema_owner => 'SCOTT');
3 end;
4 /
PL/SQL procedure successfully completed.
　　6.6. 确认
　　SQL> select /*+ no_index(dept,pk_dept) */ * from dept where deptno=20;
Execution Plan
----------------------------------------------------------
Plan hash value: 2852011669
---------------------------------------------------------------------------------------
| Id | Operation | Name | Rows | Bytes | Cost (%CPU)| Time |
---------------------------------------------------------------------------------------
| 0 | SELECT STATEMENT | | 1 | 20 | 1 (0)| 00:00:01 |
| 1 | TABLE ACCESS BY INDEX ROWID| DEPT | 1 | 20 | 1 (0)| 00:00:01 |
|* 2 | INDEX UNIQUE SCAN | PK_DEPT | 1 | | 0 (0)| 00:00:01 |
---------------------------------------------------------------------------------------
Predicate Information (identified by operation id):
---------------------------------------------------
2 - access("DEPTNO"=20)
Hint Report (identified by operation id / Query Block Name / Object Alias):
Total hints for statement: 1 (U - Unused (1))
---------------------------------------------------------------------------
1 - SEL$1 / DEPT@SEL$1
U - no_index(dept,pk_dept) / rejected by IGNORE_OPTIM_EMBEDDED_HINTS
Note
-----
- SQL profile "SYS_SQLPROF_0183f21bc4c50000" used for this statement
Statistics
----------------------------------------------------------
37 recursive calls
0 db block gets
10 consistent gets
1 physical reads
0 redo size
572 bytes sent via SQL*Net to client
415 bytes received via SQL*Net from client
1 SQL*Net roundtrips to/from client
1 sorts (memory)
0 sorts (disk)
1 rows processed
--已经使用sql_profile
　　参考文件
　　https://docs.oracle.com/en/dat ... 4606E
Automatic SQL Tuning and SQL Profiles (Doc ID 271196.1)
Using the DBMS_SQLTUNE Package to Run the SQL Tuning Advisor (Doc ID 262687.1)
How to Move SQL Profiles from One Database to Another (Including to Higher Versions) (Doc ID 457531.1) 查看全部

　　汇总:​URL定向采集，网页数据内容快速抓取
　　有针对性的采集就是我们有一个明确的目标，需要在某个网页上指定公开的信息。针对性的采集软件可以帮助我们快速采集这些文字、图片、列表、链接等元素。
　　有很多针对性的采集软件，比如优采云
、优采云
、SEO等可以快速采集我们的网页。相对于定向采集，我们还可以通过关键词进行泛采集。泛采集就是通过一个模糊的关键词或者描述来采集我们全网的文章。
　　定向采集有一个可视化的操作页面，不需要我们输入采集规则。通过点击需要的元素，可以批量抓取页面，自动翻页，挂机即可完成整栏的采集。一键导出到本地，支持word、Excel、txt等格式。
　　
　　泛集是一种快速获取大量文章的方法，通过输入词表匹配搜索引擎给出的文章。获取的内容为各平台搜索框排名靠前的内容，具有时效性、热门性和相关性。不同的关键词会得到不同的内容。适用于专业性较低、时效性较强的资讯类文章。
　　如果我们不想使用响应式设计，我们至少需要让我们的网站适合移动设备，以确保我们所有的内容都可以在小屏幕上阅读。这包括使用易于阅读的字体大小和限制每页上的文本量。为优化我们的网站数据，我们必须确保所有信息准确且最新。这包括每个页面的标题、关键字和描述。
　　数据是普通用户看不到的有关我们网站的信息，例如上次更新日期或作者姓名。确保此信息收录
在我们的网页上，以便搜索引擎可以正确索引它。
　　
　　我们可能会使用有针对性的抓取软件来展示我们网站的运行情况并识别需要修复的问题或错误。它还可以帮助我们优化我们的网站以获得更好的 SEO。我们也可能使用它来跟踪我们网站排名随时间的变化。
　　如果我们使用内容管理系统 (CMS)，我们通常可以使用有针对性的采集软件来帮助我们优化数据。例如，Yost SEO 是一种流行的 SEO 工具，它允许我们控制我们网站的数据。这个插件允许我们调整标题、描述和其他影响页面 SEO 的基本元素。
　　针对性采集软件帮助我们获取大量数据和图文素材，让我们在SEO工作中不断分析和提升内容质量，实现网站的快速优化。如果您喜欢本文，不妨采集
、点赞、转发。
　　干货内容:百度竞价广告：穷尽蓝海流量-收集篇
　　我今天刚开始写关于投标的第一篇文章。事实上，我一直想谈谈付费安置。和SEO相比，我更喜欢SEM和FEED，付费投放确实给我带来了很大的价值。
　　SEM 是复杂问题的简化。你不需要考虑太多未知的算法、规则、技术、想法等，你只需要在持续控制ROI的前提下，思考用户需求，优化固定指标即可。搜索引擎优化是相反的。很多时候你需要优化问题是不是问题并不重要。
　　PPC广告离不开关键词，但大多数SEMer没有任何技术能力，尤其是官方代理公司的运营人员，几乎一个都算一个，所以一般只用官方工具来简单扩词（比如关键词 planner），或者通过“Search Term Report”等发现新词。
　　例如：某外包公司在推广小程序定制开发时，一般扩词的方式是打开百度关键词策划师展开：
　　然后继续展开常见的：“小程序开发”、“小程序定制”、“一个小程序多少钱”等等。
　　最后我在Excel中去重，然后手动选出我认为有商业价值、流量、值得入账的关键词，一般是几百到几千不等，然后开始把它放进去
　　出现的问题是：
　　每个人都有这些，并不少见，我们可以看到，别人也可以看到，而且工具不会一下子给你数据库里的所有东西，所以一些难以想象的词根和词缀可能不会展开。许多要求可能会被遗漏。
　　最先展开的词是搜索量非常高的热词。他们的转化可能不是最好的，但广告费一定是最高的。
　　通过搜索词报告（系统会统计用户每天点击你的广告的词数），找到更多没有考虑过的长尾词，也不是不可以，但需要时间和预算成本，而这往往不是small（觉得量太大开广泛匹配浪费更多的预算），数据计算期容易死掉。
　　尤其是很多传统行业的公司，没有专业的SEMer，账号都是委托给代理商的客服（因为是免费的），他们开账号的方式也是一样的（毕竟大家有几十个不同的账号）来管理），几乎在收到账号后打开“关键词Planner”，进入行业主题，简单的选择几百个有明显商业价值的词，大致区分几个单位，然后开始投放，不管竞争的激烈程度，都不在乎长尾流量，更不在乎账号质量。
　　最终，整个行业的人习惯性的抢了一小部分看得见的热词，并且因为竞价机制，点击单价快速上涨，广告预算水涨船高。最后得出结论：百度竞价真的很贵！！！
　　其实理想情况下，应该是像我们标题所表达的意思：
　　尽可能多地挖出没有人花过钱的有效词，这些词才是真金白银，干了就等于捡了钱！
　　1：采集
词缀
　　在以往的文章中，为了挖掘用户需求，我们已经涵盖了各种渠道的挖词方法，以及一些巧妙的挖词思路，但其实只要你愿意，还会有更多。
　　当我们在百度搜索框中搜索：“小程序”
　　我们可以看到，百度为我们找到了“74,000,000”个网页，即其数据库中与小程序相关的页面至少有这么多。
　　但实际上我们只能得到760页：
　　实际的原因是它认为我们不需要那么多，它只需要给我们最高质量和最相关的，另一个是客观上我们也买不起，带宽资源和硬件设备不能一下子解决。收到，当然也包括其他原因。
　　但是当我们搜索：“小程序1234567890”时：
　　百度数据库显示只有“1,030,000”左右的页面，图中红框选中的页面应该不会出现在我们上次的搜索中，只是因为我们这次的搜索词中明明有“1234567890”，所以百度给我们优先返回收录
“1234567890”的。
　　我们把这个现象对应到任何一个关键词扩展工具，其实都是同一个道理，尤其是百度关键词 planner：
　　如上图所示，这样扩展很多词是不行的。如果加上相应的词缀，比如“development”，就可以专门提取“小程序”中与“development”相关的长尾词。根据这个原理，我们只要反复添加各种词缀，理论上就可以提取工具背后数据库中几乎所有的长尾词。
　　但：
　　问题一：小程序字段收录
哪些词缀？
　　问题2：可以想象有几万个，如何批量采集
，如何批量扩词？
　　对于这两个问题，我们之前的文章也涉及到这种场景，比如先扩充一批词，切分词，搜索主题高频词缀的工具：
　　
　　但是，经过一两次扩充，分词统计得到的词缀并不全面，至少是非常有限的，别说几万个，就算是反复把上百个词缀拿来工具一一搜索扩充，只有无情的，只有人类才能做到。
　　这也是为什么大部分管理竞价的人只能简单的展开一小部分关键词然后开始上线的原因。说到底，还是要靠技术。
　　PS：这和我们挖词分析需求是不一样的。分析需求，我们只需要找到有代表性的词。做投标时，不同的词是不同的词。
　　针对这个问题，本文我们将采用另一种方法：利用海量文本内容来挖掘词。
　　所谓文本内容可以是：文章、答案、帖子、新闻等互联网特有形式的文本内容。
　　简单的逻辑是：
　　采集
目标领域的一批文本内容，比如小程序主题的几万篇文章，以及非目标领域的一批随机文本内容，比如几十万篇新闻文章（这几百篇）数千篇文章可在不同行业重复使用）。
　　使用TF-IDF算法（判断文章主题时常用的算法）提取目标领域各内容的高权重词。
　　之前讨论过TF-IDF算法：
　　在某篇文章中，一些出现频率高的词在其他文章中很少出现。这些话最能说明文章的主题。任何文章中总是出现的词对理解文章没有帮助，也不具有重要性和相关性。
　　可以想象：
　　一堆小程序领域的内容，当然和小程序高度相关的词会频繁出现，但是在其他领域，文章再多，词也不会多。反过来，就是像“但是”、“喜欢”、“这个”等。这种无伤大雅的流行词，在任何正常的书面内容中都会出现，而且还不少。如果简单地在目标领域计算，这些常用词的权重分值都不低，有时不容易区分。
　　利用TF-IDF的思想，结合冷漠领域的内容，对常用词进行打分压制，沉淀的是小程序领域的相关词汇。
　　将它们作为词缀结合“小程序”反复扩充单词，理论上可以从整个领域中尽可能多地采集
单词。
　　搜集的内容越多，这个计算就越准确，能够整理出的词缀也就越全面。
　　有了这个简单的逻辑，我们就开始实施它。
　　第 1 步：采集
内容
　　目标是某个领域的一批内容。在哪里可以批量查找同一领域的内容？
　　有很多，比如一些专题论坛、社区、各种垂直自媒体号等等，因为特定的关系，它们的内容围绕着特定的领域，包括百度的搜索结果。
　　知乎上一个问题的所有回答都专门讨论同一个话题。推而广之就是：同一个话题下所有问题对应的所有答案也是在讨论同一个领域（所谓领域是相对的），如：
　　本次测试在知乎“小程序”话题下采集
了9000+题。题目有“小程序”，有答案。答案总数为37,000+。
　　采集方式可以是Python+知乎官方api接口，也可以使用第三方采集工具如：“优采云
”、“优采云
”，或者有人代为某宝采集.
　　部分测试数据：
　　对于非目标领域的无差别内容，百度找“新闻语料库”，有合适的可以直接下载。如果你有技术能力，也可以自己采集
一些自媒体文章。
　　我这里采集
了几百W条新闻的语料库，涵盖各种新闻分类，只拿了50W参与计算。
　　第 2 步：计算权重分数（程序员看起来）
　　TF-IDF的算法思想虽然很好，但也有先天的缺陷。对过滤词频不高的无关词很有效，但有些文章中总是会用到一些常用词，比如“can”。出现，词频很高，非目标领域的数据往往不全面，有时抑制效果不是很好，需要一些辅助。
　　当然：“can”、“小程序”等关键词不一定有关联，也可以形成长尾词。
　　对于TF-IDF的计算，Python有现成的模块：scikit-learn。不知道是不是我的姿势不对。前几天试了一下，发现效率和分数都和自己写的相差不大。用完它。
　　我之前写了一个简单的函数（凑合着用）：
　　<p style="max-width: 100%;margin-bottom: 5px;margin-top: 5px;line-height: normal;"># 记录每个文档里每个单词的权重分数<br />docTfidf = dict()
　　# docId:wordCount 存储每个文档对应的词频关系，顺便作为总文档数<br />docWordCount = dict()
　　# 记录单词在哪些文档出现过，用于统计单词出现在多少个文档<br />wordDocCount = defaultdict(set)
　　# 记录每个文档的总词数 包括重复<br />docAllWord = dict()
　　# 分词 需要去除数字 单字 符号等
　　def split_word(docId,docContent):<br /> wordCount = defaultdict(int)<br /> for word,flag in posseg.cut(docContent):<br /> wordCount[word] += 1<br /> docAllWord[docId] += 1<br /> wordDocCount[word].add(docId)<br /> return wordCount<br /># 计算权重
　　def tfidf_count(docId):<br /> tfidf = dict()<br /> for word,count in docWordCount[docId]:<br /> tf = float(count) / docAllWord[docId]<br /> idf = math.log10(len(docWordCount) / (float(len(wordDocCount[word])+1))<br /> tfidf[word] = round(tf * idf,2)<br /> return sorted(tfidf.items(),key=lambda x:x[1],reverse=True)
　　# 调用
　　# 遍历文档内容并分词
　　for docId in range(len(dc)):<br /> # wordCount 记录单词在当前文档的词频<br /> wordCount = split_word(docId,dc[docId])<br /> docWordCount[docId] = wordCount<br />for docId in range(len(dc)):<br /> docTfidf[docId] = tfidf_count(docId)</p>
　　以上代码仅供我个人使用。仅供参考。我写完之后没有修改过。效率一般。有更好的方法自己写。
　　该程序逻辑的伪代码：
　　# 存储每个关键词的最终权重<br />wordWeight = defaultdict(float)for content in allContent:<br /> # 每篇内容的词和词频数据<br /> wordCount = defaultdict(int)<br /> # 每篇内容的总词数<br /> allWord = 0<br /> # 建议在没有行业词库的前提下使用jieba的posseg，词汇分到最细<br /> for word,flag in posseg.cut(content):<br /> allWord += 1<br /> wordCount[word.encode('utf-8')] += 1<br /> # 存储单篇内容每个关键词的权重<br /> _wordWeight = defaultdict(float)<br /> for word,count in wordCount.items():<br /> tf = float(count) / allWord<br /> # wordDocCount 事先准备的50W文章的关键词:出现文档数<br /> idf = math.log10((500000+1) / float(wordDocCount[word]+1))<br /> _wordWeight[word] += tf * idf<br /> # 按权重值降序<br /> _wordWeight = sorted(_wordWeight.items(),key=lambda x:x[1],reverse=True)<br /> # 提取top20%<br /> for word,weight in _wordWeight[:int(len(_wordWeight)*0.2)]:<br /> wordWeight[word] += weight<br /><br /># 最终结果按权重值降序<br />wordWeight = sorted(wordWeight.items(),key=lambda x:x[1],reverse=True)for word,weight in wordWeight:<br /> # 文档数大于一定值的去除，避免有些常见词没有被过滤<br /> # 取值根据自己的语料数据，跑两三次调整<br /> if wordDocCount[word] > 100000:continue<br /> print word,weight
　　伪代码仅供参考，还少了一些步骤，不要直接拿来用，这是计算出来的高度相关词汇，大概4W+：
　　
　　根据我们的常识经验，以上这些词与小程序领域相关度很高。
　　这种计算的好处是不需要刻意去处理停用词、常用词、非实质性词等，因为随着更多未区分的内容参与计算，大部分无效目标的得分会不断降低:
　　经过上面的计算，我们现在已经得到了“全网”中“小程序”可以涉及到的词汇，即词缀。之所以引用“全网”，是因为反正只是理论上的。在整个网络上，我们采集
的文本内容越多，我们就越接近，但我们不能真正穷尽它，只要比我们的竞争对手尽可能多。
　　即使是刚刚接触公司业务的新手，也能借助工具想到或挖掘出“小程序开发”等长尾词。因此，这些具有明显商业价值的常见词缀不是我们分词方法的目标，所以我们首先要剔除这类词缀。
　　一个简单的方法是：
　　用通常的挖词法先扩充一批词。应该有10,000字左右。将这些词切分，分成最基本的词汇，提取别人肯定会扩充的词缀，比如这里：
　　这些词都是明确的业务词，别人肯定会挖出来，把提取出来的词组合在一起，假设这个词缀设为A，我们刚才计算的词缀设为B，用BA，剩下的词缀其中大部分都是未知词缀，无法通过其他人的常规手段发现。
　　如果要挖掘全网的需求，这一步就没有必要了，但是既然是挖掘蓝海词来竞价，这种方法就不需要去扩充那些别人可以轻易扩充的词缀。当然你要全部一起处理也是可以的。
　　如何将“小程序”+以上词缀组合成关键词扩展工具批量扩展单词？例如：
　　然后该工具可以自动轮流查询。毕竟一个一个的查询，下载，排序，太破了。该功能既可以解决扩容不完全的问题，也可以解决定向挖矿的问题。毕竟，有时候我们只需要在某个领域进行挖掘。
　　百度关键词策划师这个功能比较鸡肋：
　　反正我是不会用的。官方API接口很多人用不到。市面上有一些第三方工具，但既然是竞价，基本就是开户，那你就可以免费使用爱奇了。扩大：
　　下面介绍一下他们的工具：
　　对接的也是百度的官方接口。数据的时效性没问题，主要是方便。
　　但是鉴于他们的“必须收录
”功能，有时候用起来还是很感人的，我推荐大家这样做（但不是一下子全部）：
　　展开后，直接复制结果中的词，然后粘贴到搜索框中，其他条件不变，继续展开。
　　需要注意的是，这次主要讨论的是如何批量采集重要词缀。对于这些词缀，没有指定的词扩展工具。这是相同的。在任何渠道或工具中，有多方便，怎么来，最终的目的还是要看搜索量。
　　按理说，我们现在可以把这些词加上一个小程序比如：“小程序答疑解惑”，在工具里展开这些词，然后看看有没有人在给这些词打广告，如果没有，我们就赶紧买字。
　　但是我们现在要挖的是蓝海流量，所以在做之前需要考虑一些问题：
　　对于竞价来说，所谓蓝海流量的逻辑很简单：长尾词还没有投放，但在此之前有个问题：有价值。
　　什么才算是有价值的词？可能投标的小伙伴们已经考虑到了一个问题。搜索某个词后，没有人在做广告：
　　我们不能简单的认为这个词是蓝海流量，就马上把它加到广告账号上。
　　之所以没有人为某个词做广告，可能是因为这个词本身没有商业价值。我们都知道搜索“小程序类别审核失败”是为了找原因，而不是找一家公司帮他开发小程序，而且大家可能都已经上线了，所以根本不会有人为这个词做广告.
　　二：“小程序运营”：
　　有广告，看似有商业价值，但问题是我们是“程序开发”的外包公司，不擅长运营，根本满足不了这样的需求，所以虽然这个词有价值，不属于我们的业务范围。
　　怎么做？
　　感觉一篇文章动辄几万字，对理解和消化帮助不大。我们将在下一篇“查词篇”中讨论上述问题。挖掘词缀的方法，肯定不止是用在这件事上。 查看全部

　　免费的:神器！小白也能用的免费网络爬虫软件
　　第190条原创文章| 老Y
　　说起爬虫，对于不熟悉编程的同学总有一种神秘感，感觉离我们很远。事实上，爬虫被广泛使用，从搜索引擎到抢票软件。这背后是网络爬虫的功劳。
　　今天老Y给大家推荐一款非常强大的网络爬虫软件。它的操作非常简单，适合新手，良心是免费功能够用！
　　可采集与电子商务行业、新闻媒体、企业资讯、生活服务、房地产、休闲旅游等相关的各类信息。
　　比如可以抓取某类商品在淘宝上的所有信息（图片、价格、店名、月销量、累计评价...）
　　比如你可以在大众点评上抓取你所在城市所有食堂的信息（地址、价格、评价……）
　　比如在马蜂窝可以抓取泰国自由行的所有信息（攻略标题、阅读量、采集
量、攻略内容……）
　　...
　　是不是很有趣？
　　更强大！官网提供了大量实用教程（文字版+视频版），还可以搜索教程，对于新手来说真是太棒了！
　　
　　优采云
采集
器（）
　　下面我们就以马蜂窝上所有的泰国自由行信息为例，实际操作一下：
　　1、下载软件、安装、注册、登录后，复制马蜂窝泰国旅游攻略网页。
　　2.新建智能模式采集任务
　　您也可以直接在软件上创建新的采集任务，或者通过导入规则创建任务。
　　3.设置提取数据字段
　　在智能模式下，输入网址后，软件可以自动识别页面上的数据，并生成采集结果。每种类型的数据对应一个集合字段。可以右键修改字段名，增加或减少字段，处理数据等。
　　例如，需要采集
攻略的标题、攻略的链接、阅读量、体验人数、封面图等信息。设置效果如下
　　4.提取详情页数据
　　在列表页面，有一些关于泰国自由行攻略的信息。我们需要策略的具体内容。攻略链接右键可以使用“深度采集
”功能跳转到详情页进行采集
。
　　在详情页可以看到攻略的详细内容，评论数等，还可以看到很多图片。如果一个一个设置字段，会很多，而且每张图片的位置都不一样，可以加一个特殊的字段。“页面 PDF”。
　　5.设置采集任务
　　
　　点击“设置”按钮，进行运行设置和防屏蔽设置。这里我们勾选“跳过并继续采集”，设置请求等待时间为“5”秒，勾选“不加载网页图片”，反屏蔽设置为默认设置。单击保存。
　　6.开始采集
　　点击“保存并启动”按钮弹出一些高级设置，直接点击“开始”即可运行该工具。
　　7.提取数据
　　任务启动后自动采集数据，可以直观的看到程序运行过程和采集结果，采集完成后会有提示。
　　8.导出数据
　　数据采集​​完成后，您可以查看和导出数据。软件支持多种导出方式和导出文件格式（EXCEL、CSV、HTML、TXT）。选择您需要的方法和文件类型，然后单击“确认导出”。
　　嗯，上面是一个简单的例子。看完有没有发现，原来爬虫可以这么轻松的爬取数据！感兴趣的小伙伴快去试试吧。
　　下载地址我就不放了。有兴趣的可以去官网下载。非常贴心地提供了三个版本。
　　- 结尾 -
　　过去精选：
　　免费的:扶林：小白如何拥有一个自己的电影网站，可自用，可引流，可卖钱
　　网络引流的方式有很多，电影引流绝对是很多人喜欢的一种方式。然而，如何拥有一个电影网站，却是很多人不明白的事情。今天福临就来和大家分享一下如何拥有一个属于自己的电影网站。网站，
　　在说方法之前，我们先来看看同一个方法。有人提出以 1000 的价格出售。也就是说，福临接下来要分享的，价值1000。要有耐心。
　　建站准备：域名
　　网站的建设一定离不开域名。无论我们要进入什么网站，总会有一个以www开头的网址，我们称之为域名。
　　无论建立任何网站，都需要购买一个比较好的域名。什么是好的域名？福林的建议是，除非域名有特殊含义，否则首先要注意的一定要好记。可以直接记住
　　推荐购买域名在：阿里云，腾讯云也可以，腾讯云的实名认证比较慢，而且价格有点优势，就看你的选择了
　　进入网站，根据提示购买域名即可。另外需要注意的是，.com和.cn域名需要购买，其他的就不用考虑了。
　　建站准备二：服务器（空间）
　　服务器其实就是存放网站源代码的地方。一般我们称之为空间。
　　上图是我在某宝随便搜的结果，目的只是为了展示，告诉大家，如果我们只是做一个简单的网站，基本上网站是不会涉及到备案过程的（因为备案时间大约需要20天，很麻烦）而且如果网站的域名还没有注册，那么这个网站就只能用国外的服务器了。一般我们选择香港服务器，速度会更快。
　　可以百度搜索，或者上某宝搜索，价格要保持在100元以下。它不需要太贵，因为它没有被使用。为了避免广告嫌疑，这里不做具体推荐。
　　场地准备三：分析
　　
　　购买域名和空间后，我们需要将域名解析到空间。空间的一般格式类似于我们的电脑ip格式，就是一个四段数字，xxx.xxx.xxx.xxx，
　　而我们购买的域名管理界面会有和上面一样的解析按钮，点击按钮进入解析界面，根据提示将购买的空间地址填入域名解析记录值（如图)
　　当域名解析成功后，我们可以尝试访问以下域名。这时候我们基本可以正常访问，但是因为没有相关的程序，所以看不到任何信息，整个界面一片空白。
　　建站准备四：源代码
　　源代码可以说是整个网站的灵魂。网站有什么样的功能，基本上是由源代码决定的。我们做电影网站的时候其实有一个类似于淘宝客的cms网站源码。
　　常用的有Apple cms、Ocean cms、Marx cms、飞飞cms等，现在基本都是主流。富林用的是Ocean的，后来改用苹果的cms，所以富林用的是苹果的cms，简单分享给大家。说些什么
　　直接百度苹果cms，第一个就是我们要找的源码系统
　　点击进入网站后，可以看到一个下载界面。这里我们可以选择最新的8.x版本进行下载，这样我们的基础源码就可以使用了。
　　有了源码后，将下载的源码上传到我们购买的空间，
　　上传源码，我们一般使用的工具叫做ftp工具。百度一下就可以找到一个下载工具，而我们购买的空间一般都有ftp账号和密码，我们只需要直接用账号和密码登录就可以把源码上传到空间了。（下图是百度找ftp，随便下载一个，比较权威的是排名第一的）
　　上传源码后，我们就可以使用域名访问自己的网站了。第一次使用Apple cms网站时，我们需要填写相应的数据库名称等数据。这里的条件不允许，所以我们暂时不做。demo，对应的数据库可以通过空间商获取，并且可以在后台看到，稍微摸索一下，实在不懂的可以私信富林帮你拿看，
　　
　　场地准备五：采集
　　网站建立后，我们需要采集
相应的资源。采集
资源有两种方式。一种是手动添加它们。
　　这是后台的展示方式，还有一种是使用单件采集
功能。市面上常见的单体采集方式有两种，一种是优采云
采集，另一种是网站后台采集第三方资源。
　　优采云
采集
需要去对应的源码。fulin之前写过一套，估计值1000+以上，因为全网就这一套，其他人很少有。
　　其他第三方采集
，电影网站后台有采集
按钮。一般会有一些第三方资源提供一些相应的资源。您可以通过自己阅读来理解这一点。文字有限，难以解释。
　　场地准备六：分析
　　解析是最后一个。这个你可能不是很了解，因为我们要做的电影网站，从某种意义上来说，就是破解（解析）各大电影网站的视频编码格式。解密后，您可以在我们的网站上播放，
　　所以这个时候我们就需要分析功能的支持。这实在是太麻烦了。反正1000个能做电影网站的站长未必有一个会写分析的，所以市面上的分析比较少
　　分析是按收费分析的，也有免费分析的。顾名思义，费用分析不需要过多解释。免费分析，里面有很多方法。一般他们的广告是在你的网站视频播放时显示的，也就是说你用他们的功能，他们用你的网站做广告。这个更好。案子，
　　而且有的还挺靠谱的，你的网站会借这个借口直接被黑。福林刚开始做视频网站的时候，就是被这种招数给骗了。
　　这里要分析的话，可以去苹果的cms论坛上找找看。有一个无名的网站还不错，不过最近好像有广告，不过大家学习使用入门用还是没问题的。等更深层次的了解 买了以后还可以分析一下收费，
　　最后，做一个视频网站，通过这样的文章是无法直接学习的，但是这篇文章把所有的步骤都写了，只要按照这个步骤学习，加点心，就可以做一个视频网站了，最后成本不会超过200元，同时又学会了一门技能，是不是很棒呢？
　　你错过的好货
　　福林 查看全部

　　最新版:痕夕AI文章生成软件 v2.2 免费版
　　软件介绍
　　Henxi AI文章生成软件免费版是一款适合网站站长的文章生成工具。我们只需要提供关键词、字符、标签等信息给恒喜AI文章生成软件，它可以自动生成各种不同的文章，供你选择。
　　Kenxi AI文章生成软件免费版介绍
　　Henxi AI文章智能处理软件是一款综合站长工具。软件加入AI技术处理文章内容，实现访问更多原创文章内容功能，如：AI写诗、AI写散文、AI智能生成标题、AI修改文章原创度，AI智能组合文章，AI提取摘要，AI处理中英翻译，一键式文章采集，站群管理，织梦站群文章正版，WordPress文章正版，百度排名优化，文章原创度批量检测，万字排名查询、百度推送、熊掌推送、智能图库下载等。
　　
　　软件功能
　　1.智能伪原创：利用人工智能中的自然语言处理技术，实现对文章伪原创的处理。核心功能是“智能伪原创”、“同义词替换伪原创”、“反义词替换伪原创”、“用html代码在文章中随机插入关键词” &gt;”、“句子打乱重组”等，处理后的文章原创度和收录率均在80%以上。更多功能请下载软件试用。
　　2.传送门文章采集：一键搜索相关传送门网站新闻文章，网站有搜狐，腾讯，新浪。 com、网易、今日头条、新兰网、联合早报、光明网、站长网、新文化网等，用户可进入行业关键词搜索想要的行业文章。该模块的特点是无需编写采集规则，一键操作。友情提示：使用文章时请注明文章出处，尊重原文版权。
　　3、百度新闻采集：一键搜索各行各业新闻文章，数据来源来自百度新闻搜索引擎，资源丰富，操作灵活，无需编写任何采集规则，但缺点是采集的文章不一定完整，但可以满足大部分用户的需求。友情提示：使用文章时请注明文章出处，尊重原文版权。
　　4.行业文章采集：一键搜索相关行业网站文章,网站行业包括装修家居行业、机械行业、建材行业、家电行业、五金行业、美妆行业、育儿行业、金融行业、游戏行业、SEO行业、女性健康行业等，网站网站有几十家，资源丰富，该模块可能无法满足所有客户的需求，但客户可以提出要求，我们会改进和更新模块资源。该模块的特点是无需编写采集规则，一键操作。友情提示：使用文章时请注明文章出处，尊重原文版权。
　　
　　5.写规则采集：自己写采集规则采集，采集规则符合常用的正则表达式，写采集规则需要懂一些html代码和正则表达式规则，如果你写过其他商家采集软件的采集规则，那你肯定会写我们软件的采集规则，我们提供了写采集 规则文档。我们不为客户编写 采集 规则。如需代写，每条采集规则10元。友情提示：使用文章时请注明文章出处，尊重原文版权。
　　6、外部链接文章Materials：本模块使用大量行业语料，通过算法随机组合语料产生相关行业文章。这个模块文章只适合文章的质量要求不高，对于外链推广的用户来说，这个模块资源丰富，原创高，缺点是文章 可读性差，用户在使用时可以选择使用。
　　7、标题量产：有两个功能，一是结合关键词和规则量产标题，二是通过采集网络大数据获取标题。自动生成的推广精准度高，采集的标题可读性更强，各有优缺点。
　　8、文章界面发布：通过简单的配置，将生成的文章一键发布到自己的网站。目前支持的网站有, Discuz Portal, Dedecms, Empire Ecms (news), PHMcms, Zibocms, PHP168, diypage, phpwind portal .
　　9、SEO批量查询工具：权重批量查询、排名批量查询、收录批量查询、长尾词挖掘、编码批量转换、文本加解密。
　　教程:石青SEO伪原创工具 2.2.2.10 绿色版
　　Stone SEO伪原创工具
　　是一款先进的SEO工具，专门用于生成原创和伪原创文章，使用伪原创工具在互联网上产生独特的伪原创文章，支持中英文伪原创。
　　该软件是
　　专业的伪原创文章生成器，专为百度和谷歌的抓取习惯和分词算法而开发，该软件优化文章将更受搜索引擎青睐。
　　该软件是网络作家，大众用户和SEO的稀有工具，也是网站发起人的必备工具。
　　伪原创工具具有以下优点：
　　1.伪原创工具世界首创：本地和网络2种不同的伪原创方法;
　　
　　2.支持中英文伪原创;
　　3.采用独特的分词引擎，完全匹配百度和谷歌的习惯。同时我们在界面上提供了开发参数，使用-help查看
　　4.唯一同义词和反义词引擎可以适当改变文章语义，唯一算法可控
　　5.独特的段落和段落内迁移功能;
　　6、伪原创内容支持导入导出为TXT或HTML等格式，方便客户迁移数据;
　　7、独家支持Zineng伪原创东义、馨韵、老亚、德德、帝国、PHPcms、zblog等主流大型cms系统;
　　8.绿色软件免安装，容量小，软件下载包只有2M多，占系统资源少，是同类软件的1/3;
　　
　　9.可以制作收录HTML标签的伪原创文章;
　　10、可制作伪原创文章收录图片、Flash等多媒体格式;
　　11.升级，满档，每月为您安排升级程序，保证百度和谷歌的更新算法同步;
　　12、提供贴心功能替换链接，有效增加SEO反向链接;
　　13.原生编译代码，吃Win2000以上所有平台，包括WinXP、Win2003、Vista等;
　　14.多核系统，做上万字伪原创文章，极快; 查看全部

　　分享:10w+公众号文章采集，精准采集软件(组图)
　　免费文章采集软件「10w+公众号文章采集」，精准采集10w+公众号文章这是一个今天才出来的新软件，之前一直不知道有这么个软件，今天才下载来用，毕竟国内软件都有一个特点，如果很急用，其实不用等的，马上就是免费的，速度也挺快的，可以试试。打开我的链接：。先输入你自己的公众号，我的公众号是"冷狐在远方"，输入你自己公众号的名字，比如公众号"冷狐在远方"。
　　出来的网页是这样的，信息在左下角，是不是很简单呢。点击鼠标右键，鼠标变形会出来另一个网页，还是信息在左下角，是不是又很简单呢。没有多大的技术含量，可以试试。可以看到，除了选择你需要的网页源码，调整一下输出格式，这样软件采集出来的就可以直接用了。而且可以试用10天，到期可以自动下架，一天一个，可以试试，不要错过免费的软件哦。
　　
　　n+zip解压文件，自己添加文件。
　　下载txt文档，直接打开，
　　用一下这个助手app-txt转换器，
　　
　　。
　　1.公众号后台同步排版2.借助第三方的txt转换器，
　　从两种渠道学习公众号推送。第一种是使用有人已经推荐的公众号推送工具，工具本身提供编辑文章和引流；第二种是在公众号后台和引流过程中处理表单、回复、粉丝互动、文章在发布到订阅号时的导入保存、发送等；推送公众号推送到指定的豆瓣小组或贴吧、知乎等社区，集中推送。推送后我们还有保存功能，这样对我们在推送过程中需要回复的文章的归档就不用每次归档累积了，而且对搜索引擎的收录也更有好处，对以后做内容运营打好基础也有很大好处。
　　之前很少这么做，但这两天有了很多微信公众号大号和一些新媒体工作室公众号推送成功的经验，我们希望再推出类似的公众号推送工具；其实在很早就有很多公众号运营的经验积累，做这样的工具挺方便的，供大家学习交流。 查看全部

　　免费的:免费文章采集软件大全，你要知道，并不是所有的付费
　　免费文章采集软件大全，你要知道，并不是所有的付费的都是最好的，便宜的也并不一定差。但是，作为用户来说，首先要根据自己的需求，选择一款高质量，专业的，后续版本的教程要持续更新，不可能一次更新就可以满足所有的需求。所以，免费文章采集软件推荐，
　　一、是大众软件市场里面找
　　
　　二、是新兴的自媒体平台找以360手机助手、小米助手、天天快报、百度手机助手、googleplay这五个app市场为例，按需求找。
　　下面推荐几款新兴的免费采集软件：
　　一、百度网盘文章采集器先说说采集原理，我们现在用百度网盘找文章，利用百度网盘自身的搜索技术，能够搜索到你想要的网盘文章。常见的收录方式有：百度网盘.txt;百度网盘.mp4;百度网盘..zip;百度网盘.upload;百度网盘.xml;百度网盘.jpg;百度网盘.pdf;百度网盘.xls;...等等但无论哪种，百度网盘的文章肯定是都存在。
　　
　　那么这些收录怎么解决，不收录怎么办？经过这几款百度网盘的免费采集软件推荐，以上所有的收录情况，你都能轻松采集到。
　　二、搜狗网盘采集器搜狗网盘采集器，拥有多种浏览器可以配合使用，只要有搜狗浏览器就可以了。我们搜狗搜索的网盘文章，很多都是收录在的。
　　三、腾讯微云搜索其实腾讯的一些产品，已经从另一个角度，为搜索引擎提供帮助，比如腾讯社交网络搜索，比如腾讯微信搜索。不过这些我们都不说，大家只看前面两个就可以了。
　　四、360网盘免费搜索虽然360网盘在个人文件分享、微信等数据互联网服务上，都实现盈利了，不过免费的360网盘搜索推荐大家还是要看看。如果你觉得我的推荐，还不错，可以点个赞，作为支持，谢谢。 查看全部

　　解决方案:免费文章采集软件，网站数据采集器，一站式采集新浪、网易、搜狐
　　免费文章采集软件，网站数据采集器免费文章采集软件：网站数据采集器，一站式采集新浪、网易、搜狐等众多门户网站和头条号等等文章免费文章采集器：免费文章采集器，
　　来啦来啦来啦，我就是想问问在知乎这个全是大佬的社区里面怎么会有人要我这种小弱鸡，知乎以后就真的沦落成百度知道了么用手机上的知乎平板用上了更新器发现自己简直太弱了好像没有和题目配套的补充说明诶如果说是经常有问题要问但又不知道问谁的，
　　软件
　　
　　一、浏览器插件webscraper浏览器中的插件功能会丰富一些，例如控制文章的抓取速度，例如控制抓取时的反爬虫机制。
　　二、kindle阅读助手kindle中文网站内容的数据抓取
　　三、googleanalytics（谷歌分析）googleanalytics也是从google得到，谷歌分析可以直接帮助我们看到google的流量情况。
　　缺点有2个：
　　
　　1、网络抓取需要翻墙
　　2、会抓取封闭链接的网站
　　在公众号（移步微信号“三日学会后台菜单栏技能——运营技能栏目——01|怎么采集公众号文章）里有介绍大家可以查看一下有没有符合要求的回答！
　　baohuaseed百度热点e（自动抓取标题+内容）（全部app转换成文章）e文风格（各种风格app转换成文章）baoqiywenwords+fgtanswers你可以试试 查看全部

　　最新版:免费文章采集软件，在安卓和苹果都可以采集文章和采集视频
　　免费文章采集软件，在安卓和苹果都可以采集文章和采集视频，网址地址：；更多资源可以关注公众号【免费文章采集器】领取，免费资源文章采集软件，在安卓和苹果都可以采集文章和采集视频，网址地址：，
　　1.可以用，日本的google可以下，百度文库上链接基本上是google，搜狐和360也有，国内的一些直接就是百度和baidu了，新闻的话还是得google的多一些，其他的网站都是百度文库上的链接2.现在新产品挺多的，像图书站，电商站，这些的我个人认为有好几个比现在api的不错，像图书站可以用百度统计，电商站的话，可以用凡客阅读。
　　搜狗文库采集：：全球最大中文社区百度文库采集：：|
　　
　　哎呀看文库_免费文库采集_文库数据服务平台|找文库源就用哎呀看文库
　　谢邀！免费采集文章已经是很牛的了，我还只是花了30元购买了你的采集权限，
　　日本google采集，国内百度搜狗都采集，全世界google都在采集。支持任何格式采集。
　　
　　使用了一段时间这个，简单的说明一下。
　　1、访问google官网，打开googlesearch，在搜索框内输入任意一个你要采集的目标，
　　2、在页面的菜单栏，
　　3、按回车键； 查看全部

　　内容分享:免费文章采集软件百度、谷歌、新浪等网页免费下载
　　免费文章采集软件百度、谷歌、新浪wap等网页免费下载，还能做网页html代码分析！干净简洁无任何广告！集合各大搜索引擎，做成一个集合所有信息网站的搜索下载工具！下载体验更加简单，
　　路歌靠谱，
　　看看这个吧，
　　搜狗轻松下载。配合使用百度快照以及分享可以快速下载。不限时期和场景。
　　
　　懂源码...这个网站最靠谱
　　可以试一下pipexe，
　　赞同@杨熙的回答，这个真的太好用了，推荐了好多好多次，搜狗轻松下载，不限时间，用于学习开发，相见恨晚。
　　phpmyadmin基础文件的各种下载方法，搜狗轻松下载，
　　用linux系统的话fedora系列吧，随便搞到一个文件，创建loader目录，
　　
　　openinstall，
　　我下载、分享公司生产的一些app/小程序，还有网页地址，
　　appsdownload-easyworkflowwithappsdownload
　　也是，
　　昨天刚做的，已被阿里收购，配合gitbook一起用。 查看全部

　　福利:免费文章采集软件的话有很多啊，一键采集宝贝数据包
　　免费文章采集软件的话有很多啊，一键采集宝贝数据包，下载宝贝标题，淘宝上搜索引擎一搜索就能出来了。你可以试一下我们家的geco，已经用了几年了，很靠谱。
　　花生壳+nginx+ip轮询。
　　必须wordpress+seo110呀，
　　wordpress+nginx+ip轮询
　　
　　wordpress+authorization+gateway（内带百度统计/来源/历史搜索引擎信息等wordpress自带功能）
　　gecogeco
　　wordpress+mysql+googlesimulator
　　刚开始做网站，我自己在博客园刚刚写了一篇关于自建网站的文章：网站建设其实很简单-wordpress建站教程。
　　yii框架，自动修复http头部，基本很难被盗用。
　　
　　必须用wordpress。
　　wordpress和authorization/gateway。不要那种直接采集、批量作弊的爬虫，注意正常加密交易就很安全了。
　　最好的办法不是自己维护网站，而是请专业人员来维护网站，
　　免费可行吗？这个问题要换个问法，
　　尽量走saas模式，wordpress,authorization/gateway,elasticsearch,dropbox,openerp，建议wordpress自己搭建ps:个人有时候看过些wordpress怎么收费的文章，感觉很low，建议个人还是找点正规的文章去做吧，比如果壳、蘑菇街、it桔子这种专业的平台去上传。 查看全部

　　免费获取:帝国CMS如何采集微信公众号文章方法详解
　　帝国cms采集微信公众号文章，最近很多站长问我有没有好用的微信公众号文章采集器，可以自动发布前往网站帝国cms建筑的后台。最好提供一些相应的SEO优化设置，批量采集，批量伪原创，批量发布，自动提交伪原创发布的文章链接，一键搜索引擎. 批处理可以同时管理不同的cms构造的网站。
　　为什么是微信公众号文章来源？因为我们都知道今日头条在百度上做过蜘蛛拦截，百度无非是抢了微信公众号的文章，也就是说，微信公众号上的文章就是原创百度。&gt;。有了良好的内容来源，下一步就是批量处理 采集this文章 内容并自动伪原创将其发布到您自己的 网站。
　　微信公众号采集文章内容处理。在这里我们可以使用 伪原创。伪原创 是什么？伪原创的质量取决于两点，一是伪原创的技术，二是原文的质量。
　　
　　如果原文质量不好，伪原创文章的质量肯定不行。原文的质量由伪原创文章的质量下限决定。寻找优秀的原创文章，只有在优秀的原创文章的基础上，才能写出优秀的伪原创文章。节省时间，为 原创 节省了大量时间。
　　微信公众号采集可以提升用户体验，直接使用优质原文进行伪原创内容处理。使用微信公众号采集持续更新伪原创优质文章内容，节省时间，提高效率。
　　在微信公众号文章采集之后，我们应该积极地将这些网站链接推送到收录的各大搜索引擎。通过使用主动推送工具，可以缩短百度爬虫寻找站点新链接的时间，从而使站点新发布的页面能够被百度快速收录。通过检测，以这种方式提交的页面大部分在几分钟内就被百度找到了。不排除他们的收录speed-to-instantaneous效率是时间敏感的文章。
　　
　　微信公众号文章采集支持文章自动内链。其中文章内部链接的作用是什么？锚文本多样性的意义是什么？锚文本的多样化可以增加不同关键词的权重，提高多个关键词的排名。并且可以避免单个关键字的过度优化。如果一个网站只有一个外部链接关键词，外部链接的数量可能会被降级。这些文章的自动内链功能对于SEO优化也不容小觑。
　　微信公众号文章采集发布后，可以与他人交换友情链接，也称为网站交换链接、互惠链接、交换链接、附属链接等，其中是网站之一，是一种具有一定资源优势互补的简单合作形式。
　　友情链接就是把对方网站的网站的名字、logo、图片或者文字放在自己的网站上面，设置对方网站的超链接（点击切换或弹出另一个新页面，方便用户从合作中达到相互促进的目的网站今天就来讲解下帝国cms如何实现自动采集微信公众号的。就这样，我会在下期分享更多SEO的相关知识和实用技巧。
　　教程:百度！最新上线【百度搜索算法规范详解】
　　近日，百度搜索对近年新推出的算法进行了整理和总结，最新发布了《百度搜索算法规范详解》。算法根据页面内容质量、用户需求满意度、用户体验友好性、搜索公平性、用户安全等常见的网站违规问题分为四个维度，阐述了各算法重点打击的违规问题，以方便站长们及时发现网站违反的算法规则并及时整改，值得了解！
　　
　　关于页面内容质量 1.1 Hurricane Algorithm 3.0 —— 主要针对页面内容质量问题 Hurricane算法主要针对网站bad采集文章问题和跨域采集问题，以及网站bad采集文章问题站群问题1.2 强风算法——主要针对坏聚合页面的问题强风算法主要打击恶意构建的聚合页面。页面不提供文章主要内容，大量采集拼凑的内容，页面内容与页面中标注的标题和标签不一致等问题的影响在搜索用户上。1.3 Drizzle 算法 2.0 - 主要针对 B2B 领域的低质量问题 Drizzle 算法主要针对 B2B 行业公司网站：
　　3、人性化 3.1 Ice Bucket Algorithm 5.0——主要针对移动端登陆页面体验问题 Ice Bucket Algorithm 5.0主要针对登陆页面加载速度慢、排版布局不规则、登陆页面随意插入虚假广告和色情广告等问题， 网站无移动适配适配，小程序功能不符合用户习惯等 3.2 内容权限规范——针对用户权限问题，权限问题主要打击强制用户完成网站注册或登录并强制用户下载相关APP 强制用户查看APP内容 强制用户完成其他规定行为 “恶意刷卡点击”的作弊行为。对于作弊网站，将受到搜索显示的限制，作弊链接清理，点击清理，本站作弊行为将被列入本站历史记录，情节严重者永久封禁。4.2 烽火算法3.0——主要针对恶意劫持 烽火算法3.0主要打击网站“窃取用户数据”、跳转劫持、反劫持等恶意劫持网站行为，针对作弊网站会，限制网站在搜索结果中的显示，并永久严重限制网站的显示。4.3 黑客相关——针对网站黑客问题网站被黑客入侵，通常出现在网站中大量非本网站发布的类似赌博内容，或者网站网站页面直接跳转到赌博页面，出现上述页面说明网站的安全存在严重问题或漏洞，需要及时处理。以上是百度最新《百度搜索算法规范》相关维度及各种算法攻击的部分解读。站长可以根据各个算法的攻击范围对外部网站进行防范和调整，避免网站被网站攻击。如果算法命中，会影响网站的正常运行！同时附上《百度搜索算法规范详解》原文链接入口：以上是百度最新《百度搜索算法规范》相关维度及各种算法攻击的部分解读。站长可以根据各个算法的攻击范围对外部网站进行防范和调整，避免网站被网站攻击。如果算法命中，会影响网站的正常运行！同时附上《百度搜索算法规范详解》原文链接入口：以上是百度最新《百度搜索算法规范》相关维度及各种算法攻击的部分解读。站长可以根据各个算法的攻击范围对外部网站进行防范和调整，避免网站被网站攻击。如果算法命中，会影响网站的正常运行！同时附上《百度搜索算法规范详解》原文链接入口：
　　 查看全部

　　测评:免费文章采集软件-采网-国内最专业的采集网站
　　免费文章采集软件(文章采集软件)：点击这里获取免费软件-采网-国内最专业的采集网站，免费网站数据采集软件，免费网站抓取与数据采集软件现在生活中其实有很多东西都可以用到采集，其中最重要的就是网络信息。如果能够有采集网站的功能，很多生活用品都可以用到。比如我们用于抓取京东的用户评论，当然京东也有信息，并且每一个产品评论都是一个独立的链接，可以用于商品的数据，也可以用于群众的个人评论。
　　
　　对于我们在互联网里面看到的所有的图片、视频、小视频，同样可以利用采集软件抓取。点击这里获取采集软件-采网-国内最专业的采集网站，免费网站数据采集软件，免费网站抓取与数据采集软件再来说说数据采集的一些搜索引擎，豆瓣、贴吧等是比较常用的几个数据采集引擎。假如说用豆瓣电影的某个电影评论进行采集，是可以进行下载的。
　　点击这里获取采集软件-采网-国内最专业的采集网站，免费网站抓取与数据采集软件，免费网站抓取与数据采集软件不管是在什么情况下，只要我们想看到互联网里面有关于我们的各类数据，那么就可以用到采集软件去采集。比如说想看看某个网站某一篇文章的某一句话被网站抓取的信息，或者是从贴吧抓取一些别人写的帖子进行统计，或者是在豆瓣看某一个电影的感受。
　　
　　点击这里获取采集软件-采网-国内最专业的采集网站，免费网站抓取与数据采集软件，免费网站抓取与数据采集软件在学习一些知识的时候，需要搜集一些知识，找一些素材等等。如果自己去搜集这些，的确很浪费时间，还找不到知识。当我们在采集文章或者抓取新闻的时候，就需要我们去搜集这些素材，好在我们在使用采集软件的时候就可以很高效的找到我们想要的素材，这样就大大提高了我们学习的效率。
　　点击这里获取采集软件-采网-国内最专业的采集网站，免费网站抓取与数据采集软件，免费网站抓取与数据采集软件还有一些别的软件，比如说qq采集器。可以使用qq进行采集，在搜索的时候有一个搜索框，并且还可以进行两两组合搜索，比如搜索qq聊天记录，可以得到很多关于qq采集的网站。点击这里获取采集软件-采网-国内最专业的采集网站，免费网站抓取与数据采集软件，免费网站抓取与数据采集软件点击这里获取采集软件-采网-国内最专业的采集网站，免费网站抓取与数据采集软件，免费网站抓取与数据采集软件因为通过知乎不太好找到广告，大家可以私信我，给大家分享一些好用的采集软件。 查看全部

　　解读:2017最值得收藏的数据收集、处理&可视化工具指南
　　新媒体经理
　　数据处理和可视化越来越成为记者的必备品。全球知名咨询公司麦肯锡甚至表示：“数据在今天已经渗透到每一个行业和商业功能领域，成为重要的生产要素。人们对海量数据的挖掘和应用，预示着新一波生产力增长和消费者剩余的到来。” "
　　主要新闻媒体的数据新闻工作
　　本期全美拍整合4个权威可信的数据网站，推荐2个专业的数据分析工具，7个各具优势的数据可视化工具，助你在数据大潮中驾驭。
　　调查的基石
　　最有价值的数据采集网站
　　正如“行业有专长”一样，今天的数据网站也有自己的专长领域。从宏观数据和微观数据到数据分析和舆情监测，我们有多种形式的数据服务需求。在浩瀚的数据海洋网站，我们该敲哪一个？
　　地球上最权威的宏观数据：世界银行
　　世界银行是国际复兴开发银行（IBRD）和国际开发协会（IDA）的联合名称。
　　为为其自身的融资决策提供依据，为广大发展中国家提供参考，世界银行提供公共数据和数据分析服务。WBG有189个成员国，其数据来自每个成员国的官方数据库。
　　世界银行的公共数据网站 提供世界各地的宏观数据。所有数据都可以根据国家或类型的分类依据进行查看。涵盖200多个国家、地区和经济体，20大类数据。值得一提的是，网页可以选择中文模式，浏览没有障碍。
　　20 个世界银行数据类别
　　除了宏观数据查询功能外，世界银行开放数据网还有9个数据小部件，包括提供微观数据的“微观数据”和创建个人数据报表的“数据库”。它功能齐全，而且都是免费的。
　　6.72亿人的“数据化”：IPUMS
　　综合公共使用微数据系列 (IPUMS) 是世界上最大的基于个人的人口数据库。如果说世界银行主要提供官方宏观数据，IPUMS提供专业的微观数据。
　　IPUMS的数据由来自美国的微观数据样本和国际人口普查数据组成。其国际部分的数据来自多国统计局，共涉及6.72亿条人口普查记录。
　　在网页中，用户可以以变量+样本的形式搜索数据，支持多变量和多样本的组合。虽然 IPUMS 提供免费的数据服务，但您必须是 网站 的注册用户才能生成报告。
　　在注册过程中，您需要提供准确的个人信息，并用英文75字说明自己的数据搜索原因和使用方法，并提交给网站审核。一旦获得批准，用户可以获得报告，但此后每年都会重新获得资格。
　　以挖掘数据价值为使命：Quandl
　　/替代数据
　　在海量数据网站井喷的时代，Quandl不仅提供数据，更关心数据的解读。“我们的使命是从世界数据中提取价值。” 是网站自己的定位。
　　Quandl拥有一支跨学科的团队，专业领域包括但不限于金融、科技、天体物理学，致力于挖掘难以找到的数据及其背后的信息。
　　在众多数据类别中，Quandl 特别专注于提供金融和经济数据。付费数据来自专业数据提供商，免费数据来自各大交易所、央行、政府机构和私营企业。
　　
　　“爆款”数据库：NewsWhip
　　NewsWhip是全球最大的内容分析数据库，是BBC、赫芬顿邮报、赫斯特杂志等知名媒体的客户。
　　技术后端每两分钟扫描一次全球主要媒体平台的文章，包括Facebook、Twitter、Instagram、LinkedIn和Pinterest，并将扫描的信息与自2014年以来的数百万文章文章进行比较和分析传播速度最快的文章的特点，为媒体从业者打造用户参与度和传播效率更高的文章提供参考。
　　数据“整理”
　　专业的数据分析工具
　　SAS
　　满足多层次数据组织的需求
　　SAS为有需要的人提供数据组织帮助，用户可以自行整合数据，探索数据价值。创建和共享动态的交互式报告。
　　除了基本的数据处理，IDC 研究表明，SAS 在高级分析领域拥有 33% 的主导市场份额。其先进的分析软件基于最前沿和创新的算法，可以帮助解决更大的问题并发现可能被忽视的固有信息。
　　SPSS
　　学术级数据研究工具
　　SPSS隶属于IBM，致力于提供高效易用的统计分析软件来解决数据分析问题，让数据分析在决策中得到广泛应用。
　　该软件不仅广泛应用于商业分析领域，也是当今学术领域进行数据分析的主要选择。软件可操作性强，提供视频教学。
　　数据演示DIY
　　可视化工具箱
　　除了采集客观数据，如何将数据整合到可读内容中，是媒体从业人员在大数据背景下的另一项必备技能。
　　近年来，数据可视化工具越来越多，可以在网页上快速生成地图类、图表类、词云等数据呈现方式。许多知名新闻机构也与数据可视化业务网站签订了合作协议，为自己的数据新闻提供技术支持。
　　谷歌融合表/xDatainsight：
　　简单介绍各种数据表示
　　对于数据可视化的初学者，Google Fusion Tables 是一个不错的选择。Web应用程序可以在线制作各种数据图表，包括折线图、条形图、饼图，甚至可以将数据与地理位置和时间线组合成数据图和时间图。
　　操作简单、功能多是本软件最大的优点。
　　如果对英文操作界面不熟悉，可以考虑国内的xDatainsight。这个网站类似于Google Fusion Tables，提供了丰富的可视化选项，操作步骤简单，中文页面可供选择。
　　
　　卡托数据库：
　　将数据“落地”
　　如果你需要制作一张很酷的数据图，CartoDB 是这方面的佼佼者。多种数据图不仅视觉上令人满意，观众还可以手动放大缩小。查看特定区域的数据并与地图交互。
　　infogr.am：
　　知名新闻编辑室的秘密武器
　　除了交互式数据地图，infogr.am 还提供创建交互式数据图表的服务，可以满足营销、传播、教育、报告等方面的需求。许多知名媒体和商业公司都是它的忠实客户。
　　单词：
　　文本数据可视化
　　Wordle 是一款在线生成词云图的工具网站。用户只需输入文字，即可快速分析其中的词频，生成词云，并支持自定义颜色和字体。
　　网站还生成图片链接，提供保存下载和通过社交软件分享的服务。但是Wordle目前只支持英文和数字文本的分析。
　　图月：
　　中文好词云
　　如果要分析中文文本怎么办？不要错过这款国产在线词频分析工具。网站操作非常简单易用。提供标准、微信、地图等模式的词云。它可以生成权重图和词频图。一键切换是上手词云制作的不错选择。
　　与全媒体组文章纽约时报/卫报如何赚钱？比如非营利组织资助报告，是公益还是有约束力？输入URL地址后，涂鸦制作的权重图（左）和词频图（右）：
　　标记：
　　为你画一幅自画像
　　Tagxedo 提供多种风格的词云制作。你甚至可以输入一封情书，生成一个心形的词云，向TA表达你的想法。
　　更值得一试的是，用户可以输入自己的博客地址或 Twitter ID，网站 会分析你在社交平台上发布的内容，并为你的在线形象创建一个“草图”。
　　您使用过哪些数据网站 和数据工具，您的体验如何？除了它们，你还有哪些干货？欢迎在评论区留言与大家分享。
　　教程:SEO百度权重查询小工具与了然文章原创度检查工具下载评论软件详情对比
　　了解文章原创度数检查工具，帮助SEO管理者，检查文章原创度数，准确掌握文章原创中的详细信息站点，并找到相似的文章，防止站内外出现相同甚至相似的文章，实现真正的“原创”。
　　1、在日常的编辑和管理工作中，本工具可以准确检测文章文章的原创度数。
　　2.准确区分所有伪原创文章方法，并给出抄袭段落的具体数量，让你一目了然文章的质量细节。
　　
　　3、有文章“查看相似度”功能，可以找到相同、相似、相关的文章。
　　首先，首先安装.net framework 3.5 框架程序，必须是3.5或更高版本。本工具的使用需要依赖搜索引擎，所以必须联网才能正常使用本工具；
　　安装后需要重启电脑！
　　
　　二、手动将要勾选的文章复制粘贴到软件的第一个文本框中；
　　再次点击检查；
　　同样，片刻之后，将显示 文章原创 度数。但建议再次点击“查看相似度”按钮，可以看到与当前文章相同、相似、相关的文章； 查看全部

　　免费的:免费文章采集软件/xamplacelibrarychrome/python文章提取关键词
　　免费文章采集软件lxofficexamplacecathes/xamplacelibrarychrome/python文章采集系统简介dijkstra'scurvey分词模型提取关键词dsl关键词匹配分词dsl3d词性标注dsl单词顺序分词fexo-dijkstrafromtextreader读取format格式文件f3dbase语言模型词性标注ftextreader提取txt文本单词顺序组合基于web的文本分词工具webjs-ffillmentreader（易词）fuckunwebjs-check-focushtml5标记语言（javascript+css）webspeech-favoritefximeloperfib机器学习：sentimentanalysis新闻源聚合器react-rss-news帮助你更好地阅读rssrefinishphp优质的reddit资源管理：redditspiderauthonlinereddit实现之工具reddit。
　　
　　taskartisantooljordet/spiders。jordet-taskreddit添加排序功能等：redditpagefor-openjavascript后端框架：redux-reduxgraphql，cookie等等。
　　用cygwin
　　
　　如果你采集的是带有tag的内容，那么最好还是用lxml生成html直接提取，如果有模板，也可以直接用它集成的xmlposter进行html查询。
　　推荐使用“文章采集工具css导航页的效果，我做过实验，应该就是所说的效果。
　　文章采集软件css导航页，我用过几种，个人觉得这个还是效果很不错的。——ps:人肉下载过几百篇文章了。 查看全部

　　分享文章:剪搜(页面文章采集)
　　Clip Search 应用可以一键将文章的内容保存在手机网页上。有时候你可能对某个页面很感兴趣，但浏览完就忘记了！现在有了剪贴软件，可以为页面添加书签，支持页面图片、文章内容注释等操作。欢迎广大用户下载使用。
　　软件介绍
　　Cut Search是一款网页浏览采集软件，特别适合喜欢文章和信息浏览的朋友。支持一键保存各个平台的网页，即使原来的网页消失了，在这里依然可以看到。操作使用也超级简单，走到哪里都可以采集，不用担心采集到的数据丢失等问题。支持文章和图片文档的采集，以及高亮、标注和复制等操作。支持精华采集、文章分类、文章编辑、评论和评论。有需要的用户快来绿色资源网下载吧！
　　剪辑搜索app的操作方法如下：
　　1、打开手机浏览器，找到你经常浏览的网页。
　　
　　2. 点击浏览器底部的多功能图标。
　　3、点击喜欢的网址，正是因为它的存在，才可以创建桌面图标。
　　4.文字部分为图标名称，右侧有铅笔标记，点击可编辑文字。
　　5. 选择采集到手机桌面，以后可以直接从手机桌面访问网页。
　　6、如果有很多类似的图标，建议分类。
　　特征
　　1. 本质 采集/ 文章类别/ 文章编辑/备注
　　
　　2. 采集各个网页，将采集的信息保存在“剪切搜索”中，原网页消失后，您仍然可以在此处查看网页。
　　3.将各个平台的网页保存给我们，时间不再是空白，我们一直在为您储存您的宝贵信息。
　　剪切和搜索软件功能
　　1.虽然需要登录账号，但是你可以很好的保存你的数据安全问题，比如文章以及保存后的图片和文档，不用担心丢失。
　　2、支持文章的分类、编辑、评论等，操作非常方便。您可以在此处保存所有您喜欢的网页。支持的平台很多，简单实用。
　　3.您可以编辑和浏览喜欢的网页。还有一个很不错的功能，就是即使你的旧网页消失了，你仍然可以在采集夹中看到这个网页。
　　技术文章:帝国cms优采云采集(帝国cms采集教程)
　　帝国cms优采云采集(帝国cms采集教程)admin02-22 01:42131 浏览量
　　帝国cms7.2新增金刚模式，注册发布有困难。免登录配送模块配合电车采集器完美解决您面临的问题。
　　无需登录直接获取列列表
　　在文件中设置密码，无需登录即可公开数据
　　Empirecms7.2免费登录文章发布界面说明
　　一、特点
　　1、无需登录，用户可设置认证密码，防止非法访问。
　　3. 可以达到和手动发布文章完全一样的效果。包括是否生成静态、移除外部链接、下载图片等功能。
　　2.使用教程
　　1.文字教程
　　1.1。选择网站对应的接口文件。如果网站是gbk代码，选择fabu_gbk.php。
　　1.2. 打开接口文件，修改认证密码，保存。
　　1.3. 修改接口文件名，网站管理目录/e/admin/
　　1.4. 修改发布模块，将发布模块中已发布文件的地址后缀和刷新列表中文件的地址后缀修改为刚刚修改的界面的文件名。
　　1.5。设置发布配置 采集 并开始发布。
　　三、注意事项
　　1.该接口只适合发布文章到内容模式正常文章的Empirecms频道；
　　3.首页、栏目页等静态HTML必须自动生成。请更改网站后台管理栏的栏目选项，设置后台信息公开设置。建议不要选择生成内容 HTML 以外的静态页面。建议在计划任务中静态或手动设置和更新更新任务。
　　4、当需要缩略图时，应调用cms的图像远程保存函数，并带有copyimg参数。
　　4.参数说明
　　
　　1. 所需参数
　　标题
　　新闻文本内容
　　ID可以在classID、must、后台网站列管理的主列ID中看到
　　用户名必须使用 网站 上已存在的用户名。默认为随机用户名，用户必须在模块中设置
　　pw 认证密码。在更新列表和发布帖子时使用，模块和界面中的认证密码必须匹配。
　　2.可选参数
　　标题 副标题
　　引入小文本内容
　　键盘关键字
　　作家作者
　　来自信息源
　　titlefont[b]=b 标题样式：粗体
　　titlefont[i]=i 标题样式：斜体
　　titlefont[s]=s 标题样式：删除线
　　标题颜色
　　isgood=1推荐
　　第一个标题 = 1 个标题
　　newstempid=1 模板 ID
　　复制 img=1 远程保存图片
　　
　　为弱白=1图像添加水印
　　getfirsttitlepic=1 将第一张上传的图片作为标题图片
　　getfirsttitlespic=1 将第一张上传的图片作为缩略图
　　getfirsttitlespicw 缩略图宽度
　　getfirsttitlespich 缩略图高度
　　远程保存副本 flash=1flash
　　qz_url FLASH地址前缀
　　dokey=1 关键字替换
　　自动分页 = 1 个自动分页
　　autosize=5000 自动分页大小，通常设置为5000字
　　istop=0 顶级，0-6 级
　　groupid=0访问权限，游客0，普通会员1，VIP会员2，企业会员3，企业VIP会员4
　　userfen=0 显示扣分
　　关闭 pl=1 评论
　　filenameqz 文件前缀
　　ztID[] 属于主题id
　　nclick=200 最大点击次数，点击次数取1到最大点击次数之间的随机值；
　　newstime文章的发布时间请使用标准的长日期格式；
　　文件：/文件/251273
　　网页设计导航栏尺寸（网页设计导航栏高度）网线制作步骤（模组） 查看全部

　　免费的:3·15晚会 |“免费WiFi”App一天收集位置信息67899次；200余家软
　　3月15日晚，2022年中央电视台3·15晚会将播出。晚会以“公平、诚信、安心消费”为主题，持续关注消费领域的违法侵权现象。
　　“免费WiFi”应用程序隐藏了一个陷阱：它不仅无法连接，而且还会导致隐私的大量暴露。
　　最近，许多“免费WiFi”的广告频繁出现在手机上。提供“免费WiFi连接”的应用程序在移动应用程序市场上比比皆是。3.15 信息安全实验室对此进行了特别测试。
　　测试人员从应用市场下载并安装了“WiFi破解精灵”，这显然列在大量的WiFi资源列表中。单击“免费连接”，其中显示“破解WiFi以获取密码”，但失败。从那时起，测试人员尝试了所有列出的WiFi源，但没有一个可以连接，但是两个不熟悉的应用程序会自动下载到手机上。
　　测试人员发现，连接时点击带有“确认”和“打开”字样的弹出窗口是伪装的广告链接。一旦用户在没有任何提示的情况下被诱导点击，广告链接中的应用就会自动安装在手机上。最后，用户想要的免费WiFi毫无用处，手机上有一堆莫名其妙的应用程序。
　　工程师们在免费WiFi的旗帜下测试了20多个应用程序，但它们都失败了，并且还存在诱导用户下载其他应用程序的行为。进一步的测试显示，这样的免费WiFi应用程序也在后台采集了大量的用户信息。例如，一个名为雷达WiFi的应用程序每天采集测试手机的位置67，899次。
　　通过手机上的这些应用程序，开始出现许多弹出式广告。“悦豹WiFi助手”隐藏了“自动启动”功能。它可以随时以高频率自动激活，仅在11：16时就允许46次。这意味着，即使用户从后台关闭应用也是如此。它还可以通过“自动启动”功能在后台再次运行，不断采集用户信息并推送弹出广告。
　　“操纵口碑”：参与Inmax的公司拥有10多家分支机构
　　央视3.15晚会曝光了网上巨魔刷评论的问题：依靠口碑机构伪造、篡改标题评论、影响搜索结果等行为，Inmax被点名。
　　
　　想要判断一家公司的声誉是好是坏的消费者，往往会根据搜索结果、用户评价，以及互联网海量信息中的一些文章和信息做出综合判断。然而，一些看似值得信赖的信息却被秘密操纵。
　　Inmax是一家为企业提供口碑服务的互联网科技公司，声称为企业打造品牌、搜索、口碑打造闭环私域流量池，服务120家上市公司、560家行业领军企业和大中型企业。据报道，当网友在问答、百科、论坛等场合寻求帮助时，他们看到的很多问题和答案，都是Inmax等口碑公司冒充真实用户做出的。
　　超过 200 个软件下载站或捆绑下载
　　工业和信息化部
　　工业和信息化部2012年发布的《关于规范互联网信息服务市场秩序的若干规定》明确规定，不得欺骗、误导或强迫用户下载、安装、运行、升级、卸载软件。
　　此次，央视315方曝光了部分软件下载平台涉及诱导和捆绑安装软件的情况，如PC6下载站、基胶下载站、、ZOL软件下载等平台。这些下载平台使用百珠公司开发的下载器，它们都有一个绿色的、显眼的高速下载选项，提示下方有一个小字：快50%，需要下载一个高速的下载器。
　　在调查采访中，百珠销售部业务经理告诉记者，高速下载只是一个噱头，为了诱导用户通过百珠下载器下载软件。即使用户取消所有默认检查并关闭下载器，有时也会不时在计算机右下角出现牛皮癣等弹出式广告，如果用户习惯性地点击右上角尝试关闭广告，则很可能被秘密静默安装其他软件。该公司的一位经理声称，他们与中国200多个软件下载站合作，每天达到2000万用户，年收入超过12亿元。
　　低端儿童智能手表成为行走的者
　　315信息安全实验室进行了专项测试，公开了儿童智能手表等终端的APP安全许可。工程师将恶意程序放入具有100，000 +销售记录的儿童智能手表中，以实现对手表的远程控制。工程师可以实时定位孩子，连续采集孩子的运动轨迹，轻松勾勒孩子的活动范围，甚至判断：孩子的家离学校很近，5分钟就能走完;您还可以实时听到孩子与家人之间的聊天，并看到孩子放学后在办公桌前做手工艺品。
　　
　　测试人员发现，根本原因是其操作系统太旧。这款手表使用Android 4.4操作系统，没有任何权限管理要求，近10年前，其最新版本已更新为Android 12。为了降低成本，厂家选择了低版本的操作系统，这意味着在这样的儿童手表上，在安装了各种app之后，可以不经用户授权即可打开各种敏感权限，可以轻松获取孩子的位置、人脸图像、录音等隐私信息，孩子的安全隐患可想而知。
　　“国内+国际”权威隐私保护人员认证培训
　　网络研究院是中国个人信息保护专业人士权威认证品牌的官方指定授权培训机构，BSI中国是国际隐私专业协会（II）在中国的官方培训合作伙伴，双方在CISP-PIP和IAP两大培训认证课程体系上开展了大量合作， 共同推进数据隐私专业人才培养，提高各企业数据安全合规能力。
　　扫描以下二维码立即注册，欲了解更多有关CISP-PIP、IAPP认证培训的信息，请联系专职顾问：
　　咨询电话：
　　丁老师
　　事实:深圳网络公司易百讯专员介绍几种SEO工具下节讲点
　　继续我们上次提到的网站诊断工具，著名的诊断软件是Webposition Gold，它会自动分析用户的网页和前面的网页的区别，然后给出优化建议。
　　网站诊断工具还很不成熟。比如软件爬取目标网页，分析后可能告诉站长关键词的密度需要增加多少，标题中的关键词重复两三次次。这些建议无非是对相关关键词top 10 或20网站 的统计。
　　
　　问题是这些统计数据实际上具有误导性，缺乏一个好的SEO运营商应具备的全面观察、意识和经验。我们看到的排名和页面元素之间没有因果关系，尽管可能存在一些统计特征。因此，深圳网络公司提醒您；目前的网站诊断软件给出的一些建议可以采用，比如加H1标签，而有些建议没有意义，甚至可能有害。
　　3. 内容生成工具
　　给定关键词，让软件自动生成网页内容。可以想象，该软件生成的内容要么可读性低，要么乱码。它要么是自动爬取搜索引擎搜索结果，要么是 网站 上的其他内容。深圳网站优化ebayxun小张告诉大家不建议大家用这个软件。除了用户体验差之外，还可能侵犯他人版权，还可能出现内容复制问题。
　　
　　四、链接生成软件
　　它主要是在留言簿、论坛和博客中大量发布评论。这类软件目前在黑帽中非常流行。一些搜索引擎已经对垃圾邮件的判断非常准确，会将此类链接的权重降低到0。更严重的可能会对网站造成一定程度的惩罚。随着所有搜索引擎提高对垃圾链接的判断，使用链接海量软件将变得越来越危险。不推荐使用。 查看全部

　　技巧:免费文章采集软件大全，人性化的操作系统，操作简单
　　免费文章采集软件大全欢迎大家免费使用的免费文章采集软件大全，人性化的操作系统一直是小编首选的操作系统，操作简单，快捷。是建站的必备神器啊！免费文章采集软件是小编最近刚刚发现的一款很不错的采集软件，大部分的采集软件都很臃肿，占用内存特别大，设置起来也需要各种下载。而小编觉得这款免费文章采集软件还蛮好用的，采集文章一键审核，自动生成网址和url，全都可以自定义设置，其他各种功能都有，占用内存很小，每天都能采集上百篇全部免费的文章，能放到百度搜索引擎上自然也无需付费。
　　
　　下面小编教给大家一些怎么用这款免费采集软件收集全网文章。具体怎么用呢？首先我们去百度搜索随便找一个什么，然后从标题里面输入“.pdf”，比如这里的：“免费文章采集软件+水印压缩包”会出现好多家，这里我们点这个：然后点搜索引擎回车，接着把它里面的文章点进去，就是这个软件：我们双击它的文件夹，然后点开它的“收集当天”和“全网收集”，然后再对文章进行整理，我们先把所有我们要收集的文章全部整理好，然后点进去就能一次全部收集完。
　　在收集当天可以对文章页面进行修改，采集的时候也可以选择把对应的文章收集到某个文件夹。我们也可以对文章进行各种设置，比如我们可以把“新闻来源”设置成大家都熟悉的新浪新闻，在收集全网文章的时候也能采集到自己想要的文章页面，也可以把字体颜色设置成自己喜欢的颜色等等。然后点收集全网文章然后点网址地址回车我们就可以开始进行收集文章了，点收集全网文章然后点全网收集然后点网址地址回车就可以开始收集文章了，点收集全网文章然后点全网收集然后点网址地址回车就可以开始收集文章了。
　　
　　文章采集完成后文章就会自动下载到电脑上。我们重点看一下文章采集之后怎么进行分类整理。分类整理是我们这个免费采集软件最大的功能，在这个文章采集软件里面是有分类和大多数网站是一样的，也有一些是我们自己想要收集的，这里小编就设置文章，小编设置了15篇，下载全部都是免费的。然后我们再看一下我们平时采集一篇文章后，收集到一个文件夹里，然后找到当时收集到的文章，我们直接分享给朋友了，朋友看完之后很是高兴，因为小编送的免费任务把他的文章收集起来了。
　　收集后我们对他分类，这里我用全部是全部是免费的这句话作为文章名，我们依然设置为新闻来源，这样大家在百度搜索里输入“”就可以搜索到我们收集的文章了。如果我们不想让别人搜索到，也可以设置文章的来源地址，这样就可以保证我们每天都会采集一篇免费的文章到百度搜索引擎，要是采集。 查看全部

　　解决方案:airbnb采集软件是首选采集免费有图片的免费文章，只需要采集
　　
　　免费文章采集软件是首选采集免费有图片的免费文章，只需要采集网页里有的图片就可以自动生成下载链接，网页上有任何内容的图片都可以采集的，采集的速度极快。首先打开http获取搜索栏，只需要输入框中的qurl，然后选择图片就可以了。采集的速度也非常快。http不需要代理,apache/nginx服务也不需要，速度真的非常快。
　　
　　采集好的文章也可以直接复制到浏览器下载，传统做法是把采集好的文章发到专门的网站上面的，这样做速度极慢，而且方法不可行，采集文章特别耗时间，采集完也不能上传，真的是神烦。这时候我用airbnb采集工具来采集。我选择airbnb采集工具进行采集，首先大家要注意的是打开这个采集工具必须要从文章的后面文件夹文件夹拉，你在没有把它拖到你想要的地方采集文章是采集不了的，这里分享给大家一个免费的教程，打开采集工具，我们会发现在上面有很多全是免费的工具，我们随便选择一个工具，因为它有明确的标识是全免费，所以我们直接把它拖到窗口中间，这样就可以了。
　　这样直接找到图片的地址，然后复制到你想要的地方，就可以了。airbnb采集工具直接还提供了收费功能，大家要注意选择。大家在使用的时候要注意一个细节，就是要选择站点来采集，这样才能够快速采集。如果不选择站点采集的话，的话是没有的，直接找不到文章地址。我可能不小心浏览文章的时候选错了采集文章的站点，可能你会遇到这种情况。大家可以把这个问题转发一下。 查看全部

　　最新版:起点中文网VIP免费章节采集器1.0 免费版
　　本软件是一本简单的小说采集器，通过它可以采集vip小说章节。和之前的采集器不同的是，这次改变了规则，功能更好！
　　起点中文网采集解说知识兔
　　打开软件，选择要下载的小说类型，点击开始采集。
　　软件存在的功能只是采集一个接一个的下载链接，建议大家使用其他下载工具下载。
　　
　　起点中文网采集特色知识兔
　　①：可按采集玄幻、武侠、都市、同人、历史等主流网络类别分类的已完成或连载小说。
　　②：将标题、简介、下载地址准确分开，准确分析数据，不让用户下载出错。
　　③：独有的响应技术，让您自定义响应时间，让低配置的电脑也能用。
　　
　　④：采集的文件分类保存，让你准确找到自己喜欢的流派小说！
　　点击下载
　　下载体验
　　点击下载
　　最新版:中国材料网自动发帖软件_乐推发布软件
　　模型：
　　软件自动发布
　　尺寸：
　　B2B 自动发布软件
　　规格：
　　在各大平台发布软件
　　牌：
　　改变
　　支持：
　　各大平台
　　深圳市创变网络有限公司
　　例如：“售后服务跟不上，买没人教，更新后性问题解决不了”为用户的问题和疑问提供全天候售后服务，无如果您在发布上有任何问题，请随时咨询我们和人，无论您从事什么行业，无论您是企业还是个人，当您看到此介绍时，就意味着您正在销售您的产品
　　
　　省时人工发布产品信息自动发布信息，
　　软件发布信息间隔时间不规律，随意调整间隔时间，使每两条信息的间隔时间不规律，定时关机功能（一般适合晚上发布信息的朋友，发布后自动关机）。
　　二、保存配置功能
　　如果有多个产品需要单独发布，可以单独保存产品功能的配置。您只需要配置一次。保存配置后，可以稍后导入配置来加载之前的设置，省时省事。
　　3.自动设置产品图片功能
　　图像有 3 个选项：
　　1.同步采集网站图片。如果你在网站的后台上传了一张图片，点击“采集相册”自动采集图片到本地。
　　2.您的网站后台获取URL地址，并为您要发送的产品拍照。
　　3.在本地电脑上手动批量导入图片。
　　五、自动合成标题功能
　　想不出很多标题？软件内置批量合成标题功能，自动批量合成数千个独特标题。根据您的需要，配置要生成的标题模板。
　　
　　标题可任意组合，常用格式为自动发帖软件_乐推出版包教会搭建出版资料网。通过各种自定义组合，可以生成千变万化的标题。发布文章软件
　　4.强大的内容编辑器
　　软件内置文本编辑器，自动识别网站的内容提交格式是纯文本还是html文本。html文本可以在软件内部随时进行可视化编辑，就像网站的后台操作一样。
　　案子：
　　5个新模板！获得 5 个不同的产品介绍周期版本以改进 收录！
　　Gold Rushland小助手发布软件，广搜网小助手发布软件，塑料机械网小助手发布软件。Instrumentation Trading Network Assistant 发布软件，Huicong Network Assistant 发布软件，Hardware Business Opportunity Network Assistant 发布软件。100招商网助手发布软件，云联盟助手发布软件，环境114助手发布软件。模具联盟助手发布软件，597种苗网助手发布软件，KK商网助手发布软件。
　　如果我们发布上万条信息，刷新信息的效率非常低。现在我们可以使用提供的一键刷新功能，一键重新发送所有同步的信息，非常方便，但不一定会收录一个，这样就浪费了你的时间，浪费了你的精力，而且没有效果，所以不建议你用，那是几年前用的把戏，现在认不出来了
　　欢迎来到深圳市创变网络有限公司网站，我们公司位于经济发达、交通发达、人口密集的中国经济中心城市深圳。具体地址为航城工业区阜新林工业园1号楼202，联系人为梁小姐。
　　主要从事深圳市创变网络有限公司为您提供深圳网络推广、深圳网站推广、深圳信息发布、深圳网络公司、深圳网站推广、网站优化公司,深圳宝安西向南山网站推广,深圳信息发布,广告信息发布,企业网站优化,深圳福永沙井石岩龙华网站优化,深圳企业网站优化,网站推广软件，网站推广工具，国外网站推广等？？？？深圳市创变网络有限公司是一家以网络信息应用服务为主的网络公司，专注于网络推广和网络推广，
　　单位注册资本 本单位注册资本小于100万元。 查看全部

　　免费获取:免费文章采集软件！免费的在线采集工具,找到对应文章的要素
　　免费文章采集软件！免费的在线采集工具,找到对应文章的要素，一键提取就可以啦！我们来个效果图上传文章素材保存，双击即可复制文章链接，可以传qq微信公众号文章。后台可以同步修改。
　　要是想要有的话，我可以推荐个免费的采集工具。
　　
　　其实这个问题在知乎上早就有答案了，用微信开发者工具（weixin.io）可以一键采集，不需要自己制作爬虫和网站、应用和小程序。-02-21/腾讯weixin.io-微信数据抓取工具|微信新鲜事腾讯公司曾经与wordpress、editplus、tagxedo这样的知名网页应用开发平台合作，为中国微信公众号、微信群以及wap站提供全量类别的文章采集服务。
　　为什么用wordpress和editplus？wordpress是全球最流行的博客平台，开源免费，中国用户（腾讯微信公众号、微信群）拥有超过1亿。微信拥有超过7亿用户，微信公众号、微信群中1亿以上的文章都是wordpress和editplus采集到的。wordpress和editplus对wp内容进行文件上传和并排的等操作不需要登录服务器，反而比登录腾讯微信公众号后台更加简单，随便你注册一个wordpress，一个editplus都可以一键完成全站爬虫的爬取。
　　今天我们采访了腾讯微信公众号的seo从业者、七牛云微信爬虫联合创始人张清，详细讲述如何通过浏览器采集链接。根据常规的互联网信息抓取，在用户发起一个搜索需求时，需要先发送一个链接到第三方网站。如果第三方网站只收录了这个链接，但不提供任何数据，那么我们通常就会使用网页数据抓取软件抓取这个第三方网站的数据。
　　
　　但如果抓取成功以后，我们需要继续获取有效的数据，这时候我们可以优化爬虫的抓取规则，继续按照第三方网站的规则抓取数据。这样才能真正从数据抓取过程中解放我们的双手。张清介绍说，在微信等第三方平台上，会有很多微信公众号、微信群都提供公众号推文数据和公众号文章链接。如果按照这些数据上传到网站进行采集，就会遇到两个问题：1.网站的pr值和推文的阅读量都比较少，会没有价值；2.如果对链接进行优化，不仅需要更多时间成本，而且会导致一些无效访问。
　　他在微信公众号、博客等网站上实践后，总结出了一套快速采集的方法。他将这些方法适用于主流的网站以及小众站点，后期会针对一些开源项目持续进行深度探索。他还特别强调，尽量不要在wordpress，editplus，tagxedo这样的开源数据抓取工具中使用采集逻辑，因为开源项目本身的数据抓取功能就不够精准。
　　企业需要使用这些工具时，必须要非常熟悉它们各自的特点。张清首先使用的是前面提到的wordpress和editplus，因为开源，在。 查看全部