本课程《数据采集与处理》系统介绍数据采集与处理的核心知识与实践技能。课程涵盖数据采集的基本概念、工具使用（如八爪鱼采集器、Python爬虫），以及从基础到高级的数据采集应用。同时，课程深入讲解数据处理的基本概念、ETL流程，并重点教授使用Kettle工具进行数据抽取、清洗等核心操作。通过综合案例与作业设计，培养学生解决实际数据问题的能力。

视频课程目录：
1. 数据采集的基本概念及采集工具
2. 数据采集应用（基本应用与高级应用）
3. 数据采集综合应用
4. 数据处理基本概念
5. 数据处理（数据抽取与数据清洗）
6. 作业设计




├─{01}--数据采集的基本概念及采集工具
│ │ #1.2#--图文.pdf
│ │ #1.3#--图文.pdf
│ │ #1.4#--图文.pdf
│ │ #1.5#--图文.pdf
│ │ (1.2.1)--1初识数据.ppt
│ │ (1.2.2)--1数据的构成.doc
│ │ (1.2.3)--1数据的获取途径.doc
│ │ (1.2.4)--2：商务数据的概念.doc
│ │ (1.2.5)--2：商务数据的领域和作用.doc
│ │ (1.3.1)--3：商务数据的来源.doc
│ │ (1.3.2)--3数据的来源.ppt
│ │ (1.3.3)--4商务数据的采集基础及流程.doc
│ │ (1.3.4)--4数据的采集基础及流程.ppt
│ │ (1.4.1)--5商务数据的采集方法.doc
│ │ (1.4.2)--5数据的采集方法.ppt
│ │ (1.4.3)--6商务数据的导出方法.doc
│ │ (1.4.4)--6数据的导出方法.ppt
│ │ (1.4.5)--7数据采集工具介绍.doc
│ │ (1.4.6)--7数据采集工具介绍.ppt
│ │ (1.4.7)--8爬虫软件介绍.doc
│ │ (1.4.8)--8Python爬虫介绍.ppt
│ │ (1.5.1)--《数据采集与处理》学生安装前必看.doc
│ │ (1.5.2)--OctopusSetup8.0.18.exe
│ │ (1.5.3)--mysql-5.5.44-win32.msi
│ │ (1.5.4)--NavicatPremium12破解补丁.zip
│ │ (1.5.5)--9八爪鱼的安装与注册.doc
│ │ (1.5.6)--9数据采集器介绍及安装.ppt
│ │ (1.5.7)--10八爪鱼界面介绍.doc
│ │ (1.5.8)--10数据采集器界面介绍.ppt
│ │ [1.2.1]--初识数据.mp4
│ │ [1.2.2]--认识商务数据.mp4
│ │ [1.3.1]--数据的来源.mp4
│ │ [1.3.2]--数据的采集基础及流程.mp4
│ │ [1.4.1]--数据的采集方法.mp4
│ │ [1.4.2]--数据的导出方法.mp4
│ │ [1.4.3]--数据采集工具介绍.mp4
│ │ [1.5.1]--9数据采集器介绍及安装.mp4
│ │ [1.5.2]--10数据采集器界面介绍.mp4
│ │
│ └─{01}--课程导学
│ (1.1.1)--《数据采集与处理》网络课程导学（指引）.doc
│ (1.1.2)--《数据采集与处理》学生网络课程学习指引.doc
│
├─{02}--数据采集应用
│ ├─{01}--采集器基本应用
│ │ #2.1.1#--图文.pdf
│ │ #2.1.2#--图文.pdf
│ │ #2.1.3#--图文.pdf
│ │ (2.1.1.1)--1采集器简易采集.ppt
│ │ (2.1.1.2)--2种采集模式与界面介绍.ppt
│ │ (2.1.1.3)--2种采集模式与界面介绍.doc
│ │ (2.1.2.1)--采集单个数据.ppt
│ │ (2.1.2.2)--采集单个数据.doc
│ │ (2.1.2.3)--采集表格数据.ppt
│ │ (2.1.2.4)--采集表格数据.doc
│ │ (2.1.2.5)--采集列表数据.ppt
│ │ (2.1.2.6)--采集列表数据.doc
│ │ (2.1.3.1)--采集每个详情页中的数据.ppt
│ │ (2.1.3.2)--自定义采集详情页介绍.ppt
│ │ (2.1.3.3)--启动任务并导出数据.ppt
│ │ (2.1.3.4)--单网页列表及详情页采集.ppt
│ │ [2.1.1.1]--两种采集模式介绍.mp4
│ │ [2.1.1.2]--1.简易采集-京东.mp4
│ │ [2.1.2.1]--采集单个数据.mp4
│ │ [2.1.2.2]--采集表格数据.mp4
│ │ [2.1.2.3]--采集列表数据.mp4
│ │ [2.1.2.4]--天猫商品单页数据采集实例.mp4
│ │ [2.1.3.1]--自定义采集详情页介绍.mp4
│ │ [2.1.3.2]--京东商品详情页采集实例.mp4
│ │ [2.1.3.3]--采集每个详情页中的数据.mp4
│ │ [2.1.3.4]--启动任务并导出数据.mp4
│ │
│ └─{02}--采集器高级应用
│ #2.2.1#--图文.pdf
│ #2.2.2#--图文.pdf
│ #2.2.3#--图文.pdf
│ #2.2.4#--图文.pdf
│ #2.2.5#--图文.pdf
│ #2.2.6#--图文.pdf
│ (2.2.1.1)--知识点1：循环介绍.ppt
│ (2.2.1.2)--知识点2：循环下翻下拉框.ppt
│ (2.2.1.3)--知识点3：文本循环.ppt
│ (2.2.1.4)--知识点4：url循环.ppt
│ (2.2.2.1)--循环翻页采集.ppt
│ (2.2.2.2)--循环翻页采集.doc
│ (2.2.3)--登录采集.ppt
│ (2.2.4)--aja.ppt
│ (2.2.5)--xpath数据定位.ppt
│ [2.2.1]--百度百科文本循环数据采集实例.mp4
│ [2.2.2.1]--循环翻页采集.mp4
│ [2.2.2.2]--安居客房源翻页采集实例.mp4
│ [2.2.3.1]--登录采集.mp4
│ [2.2.3.2]--唯品会账号登录采集实例.mp4
│ [2.2.4]--ajax采集.mp4
│ [2.2.5]--xpath数据定位.mp4
│ [2.2.6.1]--京东商品差评XPath采集实例.mp4
│ [2.2.6.2]--xpath应用示例.mp4
│ [2.2.6.3]--xpath工具.mp4
│ [2.2.6.4]--相对xpath.mp4
│
├─{03}--数据采集综合应用
│ #3.1#--图文.pdf
│ (3.1)--京东竞品数据采集.ppt
│ [3.1]--京东竞品数据采集实例.mp4
│
├─{04}--数据处理基本概念
│ │ #4.2#--图文.pdf
│ │ (4.2.1)--jdk-8u144-windows-i586_8.0.1440..exe
│ │ (4.2.2)--pdi-ce-8.2.0.0-342.zip
│ │ (4.2.3)--mysql-connector-java-5.1.35-bin.jar
│ │ (4.2.4)--kettle安装配置.doc
│ │ (4.2.5)--ETL基本概念.ppt
│ │ (4.2.6)--kettle的安装.ppt
│ │ [4.2.1]--ETL基本概念.mp4
│ │ [4.2.2]--kettle的安装.mp4
│ │
│ └─{01}--数据处理的基本概念
│ #4.1.1#--图文.pdf
│ #4.1.2#--图文.pdf
│ #4.1.3#--图文.pdf
│ (4.1.1.1)--1-数据处理基本概念.ppt
│ (4.1.1.2)--2-数据处理缺失值清洗.ppt
│ (4.1.2.1)--数据处理之噪声清洗.ppt
│ (4.1.2.2)--数据集成.ppt
│ (4.1.3.1)--数据规约.ppt
│ (4.1.3.2)--数据变换.ppt
│ [4.1.1.1]--1数据质量问题.mp4
│ [4.1.1.2]--2数据清洗之缺失值清洗.mp4
│ [4.1.2.1]--3数据清洗之噪声清洗.mp4
│ [4.1.2.2]--4数据集成.mp4
│ [4.1.3.1]--5数据规约.mp4
│ [4.1.3.2]--6数据规约之数量规约.mp4
│ [4.1.3.3]--7数据变换.mp4
│
├─{05}--数据处理
│ ├─{01}--数据抽取
│ │ #5.1.1#--图文.pdf
│ │ #5.1.2#--图文.pdf
│ │ #5.1.3#--图文.pdf
│ │ #5.1.4#--图文.pdf
│ │ #5.1.5#--图文.pdf
│ │ (5.1.1.1)--student.csv
│ │ (5.1.1.2)--stu.txt
│ │ (5.1.1.3)--1kettle的使用简介.ppt
│ │ (5.1.1.4)--2数据抽取概述.ppt
│ │ (5.1.1.5)--5.1数据抽取-文本.ppt
│ │ (5.1.2.1)--student.xlsx
│ │ (5.1.2.2)--5.2数据抽取-文本.ppt
│ │ (5.1.3.1)--XML文件.XML
│ │ (5.1.3.2)--student.js
│ │ (5.1.3.3)--5.3数据抽取-web.ppt
│ │ (5.1.4)--5.4数据抽取-数据库1.ppt
│ │ (5.1.5.1)--表输出.xlsx
│ │ (5.1.5.2)--student.sql
│ │ (5.1.5.3)--5.5数据抽取-数据库2.ppt
│ │ [5.1.1.1]--kettle使用简介.mp4
│ │ [5.1.1.2]--数据抽取概念.mp4
│ │ [5.1.1.3]--csv文件输入txt文件输出.mp4
│ │ [5.1.1.4]--txt文件的输入输出.mp4
│ │ [5.1.2.1]--excel输入其他输出.mp4
│ │ [5.1.2.2]--生成记录.mp4
│ │ [5.1.3.1]--json文件的导入导出.mp4
│ │ [5.1.3.2]--xml文件的导入导出.mp4
│ │ [5.1.4]--mysql数据表输入.mp4
│ │ [5.1.5.1]--excel输入mysql表输出.mp4
│ │ [5.1.5.2]--指定字段数据到数据库中.mp4
│ │
│ └─{02}--数据清洗
│ #5.2.1#--图文.pdf
│ #5.2.2#--图文.pdf
│ #5.2.3#--图文.pdf
│ #5.2.4#--图文.pdf
│ (5.2.1.1)--stringOp.xlsx
│ (5.2.1.2)--6.1字符串清洗.ppt
│ (5.2.1.3)--6.1数据清洗概述.ppt
│ (5.2.2)--6.2字段清洗.ppt
│ (5.2.3.1)--kettle计算器函数对计算类型的说明如下.doc
│ (5.2.3.2)--流查询-employee.xlsx
│ (5.2.3.3)--流查询-department.xlsx
│ (5.2.3.4)--过滤-个人信息表.xls
│ (5.2.3.5)--过滤-系统对照表.xls
│ (5.2.3.6)--6.3使用参照表校验数据的准确性.ppt
│ (5.2.4.1)--排重-个人信息.xlsx
│ (5.2.4.2)--6.4数据排重.ppt
│ [5.2.1.1]--6.1数据清洗概述.mp4
│ [5.2.1.2]--6.1字符串清洗.mp4
│ [5.2.2.1]--6.2拆分字段成多行.mp4
│ [5.2.2.2]--6.2合并拆分.mp4
│ [5.2.2.3]--6.2字段选择.mp4
│ [5.2.3.1]--6.3计算器.mp4
│ [5.2.3.2]--6.3流查询.mp4
│ [5.2.3.3]--6.3过滤记录.mp4
│ [5.2.4.1]--6.4唯一行.mp4
│ [5.2.4.2]--6.4去除重复记录.mp4
│ [5.2.4.3]--8去除重复数据.mp4
│
└─{06}--作业设计
│ #6.2#--图文.pdf
│ #6.3#--图文.pdf
│ (6.2.1)--排课信息.xlsx
│ (6.2.2)--teacher_info.sql
│ (6.2.3)--kettle综合实验（完整）.ppt
│ (6.3.1)--数据采集与处理-（期末）题库.doc
│ (6.3.2)--5.1数据抽取-文本.ppt
│ (6.3.3)--5.3数据抽取-web.ppt
│ (6.3.4)--5.2数据抽取-文本.ppt
│ (6.3.5)--6.1字符串清洗.ppt
│ (6.3.6)--6.4数据排重.ppt
│ (6.3.7)--7.1kettle作业设计.ppt
│ [6.2]--kettle综合实验.mp4
│ [6.3.1]--1.csv文件输入txt文件输出.mp4
│ [6.3.2]--2.excel输入其他输出.mp4
│ [6.3.3]--3.json文件的导入导出.mp4
│ [6.3.4]--4字符串清洗.mp4
│ [6.3.5]--5.1唯一行.mp4
│ [6.3.6]--5.2去除重复记录.mp4
│ [6.3.7]--6作业任务.mp4
│
└─{01}--作业设计
#6.1.1#--图文.pdf
#6.1.2#--图文.pdf
(6.1.1)--7.1kettle作业设计.ppt
(6.1.2.1)--01文本文件输入.txt
(6.1.2.2)--01Excel输入.xlsx
(6.1.2.3)--7.2kettle作业设置变量.ppt
[6.1.1.1]--kettle作业设计1.mp4
[6.1.1.2]--kettle作业设计-监控.mp4
[6.1.2]--作业例题.mp4