本课程系统讲解数据预处理的核心技术与实战应用。课程以ETL流程为主线，重点介绍使用Kettle工具进行数据抽取、清洗、转换的完整方法，涵盖文本、数据库、Web等多种数据源的处理。同时，课程将教授如何利用Python的Pandas库进行高效的数据导入、导出和清洗操作。通过理论与实践相结合，学习者将掌握构建自动化数据处理流程、保证数据质量、为后续分析与挖掘准备高质量数据集的必备技能。

视频课程目录：
1. 课程导学
2. 数据处理基本概念
3. 数据处理
3.1 数据抽取
3.2 数据清洗
3.3 数据转换
4. 作业设计
5. Python数据导入导出
6. Python数据处理




├─{01}--课程导学
│ (1.1)--《数据预处理》课程质量报告.doc
│ (1.2)--《数据预处理》课程标准-刘妍东.doc
│ (1.3)--《数据预处理》网络课程导学（指引）_刘妍东.doc
│ (1.4)--《数据预处理》学生网络课程学习指引_刘妍东(1).doc
│
├─{02}--数据处理基本概念
│ │ #2.1#--图文.pdf
│ │ #2.3#--图文.pdf
│ │ (2.3.1)--jdk-8u144-windows-i586_8.0.1440..exe
│ │ (2.3.10)--Kettle工具的安装和配置.doc
│ │ (2.3.2)--pdi-ce-8.2.0.0-342.zip
│ │ (2.3.3)--mysql-connector-java-5.1.35-bin.jar
│ │ (2.3.4)--kettle安装配置.doc
│ │ (2.3.5)--4ETL介绍.ppt
│ │ (2.3.6)--4kettle的安装及使用.ppt
│ │ (2.3.7)--ETL基本概念.doc
│ │ (2.3.8)--ETL基本构成.doc
│ │ (2.3.9)--ETL常用工具.doc
│ │ [2.3.1]--ETL基本概念.mp4
│ │ [2.3.2]--Kettle的安装和使用.mp4
│ │
│ └─{02}--数据处理的基本概念
│ #2.2.1#--图文.pdf
│ #2.2.2#--图文.pdf
│ #2.2.3#--图文.pdf
│ (2.2.1.1)--1数据的质量问题.ppt
│ (2.2.1.2)--数据清洗的概念.doc
│ (2.2.1.3)--数据标准化.doc
│ (2.2.1.4)--数据仓库简介.doc
│ (2.2.2.1)--2缺失值清洗.ppt
│ (2.2.2.2)--3噪声清洗.ppt
│ (2.2.2.3)--4数据集成.ppt
│ (2.2.3.1)--5数据规约.ppt
│ (2.2.3.2)--3数据变换.ppt
│ [2.2.1]--1.数据质量问题.mp4
│ [2.2.2.1]--2缺失值清洗.mp4
│ [2.2.2.2]--3噪声清洗.mp4
│ [2.2.2.3]--4.数据集成.mp4
│ [2.2.3.1]--5.数据规约.mp4
│ [2.2.3.2]--数量规约.mp4
│ [2.2.3.3]--数据变换.mp4
│
├─{03}--数据处理
│ │ #3.1#--图文.pdf
│ │
│ ├─{02}--数据抽取
│ │ #3.2.1#--图文.pdf
│ │ #3.2.2#--图文.pdf
│ │ #3.2.3#--图文.pdf
│ │ #3.2.4#--图文.pdf
│ │ #3.2.5#--图文.pdf
│ │ #3.2.6#--图文.pdf
│ │ #3.2.7#--图文.pdf
│ │ #3.2.8#--图文.pdf
│ │ (3.2.1.1)--student.csv
│ │ (3.2.1.2)--stu.txt
│ │ (3.2.1.3)--student.xlsx
│ │ (3.2.1.4)--5数据抽取概述及文本抽取.ppt
│ │ (3.2.1.5)--5数据抽取-文本.ppt
│ │ (3.2.1.6)--CSV文件导入导出.doc
│ │ (3.2.1.7)--txt文本导入导出.doc
│ │ (3.2.1.8)--excel文件导入导出.doc
│ │ (3.2.1.9)--生成记录.doc
│ │ (3.2.2.1)--student.js
│ │ (3.2.2.2)--8.基于网页数据的抽取.ppt
│ │ (3.2.2.3)--6JSON数据抽取.ppt
│ │ (3.2.2.4)--HTTPclient.doc
│ │ (3.2.2.5)--HTML文件导入导出.doc
│ │ (3.2.2.6)--基于HTTPGET请求的导入导出.doc
│ │ (3.2.2.7)--JSON数据导入导出.doc
│ │ (3.2.3.1)--XML文件.XML
│ │ (3.2.3.2)--7XML文件抽取.ppt
│ │ (3.2.3.3)--XML数据导入导出.doc
│ │ (3.2.4.1)--9.xml网页数据的导入导出.ppt
│ │ (3.2.4.2)--增加常量.doc
│ │ (3.2.6.1)--student.sql
│ │ (3.2.6.2)--表输出.xlsx
│ │ (3.2.6.3)--9数据抽取-数据库1.ppt
│ │ (3.2.6.4)--9数据抽取-数据库2.ppt
│ │ (3.2.6.5)--数据库连接.doc
│ │ (3.2.6.6)--关系型数据库输入导入导出.doc
│ │ (3.2.6.7)--MySql数据库数据的导入导出.doc
│ │ (3.2.7.1)--xlsx.sql
│ │ (3.2.7.2)--信息.xlsx
│ │ (3.2.7.3)--10.数据库数据的更新.ppt
│ │ (3.2.7.4)--10数据库数据的删除.ppt
│ │ (3.2.7.5)--数据库查询.doc
│ │ (3.2.7.6)--数据的更新.doc
│ │ (3.2.7.7)--插入更新.doc
│ │ (3.2.7.8)--数据删除.doc
│ │ (3.2.7.9)--执行SQL语句.doc
│ │ (3.2.8.1)--cdc_time_log.sql
│ │ (3.2.8.2)--student_cdc.sql
│ │ (3.2.8.3)--11CDC增量数据抽取.ppt
│ │ (3.2.8.4)--12时间戳抽取.ppt
│ │ (3.2.8.5)--基于CDC变更数据的导入导出.doc
│ │ [3.2.1.1]--kettle的使用简介.mp4
│ │ [3.2.1.2]--数据抽取的概念.mp4
│ │ [3.2.1.3]--csv输入txt输出.mp4
│ │ [3.2.1.4]--TXT文件的输入输出.mp4
│ │ [3.2.1.5]--Excel文件的导入导出.mp4
│ │ [3.2.1.6]--生成记录.mp4
│ │ [3.2.2.1]--8.Html抽取.mp4
│ │ [3.2.2.2]--JSON文件的输入输出.mp4
│ │ [3.2.3]--XML输入输出.mp4
│ │ [3.2.4]--9.XML网页数据的输入输出.mp4
│ │ [3.2.6.1]--数据库数据输入输出.mp4
│ │ [3.2.6.2]--Excel输入Mysql输出.mp4
│ │ [3.2.6.3]--指定字段数据到数据库.mp4
│ │ [3.2.6.4]--数据库数据的导入导出w.mp4
│ │ [3.2.7]--10-数据库数据的更新-刘妍东.mp4
│ │ [3.2.8.1]--11CDC增量数据抽取.mp4
│ │ [3.2.8.2]--12时间戳抽取.mp4
│ │
│ ├─{03}--数据清洗
│ │ #3.3.1#--图文.pdf
│ │ #3.3.3#--图文.pdf
│ │ #3.3.4#--图文.pdf
│ │ #3.3.5#--图文.pdf
│ │ #3.3.6#--图文.pdf
│ │ (3.3.1.1)--stringOp.xlsx
│ │ (3.3.1.2)--12数据清洗字符串清洗.ppt
│ │ (3.3.1.3)--字符串清理.doc
│ │ (3.3.3.1)--13字段清洗.ppt
│ │ (3.3.3.2)--字段拆分.doc
│ │ (3.3.3.3)--字段合并.doc
│ │ (3.3.3.4)--字段选择.doc
│ │ (3.3.4.1)--1hobby.xlsx
│ │ (3.3.4.2)--15.行扁平化.ppt
│ │ (3.3.4.3)--16-行列互换.ppt
│ │ (3.3.4.4)--列转行.doc
│ │ (3.3.4.5)--行转列.doc
│ │ (3.3.4.6)--行扁平化.doc
│ │ (3.3.5.1)--kettle计算器函数对计算类型的说明如下.doc
│ │ (3.3.5.2)--流查询-employee.xlsx
│ │ (3.3.5.3)--流查询-department.xlsx
│ │ (3.3.5.4)--15使用参照表校验数据的准确性1.ppt
│ │ (3.3.5.5)--计算器.doc
│ │ (3.3.5.6)--使用参照表查询校验数据.doc
│ │ (3.3.6.1)--过滤-个人信息表.xls
│ │ (3.3.6.2)--过滤-系统对照表.xls
│ │ (3.3.6.3)--16使用参照表校验数据的准确性2.ppt
│ │ (3.3.6.4)--过滤记录.doc
│ │ [3.3.1.1]--数据清洗概述.mp4
│ │ [3.3.1.2]--字符串清洗.mp4
│ │ [3.3.3.1]--拆分字段成多行.mp4
│ │ [3.3.3.2]--合并拆分.mp4
│ │ [3.3.3.3]--字段选择.mp4
│ │ [3.3.4.1]--15行扁平化数据预处理.mp4
│ │ [3.3.4.2]--16.行列转换.mp4
│ │ [3.3.5.1]--计算器清洗.mp4
│ │ [3.3.5.2]--流查询.mp4
│ │ [3.3.6]--过滤记录.mp4
│ │
│ └─{04}--数据转换
│ #3.4.1#--图文.pdf
│ #3.4.2#--图文.pdf
│ #3.4.3#--图文.pdf
│ #3.4.4#--图文.pdf
│ #3.4.5#--图文.pdf
│ #3.4.6#--图文.pdf
│ (3.4.1.1)--02个人信息.xls
│ (3.4.1.2)--13数据校验.ppt
│ (3.4.1.3)--数据检验.doc
│ (3.4.1.4)--检验信用卡号码.doc
│ (3.4.2.1)--排重-个人信息.xlsx
│ (3.4.2.2)--18数据排重.ppt
│ (3.4.2.3)--唯一行.doc
│ (3.4.2.4)--去除重复记录、排序.doc
│ (3.4.2.5)--值映射.doc
│ (3.4.2.6)--增加序列.doc
│ (3.4.3.1)--排课信息.xlsx
│ (3.4.3.2)--teacher_info.sql
│ (3.4.3.3)--19kettle综合实验（完整）.ppt
│ (3.4.3.4)--19kettle综合实验.ppt
│ (3.4.5.1)--01个人信息.xlsx
│ (3.4.5.2)--21填充缺失值.ppt
│ (3.4.5.3)--21去除缺失值.ppt
│ (3.4.5.4)--替换NULL值.doc
│ (3.4.6.1)--company_a.csv
│ (3.4.6.2)--company_b.sql
│ (3.4.6.3)--14多数据源合并.ppt
│ (3.4.6.4)--合并记录.doc
│ (3.4.6.5)--记录关联.doc
│ (3.4.6.6)--记录集关联.doc
│ (3.4.6.7)--映射.doc
│ (3.4.6.8)--分组.doc
│ (3.4.6.9)--switchcase.doc
│ [3.4.1]--13数据校验.mp4
│ [3.4.2.1]--唯一行.mp4
│ [3.4.2.2]--去除重复记录.mp4
│ [3.4.2.3]--去除重复数据w.mp4
│ [3.4.3]--Kettle综合实验.mp4
│ [3.4.5.1]--6.去除缺失值.mp4
│ [3.4.5.2]--7.填充缺失值.mp4
│ [3.4.6]--14多数据源合并.mp4
│
├─{04}--作业设计
│ #4.1#--图文.pdf
│ #4.2#--图文.pdf
│ #4.3#--图文.pdf
│ (4.2.1)--01Excel输入.xlsx
│ (4.2.2)--01文本文件输入.txt
│ (4.2.3)--23kettle作业设计.ppt
│ (4.2.4)--作业的概念.doc
│ (4.2.5)--作业的创建.doc
│ (4.2.6)--作业的执行方式.doc
│ (4.2.7)--空操作.doc
│ (4.2.8)--中止.doc
│ (4.3.1)--01文本文件输入.txt
│ (4.3.2)--01Excel输入.xlsx
│ (4.3.3)--24kettle作业设置变量.ppt
│ (4.3.4)--变量.doc
│ (4.3.5)--监控.doc
│ [4.2.1]--kettle作业设计.mp4
│ [4.2.2]--作业设计w.mp4
│ [4.3.1]--kettle作业监控.mp4
│ [4.3.2]--作业任务.mp4
│
├─{05}--Python数据导入导出
│ #5.1#--图文.pdf
│ #5.2#--图文.pdf
│ #5.3#--图文.pdf
│ (5.2.1)--17.Series.ppt
│ (5.2.2)--18DataFrame.ppt
│ (5.2.3)--21-Numpy、Pandas概述.doc
│ (5.2.4)--24-Series、DataFrame.doc
│ (5.3.1)--19文本文件导入导出.ppt
│ (5.3.2)--22-pandas读写txt、csv、excel和json文件.doc
│ (5.3.3)--28-数据库的导入导出.doc
│ [5.2.1]--17.Series.mp4
│ [5.2.2]--18.DataFrame.mp4
│ [5.3]--19文本文件导入.mp4
│
└─{06}--Python数据处理
#6.1#--图文.pdf
#6.2#--图文.pdf
#6.3#--图文.pdf
#6.5#--图文.pdf
#6.6#--图文.pdf
#6.7#--图文.pdf
#6.8#--图文.pdf
(6.2.1)--22数据清理.ppt
(6.2.2)--26-排序和字符串处理.doc
(6.2.3)--27-删重、缺失值和映射.doc
(6.3.1)--28数据清理2.ppt
(6.3.2)--25-离散化和面元划分.doc
(6.5.1)--20合并多个数据集.ppt
(6.5.2)--23-pandas拼接、组合.doc
(6.5.3)--29-数据准备、合并.doc
(6.6.1)--21数据重塑.ppt
(6.6.2)--30-轴向旋转与删除.doc
(6.7.1)--实训1.py
(6.7.2)--rz.csv
(6.7.3)--31-数据清洗实例-1.ppt
(6.7.4)--31-综合实例1.doc
(6.8.1)--实训2.py
(6.8.2)--tmdb_5000_movie.csv
(6.8.3)--credit.csv
(6.8.4)--32-数据清洗实例-2.ppt
(6.8.5)--32-综合实例2.doc
[6.2]--22数据清理.mp4
[6.3]--数据清理2.mp4
[6.5]--20合并多个数据集.mp4
[6.6]--21数据重塑.mp4