数据采集与处理
高职大二第一学期
课程类型
专业核心课
前置课程
Python基础、商务数据分析与应用基础
学习目标
掌握数据采集和预处理的基本方法，能够从各种来源获取和清洗数据
本课程是商务数据分析与应用专业的核心课程，旨在培养学生掌握数据采集和处理的基本理论、方法和工具。
通过本课程的学习，学生将具备网络爬虫、API数据获取、数据清洗、数据转换和数据存储等能力，为后续的数据分析课程提供高质量的数据支持。
课程大纲
第1章 数据采集概述
- 数据采集的定义和重要性
- 数据来源介绍
- 数据采集的伦理与法律问题
- 数据采集工具概览
第2章 Web数据采集
- HTML基础
- HTTP协议基础
- Requests库的使用
- Beautiful Soup库的使用
- 正则表达式
第3章 高级爬虫技术
- Selenium与自动化操作
- Scrapy框架
- 反爬虫机制与应对策略
- 爬虫效率优化
- 分布式爬虫
第4章 API数据采集
- RESTful API基础
- JSON数据处理
- 常用API介绍（百度、高德、天气等）
- API数据采集实战
第5章 数据预处理
- 数据质量评估
- 缺失值处理
- 异常值处理
- 数据转换与标准化
- Pandas数据处理
第6章 数据存储
- CSV文件存储
- JSON文件存储
- Excel文件存储
- SQLite数据库存储
- MySQL数据库存储
第7章 数据采集项目实战
- 项目需求分析
- 数据采集方案设计
- 数据采集与处理
- 数据存储与文档
- 项目展示与答辩
课程资源
推荐教材
- 《Python网络爬虫从入门到实践》
- 《数据采集与处理》
- 《Scrapy权威指南》
工具软件
- Python 3.8+
- Requests、Beautiful Soup
- Scrapy
- Selenium
- Pandas
学习成果
知识目标
掌握数据采集和处理的基本理论和方法
技能目标
能够使用Python进行数据采集和预处理
职业目标
为从事数据采集和处理相关工作奠定基础