第四章数据处理与应用

4.1 数据采集与整理

数据采集的方法

问卷调查：设计问卷，收集结构化数据
网络爬虫：自动从网页抓取数据
传感器采集：通过物联网设备获取实时数据
数据库查询：从现有数据库中提取数据
API接口：通过应用程序接口获取数据

数据清洗

原始数据往往存在质量问题，需要进行清洗：

缺失值处理：删除、填充（均值/中位数/众数）或插值
异常值检测：使用箱线图、3σ原则识别异常数据
重复值删除：去除重复记录
格式统一：统一日期格式、编码格式等
数据转换：类型转换、单位换算、标准化

实际案例

某电商平台每天产生数百万条订单数据，其中约5%存在地址缺失、3%存在价格异常。通过数据清洗流程，将数据质量提升至99%以上。

4.2 Excel高级应用

常用函数

函数	功能	示例
SUM	求和	=SUM(A1:A10)
AVERAGE	平均值	=AVERAGE(B1:B10)
MAX/MIN	最大/最小值	=MAX(C1:C10)
COUNTIF	条件计数	=COUNTIF(A1:A10,">60")
VLOOKUP	垂直查找	=VLOOKUP("张三",A:B,2,FALSE)
IF	条件判断	=IF(A1>=60,"及格","不及格")

数据透视表

数据透视表是Excel最强大的功能之一，可以快速汇总和分析大量数据：

选择数据区域 → 插入 → 数据透视表
将字段拖到"行"、"列"、"值"区域
自动生成交叉分析报表

互动实验：Excel模拟器

在下方单元格中输入数据，观察自动计算结果：

A

B

C

D

E

F

1

2

255

85.0

3

259

86.3

4.3 Python数据处理

Pandas库简介

Pandas是Python最流行的数据处理库，提供了DataFrame和Series两种核心数据结构。

# 导入pandas库

import pandas as pd

# 创建数据框

data = {
  '姓名': ['张三', '李四', '王五'],
  '语文': [85, 76, 92],
  '数学': [92, 88, 95],
  '英语': [78, 95, 88]
}
df = pd.DataFrame(data)

# 查看数据

print(df)

姓名语文数学英语
0 张三 85 92 78
1 李四 76 88 95
2 王五 92 95 88

常用操作

# 计算总分和平均分

df['总分'] = df['语文'] + df['数学'] + df['英语']
df['平均分'] = df[['语文', '数学', '英语']].mean(axis=1)

# 排序

df_sorted = df.sort_values('总分', ascending=False)

# 筛选

df_excellent = df[df['平均分'] >= 90]

互动实验：Pandas数据分析

点击下方按钮，体验Pandas的数据处理功能：

4.4 数据可视化实战

Matplotlib基础

Matplotlib是Python最基础的绘图库，可以创建各种静态、动态、交互式图表。

import matplotlib.pyplot as plt

# 数据
subjects = ['语文', '数学', '英语', '物理', '化学']
scores = [85, 92, 78, 88, 95]

# 创建柱状图
plt.bar(subjects, scores, color=['#6B2D8E', '#C9A227', '#28a745', '#17a2b8', '#dc3545'])
plt.title('各科成绩统计')
plt.ylabel('分数')
plt.ylim(0, 100)
plt.show()
                

图表预览

语文
85

数学
92

英语
78

物理
88

化学
95

前沿案例：实时数据大屏

智慧城市数据大屏

现代城市管理中心使用实时数据可视化大屏，整合交通流量、空气质量、人口密度等多维度数据，通过动态图表和热力图帮助决策者快速掌握城市运行状态。

章节测验

1. 以下哪个不是数据清洗的步骤？

A. 缺失值处理

B. 异常值检测

C. 数据加密

D. 重复值删除

2. Excel中VLOOKUP函数的作用是？

A. 求和

B. 垂直查找

C. 条件计数

D. 计算平均值

3. Pandas中DataFrame的mean()方法默认按哪个轴计算？

A. axis=0（按列）

B. axis=1（按行）

C. axis=2

D. 不指定轴

第四章 数据处理与应用