第一章 认识数据与大数据
主题学习项目：体质数据促健康
本项目通过收集和分析个人体质数据，了解数据、信息与知识的关系，体验数字化生活的魅力。通过测量身高、体重、肺活量、50米跑等体质指标，建立个人健康档案，运用数据分析方法发现体质规律，制定科学的锻炼计划。
项目目标
- 感知数据在生活中的普遍存在，理解数据、信息与知识的关系
- 掌握体质数据的采集方法和数字化记录方式
- 运用简单的数据分析方法发现体质规律
- 树立利用数据指导健康生活的意识
1.1 数据、信息与知识
1.1.1 感知数据
数据是对客观事物的符号表示，是用于描述事物的原始材料。在计算机科学中，数据是指所有能输入到计算机中并被计算机程序处理的符号总称。
生活实例
你的身高175cm、体重60kg、考试成绩85分、今天的温度28°C、心率72次/分钟——这些都是数据。它们本身可能没有直接意义，但经过处理后就能变成有用的信息。
数据的分类
- 数值型数据：可以进行数学运算的数据，如整数、小数（身高、体重、温度）
- 字符型数据：文本信息，如姓名、地址、学号
- 多媒体数据：图像、音频、视频等非文本数据
- 结构化数据：具有固定格式的数据，如数据库表格
- 非结构化数据：没有预定义格式的数据，如社交媒体帖子、邮件内容
1.1.2 认识信息
信息是经过加工处理后、对决策者有价值的数据。数据是信息的载体，信息是数据的内涵。
例子
数据：38.5°C
信息：你的体温38.5°C，高于正常值，可能发烧了，建议就医。
信息的特征
- 载体依附性：信息必须依附于某种载体存在
- 价值性：信息能满足人们某方面的需求
- 时效性：信息的价值会随时间变化
- 共享性：信息可以被多人同时使用而不会损耗
- 可处理性：信息可以被加工、处理、压缩、加密
- 真伪性：信息有真假之分，需要辨别
1.1.3 理解知识
知识是人类在实践中认识客观世界的成果，是信息经过加工、整理、归纳后形成的系统化认识。数据 → 信息 → 知识，是一个层层递进的过程。
原始事实
加工处理
系统认知
互动实验：进制转换器
理解计算机如何使用二进制表示所有数据。输入一个十进制数，看看它在二进制、八进制和十六进制下的表示：
1.2 数字化与编码
1.2.1 数字化及其作用
数字化是将模拟信号转换为数字信号的过程。在数字时代，所有信息（文字、图像、声音、视频）都必须转换成二进制形式才能被计算机处理。数字化让信息可以被存储、传输、处理和共享。
1.2.2 二进制与数制转换
计算机只能识别0和1两种状态，因此所有数据都必须转换成二进制形式。理解不同数制之间的转换是信息技术的基础。
字符编码
ASCII编码（美国信息交换标准代码）是最基础的字符编码，使用7位二进制表示128个字符：
- 0-31：控制字符（如换行、回车）
- 32-126：可打印字符（数字、字母、标点）
- 48-57：数字0-9
- 65-90：大写字母A-Z
- 97-122：小写字母a-z
互动实验：ASCII编码探索
点击下方的字符，查看它的ASCII码和二进制表示：
Unicode与UTF-8
ASCII只能表示英文字符，无法满足中文、日文等文字的需求。Unicode为世界上所有字符分配了唯一的编号。
UTF-8是Unicode的一种实现方式，采用变长编码：
- 1字节：ASCII字符（0-127）
- 2字节：拉丁文、希腊文等
- 3字节：中文、日文、韩文等CJK文字
- 4字节：emoji表情符号等
你知道吗？
"中"字的Unicode编码是U+4E2D，UTF-8编码为11100100 10111000 10101101（3字节）。
图像编码
数字图像由像素（Pixel）组成，每个像素用二进制表示颜色信息。图像的存储容量取决于分辨率、色彩深度和编码格式：
图像存储容量计算公式
未压缩图像容量 = 水平像素 × 垂直像素 × 色彩深度（位）÷ 8（字节）
或简化为：容量（B）= 分辨率 × 色彩深度 ÷ 8
- 黑白图像：每个像素用1位（0或1），色彩深度 = 1 bit
- 灰度图像：每个像素用8位（0-255级灰度），色彩深度 = 8 bit
- 彩色图像（RGB）：每个像素用24位（红、绿、蓝各8位），色彩深度 = 24 bit
- 带透明通道（RGBA）：每个像素用32位，色彩深度 = 32 bit
计算示例
一张1920×1080像素的彩色照片（24位色）：
容量 = 1920 × 1080 × 24 ÷ 8 = 6,220,800 字节 ≈ 5.93 MB
互动实验：图像存储容量计算器
输入图像参数，计算未压缩图像的存储容量：
声音编码
声音是连续的模拟信号，需要通过采样和量化转换为数字信号。声音存储容量取决于采样频率、量化位数和声道数：
声音存储容量计算公式
未压缩音频容量 = 采样频率（Hz）× 量化位数（bit）× 声道数 × 时间（秒）÷ 8（字节）
或简化为：容量（B）= 采样频率 × 量化位数 × 声道数 × 时间 ÷ 8
- 采样频率：每秒采集声音信号的次数（电话8kHz、CD音质44.1kHz、无损96kHz）
- 量化位数：每个采样点用多少位表示（8位、16位、24位）
- 声道数：单声道（1）、立体声（2）、5.1环绕声（6）
计算示例
一首3分钟的CD音质歌曲（44.1kHz、16位、立体声）：
容量 = 44100 × 16 × 2 × 180 ÷ 8 = 31,752,000 字节 ≈ 30.28 MB
互动实验：音频存储容量计算器
输入音频参数，计算未压缩音频的存储容量：
视频编码
视频是由连续的静态图像（帧）组成的，每秒钟播放的帧数称为帧率。视频存储容量是图像容量、帧率、时长和压缩因子的综合结果：
视频存储容量计算公式
未压缩视频容量 = 单帧图像容量 × 帧率（fps）× 时间（秒）
或展开为：容量（B）= 水平像素 × 垂直像素 × 色彩深度 ÷ 8 × 帧率 × 时间
压缩后容量 = 未压缩容量 ÷ 压缩比（常见压缩比：MPEG-4约50:1，H.264约100:1，H.265约200:1）
- 帧率（fps）：每秒显示的帧数（电影24fps、电视25/30fps、游戏60/120fps）
- 分辨率：每帧图像的像素数量（720p、1080p、4K、8K）
- 色彩深度：每像素用多少位表示颜色（通常24位）
- 压缩编码：H.264、H.265/HEVC、AV1等，大幅降低存储需求
计算示例
一段10分钟的1080p视频（1920×1080、24位色、30fps），未压缩：
单帧 = 1920 × 1080 × 24 ÷ 8 = 6,220,800 字节
容量 = 6,220,800 × 30 × 600 = 111,974,400,000 字节 ≈ 104.3 GB
使用H.264压缩（压缩比约100:1）后：约 1.04 GB
互动实验：视频存储容量计算器
输入视频参数，计算未压缩和压缩后的存储容量：
1.2.4 数据压缩
数据压缩是在不损失或少量损失信息的前提下，减少数据存储空间的技术。分为无损压缩（如ZIP、PNG）和有损压缩（如JPEG、MP3）。
- 无损压缩：压缩后可以完全恢复原始数据，适用于文本、程序代码等
- 有损压缩：牺牲部分细节换取更高压缩率，适用于图像、音频、视频
压缩示例
一张5MB的BMP图片，压缩为JPEG后可能只有200KB（压缩比25:1）；一首30MB的WAV音频，压缩为MP3后可能只有3MB（压缩比10:1）。
1.3 数据科学与大数据
1.3.1 数据科学的兴起
数据科学是一门交叉学科，结合了统计学、计算机科学和领域知识，从数据中提取价值。随着大数据时代的到来，数据科学家成为最热门的职业之一。
1.3.2 大数据及其应用
随着互联网和物联网的发展，我们进入了大数据时代。大数据具有"5V"特征：
- Volume（大量）：数据规模巨大，从TB到PB级别
- Velocity（高速）：数据产生和处理速度快
- Variety（多样）：数据类型丰富，包括结构化、半结构化和非结构化
- Value（价值）：数据蕴含巨大价值，但价值密度低
- Veracity（真实性）：数据质量参差不齐，需要清洗和验证
大数据应用案例
- 电子商务：个性化推荐、精准营销、库存优化
- 智慧城市：交通流量预测、公共资源调配、环境监测
- 医疗健康：疾病预测、药物研发、个性化治疗
- 金融风控：信用评估、欺诈检测、投资决策
1.4 数据可视化
为什么需要数据可视化？
人类大脑处理图像的速度比处理文字快6万倍。数据可视化将抽象的数据转化为直观的图形，帮助我们更快地发现规律、做出决策。
常见的数据可视化类型
- 柱状图：比较不同类别的数据大小
- 折线图：展示数据随时间的变化趋势
- 饼图：显示各部分占总体的比例
- 散点图：发现两个变量之间的关系
- 热力图：用颜色深浅表示数据密度
- 词云：用字体大小表示词频
互动实验：动态数据可视化
点击下方按钮，生成随机数据并可视化：
柱状图：比较不同类别的数据大小
前沿案例：数据可视化的应用
实时特殊时期地图
实时数据地图可以展示全球范围内的动态变化，用热力图等形式直观呈现数据分布，成为公众获取信息的重要渠道。
股市K线图
投资者通过K线图分析股票价格走势，结合成交量等指标做出投资决策。现代量化交易甚至使用AI自动分析K线模式。