更新了爬虫和数据分析部分的文档

Day36-40/40.大数据平台和HiveSQL.md

@@ -0,0 +1,213 @@
+## Hive简介
+
+Hive是Facebook开源的一款基于Hadoop的数据仓库工具，是目前应用最广泛的大数据处理解决方案，它能将SQL查询转变为 MapReduce（Google提出的一个软件架构，用于大规模数据集的并行运算）任务，对SQL提供了完美的支持，能够非常方便的实现大数据统计。
+
+<img src="https://gitee.com/jackfrued/mypic/raw/master/20220210080608.png">
+
+> **说明**：可以通过<https://www.edureka.co/blog/hadoop-ecosystem>来了解Hadoop生态圈。
+
+如果要简单的介绍Hive，那么以下两点是其核心：
+
+1. 把HDFS中结构化的数据映射成表。
+2. 通过把Hive-SQL进行解析和转换，最终生成一系列基于Hadoop的MapReduce任务/Spark任务，通过执行这些任务完成对数据的处理。也就是说，即便不学习Java、Scala这样的编程语言，一样可以实现对数据的处理。
+
+Hive和传统关系型数据库的对比如下表所示。
+
+|          | Hive              | RDBMS        |
+| -------- | ----------------- | ------------ |
+| 查询语言 | HQL               | SQL          |
+| 存储数据 | HDFS              | 本地文件系统 |
+| 执行方式 | MapReduce / Spark | Executor     |
+| 执行延迟 | 高                | 低           |
+| 数据规模 | 大                | 小           |
+
+### 准备工作
+
+1. 搭建如下图所示的大数据平台。
+
+    ![bigdata-basic-env](https://gitee.com/jackfrued/mypic/raw/master/20220210080638.png)
+
+2. 通过Client节点访问大数据平台。
+
+    ![bigdata-vpc](https://gitee.com/jackfrued/mypic/raw/master/20220210080655.png)
+
+3. 创建文件Hadoop的文件系统。
+
+    ```Shell
+    hadoop fs -mkdir /data
+    hadoop fs -chmod g+w /data
+    ```
+
+4. 将准备好的数据文件拷贝到Hadoop文件系统中。
+
+    ```Shell
+    hadoop fs -put /home/ubuntu/data/* /data
+    ```
+
+### 创建/删除数据库
+
+创建。
+
+```SQL
+create database if not exists demo;
+```
+
+或
+
+```Shell
+hive -e "create database demo;"
+```
+
+删除。
+
+```SQL
+drop database if exists demo;
+```
+
+切换。
+
+```SQL
+use demo;
+```
+
+### 数据类型
+
+Hive的数据类型如下所示。
+
+基本数据类型。
+
+| 数据类型  | 占用空间 | 支持版本 |
+| --------- | -------- | -------- |
+| tinyint   | 1-Byte   |          |
+| smallint  | 2-Byte   |          |
+| int       | 4-Byte   |          |
+| bigint    | 8-Byte   |          |
+| boolean   |          |          |
+| float     | 4-Byte   |          |
+| double    | 8-Byte   |          |
+| string    |          |          |
+| binary    |          | 0.8版本  |
+| timestamp |          | 0.8版本  |
+| decimal   |          | 0.11版本 |
+| char      |          | 0.13版本 |
+| varchar   |          | 0.12版本 |
+| date      |          | 0.12版本 |
+
+复杂数据类型。
+
+| 数据类型 | 描述                     | 例子                                          |
+| -------- | ------------------------ | --------------------------------------------- |
+| struct   | 和C语言中的结构体类似    | `struct<first_name:string, last_name:string>` |
+| map      | 由键值对构成的元素的集合 | `map<string,int>`                             |
+| array    | 具有相同类型的变量的容器 | `array<string>`                               |
+
+### 创建和使用表
+
+1. 创建内部表。
+
+    ```SQL
+    create table if not exists user_info 
+    (
+    user_id string,
+    user_name string, 
+    sex string,
+    age int,
+    city string,
+    firstactivetime string,
+    level int,
+    extra1 string,
+    extra2 map<string,string>
+    )
+    row format delimited fields terminated by '\t'
+    collection items terminated by ','
+    map keys terminated by ':'
+    lines terminated by '\n'
+    stored as textfile;
+    ```
+
+2. 加载数据。
+
+    ```SQL
+    load data local inpath '/home/ubuntu/data/user_info/user_info.txt' overwrite into table user_info;
+    ```
+
+    或
+
+    ```SQL
+    load data inpath '/data/user_info/user_info.txt' overwrite into table user_info;
+    ```
+
+3. 创建分区表。
+
+    ```SQL
+    create table if not exists user_trade 
+    (
+    user_name string,
+    piece int,
+    price double,
+    pay_amount double,
+    goods_category string,
+    pay_time bigint
+    )  
+    partitioned by (dt string)
+    row format delimited fields terminated by '\t';
+    ```
+
+4. 设置动态分区。
+
+    ```SQL
+    set hive.exec.dynamic.partition=true;
+    set hive.exec.dynamic.partition.mode=nonstrict;
+    set hive.exec.max.dynamic.partitions=10000;
+    set hive.exec.max.dynamic.partitions.pernode=10000;
+    ```
+
+5. 拷贝数据（Shell命令）。
+
+    ```Shell
+    hdfs dfs -put /home/ubuntu/data/user_trade/* /user/hive/warehouse/demo.db/user_trade
+    ```
+
+6. 修复分区表。
+
+    ```SQL
+    msck repair table user_trade;
+    ```
+
+### 查询
+
+#### 基本语法
+
+```SQL
+select user_name from user_info where city='beijing' and sex='female' limit 10;
+select user_name, piece, pay_amount from user_trade where dt='2019-03-24' and goods_category='food';
+```
+
+#### group by
+
+```SQL
+-- 查询2019年1月到4月，每个品类有多少人购买，累计金额是多少
+select goods_category, count(distinct user_name) as user_num, sum(pay_amount) as total from user_trade where dt between '2019-01-01' and '2019-04-30' group by goods_category;
+```
+
+```SQL
+-- 查询2019年4月支付金额超过5万元的用户
+select user_name, sum(pay_amount) as total from user_trade where dt between '2019-04-01' and '2019-04-30' group by user_name having sum(pay_amount) > 50000;
+```
+
+#### order by
+
+```SQL
+-- 查询2019年4月支付金额最多的用户前5名
+select user_name, sum(pay_amount) as total from user_trade where dt between '2019-04-01' and '2019-04-30' group by user_name order by total desc limit 5;
+```
+
+#### 常用函数
+
+1. `from_unixtime`：将时间戳转换成日期
+2. `unix_timestamp`：将日期转换成时间戳
+3. `datediff`：计算两个日期的时间差
+4. `if`：根据条件返回不同的值
+5. `substr`：字符串取子串
+6. `get_json_object`：从JSON字符串中取出指定的`key`对应的`value`，如：`get_json_object(info, '$.first_name')`。
+

Day61-65/61.网络数据采集概述.md

@@ -1,4 +1,4 @@
-## 第31课：网络数据采集概述
+## 网络数据采集概述
 
 爬虫（crawler）也经常被称为网络蜘蛛（spider），是按照一定的规则自动浏览网站并获取所需信息的机器人程序（自动化脚本代码），被广泛的应用于互联网搜索引擎和数据采集。使用过互联网和浏览器的人都知道，网页中除了供用户阅读的文字信息之外，还包含一些超链接，网络爬虫正是通过网页中的超链接信息，不断获得网络上其它页面的地址，然后持续的进行数据采集。正因如此，网络数据采集的过程就像一个爬虫或者蜘蛛在网络上漫游，所以才被形象的称为爬虫或者网络蜘蛛。
 

Day61-65/62-1.用Python获取网络资源.md → Day61-65/62.用Python获取网络资源-1.md

@@ -1,4 +1,4 @@
-## 第32课：用Python获取网络数据
+## 用Python获取网络数据
 
 网络数据采集是 Python 语言非常擅长的领域，上节课我们讲到，实现网络数据采集的程序通常称之为网络爬虫或蜘蛛程序。即便是在大数据时代，数据对于中小企业来说仍然是硬伤和短板，有些数据需要通过开放或付费的数据接口来获得，其他的行业数据和竞对数据则必须要通过网络数据采集的方式来获得。不管使用哪种方式获取网络数据资源，Python 语言都是非常好的选择，因为 Python 的标准库和三方库都对网络数据采集提供了良好的支持。
 

Day61-65/62-2.用Python解析HTML页面.md → Day61-65/62.用Python解析HTML页面-2.md

@@ -1,4 +1,4 @@
-## 第33课：用Python解析HTML页面
+## 用Python解析HTML页面
 
 在前面的课程中，我们讲到了使用`request`三方库获取网络资源，还介绍了一些前端的基础知识。接下来，我们继续探索如何解析 HTML 代码，从页面中提取出有用的信息。之前，我们尝试过用正则表达式的捕获组操作提取页面内容，但是写出一个正确的正则表达式也是一件让人头疼的事情。为了解决这个问题，我们得先深入的了解一下 HTML 页面的结构，并在此基础上研究另外的解析页面的方法。
 

Day61-65/63-1.Python中的并发编程-1.md → Day61-65/63.Python中的并发编程-1.md

@@ -1,4 +1,4 @@
-## 第34课：Python中的并发编程-1
+## Python中的并发编程-1
 
 现如今，我们使用的计算机早已是多 CPU 或多核的计算机，而我们使用的操作系统基本都支持“多任务”，这使得我们可以同时运行多个程序，也可以将一个程序分解为若干个相对独立的子任务，让多个子任务“并行”或“并发”的执行，从而缩短程序的执行时间，同时也让用户获得更好的体验。因此当下，不管用什么编程语言进行开发，实现“并行”或“并发”编程已经成为了程序员的标配技能。为了讲述如何在 Python 程序中实现“并行”或“并发”，我们需要先了解两个重要的概念：进程和线程。
 

Day61-65/63-2.Python中的并发编程-2.md → Day61-65/63.Python中的并发编程-2.md

@@ -1,4 +1,4 @@
-## 第35课：Python中的并发编程-2
+## Python中的并发编程-2
 
 在上一课中我们说过，由于 GIL 的存在，CPython 中的多线程并不能发挥 CPU 的多核优势，如果希望突破 GIL 的限制，可以考虑使用多进程。对于多进程的程序，每个进程都有一个属于自己的 GIL，所以多进程不会受到 GIL 的影响。那么，我们应该如何在 Python 程序中创建和使用多进程呢？
 

Day61-65/63-3.Python中的并发编程-3.md → Day61-65/63.Python中的并发编程-3.md

@@ -1,4 +1,4 @@
-## 第36课：Python中的并发编程-3
+## Python中的并发编程-3
 
 爬虫是典型的 I/O 密集型任务，I/O 密集型任务的特点就是程序会经常性的因为 I/O 操作而进入阻塞状态，比如我们之前使用`requests`获取页面代码或二进制内容，发出一个请求之后，程序必须要等待网站返回响应之后才能继续运行，如果目标网站不是很给力或者网络状况不是很理想，那么等待响应的时间可能会很久，而在这个过程中整个程序是一直阻塞在那里，没有做任何的事情。通过前面的课程，我们已经知道了可以通过多线程的方式为爬虫提速，使用多线程的本质就是，当一个线程阻塞的时候，程序还有其他的线程可以继续运转，因此整个程序就不会在阻塞和等待中浪费了大量的时间。
 

Day61-65/63-4.并发编程在爬虫中的应用.md → Day61-65/63.并发编程在爬虫中的应用.md

@@ -1,4 +1,4 @@
-## 第37课：并发编程在爬虫中的应用
+## 并发编程在爬虫中的应用
 
 之前的课程，我们已经为大家介绍了 Python 中的多线程、多进程和异步编程，通过这三种手段，我们可以实现并发或并行编程，这一方面可以加速代码的执行，另一方面也可以带来更好的用户体验。爬虫程序是典型的 I/O 密集型任务，对于 I/O 密集型任务来说，多线程和异步 I/O 都是很好的选择，因为当程序的某个部分因 I/O 操作阻塞时，程序的其他部分仍然可以运转，这样我们不用在等待和阻塞中浪费大量的时间。下面我们以爬取“[360图片](https://image.so.com/)”网站的图片并保存到本地为例，为大家分别展示使用单线程、多线程和异步 I/O 编程的爬虫程序有什么区别，同时也对它们的执行效率进行简单的对比。