Skip to content
This repository has been archived by the owner on Mar 10, 2023. It is now read-only.

Latest commit

 

History

History
371 lines (225 loc) · 13.4 KB

crawling-catalog.md

File metadata and controls

371 lines (225 loc) · 13.4 KB

概括

示意::pencil2: 表示尚未完成,:heavy_check_mark: 表示已完成, :x: 表示开发人员没有找到对应机构官方网站。

只爬取以.gov.cn为后缀的域名网站

以下是中国大陆境内中医药管理局机构的详细名单及对应网站爬取情况(排名不分先后)

✔️ 国家中医药管理局

✔️ 北京市中医药管理局

✏️ 天津市中医药管理局

✏️ 上海市中医药管理局

✏️ 重庆市中医药管理局

✔️ 河北省中医药管理局

✔️ 山西省中医药管理局

✏️ 辽宁省中医药管理局

✏️ 吉林省中医药管理局

✏️ 黑龙江省中医药管理局

✏️ 江苏省中医药管理局

✏️ 浙江省中医药管理局

✏️ 安徽省中医药管理局

✏️ 福建省中医药管理局

✏️ 江西省中医药管理局

✏️ 山东省中医药管理局

✏️ 河南省中医药管理局

✏️ 湖北省中医药管理局

✏️ 湖南省中医药管理局

✏️ 广东省中医药管理局

✏️ 海南省中医药管理局

✏️ 四川省中医药管理局

✏️ 贵州省中医药管理局

✏️ 云南省中医药管理局

✔️ 陕西省中医药管理局

✏️ 广西壮族自治区中医药管理局

✏️ 内蒙古自治区中医药管理局

✏️ 西藏自治区中医药管理局

✏️ 宁夏回族自治区中医药管理局

✏️ 新疆维吾尔自治区中医药管理局

✏️ 青海省中医药管理局

详细内容

爬虫默认遵守各网站robots.txt设置规则

国家中医药管理局

截至 2021-06-11 国家中医药管理局 官网 robots.txt 内容为

User-agent: *

Disallow: /d/
Disallow: /e/class/
Disallow: /e/config/
Disallow: /e/data/
Disallow: /e/enews/
Disallow: /e/update/

爬取内容:

北京市中医药管理局

截至 2021-04-19 北京市中医药管理局 没有发现 robots.txt 文件

爬取内容:

上海市中医药管理局

内容在上海市卫生健康委员会网站上

截至 2022-02-02, 未在上海市卫生健康委员会 官网找到 robots.txt

(特殊!)需要试图获取搜索结果

黑龙江省中医药管理局

内容在黑龙江省卫生健康委员会网站上

截至 2022-02-02, 未在黑龙江省卫生健康委员会 官网找到 robots.txt

(特殊!)需要试图获取搜索结果

天津市中医药管理局

截至 2022-02-03, 未在天津市卫生健康委员会 官网找到 robots.txt

(特殊!)需要试图获取搜索结果

河北省中医药管理局

内容在河北省卫生健康委员会网站上

截至 2021-08-17 河北省卫生健康委员会 官网 robots.txt 内容为

User-agent:*
Disallow:/db_backup_1491040787/  #DB crash data
Disallow:/website_backup_1491040787/

爬取内容:

陕西省中医药管理局

截至 2021-08-17 陕西省卫生健康委员会 没有发现 robots.txt 文件

爬取内容:

模板一

模板二

模板三

山西省中医药管理局

内容在山西省卫生健康委员会网站上

截至 2021-08-17 山西省卫生健康委员会 没有发现 robots.txt 文件

吉林省中医药管理局

截至2022-02-02 吉林省中医药管理局 没有发现 robots.txt 文件

江苏省中医药管理局

截至2022-02-02 江苏省中医药管理局 没有发现 robots.txt 文件

浙江省中医药管理局

与浙江省卫健委信息合并

截至2022-02-02 浙江省中医药管理局 没有发现 robots.txt 文件

(特殊!)需要试图获取搜索结果

辽宁省中医药管理局

截至2022-02-04 辽宁省卫生健康委 没有发现 robots.txt 文件

重庆市中医药管理局

截至2022-02-04 重庆市中医药管理局 没有发现 robots.txt 文件

(特殊!)需要试图获取搜索结果

安徽省中医药管理局

截至2022-02-04 安徽省中医药管理局 没有发现 robots.txt 文件

福建省中医药管理局

截至2022-02-04 福建省中医药管理局 没有发现 robots.txt 文件

(特殊!)需要试图获取搜索结果

江西省中医药管理局

截至2022-02-04 江西省中医药管理局 没有发现 robots.txt 文件

山东省中医药管理局

截至2022-02-04 山东省中医药管理局 没有发现 robots.txt 文件

(特殊!)需要试图获取搜索结果

河南省中医药管理局

截至2022-02-04 河南省中医药管理局 没有发现 robots.txt 文件

湖北省中医药管理局

截至2022-02-04 湖北省中医药管理局 没有发现 robots.txt 文件

(特殊!)需要试图获取搜索结果

湖南省中医药管理局

截至2022-02-04 湖南省中医药管理局 没有发现 robots.txt 文件

广东省中医药管理局

截至2022-02-04 广东省中医药管理局 没有发现 robots.txt 文件

海南省中医药管理局

截至2022-02-04 海南省中医药管理局 没有发现 robots.txt 文件

(特殊!)需要试图获取搜索结果

四川省中医药管理局

截至2022-02-04 四川省中医药管理局 没有发现 robots.txt 文件

贵州省中医药管理局

截至2022-02-06 贵州省中医药管理局 没有发现 robots.txt 文件

云南省中医药管理局

截至2022-02-06 云南省中医药管理局 没有发现 robots.txt 文件

(特殊!)需要试图获取搜索结果

广西壮族自治区中医药管理局

截至2022-02-06 广西壮族自治区中医药管理局 没有发现 robots.txt 文件

内蒙古自治区中医药管理局

截至2022-02-06 内蒙古自治区中医药管理局 没有发现 robots.txt 文件

(特殊!)需要试图获取搜索结果

西藏自治区中医药管理局

截至2022-02-06 西藏自治区中医药管理局 没有发现 robots.txt 文件

(特殊!)需要试图获取搜索结果

宁夏回族自治区中医药管理局

截至2022-02-06 宁夏回族自治区中医药管理局 没有发现 robots.txt 文件

(特殊!)需要试图获取搜索结果

新疆维吾尔自治区中医药管理局

截至2022-02-06 新疆维吾尔自治区中医药管理局 没有发现 robots.txt 文件

(特殊!)需要试图获取搜索结果

青海省中医药管理局

截至2022-02-06 青海省中医药管理局 没有发现 robots.txt 文件