Python爬虫及文本分析学术应用培训课程

【招生对象】

零基础学员

【授课方式】

远程+面授

【上课时间】

周一到周日9-18点

【学习目标】

不再单一依靠开源公开数据网站的数据，适当摆脱对国家统计年鉴、wind数据库、知网数据的依赖，能够从更多元的渠道获取数据，使用python更高效的处理数据，并用更前沿的技术分析和挖掘数据信息，为我们的科研工作减轻中间工作负担。

【课程亮点】

本课程致力于讲授完整的结构化数据、文本数据的获取、存储、读取、处理和分析过程，我们期望课程可以帮助到广大的用户，包括所有想要使用python编程语言实现数据获取和文本分析的在校师生、以及致力于将数据分析与挖掘的价值广泛运用到实际场景的商业人士。

【师资力量】

辛立伟

擅长数据架构、数据分析

教学经验20年

CDA数据分析研究院讲师

SUN中国社区会员

赵仁乾

擅长数据架构、数据分析

教学经验7年

北京邮电大学管理科学与工程硕士

北京电信规划设计院

吴昊天

擅长数据架构、数据分析

教学经验8年

电子科技大学大数据中心

CDA数据分析研究院技术负责人兼高级讲师

【课程内容】

01章概述 爬虫与文本分析概述

01-01结构化数据/文本数据的获取方法概述

01-02高效的编程语言实现结构化数据处理与文本分析的价值

02章编程基础

02-01python编程基础（标准数据类型，控制流，自定义函数，类，os文件处理模块）

02-02python重要数据科学计算库（Numpy，Pandas，Matplotlib，Pyecherts，wordcloud）

03章数据获取

03-01爬虫基础（网络爬虫简介，爬虫的基本原理，HTML 简介，数据存储）

03-02网页抓取（使用 Urllib网页抓取，requests实战）

03-03BeautifulSoup4（简介，安装，BS 对象的种类，遍历文档树，搜索文档树）

03-04Xpath（什么是Xpath，Xpath开发工具，Xpath常用规则）

03-05动态渲染页面抓取（Selenium的安装，基本使用，声明浏览器对象，访问页面，定位元素，节点交互，动作链，执行 JavaScript，获取节点信息，延时等待，前进后退，Cookies，选项卡管理，异常处理）

03-06爬虫实战（网站的爬取，基电商评价文本爬取）

04章数据存储与读取

04-01可供读取数据类型介绍（excel、pdf、txt、html、mysql数据库文件介绍）

04-02数据的存储（将数据存储到excel表，txt文本，word文档）

04-03数据的读取（python批量读取多个多子表excel，python读取txt文件，word文档）

05章数据处理

05-01正则表达式（什么是正则表达式，正则表达式匹配规则，re模块的使用）

05-02文本处理常用方法（字符串的不变性，排序行，段落格式化，二进制转化为ASCII，重复字词过滤，提取邮件地址，提取URL地址，大写转换，符号化，删除停用词，同义词与反义词处理，文本翻译，单词替换，拼写检查，WordNet接口，语料访问，标记单词，块和裂口，块分类，文本分类，双字母组，文字改写，文字换行，频率分布，文字摘要，词干算法，约束搜索）

05-03结构化数据处理--数据清洗（numpy数值计算要点串讲，Pandas数据处理串讲，python统计图表展示）

06章文本分析实战

06-01重要的库（jieba库简介）

06-02关键词提取（关键词任务概述，TF-IDF算法原理，相似文章推荐原理介绍，实例：红楼梦文本分析的实现，文件与词库的读取，完成分词与词云图的绘制）

06-03文本分类（新闻素材介绍，新闻内容的关键词提取，词向量转化与ngram模型，朴素贝叶斯算法完成新闻分类）

【教学现场】

【机构环境】

【发展历程】

2006年 开展数据统计、计量实战，学术研究等相关培训视频和现场班

2007年 开展数据统计、数据分析相关培训班

2011年 随着大数据热潮的来临，依托累计上万类共享资料，多年沉淀师资团队，论坛召集多位专家，研发CDA数据分析师体系

2013年CDA数据分析师品牌成立，提供系统化的大数据、数据分析人才培养和认证

2014年 CDA INSTITUTE 成立 ,并推出第 一届全国CDA数据分析师认证考试

2015年第 一届中国数据分析师行业峰会（CDAS）在9月11日成功举办，参会人数逾3000人

2016年 CDA汇聚海内外大数据、数据分析专家上千人，推出就业班、数据科学家训练营、企业内训、CDA俱乐部等多个项目

2017年整合论坛与CDA数据分析师业内资源，形成数据分析领域生态圈，并进一步升级CDA企业内训体系，正式推出大数据实验室

2018年北上广深等多个城市均有校区；拥有200多位专业师资；培养学员超过3万人，每年6月/12月全国28个城市举办CDA认证考试

2019年已举办九届数据分析师认证考试，得到业界广泛认可，学员遍布各大知名企业。人工智能产品“好学AI”问世，引领DT时代新一波技术培训浪潮

【机构荣誉】

IBM大学战略合作伙伴

电子工业出版社 优秀合作者

教育管理信息化专业委员会理事单位

2018年度职业教育人才培训品牌机构

2018年度大数据影响力先锋企业

2018入选教育部产学合作协同育人项目

网易云课堂2017年度最 佳服务奖

2017年度中国互联网+ 最 佳培训机构奖

中国大数据产业生态联盟理事单位

【机构简介】

目前，CDA已与国内100多所高校进行了战略合作，建立了CDA数据分析师考试中心及人才培养基地；已出版30多本CDA数据分析师系列丛书，市场发行量数万册；已进行500多期线上线下数据分析及大数据培训课程，培养学员10万+人次；已在全国70+城市举办15届CDA数据分析师认证考试，报考考生数万人；已开展了四届中国数据分析师行业峰会（CDA SUMMIT），每届参会人数3000多人；中国数据分析师俱乐部（CDA CLUB）每周举办各类型线上线下沙龙会议、公开课等活动共1000多期。