还剩7页未读,继续阅读
文本内容:
《大数据技术与应用》教学大纲
一、课程基本信息大数据技术与应用课程名称Big DataTechnology andApplication课程编码CST510121020开课院部计算机科学与技术学院课程团队人工智能教学团队学分
2.0课内学时40讲授16实验0上机24实践0课外学时0适用专业智能科学与技术授课语言中文先修课程程序设计(C/C++)、数据库原理、云计算技术与应用《大数据技术与应用》课程是按照计算机类专业应用型创新型人才培养目标的要求而开设的数据科学开发型课程通过这门课程的学习,使学生初步掌握目前基于Hadoop、Storm.Spark的大数据处理技术,了解其大数据处理平台的特点、核心机制以及工作模式,具备一定的大数据系统架构能力,并能自行开展简单的大数据应用开发在课堂教学中,也将引入大数据的发展现状、先进技术(平台)、国内发展需求等方面的题材和内容,以培养具有全球视野、面向国内需求的社会主义建设性人才本课程教学内容主要包括大数据概论;Hadoop基本构架与分布式数据库HBase;NoSQL数据库;Spark;流计算;图计算等并通过相应的案例学习大数据问题的解决方案“Big datatechnology andapplication^is adata sciencedevelopment courseaccording to the requirementsof thetraining课程简介objectives ofapplied innovativetalents incomputer majors.Through thestudy ofthis course,students caninitially masterthe(限选)current big data processingtechnology basedon Hadoop,Storm andSpark,and understandthe characteristics,core mechanismand workingmode ofits big data processingplatform,have certainbig datasystem architecturecapabilities,and cancarry outsimple bigdata applicationdevelopment.In theclassroom teaching,will alsointroduce thedevelopment statusof bigdata,advanced technologyplatform,domestic developmentneeds andother aspectsof thesubject matterand content,in orderto cultivatea globalvision,socialist constructivetalents orientedto domesticneeds.The teachingcontent ofthis coursemainly includes:Introduction tobigdata;Hadoop basicarchitecture anddistributed databaseHBase;NoSQL database;Spark;Stream Computing;Graph Computing,etc.And learnthe solutiontothebigdataproblem throughcorresponding cases.负责人大纲执笔人审核人
二、课程目标毕业要求指标点序号代号课程目标0BE任务自选目标1理解大数据应用系统的基本设计方法和设计方案,包括系统的软件质量属性要求,尤其是可用1Ml是
2.4性等指标,为毕业设要求指标点
2.4的达成提供支持目标2熟练掌握Hadoop、Spark.Slorm的基本原理,并能将之应用到实际场景,解决一定的复杂工程2M2是
5.1问题,为毕业要求指标点
5.1的达成提供支持目标3深刻理解RDD、MapReduce等技术的技术原理,并能根据其原理,把握大数据处理的优化方法,3M3是
7.1为毕业要求指标点
7.1的达成提供支持
三、课程内容支撑课程课内课外序号章节号标题课程内容/重难点教学方式课外环节目标学时学时本章重点难点大数据概念、大数据的影响、大数据计算模式
1.1大数据的时代背景大数据相关的产业政策;大数据的发展历程;
1.2大数据的概念大数据的四个典型特征
1.3大数据的影响1第一章大数据概述M32讲授2作业大数据对科学研究、思维方式、社会发展、就业市场、人才培养方面的影响
1.4大数据计算模式批处理计算;流计算;图计算;查询分析
1.5大数据与云计算、物联网云计算简介;物联网简介;大数据与云计算、物联网的关系本章重点难点大数据概念、大数据的影响、大数据计算模式
1.1大数据的时代背景2第一章大数据概述M32上机2上机第三次信息化浪潮;大数据的发展历程;
1.2大数据的概念大数据的四个典型特征
1.3大数据的影响大数据对科学研究、思维方式、社会发展、就业市场、人才培养方面的影响
1.4大数据计算模式批处理计算;流计算;图计算;查询分析
1.5大数据与云计算、物联网云计算简介;物联网简介;大数据与云计算、物联网的关系本章重点难点Hbase的实现原理及运行机制
2.1Hadoop生态系统架构分布式数据库简介HDFS、HBase、Hive、PigZookeeperx MahoutxPig等组件的简介,Hbase与传统关系数据库的对比分析
2.2Hbase数据模型数据模型概述;数据模型的相关概念;数据坐标;概念视图;物理视图;面向列的存储分布式数据库3第二章
2.3Hbase的实现原理M32讲授2作业llbase Hbase的功能组件;表和Region;Region的定位
2.4Hbase运行机制Hbase系统架构;Region服务器的工作原理;Store的工作原理;HLog的工作原理
2.5Hbase编程实践Hbase常用的Shell命令;Hbase常用的JavaAPI及应用实例本章重点难点Hbase的实现原理及运行机制
2.1Hadoop生态系统架构分布式数据库间介分布式数据库4第二章HDFS、HBase、Hive、PigZookeeperx MahoutxPig等组件的简M32上机2上机Hbase介,Hbase与传统关系数据库的对比分析
2.2Hbase数据模型数据模型概述;数据模型的相关概念;数据坐标;概念视图;物理视图;面向列的存储
2.3Hbase的实现原理Hbase的功能组件;表和Region;Region的定位
2.4Hbase运行机制Hbase系统架构;Region服务器的工作原理;Store的工作原理;HLog的工作原理
2.5Hbase编程实践Hbase常用的Shell命令;Hbase常用的JavaAPI及应用实例本章重点难点NoSQL与关系型数据库的比较、NoSQL的二大基石理论
3.1NoSQL简介NoSQL数据库简介5第三章NoSQL数据库
3.2NoSQL与关系数据库的比较M22讲授2作业为什么关系数据库无法满足Web
2.0的需求,关系数据库的关键特性在Web
2.0时代的局限性
3.3NoSQL的四大类型及三大基石理论键值数据库、列族数据库、文档数据库、图数据库的简介;CAP、BASE、最终一致性的理论内容本章重点难点NoSQL与关系型数据库的比较、NoSQL的三大基石理论
3.1NoSQL简介6第三章NoSQL数据库NOSQL数据库简介M22上机2上机
3.2NoSQL与关系数据库的比较为什么关系数据库无法满足Web
2.0的需求,关系数据库的关键特性在Web
2.0时代的局限性
3.3NoSQL的四大类型及三大基石理论键值数据库、列族数据库、文档数据库、图数据库的简介;CAP、BASE、最终一致性的理论内容本章重点难点Spark的架构设计及基本运行流程
4.1Spark简介Spark简介;Spark与Hadoop的对比
4.2Spark运行架构基本概念;架构设计;Spark运行基本流程;RDD的设计与运行原理7第四章Spark
4.3Spark的部署和应用方式M22讲授2作业Spark三种部署方式;“Hadoop+Storm”与Spark的对比;Hadoop和Spark的统一部署
4.4编程实践启动Spark Shell;SparkRDD基本操作;Spark应用程序本章重点难点Spark的架构设计及基本运行流程
4.1Spark简介Spark简介;Spark与Hadoop的对比
4.2Spark运行架构基本概念;架构设计;Spark运行基本流程;RDD的设计与运行原理8第四章Spark
4.3Spark的部署和应用方式M22上机2上机Spark三种部署方式;“Hadoop+Storm”与Spark的对比;Hadoop和Spark的统一部署
4.4编程实践启动Spark Shell;SparkRDD基本操作;Spark应用程序本章重点难点Storm的设计思想和框架设计
5.1流计算概述9第五章流计算M22讲授2作业流计算概述;静态数据和流数据;批量计算和实时计算;流计算的概念;流计算与Hadoop;流计算框架
5.2流计算的处理流程流计算的处理流程概述;数据实时采集;数据实时计算;实时查询服务
5.3流计算的应用应用场景1实时分析;应用场景2:实时交通
5.4开源流计算框架Storm Storm简介;Storm的特点;Storm的设计思想;Storm的框架设计本章重点难点Storm的设计思想和框架设计
5.1流计算概述流计算概述;静态数据和流数据;批量计算和实时计算;流计算的概念;流计算与Hadoop;流计算框架
5.2流计算的处理流程10第五章流计算流计算的处理流程概述;数据实时采集;数据实时计算;实时M22上机2上机查询服务
5.3流计算的应用应用场景1实时分析;应用场景2:实时交通
5.4开源流计算框架Storm Storm简介;Storm的特点;Storm的设计思想;Storm的框架设计本章重点难点Pregel的体系结构及API的掌握
6.1图计算简介传统图计算解决方案的不足之处;图计算通用软件11第八早图计算
6.2Pregel图计算模型M22讲授2作业Pregel简介;有向图和顶点;顶点之间的消息传递;Pregel的计算过程
6.3Pregcl的C++API消息传递机制;Combiner组件;Aggregator机制;拓扑改变;输入和输出
6.4Pregel的体系结构Pregel的执行过程;容错性;Worker组件;Master组件;Aggregator机制
6.5Pregel的应用实例单源最短路径;二分匹配本章重点难点Pregel的体系结构及API的掌握
6.1图计算简介传统图计算解决方案的不足之处;图计算通用软件
6.2Pregel图计算模型Pregel简介;有向图和顶点;顶点之间的消息传递;Pregel的计算过程12A/v、»弟八早图计算
6.3Pregel的C++API Ml2上机2上机消息传递机制;Combiner组件;Aggregator机制;拓扑改变;输入和输出
6.4Pregel的体系结构Pregel的执行过程;容错性;Worker组件;Master组件;Aggregator机制
6.5Pregel的应用实例单本源章最重短点路难径点;二大分数匹据配处理平台的体系结构设计
7.1大数据处理平台的设计平台的体系结构风格;体系结构描述;平台的质量属性混合云计算大数据13第七章
7.2大数据处理的流程设计Ml2讲授2作业处理平台数据预处理;数据规范化;数据处理算法;数据可视化
7.3大数据处理的案例商业空调大数据处理;抽油机系统效率优化;视频大数据处理14第七章混合云计算大数据本章重点难点大数据处理平台的体系结构设计Ml2上机2上机处理平台
7.1大数据处理平台的设计平台的体系结构风格;体系结构描述;平台的质量属性
7.2大数据处理的流程设计数据预处理;数据规范化;数据处理算法;数据可视化
7.3大数据处理的案例商业空调大数据处理;抽油机系统效率优化;视频大数据处理本章重点难点可视化工具的掌握
8.1可视化概述什么是数据可视化;可视化的发展历程;可视化的重要作用
8.2可视化工具15第八章数据可视化Ml2讲授2作业入门级工具;信息图表工具;地图工具;时间线工具;高级分析工具
8.3可视化典型案例全球黑客活动;互联网地图;编程语言之间的影响力关系图;百度迁徙本章重点难点可视化工具的掌握
8.1可视化概述什么是数据可视化;可视化的发展历程;可视化的重要作用
8.2可视化工具16第八章数据可视化Ml2上机2上机入门级工具;信息图表工具;地图工具;时间线工具;高级分析工具
8.3可视化典型案例全球黑客活动;互联网地图;编程语言之间的影响力关系图;百度迁徙
四、考核方式序号考核环节操作细节总评占比根据本课程大纲重点把握内容安排作业考核环节,分为自主选题和教师推荐两种形式老师根据学生学习情况因材施教推荐课1作业25%题作业,学生也可以按照自己的兴趣自由择题2平时表现实施迟到、旷课、早退减分制,上课积极交流探讨学术加分制的原则进行平时表现考核5%采用课程答辩的方式进行课程系统总结大数据科研技术成果与本课程学习感悟经验,按照本课程Hadoop基本构架与分布式数据期末课程项3库HBase、NoSQL数据库、Spark、流计算、图计算等相关知识,学生进行个人项目进展汇报、项目展示、创新观点和学习心70%目得
五、评分细则序号课程目标考核环节大致占比评分等级1Ml作业30%[A,B,C,D]=[90-100,75-89,60-74,0-59]2Ml平时表现35%[A,B,C]=[85-100,60-85,0-59]期末课程项3Ml35%[A,B,C,D,E]=[90-100,80-89,70-79,60-69,0-59]目4M2作业30%[A,B,C,D]=[90-100,75-89,60-74,0-59][A,B,C]=[85-100,60-85,0-59]5M2平时表现35%期末课程项6M235%[A,B,C,D,E]=[90-100,80-89,70-79,60-69,0-59]目7M3作业30%[A,B,C,D]=[90-100,75-89,60-74,0-59]8M3平时表现35%[A,B,C]=[85-100,60-85,0-59]期末课程项9M335%[A,B,C,D,E]=[90-100,80-89,70-79,60-69,0-59]目评分等级说明[A,B,C,D,E]=[90-100,80-89,70-79,60-69,0-59];[A,B,C,D]=[90-100,75-89,60-74,0-59];[A,B,C]=[90-100,75-89,60-74,0-59];[A,B]二[80700,0-79]
六、教材与参考资料序号教学参考资料明细1图书1《大数据技术原理与应用》(第2版),林子雨,人民邮电出版社,
2018.2图书|《Hadoop权威指南(第4版)》,(美)Tom White,清华大学出版社,
2017.3网络图文iHadoop在线文档,,.。