还剩3页未读,继续阅读
文本内容:
《大数据技术基础实训I》教学大纲
一、课程基本信息大数据技术基础实训课程名称Fundamental ActualTraining OfBig DataTechnology课程编码SCC320711040开课院部理学院课程团队数据科学团队学分
4.0课内学时4周讲授0实验0上机0实践4周课外学时0适用专业数据科学与大数据技术中文授课语言先修课程数值计算方法、应用统计学课程性质本课程是数据科学与大数据技术专业的必修课主要教学内容本课程针对大数据处理分析中需求多样性,从初学者角度出发,基于Hadoop环境以丰富的实例深入介绍大数据常用分析及计算模式技术本课程的教学内容主要包括Hadoop集群环境搭建,分布式文件系统HDFS,MapReduce,Hadoop框架下MapReduce工作机制,使用MapReduce进行多个实例开发实践等课程教学目标本课程在教学过程中注重掌握大数据分析的实践操作,通过丰富简单易上手的实例,让学生切实掌握大数据分析工具的特点及应用课程简介(必倒This courseis acompulsory coursefor datascience andbig datatechnology.Main teachingcontent:This courseis aimedat thediversity ofrequirementsin big data processingand analysis.From theperspective ofbeginners,the Hadoop-based environmentprovides arich exampleto introducethe analysisandcomputing modelof big data.The teachingcontent ofthis coursemainly includesHadoop cluster.Environment construction,distributed filesystem HDFS,MapReduce,MapReduce workingmechanism underHadoop framework,using MapReducefor multipleinstance developmentpractices.This coursefocuses onthepracticaloperation ofbigdataanalysis inthe teachingprocess.By enrichingthe simpleand easy-to-use examples,students caneffectively graspthe characteristicsandapplications ofbigdataanalysis.大纲执笔人负责人审核人
二、课程目标毕业要求指标点序号代号课程目标任务自选OBE目标1了解大数据的发展和基本概念,理解并掌握大数据的特征及主要技术,了解大数据目前常用计1Ml是
3.2算模式的各种系统及工具目标2深刻了解Hadoop的理论基础,理解并掌握Hadoop单机及集群环境的部署方法,理解2M2是
3.2,
4.2HDFS、MapReduce的原理,能够独立编写满足自己需求的MapReduce程序,掌握大数据实验方法,并针对给定问题实现分析和创建大数据模型的能力目标3通过课程项目的团队实践,掌握使用大数据平台处理的能力及解决问题的创新能力,培养学生实3M3是
7.2,
8.1践开发能力及团队合作能力4M4目标4能保障课程正常秩序(政治层面、课堂保障层面,非学生能力层面)否
三、课程内容支撑课程课内学课外学序号章节号标题课程内容/重难点教学方式课外环节目标时时第1章大数据及大数1第1章本章重点和难点大数据的特征及其计算模式和技术层面间的关联///据系统概述
21.
11.1大数据概述大数据概念、特征、数据计量单位及大数据的类型Ml
0.25天讲授、讨论//大数据系统的设计背景;大数据系统整体逻辑架构设计及运行逻辑;
0.25天讲授、讨论
31.
21.2大数据系统Ml/当前大数据系统主流架构第2章Hadoop初步认//4第2章本章重点和难点Hadoop搭建;Hadoop集群命令及编程开发///识Hadoop简介;Hadoop存储;Hadoop计算;Hadoop资源管理;Hadoop生态
0.5天讲授、上机
52.
12.1初识Hadoop Ml,M2/系统
2.2Hadoop环境搭
0.5天讲授、上机
62.2Hadoop集群搭建;环境配置;集群启动、关闭与监控Ml,M2//建及IDE配置
2.3Hadoop集群命
0.5天讲授、上机
72.3Hadoop常用命令介绍;Hadoop编程开发介绍Ml,M2//令实验1Hadoop环境实验、上机8实验1Hadoop环境搭建及常用命令使用实验M2,M33天//搭建及常用命令使用第3章HDFS分布式文9第3章本章重点和难点HDFS的两种使用方法////件系统HDFS基本原理;HDFS的系统组成介绍;HDFS的组成部分详解;副本存
0.2天讲授、上机
103.
13.1HDFS Ml,M2//放策略及路由规则;NameNode Federation.
113.
23.2命令行接口HDFS文件系统的命令操作Ml,M
20.3天讲授、上机//Java对HDFS的程序开发操作;HadoopRPC;HDFS读取数据过程
0.5天讲授、上机
123.
33.3Java接口Ml,M2//实验2HDFS的两种实验、上机13实验2股票交易数据处理实验M2,M34天//操作实验第4章14第4章本章重点和难点MapReduce原理;MapReduce编程逻辑////MapReduce入门编程
4.1MapReduce原理MapReduce设计思想、基本概念;MapReduce的系统架构、作业运行机制
0.5天讲授、上机
154.1Ml,M2//和关键技术
0.5天讲授、上机
164.
24.2Yarn模型Yarn模型;序列化Ml,M2//
4.3MapReduce的类型MapReduce的数据类型的自定义以及数据类型的使用;MapReduce开发,
0.5天讲授、上机
174.3Ml,M2//定制输入输出的数据格式与格式
4.4MapReduce应用开
0.5天讲授、上机
184.4MapReduce应用开发;示例讲解MapReduce算法原理M2,M3//发实验3MapReduce使19实验3用实验访问统计信息数据处理实验M2,M34天实验、上机//第5章MapReduce进20第5章本章重点和难点MapReduce框架中的进阶应用////阶编程
5.1MapReduce的输入
215.1MapReduce的输入及输出格式;使用压缩分隔减少输入规模Ml,M2//输出
0.5天讲授、上机HadoopJavaAPI使用;利用Combiner减少中间数据;编写Petitioner优化
5.2MapReduce的进阶
225.2负载均衡;自定义排序规则;自定义分组规则;MapReduce优化M2,M
30.5天讲授、上机//编程实验423实验4MapReduce编程实MapReduce编程实战M2,M33天实验、上机//战
四、考核方式操作细节序号考核环节总评占比课堂表现随机检查学生上课精神状态、回答问题情况15%
1.本课程4周实验,共4次实验
2.成绩采用白分制,根据实验完成情况评分2实验60%
3.考核学生实机操作能力,使学生掌握在本机与多台机器集群实现HDFS文件管理及执行MapReduce应用程序,并运用Hadoop进行数据处理、训练、建立模型、训练验证模型、预测结果随机点名、刷卡点名等3考勤5%
1.本课程要求利用Hadoop实现大数据模型实现,两到二人一组共同完成一道大数据竞赛题目,并提交论文并答辩4大作业30%
2.根据模型建立情况、论文方案的准确性和个人在大作业的贡献率评分
五、评分细则课程目标大致占比评分等级序号考核环节A-精神状态饱满,回答问题准确B-精神状态良好,问题回答较好C-精神状态一般,问题回答一般D-很少参加1Ml课堂表现10%课堂讨论,精神状态较差,回答问题有误A-按时提交实验报告,数据分析符合规范,结论无误B-按时提交实验报告,数据分析基本规范,结论基本正确2Ml实验60%C-数据分析过程存在问题D-未提交实验报告或实验报告存在严重抄袭现象A-按时提交大作业论文,数据分析符合规范,结论无误,课程答辩讲解清楚,回答问题正确B-按时提交大作业论3Ml大作业30%文,数据分析基本规范,结论基本正确,课程答辩讲解较清楚,回答问题基本正确C-数据分析过程存在问题,课程答辩讲解不清,回答问题有错误D-未提交大作业论文或大作业论文存在严重抄袭现象,未参加课程答辩A-按时提交大作业论文,数据分析符合规范,结论无误,课程答辩讲解清楚,回答问题正确B-按时提交大作业论文,数据分析基本规范,结论基本正确,课程答辩讲解较清楚,回答问题基本正确C-数据分析过程存在问题,4M2大作业40%课程答辩讲解不清,回答问题有错误D-未提交大作业论文或大作业论文存在严重抄袭现象,未参加课程答辩A-按时提交实验报告,数据分析符合规范,结论无误B-按时提交实验报告,数据分析基本规范,结论基本正确5M2实验60%C-数据分析过程存在问题D-未提交实验报告或实验报告存在严重抄袭现象A-按时提交大作业论文,数据分析符合规范,结论无误,课程答辩讲解清楚,回答问题正确B-按时提交大作业论文,数据分析基本规范,结论基本正确,课程答辩讲解较清楚,回答问题基本正确c-数据分析过程存在问题,6M3大作业50%课程答辩讲解不清,回答问题有错误D-未提交大作业论文或大作业论文存在严重抄袭现象,未参加课程答辩八一按时提交实验报告,数据分析符合规范,结论无误B-按时提交实验报告,数据分析基本规范,结论基本正7M3实验50%确C-数据分析过程存在问题D-未提交实验报告或实验报告存在严重抄袭现象8M4考勤100%A-全勤B-缺勤1次C-缺勤2-3次D-缺勤3次及以上评分等级说明[A,B,C,D,E]=[90-100,80-89,70-79,60-69,0-59];[A,B,C,D]=[90-100,75-89,60-74,0-59];[A,B,C]=[90-100,75-89,60-74,0-59];[A,B]=[80-100,0-79]
六、教材与参考资料序号教学参考资料明细1图书iHadoop权威指南(大数据的存储与分析第4版),Tom White,清华大学出版社,2017,ISBN:
9787302465133.2图书iHadoop大数据技术原理与应用,黑马程序员,清华大学出版社,2019,ISBN:
9787302524403.。