还剩4页未读,继续阅读
文本内容:
信息系统评估方法介绍 重大专项研发部张跃军 2010-03-18 随着信息__的不断推进整个世界http://qkzz.net/__gazine/1002-9656各领域的信息呈现出了日趋激烈的__式增长为了管理及利用这些信息各个领域都出现了许多功能多样的信息系统并且随着信息的膨胀这些系统也在不断地趋于复杂化这种情况下系统在规定条件下和规定时间内完成规定任务的程度就成了一个很重要的问题因此系统的效能就是对系统所具有能达到规定任务要求能力的度量系统评估是研究系统的效能特性及其获取系统最大效能的一门科学系统效能是完全不同于费效比以及性能的一个__概念系统费效比是指费用与效果的比值反映出系统的投入与产出的比例关系;系统性能是指系统能够发挥表现出的处理能力而系统的效能不仅是其所具有的内在的执行任务的能力而且是在系统的全寿命周期中围绕系统的一些活动所取得的效果也称之为系统的效能因此系统效能评估是对系统的标称能力与实际能力匹配程度的全面评估通过对复杂信息系统进行效能评估可以量化系统标称能力与实际能力的匹配程度发现系统现状与实际使用需求之间的差距这些量化后得到的差距数据http://qkzz.net/__gazine/1006-5954就可以为系统需求的改进和后续系统的规划、设计、运行、管理和维护提供有力的理论基础;同时这些数据也为系统运行、管理和使用提供了参考模型为系统日常维护和状态监控指明了__要点和改进方向对这些复杂信息系统进行效能评估之后就能有针对性地逐步优化系统的体系结构和配置提高系统的运行管理水平以需求为向导显著提高系统的运行效益 评估方法有广义和狭义两种概念,广义概念包括评估准备、评估设计、信息获取、评估分析与综合、撰写评估报告等评估活动全过程的方法,狭义概念特指评估分析与综合的方法,本文中所提到的评估方法为狭义概念1评估方法的选择和应用 选择评估方法时,评估者应首先在成熟、公认的方法中进行恰当的选择,如果由于评估活动的特殊性,没有采用成熟、公认的方法,必须在评估报告中加以说明
1.1评估目的与评方法的匹配 评估方法是实现评估目的技术手段,评估目的与方法的匹配时体现评估科学性的重要方面,正确理解和认识这匹配关系是正确选择评估方法的基本前提评估的实践表明,评估目的与评估方法之间的匹配关系,并不是说评估的特定目的与特定一种评估方法之间的一一对应,而是指对于特定的评估目的,选择高效、相对准确合理的评估方法
1.2评估方法的合理替代 由于客观条件的限制,以及各种评估方法对于实现评估目标的相对合理性,有经验的评估者必须了解评估方法的合理替代原则首先考虑评估方法的内在约束,考虑不同方法的评估角度和评估途径,例如对于大型计划的绩效评估,原型案例研究法和数理统计方法在一定条件下可以相互替代除了受内在约束外,评估方法的选择和替代还有受外界的制约,包括可以获得的信息、用户的理解和接受程度及掌握方法的难度等
1.3“内在约束优先”的原则 不论是评估方法的选用还是合理替代,都应遵循“内在约束优先”的原则所谓“内在约束优先”的主要概念是评估的选择应该首先考虑评估活动自身的因素及其对评估方法应用的影响,这些影响形成了评估方法选择的内在约束例如目标约束是评估方法选择的最重要的内在约束,如果评估活动的目的在于帮助投资者在一批申请项目中进行筛选,通常可采用多指标综合评估方法进行分类排序;如果评估活动的目的是回答某些质疑,可采用问题诊断的指标框架和典型案例研究的评估方法
1.
3.1定性和定量方法相结合 定性和定量方法相结合是评估方法应用的基本思路,然而在实践中如何具体实现定性和定量方法的结合目前尚无一定之规
1.
3.2定___结构化 评估中虽然收集了大量的定量信息,但定___仍然是重要的,包括各种文件、管理规范、各类总结材料、已有的评估论证报告及调研会议记录以及调查问卷中的开放性问题等评估者可以对定___进行收集、__和整理,将定___进行重新编码,是其结构化
1.
3.3结构化面访 结构化面访是评估中常用的一种调查方法根据统一设计的面访提纲和问卷,采用多项选择的问答方式,分头进行面访调查,所得的调查信息具有相同的结构形式,使定___结构化
1.
3.4定性—定量信息的相互转换 在表达评估结果时,可以根据需要进行定性一定量信息的转换转换评估结论的表达方式取决于表达的内容以及用户的要求有时将定性问题定量化处理后表达比较明确,有时用定性语言概况表达定量结果更为适宜,有时则需要两者同时使用2比较研究 比较研究是评估的基本方法之一,也是评估活动的基本思维框架比较研究评估方法可以进行前后对比、对照组比较、多角度比较最后得到对信息系统评估的综合效能
2.1前后对比 前后对比法是通过大量的参数比较,将被评对象(政策、计划、项目等)执行前后的有关情况进行对比,从中活动评估的依据这种方法是将事前和事后可以衡量的指标值进行比较,用指标的变化回答评估的问题,如效果、影响等应用前后对比法的主要困难在于如何将被评对象所产生的效果和其他外在因素、偶发__、社会变动等所造成的效果加以明确区分
2.2对照组比较 该方法是“控制对象—实验对象”的对比分析方法,是社会实验法在评估中的具体运用以政策计划的实施效果评估为例,运用这种方法进行评估时,评估者将政策计划执行前的同意评估对象分为两组,一组为实验组,即对其施加影响的租,另一组为控制组,即不对其施加影响的租,然后比较这两组在政策计划实施后的情况以确定实施效果
2.3多角度比较 针对一个问题,通过多渠道、多角度、多种类的信息的比较分析,综合评价,获得评估的结论以机构的绩效评估为例,可以将反映机构产出(成果、专利、论文)的客观数据和有关方面的主观__(机构内部员工的__,同行专家的评价等)进行比较分析,还可以将被评对象的自评意见和评估实地考察情况进行对照 该方法适合用于涉及面广,因素复杂的评估对象通过各方面信息的相互补充、相互检验,可以减少信息的误差,提高评的可信度3多指标综合评估方法 多指标综合评估方法对信息系统进行多指标的综合评估并且进行指标值的确定及其规范化指标权重的确定,计算综合分值,最后得到对信息系统的综合效能 多指标综合评估方法是信息系统评估中的常用方法,尤其是对于群体评估应用比较普遍由于不同指标的综合、折衷、平衡中主观因素的影响,所得结果只能是合理的、满意的,不存在客观上的最优对于多指标评估问题,只是应该从非劣方案(非劣解)中寻优某一方案称为非劣方案,是指不存在所有指标都由于该方案的选择
3.1指标值的确定及其规范化 在评估指标体系建立后,每一个评估指标都应制定具体的标准和统一的计算方法其中可用金额、人数、时间、重量、体积等计量的指标,可进行定量评估,对社会影响可作定性评估的描述由于各个指标的含义、测量量纲以及取值优劣标准不尽相同,为了能够对评估对象进行多指标的综合评估,有时要将各种指标值转化成一个相对统一的尺度,这一过程称为指标值的规范化,其实质就是把不能相加或相乘的指标值转化成可以汇总相加或相乘的综合指标值 在评估问题中,有时某些定性指标的值无法通过定量的方法得到,必须由专家的判断决定,该方法通常分数、序数,评语等作为评估的指标值,依此作出总的评估专家打分时应尽量保证所有的指标值属于同一类型,即同分数或同为序数,若有不同的,应将其转化成同一类型,以利于综合评估
3.2指标权重的确定 在多指标的综合评估问题中,各个指标对于评估总目标的影响和作用大小的重要程度不同为了正确反映这一客观事实,需要对指标赋权加权理论在国内外都有广泛的研究和应用 关于权重系数的获得主要有专家__法(Delphi)、层次分析法(AHP)、二项系数加权法、环比评分法等其中比较有代表性的且应用较多、较成功的主要有AHP和Delphi法AHP将专家的思维过程定量化,并且可以通过一致性检验处理专家意见不一致的情形Delphi法也是常用的一种方法,它具有匿名性、反复性、统计性三大特征,较好地克服了主观因素的影响
3.3计算综合分值 应用综合评分法计算综合分值,就是利用每个评估对象在各个指标上的得分(首先进行规范化),按照不同的方法得到一个综合得分,据此对所有的评估对象排出优先次序计算综合的方法主要包括加权加法评分法、修正加权法、乘法评分法和加乘评分法方法的选择可以根据相应的评估问题的具体评估指标体系来确定目前信息系统评估中采用较多的是加权加法评分法4运筹学方法--层次分析方法 层次分析法简称AHP方法此模型是对系统的指标体系进行分层次的综合并且进行归一化处理、一致性分析最后得到系统的综合效能AHP方法将决策问题分为三个层次即目标层O、准则层G和方案层P每层有若干元素下一层的元素会对上一层的元素有影响通过相互比较确定各准则对目标的权重各方案对每一准则的权重;将这两组权重进行综合确定各方案对目标的相对权重AHP方法将定性分析与定量分析结合起来给出了决策问题的定量结果 层次分析法的步骤如下:a建立层次分析结构模型深入分析实际问题将有关因素自上而下分层目标—准则或指标—方案或对象上层受下层影响而层内各因素基本上相对__b构造成对比较阵用成对比较法和1~9尺度构造各层对上一层每一因素的成对比较阵c计算权向量并作一致性检验对每一成对比较阵计算最大特征根和特征向量并作一致性检验若通过则特征向量为权向量d计算组合权向量作组合一致性检验组合权向量可作为决策的定量依据 例如设定一个需要达到的目标作为目标层从对目标发生影响的各种因素中选出合适的因素作为准则层G={G1G2…Gm}现需要从方案层P={P1P2…Pn}中选出最佳的方案首先利用成对比较法参照1~9尺度构造出m个准则对于目标的权重向量A=[a1a2…am]并且有=1;然后构造出矩阵B其中bij表示第j号方案对第i个准则的权重因此有bij∈01i=12…m;j=12…n=1令综合决策矩阵X=A×B这个矩阵乘运算中还需要进行一致性检验保证前后判断的一致性乘积X就是准则层对目标层的权重与方案层对准则层的权重构成的组合权重能反映出方案对目标的影响程度之后求出xk={xj}对应的Pk即为最佳方案5模糊综合评估方法 模糊综合评价法是将模糊数学应用于目标评价而形成的方法它根据评价对象和评价目标要求建立起模糊矩阵通过一系列的判断、推理、论证由最佳隶属度原则得出可靠结论的一种评价方法用模糊数学进行综合评判包括三个方面的内容即系统分析、模糊数学进行处理和计算机运算 例如需要对某个复杂电子信息系统进行效能评估在对评价指标及其模糊性进行综合分析的基础上可以建立如下的评价因素集U={U1U2…Un}其中:Ui代表第i个评价因素然后建立起评价等级集V={很好好一般不太好不好}接着就可以确定评价矩阵P={Pij}n×m其中:Pij为第i个评价因素评价等级为j的比例;n为评价因素数;m为评价等级数通过专家调查法等取得评价指标的权重向量w={w1w2…wn}且=1计算模糊决策集D=w×P各方案的模糊决策集计算出后将决策集中很好、好及一般的三者相加即得到综合总评分6基于计算机技术的评估方法--神经网络评估方法 人工神经网络方法是一种以人的神经学习为基础的新方法通过模拟人的神经过程从而实现自主学习的功能目前使用最广泛的BP网络由三层神经元组成这种三层的BP网络可以实现以任意精度逼近任意连续函数也就能够通过这种网络寻找到最优解这种方法的基本步骤如下:a初始化置所有权为随机任意小b模型参数的确立复杂电子信息系统效能评估模型由一系列表征系统运行效能及其因果关系的特征参数、过程因子和征兆现象构成特征向量的选取依据基于征兆的推理获得c提供训练集提供连续的输入变量x1x2…xn和所期望的输出结果y1y2…yn训练集的取得是根据实际使用人员和专家的体会以及经验确定d定义输入/输出的关系: Opj={1+exp}-+θj 其中:Opj为模式p网络节点j的输出;Wij为节点i到j的连接权值;θj节点j的阈值e调整权值 ΔWij=ηδpj×Opj 其中:η是学习速率;δpj是节点j的误差__对输出层节点j δpj=ypj-OpjOpj1-Opj 对中间层节点j有 δpj=WkjOpj1-Opj 其中:δpj为节点j上一层节点k的误差__Wkj为节点j到上一层节点k的连接权值f将得到的权值以及阈值记录到知识库多次训练BP网络使权值以及阈值稳步趋向最优 在将人工神经网络的方法用到信息系统效能评估时首先将系统各种设施的状态以及系统接口的信息作为征兆参数以征兆参数为模型的输入将系统处理输入信息的各种功能作为模型的隐层节点这些节点反映了系统征兆参数影响系统效能表征参数状态和权值的传递模型的输出是系统效能的各种表征参数这些参数有一定的动态变化范围根据预先定义好的正常变化范围及相应的效能等级就可以观测出当某些征兆参数发生变化时系统当前的表征参数变化情况从这些变化中得到系统当前的效能等级7总结 以上是几种比较有效的信息系统评估方法,还有较多评估方法,由于时间和精力关系未收集整理,希望这几种方法能对大家在做项目评估时候得到有益的帮助同时希望大家能在工作中与时俱进,共同提高 。