核心模块。域控制器som版是一款嵌入式控制核心模块，是一块体积紧凑、功能齐全的小型嵌入式系统。域控制器是指在“域”模式下，至少有一台服务器负责每一台联入网络的电脑和用户的验证工作，相当于一个单位的门卫一样，称为“域控制器（DomainController，简写为DC）”。
第五章 神经网络
使用newsom函数创建网络：
net=newsom(PR,[D1,D2,^],TFCN,DFCN,OLR,OSTEPS,TLR,TND)
PR:R个输入元素的最大值和最小值的设定值，R2维矩阵
Di：第I层的维数，默认为[5 8]
TFCN：拓扑函数，默认为hextop
DFCN:距离函数，默认为linkdist
OLR：分类阶段学习速率，默认为09
OSTEPS：分类阶段的步长，默认为1000
TLR：调谐阶段的学习速率，默认为002
TNS:调谐阶段的领域距离，默认为1
例子：
>> P=[rand(1,400)2;rand(1,400)];>> plot(P(1,:),P(2,:),'','markersize',20)
>> net=newsom([0 1;0 1],[3 5]);
>> net=train(net,P);
>> hold on
>> plotsom(netiw{1,1},netlayers{1}distances)
>> hold off
第二个函数：newc函数
功能：该函数用于创建一个竞争层
net=newc
net=newc(PR,S,KLR,CLR)
S:神经元的数目
KLR：Kohonen学习速度，默认为001
CLR：Conscience学习速度，默认为0001
net:函数返回值，一个新的竞争层。
也可以参考附件的代码，里面有一个案例是SOM神经网络的。
四种聚类方法之比较
神经网络 ：神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。
神经网络中最基本的成分便是 神经元模型 。
M-P神经元模型：
感知机由两层神经元组成，分别为输入层、输出层。
以下是具体过程：
多层神经网络的拓扑结构如图：
如上图可知，多层网络由输入层、隐含层和输出层组成，顶层是输出层，底层是输入层，中间的便是隐含层。隐含层与输出层都具有功能神经元。
多层前馈神经网络的结构需要满足：
1、每层神经元必须与下一层完全互连
2、神经元之间不存在同层连接
3、神经元不可跨层连接
只需包含一个足够多神经元的隐层，就能以任意精度逼近任意复杂度的连续函数
BP神经网络由于学习能力太强大比较荣誉造成过拟合问题，故有两种策略来减缓过拟合的问题：
1、早停：将数据分成训练集和验证集，训练集学习，验证集评估性能，在训练过程中，若训练集的累积误差降低，而验证集的累积误差提高，则终止训练；
2、引入正则化：其基本思想是在误差目标函数中增加一个用于描述网络复杂程度的部分，有如连接权和阈值的平方和：
其中λ∈（0,1）用于对累积经验误差与网络复杂度这两项进行折中，常通过交叉验证法来估计。
神经网络的训练过程可看作一个参数寻优的过程，即寻找到适当的参数使得E最小。于是我们时常会谈及“全局最小”和“局部最小”。
1、全局最小：即全局最小解，在参数空间中，所有其他点的误差函数值均大于该点；
2、局部最小：即局部最小解，在参数空间中，其邻近的点的误差函数值均大于该点。
我们要达到局部极小点，很容易，只要满足梯度为零的点便是了，局部极小点可以有多个，但全局最小点只有一个。显然，我们追求的是全局最小，而非局部极小，于是人们通常采用以下策略来试图“跳出”局部极小，使其接近全局最小：
1、以多组不同参数值初始化多个神经网络，按标准方法训练，在迭代停止后，取其中误差最小的解作为最终参数；
2、使用随机梯度下降（在计算梯度时加入了随机因素），使得在局部最小时，计算的梯度仍可能不为0，从而可能跳出局部极小，继续进行迭代；
3、“模拟退火”技术，在每一步都以一定的概率接受比当前解更差的结果，但接受“次优解”的概率要随着迭代进行，时间推移而逐渐减低以确保算法的稳定。
1、RBF网络
单隐层前馈神经网络 ，使用径向基函数作为隐层神经元激活函数，输出层是对隐层神经元输出的线性组合。RBF网络可表示为：
2、ART网络
竞争型学习 （神经网络中一种常用的 无监督学习 策略）,由 比较层、识别层、识别阈值和重置模块 组成。接收到比较层的输入信号后，识别层神经元相互竞争以产生获胜神经元，最简单的方式就是计算输入向量与每个识别层神经元所对应的模式类代表向量间的距离，距离小者获胜。若获胜神经元对应的代表向量与输入向量间 相似度大于识别阈值 ，则将输入样本归为该代表向量所属类别，网络 连接权 也会进行 更新 以保证后面接收到相似的输入样本时该模式类会计算出更大的相似度，使得这样的样本能够归于一类；如果 相似度不大于识别阈值 ，则 重置模块 会在 识别层 加一个神经元，其 代表向量 就 设置 为当前 输入向量 。
3、SOM网络
竞争型学习的无监督神经网络 ，将高维输入数据映射到低维空间（通常是二维），且保持输入数据在高维空间的拓扑结构。
4、级联相关网络
结构自适应网络 。
5、Elman网络
递归神经网络 。
6、Boltzmann机
基于能量的模型，其神经元分为显层与隐层，显层用于数据输入输出，隐层被理解为数据的内在表达。其神经元皆为布尔型，1为激活，0为抑制。
理论上，参数越多的模型其复杂程度越高，能完成更加复杂的学习任务。但是复杂模型的训练效率低下，容易过拟合。但由于大数据时代、云计算，计算能力大幅提升缓解了训练效率低下，而训练数据的增加则可以降低过拟合风险。
于是如何增加模型的复杂程度呢？
1、增加隐层数；
2、增加隐层神经元数
如何有效训练多隐层神经网络？
1、无监督逐层训练：每次训练一层隐节点，把上一层隐节点的输出当作输入来训练，本层隐结点训练好后，输出再作为下一层的输入来训练，这称为预训练，全部预训练完成后，再对整个网络进行微调。“预训练+微调”即把大量的参数进行分组，先找出每组较好的设置，再基于这些局部最优的结果来训练全局最优；
2、权共享：令同一层神经元使用完全相同的连接权，典型的例子是卷积神经网络。这样做可以大大减少需要训练的参数数目。
深度学习 可理解为一种特征学习或者表示学习，是通过 多层处理 ，逐渐将初始的 低层特征表示 转化为 高层特征表示 后，用 简单模型 即可完成复杂的分类等 学习任务 。
四种聚类方法之比较
介绍了较为常见的k-means、层次聚类、SOM、FCM等四种聚类算法，阐述了各自的原理和使用步骤，利用国际通用测试数据集IRIS对这些算法进行了验证和比较。结果显示对该测试类型数据，FCM和k-means都具有较高的准确度，层次聚类准确度最差，而SOM则耗时最长。
关键词:聚类算法；k-means；层次聚类；SOM；FCM
聚类分析是一种重要的人类行为，早在孩提时代，一个人就通过不断改进下意识中的聚类模式来学会如何区分猫狗、动物植物。目前在许多领域都得到了广泛的研究和成功的应用，如用于模式识别、数据分析、图像处理、市场研究、客户分割、Web文档分类等[1]。
聚类就是按照某个特定标准(如距离准则)把一个数据集分割成不同的类或簇，使得同一个簇内的数据对象的相似性尽可能大，同时不在同一个簇中的数据对象的差异性也尽可能地大。即聚类后同一类的数据尽可能聚集到一起，不同数据尽量分离。
聚类技术[2]正在蓬勃发展，对此有贡献的研究领域包括数据挖掘、统计学、机器学习、空间数据库技术、生物学以及市场营销等。各种聚类方法也被不断提出和改进，而不同的方法适合于不同类型的数据，因此对各种聚类方法、聚类效果的比较成为值得研究的课题。
1 聚类算法的分类
目前，有大量的聚类算法[3]。而对于具体应用，聚类算法的选择取决于数据的类型、聚类的目的。如果聚类分析被用作描述或探查的工具，可以对同样的数据尝试多种算法，以发现数据可能揭示的结果。
主要的聚类算法可以划分为如下几类：划分方法、层次方法、基于密度的方法、基于网格的方法以及基于模型的方法[4-6]。
每一类中都存在着得到广泛应用的算法，例如：划分方法中的k-means[7]聚类算法、层次方法中的凝聚型层次聚类算法[8]、基于模型方法中的神经网络[9]聚类算法等。
目前,聚类问题的研究不仅仅局限于上述的硬聚类，即每一个数据只能被归为一类，模糊聚类[10]也是聚类分析中研究较为广泛的一个分支。模糊聚类通过隶属函数来确定每个数据隶属于各个簇的程度，而不是将一个数据对象硬性地归类到某一簇中。目前已有很多关于模糊聚类的算法被提出，如著名的FCM算法等。
本文主要对k-means聚类算法、凝聚型层次聚类算法、神经网络聚类算法之SOM,以及模糊聚类的FCM算法通过通用测试数据集进行聚类效果的比较和分析。
2 四种常用聚类算法研究
21 k-means聚类算法
k-means是划分方法中较经典的聚类算法之一。由于该算法的效率高，所以在对大规模数据进行聚类时被广泛应用。目前，许多算法均围绕着该算法进行扩展和改进。
k-means算法以k为参数，把n个对象分成k个簇，使簇内具有较高的相似度，而簇间的相似度较低。k-means算法的处理过程如下：首先，随机地选择k个对象，每个对象初始地代表了一个簇的平均值或中心;对剩余的每个对象，根据其与各簇中心的距离，将它赋给最近的簇;然后重新计算每个簇的平均值。这个过程不断重复，直到准则函数收敛。通常，采用平方误差准则，其定义如下：
这里E是数据库中所有对象的平方误差的总和，p是空间中的点，mi是簇Ci的平均值[9]。该目标函数使生成的簇尽可能紧凑独立，使用的距离度量是欧几里得距离,当然也可以用其他距离度量。k-means聚类算法的算法流程如下：
输入：包含n个对象的数据库和簇的数目k；
输出：k个簇，使平方误差准则最小。
步骤：
(1) 任意选择k个对象作为初始的簇中心；
(2) repeat；
(3) 根据簇中对象的平均值，将每个对象(重新)赋予最类似的簇；
(4) 更新簇的平均值，即计算每个簇中对象的平均值；
(5) until不再发生变化。
22 层次聚类算法
根据层次分解的顺序是自底向上的还是自上向下的，层次聚类算法分为凝聚的层次聚类算法和分裂的层次聚类算法。
凝聚型层次聚类的策略是先将每个对象作为一个簇，然后合并这些原子簇为越来越大的簇，直到所有对象都在一个簇中，或者某个终结条件被满足。绝大多数层次聚类属于凝聚型层次聚类，它们只是在簇间相似度的定义上有所不同。四种广泛采用的簇间距离度量方法如下：
这里给出采用最小距离的凝聚层次聚类算法流程：
(1) 将每个对象看作一类，计算两两之间的最小距离；
(2) 将距离最小的两个类合并成一个新类；
(3) 重新计算新类与所有类之间的距离；
(4) 重复(2)、(3)，直到所有类最后合并成一类。
23 SOM聚类算法
SOM神经网络[11]是由芬兰神经网络专家Kohonen教授提出的，该算法假设在输入对象中存在一些拓扑结构或顺序，可以实现从输入空间(n维)到输出平面(2维)的降维映射，其映射具有拓扑特征保持性质,与实际的大脑处理有很强的理论联系。
SOM网络包含输入层和输出层。输入层对应一个高维的输入向量，输出层由一系列组织在2维网格上的有序节点构成，输入节点与输出节点通过权重向量连接。学习过程中，找到与之距离最短的输出层单元，即获胜单元，对其更新。同时，将邻近区域的权值更新，使输出节点保持输入向量的拓扑特征。
算法流程：
(1) 网络初始化，对输出层每个节点权重赋初值；
(2) 将输入样本中随机选取输入向量，找到与输入向量距离最小的权重向量；
(3) 定义获胜单元，在获胜单元的邻近区域调整权重使其向输入向量靠拢；
(4) 提供新样本、进行训练；
(5) 收缩邻域半径、减小学习率、重复，直到小于允许值，输出聚类结果。
24 FCM聚类算法
1965年美国加州大学柏克莱分校的扎德教授第一次提出了‘集合’的概念。经过十多年的发展，模糊集合理论渐渐被应用到各个实际应用方面。为克服非此即彼的分类缺点，出现了以模糊集合论为数学基础的聚类分析。用模糊数学的方法进行聚类分析，就是模糊聚类分析[12]。
FCM算法是一种以隶属度来确定每个数据点属于某个聚类程度的算法。该聚类算法是传统硬聚类算法的一种改进。
算法流程：
(1) 标准化数据矩阵；
(2) 建立模糊相似矩阵，初始化隶属矩阵；
(3) 算法开始迭代，直到目标函数收敛到极小值；
(4) 根据迭代结果，由最后的隶属矩阵确定数据所属的类，显示最后的聚类结果。
3 四种聚类算法试验
31 试验数据
实验中，选取专门用于测试分类、聚类算法的国际通用的UCI数据库中的IRIS[13]数据集，IRIS数据集包含150个样本数据，分别取自三种不同的莺尾属植物setosa、versicolor和virginica的花朵样本,每个数据含有4个属性，即萼片长度、萼片宽度、花瓣长度，单位为cm。在数据集上执行不同的聚类算法，可以得到不同精度的聚类结果。
32 试验结果说明
文中基于前面所述各算法原理及算法流程，用matlab进行编程运算，得到表1所示聚类结果。
如表1所示，对于四种聚类算法，按三方面进行比较：(1)聚错样本数：总的聚错的样本数，即各类中聚错的样本数的和；(2)运行时间：即聚类整个过程所耗费的时间，单位为s；(3)平均准确度：设原数据集有k个类,用ci表示第i类，ni为ci中样本的个数，mi为聚类正确的个数,则mi/ni为第i类中的精度，则平均精度为：
33 试验结果分析
四种聚类算法中，在运行时间及准确度方面综合考虑，k-means和FCM相对优于其他。但是，各个算法还是存在固定缺点：k-means聚类算法的初始点选择不稳定，是随机选取的，这就引起聚类结果的不稳定，本实验中虽是经过多次实验取的平均值，但是具体初始点的选择方法还需进一步研究；层次聚类虽然不需要确定分类数，但是一旦一个分裂或者合并被执行，就不能修正，聚类质量受限制；FCM对初始聚类中心敏感，需要人为确定聚类数，容易陷入局部最优解；SOM与实际大脑处理有很强的理论联系。但是处理时间较长，需要进一步研究使其适应大型数据库。
聚类分析因其在许多领域的成功应用而展现出诱人的应用前景，除经典聚类算法外，各种新的聚类方法正被不断被提出。
