进化中的神经网络

旅行商问题[1]是优化算法的试金石。有很多解决方法。
例如，以下是Will Campbell使用遗传算法解决美国首都旅行商问题的动态过程[2]。在神经网络中使用自组织映射网络（SOFM），也可以求解连续的Hopfield网络。
▲使用遗传算法解决旅行商问题以下是使用自组织特征图（SOFM）解决十个地点中的旅行商问题的过程。 SOFM网络的竞争层采用端到端连接的一维拓扑结构。
学习率从0.3线性减小到0，学习半径从2线性减小到0。在200步训练过程中，对应于网络的位置的演变过程如下图所示：▲在循环和增加噪声的影响在上述搜索过程中，向每个搜索节点添加了随机噪声和定向游泳，从而提高了网络搜索的能力。
SOFM网络被用于优化，并且“订单保留特征”被使用。使用了自组织特征图网络的拓扑结构，即保持了网络竞争层中神经元的拓扑结构以及相应训练样本在数据空间中的分布。
类似的关系。例如，以下内容使用来自三角形的均匀分布的数据点来训练具有一维拓扑的SOFM。
随着训练过程的收敛，竞争网络中的神经元逐渐扩展到数据所在的三角形。下图显示了在间隔中随机采样的数据训练下具有二维拓扑结构的SOFM网络的收敛性。
▲具有2D拓扑的SOFM的训练结果以下是训练失真的分布结果：▲训练过程失真上面的自组织特征图网络来自竞争算法的改进（WTA：胜利者为王）。下面显示的是两个节点之间竞争的结果。
在五个训练样本（蓝点）的作用下竞争的网络节点位置（红点）。 ▲学习速率可变的训练过程只需使用竞争算法，您就可以完成数据内部定律的学习。
例如，以下是三个神经网络的初始位置。 ▲初始化三个神经元后的情况请使用以下带有噪声的C，I，T字符进行训练。
这三个神经元可以分别进化为C，I和T的平均结果。 ▲加入噪音后的训练样本经过100场竞争性学习，他们最终形成了形状。
▲竞争进化过程在竞争的结果上，添加另一层映射以逼近该函数。下面显示了单相对传播网络（CPN）所趋近的Hermit函数的演化。
增加竞争神经元节点的数量并使用双向CPN可以进一步改善近似函数的效果。 ▲双向CPN函数逼近结果对于神经网络，如果它们仅依靠竞争（无教练指导），则可达到的精度将受到数据量和数据分布的影响。
对于只有少量数据的情况，除非竞争是天才，否则通常只有竞争才能取得好的结果。适当引入导师信号可以提高小样本情况下的学习效果。
这是学习矢量量化网络（LVQ）的优势。以下是一个极端的示例，您可以看到LVQ网络对于小样本下的学习非常强大。
▲LVQ训练过程▲LVQ训练中隐藏层节点的演化过程对于复杂的非线性映射，最有效的方法是通过浅层网络的随机梯度下降获得更可靠的训练结果。以下是MATLAB中的Peaks二维函数。
▲峰功能图收集一些离散数据，并训练隐藏层网络。如果收集到足够的数据并且分布足够合理，则可以快速获得映射关系。
▲收集的数据样本下图显示了训练过程中网络相应的输入和输出关系的演变。 ▲神经网络的输入和输出与功能面的演化过程相对应。
在官方帐户上的消息。太好了，这个周末值得参加的规则吗？免责声明：本文内容经21ic授权后发布，版权归原作者所有。
该平台仅提供信息存储