摘要: 胶囊网络是近几年提出的一种新型网络结构，它可以包含图像中实体间的位置关系，对于样本数据量比较少的图像分类问题非常有帮助。随着深度学习的发展，特别是卷积神经网络(CNN)的发展，图像的自动分类过程得到了极大的促进。但是，CNN的池化操作丢失... 展开 胶囊网络是近几年提出的一种新型网络结构，它可以包含图像中实体间的位置关系，对于样本数据量比较少的图像分类问题非常有帮助。随着深度学习的发展，特别是卷积神经网络(CNN)的发展，图像的自动分类过程得到了极大的促进。但是，CNN的池化操作丢失了图像中实体之间的空间位置关系，这些空间关系在分类时起着重要作用。胶囊网络(CapsNet)可以在一定程度上克服CNN的缺点。但是，CapsNet具有以下的缺点：1)不能处理大尺寸的输入；2)不能充分提取输入中的特征；3)全连接的重构方式产生大量的参数；4)分类的准确率随着数据集复杂度的增加而下降。虽然CapsNet在MNIST数据集上取得了较高的分类准确率，但是对于稍微复杂的数据集如CIFAR10却效果不佳。为了解决这些问题，我们依次提出了两个具有递进关系的框架。 首先是双输入胶囊网络Fast-ConvCaps，它很好地解决了脑肿瘤MR数据集的三分类问题。脑肿瘤MR数据集不仅提供了脑肿瘤的核磁共振成像数据以及分类标签，还提供了脑肿瘤的边界坐标信息。Fast-ConvCaps利用该信息构建脑肿瘤区域的局部图像并将其作为模型的额外输入，以提高网络对感兴趣区域的注意力；此外，由于脑肿瘤MR数据集的图片尺寸比较大，Fast-ConvCaps使用了最大池化操作来处理输入，这样模型不仅可以接收大尺寸的输入而且还能保留其中的纹理等细节特征；最后，为了减少参数的数量，提升训练效率，Fast-ConvCaps使用连续反卷积的上采样方式重构输入图片并计算重构损失。Fast-ConvCaps是根据脑MR数据集的特点设计的模型，不适用于其他的数据集。实验结果表明，与以前的工作相比，我们的模型有了一定的改进，分类精度提高到了97.57％，训练速度和效率也得到了提高。 第二部分工作主要是提高胶囊网络的性能，扩大其分类应用范围，使得胶囊网络可以在常见的基准数据集上都获得比较好的分类表现。我们基于深度胶囊网络(Deepcaps)进行改进。深度胶囊网络是性能更佳的胶囊网络模型，它提出了基于3D卷积的动态路由过程，并且具有较深的网络结构，在多个基准数据集分类问题上达到了很好的表现。但是该模型存在模型参数量多，训练效率低，卷积层提取特征不充分，以及没有充分利用路由思想等问题。于是，我们基于深度胶囊网络提出了深度残差胶囊网络，进行了如下优化：1)使用一系列挤压激励卷积替换原有的3D卷积，充分提取通道的特征；2)在模型的不同深度之间使用恒等映射相连接，以免网络过深出现退化问题；3)将基于卷积的动态路由模块嵌入到了网络的不同深度，指导浅层特征逐渐向深层特征路由；4)取消了主胶囊层的胶囊合并过程，减少了参数数量，提升模型训练效率。由于前面几点合理的改进，取消合并的模型反而提高了分类准确率；5)使用了连续反卷积层作为解码器，解决了全连接解码器带来的模型参数量过大的问题。实验表明，我们的深度残差胶囊网络在常见基准数据集如MNIST，F-MNIST，CIFAR10，SVHN都具有比较优良的分类准确率，尤其是在CIFAR10数据集上。不仅如此，模型的参数量减少，训练效率也获得了提高。 收起