深度学习NN、CNN、RNN、和DNN你了解吗?

吴恩达(Andrew Ng),英文名Andrew Y.Ng,华裔美国人,斯坦福大学计算机科学系和电子工程系副教授,人工智能实验室主任。职业:计算机科学家,毕业院校:University of California,Berkeley。吴恩达主要成就在机器学习和人工智能领域,是人工智能和机器学习领域国际上最权威的学者之一。吴恩达也是在线教育平台Coursera联合创始人(with Daphne Koller)。

2014年5月16日,吴恩达加入百度,担任百度公司首席科学家,负责百度研究院的领导工作,尤其是Baidu Brain计划

2017年10月,吴恩达将出任Woebot公司新任董事长,该公司拥有一款同名聊天机器人。

接下来就简单聊聊标准神经网络(NN)、卷积神经网络(CNN)、循环神经网络(RNN)和深度神经网络(DNN)。

标准神经网络(NN),深度学习本质上是神经网络,各种神经网络的基础就是NN, 一个经典的神经网络图如下图所示,这是一个包含三个层次的神经网络,红色的是输入层,绿色的是输出层,紫色的是中间层(也叫隐藏层)。输入层有3个输入单元,隐藏层有4个单元,输出层有2个单元。

卷积神经网络(CNN),专门解决图像问题的,可用把它看作特征提取层,最大的利用了图像的局部信息,将局部特征拼接起来,从而得到整幅图的特征,类似于通过拼图来还原图像。下图为最知名的卷积神经网络LeNet-5,主要是用来辨识手写数字(MNIST数据库)。

深度学习NN、CNN、RNN、和DNN你了解吗?

 

卷积神经网络(CNN),专门解决图像问题的,可用把它看作特征提取层,最大的利用了图像的局部信息,将局部特征拼接起来,从而得到整幅图的特征,类似于通过拼图来还原图像。下图为最知名的卷积神经网络LeNet-5,主要是用来辨识手写数字(MNIST数据库)。

深度学习NN、CNN、RNN、和DNN你了解吗?

 

循环神经网络(RNN),专门解决时间序列问题的,用来提取时间序列信息,放在特征提取层(如CNN)之后,其最重要的特征是具有时间”记忆”的功能

深度学习NN、CNN、RNN、和DNN你了解吗?

 

深度神经网络(DNN),当隐藏层多于2时称为深度,DNN与NN主要的区别在于把sigmoid函数替换成了ReLU,下图为具有2个隐藏层的深度神经网络。

深度学习NN、CNN、RNN、和DNN你了解吗?

 

不管是NN、CNN、RNN、DNN,在实际应用中都会混合着使用,这也给我们对深度学习有了更多的想象空间

点赞