【学术】将吴恩达的第一个深度神经网络应用于泰坦尼克生存数据集
时间:2022-05-03
本文章向大家介绍【学术】将吴恩达的第一个深度神经网络应用于泰坦尼克生存数据集,主要内容包括1.下载“深度神经网络应用程序”和来自Coursera中心的“dnn_utils_v2.py”文件,并将其保存在本地、2. 下载kaggle泰坦尼克生存数据集,并将其保存在与“数据集”文件夹相同的位置。、3.打开“深度神经网络应用程序”笔记本。、4.加载泰坦尼克生存数据集。、5.预先处理数据集。、关键要点:、基本概念、基础应用、原理机制和需要注意的事项等,并结合实例形式分析了其使用技巧,希望通过本文能帮助到大家理解应用这部分内容。
这篇文章包括了神经网络在kaggle泰坦尼克生存数据集上的应用程序。它帮助读者加深他们对神经网络的理解,而不是简单地执行吴恩达代码。泰坦尼克生存数据集就是可以随意使用的一个例子。
- Github repo上的代码地址: https://github.com/jaza10/AppliedNeuralNetworkTitanicSurvival
1.下载“深度神经网络应用程序”和来自Coursera中心的“dnn_utils_v2.py”文件,并将其保存在本地
- Github repo不包含deeplearning.ai提供的代码。请从Coursera深度学习专业化课程中学习。所需的材料在第4周的编程作业中。
课程地址:https://www.coursera.org/learn/neural-networks-deep-learning
下载Coursera中心的“深度神经网络应用程序v3”并点击“打开”
下载dnn_app_utils_v2.py文件
2. 下载kaggle泰坦尼克生存数据集,并将其保存在与“数据集”文件夹相同的位置。
- 泰坦尼克生存数据集地址:https://www.kaggle.com/c/titanic/data
- 为方便起见,我已经在Github repo中包含了数据集。
3.打开“深度神经网络应用程序”笔记本。
- 你可以安全地删除所有其他单元格,除了输入和L-Layer_model单元格;
- 运行两个单元格。
4.加载泰坦尼克生存数据集。
5.预先处理数据集。
- 以等级为基础来计算乘客年龄–该想法来自Jose Portilla极力推荐的Udemy课程“数据科学与机器学习训练营的Python”,它属于逻辑回归的一个分支;
- 课程地址:https://www.udemy.com/python-for-data-science-and-machine-learning-bootcamp/learn/v4/overview
- 从名字中提取乘客头衔 – 我遵循曼努埃尔(Manuel)伟大而简单的文章–从名字中提取头衔;
- 文章地址:https://www.kaggle.com/manuelatadvice/feature-engineering-titles
- 列出乘客序号、客舱和名字;
- 伪编码分类变量的性别,登船卡和头衔;
- 衡量年龄和票价–特征扩展帮助梯度下降算法收敛更快,参阅scikit-learn文档或Github repo。
scikit-学习文档地址:http://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.StandardScaler.html
预先处理数据看起来是这样的:
训练集包含11个特征,为神经网络的评估做好准备
6.应用神经网络.
得到变量X和y,然后转置以适应神经网络结构。
from sklearn.model_selectionimport train_test_split
X= train.drop('Survived', axis=1)
y= train['Survived']
X_tr, X_te, y_tr, y_te= train_test_split(X, y, test_size=0.2)
# Transpose your data
X_tr_T= X_tr.T
X_te_T= X_te.T
y_tr_T= y_tr.T.values.reshape(1,y_tr.shape[0])
y_te_T= y_te.T.values.reshape(1,y_te.shape[0])
根据特性的数量选择第一层的维度。在这种情况下,第一个维度是11。然后选择尽可能多的隐藏层。
### CONSTANTS ###
layers_dims= [11,25,25,25,25,25,10,1]# 7-layer model
parameters= L_layer_model(X_tr_T, y_tr_T, layers_dims, num_iterations= 2500, print_cost= True)
# Calculate accuracy on the training set
pred_train= predict(X_tr_T, y_tr_T, parameters)
# Calculate accuracy on the test set
pred_test= predict(X_te_T, y_te_T, parameters)
第一次尝试获得85%的训练和82%的测试精度
预先处理测试数据。通过X的正向传播和训练神经网络的参数生成预测。
# Load test data
test= pd.read_csv('datasets/titanic_test.csv')
# Preprocess test data
# Prepare X to generate predictions
X= test.drop(['PassengerId','Master'], axis=1)
# Transpose X to fit neural network architecture
X_tr_T= X.T
# Calculate predictions through forward propagation with the parameters
# obtained through fitting the neural net to the training data
probas, caches= L_model_forward(X_tr_T, parameters)
# Get classes from predictions
p= np.zeros((1,X_tr_T.shape[1]))
for iin range(0, probas.shape[1]):
if probas[0,i] >0.5:
p[0,i]= 1
else:
p[0,i]= 0
# Generate the predictions file
pIds= pd.DataFrame(data=test['PassengerId'].astype(int), columns=['PassengerId'], dtype=int)
preds= pd.DataFrame(data=p.T,columns=['Survived'], dtype=int)
final_prediction= pd.concat([pIds, preds], axis=1)
final_prediction.to_csv('titanic_survival_predictions.csv', index=False)
最后一步:生成测试数据的预测
将生成的预测保存为csv文件,然后将文件提交给kaggle。这一预测将使你跻身于参与者的前30%。
提交预测文件会使你进入前三名,并帮助你适应kaggle竞赛
你已经将神经网络应用于你自己的数据集了。现在我鼓励你使用网络中的迭代次数和层数。在泰坦尼克号生存数据库上应用的神经网络大概有些矫枉过正。
关键要点:
- 从Coursera中心下载“应用深度学习”和“dnn_utils_v2”jupyter notebook,并在局部环境中运行;
- 相应地预先处理数据;
- 调换X和Y变量,以便拥有一个“示例特征”的训练矩阵;
- 调整第一个图层的维度以匹配特征的数量;
- 训练神经网络并保存生成的参数;
- 通过测试数据的正向传播和之前保存的神经网络参数,生成对测试集的预测。
- Python量子力学计算模拟以及数据可视化
- (26) 剖析包装类 (上) / 计算机程序的思维逻辑
- (25) 异常 (下) / 计算机程序的思维逻辑
- (24) 异常 (上) / 计算机程序的思维逻辑
- Python3.6新特性官方文档中文版
- (23) 枚举的本质 / 计算机程序的思维逻辑
- (22) 代码的组织机制 / 计算机程序的思维逻辑
- Python开发微信公众号后台(系列二)
- (21) 内部类的本质 / 计算机程序的思维逻辑
- (20) 为什么要有抽象类? / 计算机程序的思维逻辑
- Python云计算框架:Openstack源码分析之RabbitMQ(一)
- (38) 剖析ArrayList / 计算机程序的思维逻辑
- 破解验证,让爬取更随心所欲!
- Visual Studio Code v0.9.1 发布
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- laravel框架中控制器的创建和使用方法分析
- php 使用expat方式解析xml文件操作示例
- laravel利用中间件做防非法登录和权限控制示例
- laravel框架中表单请求类型和CSRF防护实例分析
- Yii框架getter与setter方法功能与用法分析
- laravel框架中视图的基本使用方法分析
- laravel5 Eloquent 实现事务方式
- Laravel 微信小程序后端搭建步骤详解
- Laravel使用swoole实现websocket主动消息推送的方法介绍
- Laravel框架Eloquent ORM删除数据操作示例
- PHP常用函数之base64图片上传功能详解
- laravel-admin 实现在指定的相册下添加照片
- Laravel框架Eloquent ORM修改数据操作示例
- PHP常用函数之格式化时间操作示例
- 在phpstudy集成环境下的nginx服务器下配置url重写