RNA-Seq数据用aspera高效批量下载(万事开头难)
学徒和学员已经陆续出师,是时候把生信技能树的舞台交给后辈了!
下面是《2019年中秋节广州站》学员的分享
学完了生信技能树的转录组课程,是时候实战一波了,我选择的是 NCBI数据集是SRP033333
- Description KPC (Comparing mutant-p53 expressing cells to knockdown cells) Total Samples 6
下载数据
由于是EBI数据库,用wget下载速度太慢,Jimmy大神强烈建议用aspera工具下载,于是参考生信技能树教程代码,首先需要熟悉GEO和SRA数据库:
然后参考:使用ebi数据库直接下载fastq测序数据 , 需要自行配置好,然后去EBI里面搜索到的 fq.txt 路径文件。使用conda安装aspera
conda create -n download
conda activate download
conda install -y -c hcc aspera-cli
conda install -y -c bioconda sra-tools
which ascp
## 一定要搞清楚你的软件被conda安装在哪
ls -lh ~/miniconda3/etc/asperaweb_id_dsa.openssh
我用EBI主页搜索SRR号搜索到项目链接,下载fastq或sra数据,这里就直接下载fq数据。
单个样本fq下载
找到单个样本的链接很容易:
(base) vip31@tpm2-WD12:~/RNA_Seq/sra$ ascp -QT -l 300m -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR103/003/SRR1039773/SRR1039773_1.fastq.gz ~/RNA_Seq/sra/
批量下载(需先获得fq数据地址列表)
需要进行如下操作:
这样就拿到了如下所示的全部下载链接,可以使用循环进行批量下载啦:
- 批量循环代码,需要注意格式,具体参考代码
cat filereport_read_run_PRJNA229893_tsv.txt | while read id; do ascp -QT -l 300m -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@$id ~/RNA_Seq/sra/; done
- 数据较多等待时间比较长,可以nohup后台下载,方法总比困难多
nohup cat filereport_read_run_PRJNA229893_tsv.txt | while read id; do ascp -QT -l 300m -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@$id ~/RNA_Seq/sra/; done &
数据下载完成
万里长征第一步终于搞定,看教程很容易,自己操作困难重重,还好有jimmy老师团队倾心相助。
- 判断标签是否包含class的方法
- vue.js使用props在父子组件之间传参
- JS中使用正则表达式替换对象里的大小写
- JS中const、var 和let的区别
- 动态计算rem的js代码
- 阻止浏览器冒泡事件,兼容firefox和ie
- JS使用循环按指定倍数分割数组组成新的数组的方法
- HttpServletRequest.getParameter()出现乱码现象解决方案
- 海量数据迁移之外部表加载(100天)
- Vue.js实现一个SPA登录页面的过程
- vue实现侧边栏手风琴效果
- 关于vue的使用计算属性VS使用计算方法的问题
- 如何在vue中使用sass
- vue -- v-cloak解决刷新或者加载出现闪烁(显示变量)
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法