plot36 · 代码 1 · 图 0 · 笔记 1 · 代码库专题
GSA数据下载_qtransc与AI提需求
代码库整理的专题,README 见原始目录。
GSA数据下载_qtransc与AI提需求(自动生成占位图)
图源:(自动生成占位图)
分析代码
1 个源码文件,按目录顺序;本机绝对路径已替换为 ~。 代码可复制,但需要按自己的数据改路径与参数。
01_qtransc_batch_download.sh
#!/usr/bin/env bash
# ============================================================
# GSA(国家基因库)FASTQ 批量下载脚本 — 基于 qtransc 工具
#
# 来源: 生信技能树《还有比ascp更快地下载fastq的工具吗?飞一般的速度!》
# 原文: https://mp.weixin.qq.com/s/j38B6yOZ5_CNvfSThC2RNQ
# 蒸馏整理: hz-bioinfo-codes / 04_数据下载与备份 / 5.2
#
# 前置: 已安装 qtransc(安装方法见同目录 02_README.md)
#
# 用法:
# 1. 准备 id.txt,每行一个 CRR 样本号
# (从 https://ngdc.cncb.ac.cn/gsa/browse/<CRA> 页面或
# https://qtp.cncb.ac.cn/qtrans/v2/file?path=/gsa2/<CRA> 文件浏览器获取)
# 2. 修改下方 CONFIG 的三个变量
# 3. bash 01_qtransc_batch_download.sh # 生成 down.sh 并预览
# 4. nohup bash down.sh 1>down.log 2>&1 & # 后台投递
# 5. qtransc # 随时查看下载进度
# ============================================================
# ---------------- CONFIG ----------------
CRA="CRA008977" # GSA 子数据集 accession(改成自己的)
OUT_DIR="/nas1/zhangj/project/CRA008977" # 下载目标目录(改成自己的)
ID_FILE="id.txt" # 样本 CRR 号列表,每行一个
# ----------------------------------------
mkdir -p "${OUT_DIR}"
# 生成下载命令
# GSA 路径规律: /gsa2/<CRA>/<CRR>/<CRR>_f1.fastq.gz + <CRR>_r2.fastq.gz(+ <CRR>_sta.xml)
# ⚠️ 不同提交的文件命名不统一(有的写作 r1.fq.gz / r2.fq.gz),
# 投递前务必先去 qtransc 文件浏览器核对真实文件名!
cat "${ID_FILE}" | while read -r ID
do
[ -z "${ID}" ] && continue
echo "qtransc download /gsa2/${CRA}/${ID}/${ID}_f1.fastq.gz ${OUT_DIR}/"
echo "qtransc download /gsa2/${CRA}/${ID}/${ID}_r2.fastq.gz ${OUT_DIR}/"
done > down.sh
echo "=== 已生成 down.sh,共 $(wc -l < down.sh) 条命令,预览前 5 条 ==="
head -5 down.sh
echo ""
echo "=== 投递: nohup bash down.sh 1>down.log 2>&1 & ==="
echo "=== 查进度: qtransc ==="
echo "=== 完成后: 从 GSA 页面下载 md5 文件,cd ${OUT_DIR} && md5sum -c md5.txt ==="