Dataverseから画像データをまとめて取得する

***.jpeg (image/jpeg) **** bytes.
***.jpeg (image/jpeg) skipped because the total size of the download bundle exceeded the limit of ** bytes.
***.jpeg (image/jpeg) skipped because the total size of the download bundle exceeded the limit of ** bytes.
...

https://dataverse.harvard.edu/dataverse/[dataverseのid]

curl -X GET https://dataverse.harvard.edu/api/search?=q=*\&subtree=[特定のdataverseのid]\&type=file\&key=[APIトークン] > [保存先のファイル名].json

import re,json

# fileの情報一覧の読み込み
with open("filelist.json","r") as f:
	filelist = json.load(f)

# 特定のデータセットを指定するパタン
# 今回はDOIで指定する
PTNDOI = re.compile(r"[データセットを指定するDOI]")
# 欲しいfileの種類を指定するパタン
PTNTYPE = re.compile(r"[fileのtype，e.g. 拡張子]")

# 必要なfile一覧の生成
targetlist = []
for item in filelist:
	if PTNDOI.search(item['dataset_citation']) is not None:
		if PTNTYPE.search(item['file_type']) is not None:
			targetlist.append((item['name'],item['url']))

import os, urllib.request

# 出力先の指定
OUTPURDIR = [出力先のディレクトリ]

# fileのダウンロード
for item in targetlist:
	outputfilepath = os.path.join(OUTPUTDIR,item[0])
	# 既にファイルが存在する場合は保存しない
	if not os.path.exists(outputfilepath):
		urllib.request.urlretrieve(item[1],outputfilepath)