【技術部】 Pythonで東証のホームページから売残情報を抽出する 第2回 - Excelファイルの取得

必要なパッケージ

Excelファイルダウンロード部分では以下のパッケージを使用します。

urllib
指定のホームページからソースファイルやExcelファイルを取得するパッケージ

re
正規表現を使用して対象の文字を抽出するパッケージ

サンプルソース

# -*- coding: utf-8 -*-
import urllib
import re

# ① データ取得先
base   = "http://www.jpx.co.jp"
url    = base + "/markets/public/short-selling/"

# ② データ保存先
target = u"/home/"

# ③ HTMLデータ取得
result = urllib.urlopen(url)

# ④ 正規表現
pattern = r'\/(\S+?\.xls)'
text = result.read()
iterator = re.finditer( pattern ,text )

# ファイルリスト処理
for match in iterator:
  file_url = match.group()
  
  # ⑤ URL文字列 分割
  splts = file_url.split("/")
  if splts is None:
    continue
  
  file_name = splts[-1]
  
  # ⑥ データダウンロード
  urllib.urlretrieve( base + file_url, target + file_name )

【説明】
① 東証のホームページのURLです。前半部分はExcelファイルダウンロード時にも使用します。
② Excelファイルの保存先です。
③ urllib を使用してホームページのソースファイルを取得します。
④ re パッケージの正規表現を使用してExcelファイルのURLを取得します。
⑤ ExcelファイルのURLからExcelファイル名を取得します。
⑥ urllib を使用してファイルをダウンロードします。

実行結果

/home/20151102_Short_Positions.xls
/home/20151104_Short_Positions.xls
/home/20151105_Short_Positions.xls
/home/20151106_Short_Positions.xls
/home/20151109_Short_Positions.xls
/home/20151110_Short_Positions.xls
/home/20151111_Short_Positions.xls
/home/20151112_Short_Positions.xls
/home/20151113_Short_Positions.xls
/home/20151116_Short_Positions.xls
/home/20151117_Short_Positions.xls
/home/20151118_Short_Positions.xls
/home/20151119_Short_Positions.xls
/home/20151120_Short_Positions.xls
/home/20151124_Short_Positions.xls
/home/20151125_Short_Positions.xls
/home/20151126_Short_Positions.xls


ホームページからExcelファイルをダウンロードできました。

次回は・・・

Pythonを使用してダウンロードしたExcelファイルから情報を抽出します。

関連記事

【技術部】 Pythonで東証のホームページから売残情報を抽出する 第1回 - 概要説明
【技術部】 Pythonで東証のホームページから売残情報を抽出する 第2回 - Excelファイルの取得