不！我真的很懶惰，還是交給 python 抓成交量吧！

研究生找資料常常都會遇到一個問題，就是資料來源本身不連續，就要自己手動抓取處理，但這樣對一個像我一樣懶惰的人來說，一直重複著相同動作是要了研究生的命。

我的論文研究有一部份要抓取大盤（加權指數）日成交量的數據，在證交所網站上是以月為單位下載。而我需要遠到 1997 年的資料，這樣我必須下載 175 次，然後再做至少 175 次的資料合併！不！我真的很懶惰，還是交給 python 吧！

以下就是順手寫的小程式抓取資料：
class ggm(年度,儲存檔名)：

• 年度：都是以最新往前到指定的年度為止，包含該年度
• 儲存檔名：是指最後資料輸出成 csv 檔的檔名

例如：

ggm(1997,'2010-1997-Data')

跑完就會出現 '2010-1997-Data.csv' 檔案，裡面就有相關的大盤日成交量資料。

有需要的就請參考以下程式吧：

	#!/usr/bin/env python
	# -*- coding: utf-8 -*-
	# 抓大盤日成交量
	# By Toomore
	from datetime import datetime, timedelta
	import urllib2, logging, csv, re
	class ggm(object):
	def __init__(self,year,savef):
	starttime = 0
	daterange = datetime.today()
	f = open('%s.csv' % savef,'wt')
	writer = csv.writer(f)
	while 1:
	if daterange.year <= year:
	break
	else:
	daterange = datetime.today() - timedelta(days = 30 * starttime)
	for i in self.fetch_data(daterange):
	if self.ckinv(i):
	ti = []
	for ii in range(len(i)):
	i[ii] = i[ii].replace(',','')
	i[ii] = i[ii].replace(' ','')
	ti.append(i[ii])
	print ti
	writer.writerow(tuple(ti))
	starttime += 1
	f.close()
	def fetch_data(self, nowdatetime):
	""" Fetch data from twse.com.tw
	return list.
	"""
	url = "http://www.twse.com.tw/ch/trading/exchange/FMTQIK/FMTQIK2.php?STK_NO=&myear=%(year)d&mmon=%(mon)02d&type=csv" % {'year': nowdatetime.year, 'mon': nowdatetime.month}
	logging.info(url)
	cc = urllib2.urlopen(url)
	#print cc.info().headers
	csv_read = csv.reader(cc)
	return csv_read
	def ckinv(self,oo):
	""" check the value is date or not """
	pattern = re.compile(r"[0-9]{2}/[0-9]{2}/[0-9]{2}")
	b = re.search(pattern, oo[0])
	try:
	b.group()
	return True
	except:
	return False

view raw getm hosted with ❤ by GitHub

不過我還是要說啦！東西做出來就是我賺到了，老闆念我都在處理技術的問題，但我就是喜歡這樣一次抓完的爽度，我就是不喜歡一筆一筆慢慢來，所以 ... 繼續懶惰！