首页 > 安全资讯 >

用python抓取oj题目(2)——Sqlalchemy将数据存到数据库

12-04-02

  上一篇http://www.2cto.com/kf/201204/125926.html用BS分析好界面元素之后,将我们需要的信息放到一个info的list里面给返回来出来,方便期间,info包括这些东西## """ return 12 infos## 1.title 2.li...

  上一篇http://www.2cto.com/kf/201204/125926.html 用BS分析好界面元素之后,将我们需要的信息放到一个info的list里面给返回来出来,方便期间,info包括这些东西
##        """ return 12 infos
##        1.title 2.limit des 3.problem des 4.input 5.output
##        6.sample input 7.sample output 8.hint 9.author
##        10.source 11.recommend 12.imgages
##        the last element is a list of images """

  info的最后一个元素是一个图片的list。
  现在那,有了这些个信息,就需要把他们存到数据库里了。额,想了一下,图片的地址就不存来,直接把图片下载下来,然后通过html来引用就好了。所以,需要记录info里面的前11条信息,以及1个题号。
  先上代码(需要导入的东西忘了粘了from sqlalchemy import *        from sqlalchemy.orm import * ):
 1 def store(start, end, url='http://acm.hdu.edu.cn/showproblem.php?pid='):
 2     engine = create_engine("mysql://root:duoduo@localhost:3306/test?charset=utf8", encoding="utf-8", echo=True)
 3     metadata = MetaData()
 4     hdoj_table = Table('hdoj', metadata,
 5             Column('problem_id', Integer, primary_key=True),
 6             Column('title', String(255), nullable=False),
 7             Column('limit_description', String(255), nullable=False),
 8             Column('problem_description', Text, nullable=False),
 9             Column('input', Text, nullable=False),
10             Column('output', Text, nullable=False),
11             Column('sample_input', Text, nullable=False),
12             Column('sample_output', Text, nullable=False),
13             Column('hint', Text, nullable=True),
14             Column('author', String(40), nullable=True),
15             Column('source', Text, nullable=True),
16             Column('recommend', String(255), nullable=True),
17             )
18
19     class Hdoj(object):
20         def __init__(self, problem_id, title, limit_description, problem_description, input, output, sample_input, sample_output, hint, author, source, recommend):                       
21             self.problem_id = problem_id
22             self.title = title
23             self.limit_description = limit_description
24             self.problem_description = problem_description
25             self.input = input
26             self.output = output
27             self.sample_input = sample_input
28             self.sample_output = sample_output
29             self.hint = hint
30             self.author = author
31             self.source = source
32             self.recommend = recommend
33        
34         def __repr__(self):
35             return "<Hdoj('%s')>" % (self, title)
36    
37     metadata.create_all(engine)
38    
39     mapper(Hdoj, hdoj_table)
40    
41     Session = sessionmaker(autoflush=True, bind=engine)
42    
43     session = Session()
44    
45     data = []
46     images = []
47     for i in range(start, end):
48         problem_id = str(i)
49         info = catch(url + problem_id)
50         if info[2] == 'None':
51             continue
52         data.append(Hdoj(problem_id, info[0], info[1], info[2], info[3], info[4], info[5], info[6], info[7], info[8], info[9], info[10]))
53         images.append(info[-1])
54        
55            
56     length = len(data)
57     for i in range(length):
58         try:
59             session.add(data[i])
60             session.flush()
61             print 'adding'
62         except Exception as e:
63             #print 'exception'
64             #print e
65             session.rollback()
66             pass
67     return images
 

  解释:
 1 def store(start, end, url='http://acm.hdu.edu.cn/showproblem.php?pid='):
    start和end是开始到结束的题号,例如我想把1000~2000题都给存下来,那么就store(1000,2000)就好了,url就是之前分析过的默认题目前缀。

 2     engine = create_engine("mysql://root:123@localhost:3306/test?charset=utf8", encoding="utf-8", echo=True)
    sqlalchemy里面的,sqlalchemy那就像是一个抽象出来的数据库基类一样的东西,你只需要建立一个数据库的引擎,然后就可以在这个数据库上操作,具体的数据库的一些建表插入操作都不用你来操心了,非常方便。例如,我这个引擎是mysql的,用户名为root,密码123,字符集utf8,echo是为了显示一下sqlalchemy到底干了什么,所以设定为True,当然正式发布的时候需要改成False。
 1     metadata = MetaData()
 2     hdoj_table = Table('hdoj', metadata,
 3             Column('problem_id', Integer, primary_key=True),
 4             Column('title', String(255), nullable=False),
 5             Column('limit_description', String(255), nullable=False),
 6             Column('problem_description', Text, nullable=False),
 7             Column('input', Text, nullable=False),
 8             Column('output', Text, nullable=False),
 9             Column('sample_input', Text, nullable=False),
10             Column('sample_output', Text, nullable=False),
11             Column('hint', Text, nullable=True),
12             Column('author', String(40), nullable=True),
13             Column('source', Text, nullable=True),
14             Column('recommend', String(255), nullable=True),
15             )

  metadata是神马我不是很了解,(元数据??),总之先记下来用着,然后就是新建一个表,每个oj一张表,所以,就有了上面这2~15行,单词描述的比较明显,不解释了就。
 1 class Hdoj(object):
 2         def __init__(self, problem_id, title, limit_description, problem_description, input, output, sample_input, sample_output, hint, author, source, recommend):                       
 3             self.problem_id = problem_id
 4             self.title = title
 5             self.limit_description = limit_description
 6             self.problem_description = problem_description
 7             self.input = input
 8             self.output = output
 9             self.sample_input = sample_input
10             self.sample_output = sample_output
11             self.hint = hint
12             self.author = author
13             self.source = source
14             self.recommend = recommend
15        
16         def __repr__(self):
17             return "<Hdoj('%s')>" % (self, title)
18    
19     metadata.create_all(engine)
20    
21     mapper(Hdoj, hdoj_table)

  接下来新建一个Hdoj的类,并且讲这个类与刚刚建的数据表做好映射。
  1~14行就是Hdoj了
  19、20行里面,是sqlalchemy的东西了,19行是真正的建立引擎,20行是将类与的数据库的表做映射。
  接下来是存储:
 1     Session = sessionmaker(autoflush=True, bind=engine)
 2    
 3     session = Session()
 4    
 5     data = []
 6     images = []
 7     for i in range(start, end):
 8         problem_id = str(i)
 9         info = catch(url + problem_id)
10         if info[2] == 'None':
11             continue
12         data.append(Hdoj(problem_id, info[0], info[1], info[2], info[3], info[4], info[5], info[6], info[7], info[8], info[9], info[10]))
13         images.append(info[-1])
14        
15            
16     length = len(data)
17     for i in range(length):
18         try:
19             session.add(data[i])
20             session.flush()
21             print 'adding'
22         except Exception as e:
23             #print 'exception'
24             #print e
25             session.rollback()
26             pass
27     return images
 

  session这个东西,个人的理解就是一次链接,在这儿一个session就是python和数据库的一次链接,然后我们对这个session进行一系列操作,存储啊添加啊神马的,注意,只要session没有flush(),操作都是在缓存里面进行的,查文档发现commit()是提交的一个函数,它里面是会调用flush()的。
 1     Session = sessionmaker(autoflush=True, bind=engine) 
   用sessionmaker建立一个Session,绑定了之前建立的引擎。
 3     session = Session()   
  建立一个Session(你用sessionmaker建立的特殊的一个链接)的对象。
  5~13都是添加对象
 8         problem_id = str(i) 
 9         info = catch(url + problem_id)
  用之前写好的catch函数抓取需要的信息,存到info里面,注意url变了,这样来进行题目的遍历。
10         if info[2] == 'None':
11             continue
  这两行是防止神马的,防止数据库加入没有的题目,比如杭电的题目就到4186,如果store(10000,10010),会把着些没有的url给存到数据库里面,这不是我们想要的,如果没有这个题目的话,让他默默的失败,进行下一个链接。
 
 5     data = []
 6     images = [] 
12         data.append(Hdoj(problem_id, info[0], info[1], info[2], info[3], info[4], info[5], info[6], info[7], info[8], info[9], info[10]))
13         images.append(info[-1])
  data是我真正想存到数据库里面的信息,images则是不想存到里面的图片信息,分开分开。
 1     length = len(data)
 2     for i in range(length):
 3         try:
 4             session.add(data[i])
 5             session.flush()
 6             print 'adding'
 7         except Exception as e:
 8             #print 'exception'
 9             #print e
10             session.rollback()
11             pass
12     return images
 

  这几行是最重要,这是真正把数据放到数据库里的。
  首先要说明为什马要用异常,我的主键用的是题号啊,第一次store(1000,1120)的时候一般是不会错的,如果第二次我想store(1100,1200),数据库会告诉我主键重复,不能添加,额,这个当时纠结了好久,各种查,无果,学长告诉我说你可以抓异常啊,弱弱的说一句,我这还真是第一次用异常,没想到介么好用、、
  然后是rollback(),rollback像他的名字一样,回滚。session在进行一次链接的时候,每条数据和数据库链接在一起,直到等到rollback它才进行下一条数据的链接(这都是我自己感觉的,如果不对啊话@我下下,学习中),额、怎么说那,举个例子吧,如果说我存store(1055,1070),在1056题,4行添加数据,5行想要更新缓存,写入数据库的时候出现异常了,假设没有rollback这个函数,仅仅是pass的话,session着个叫做链接的东西依然把python和数据库里面的1056进行链接,而不会向下走,结果就是下面的14条数据继续异常,而且给的异常都是第1056题目的主键重复,就是说在循环继续后,数据库并没有断开和1056题的链接,依然尝试把1056题的数据加进来。(这些是真的啊,就不回去实验截图了,一会儿还要上课)
  信息要一条一条的存,包不准那一条就会有异常。虽然说session有个addAll()函数,但是如果里面有一条数据出了异常,如果用我第10行的处理机制,那么那一条异常数据后面的所有数据全部都不能添加了。
  由于不想把图片存到数据库里面,把它直接return出去了,新写一个函数把图片存到本地。
  就是用python处理文件的那一套,代码:
 1 def download_img(url, default_url_head='http://acm.hdu.edu.cn/data/images/', default_file_head='/home/duoduo/images/', pro_file_head='hdoj'):
 2     filename = url.split('/')[-1]
 3     url_head = default_url_head
 4     file_head = default_file_head
 5    
 6     url_path = url_head + filename
 7     #print url_path
 8     file_path = file_head + pro_file_head + '/' + filename
 9     #print file_path
10     try:
11         open_img = urllib2.urlopen(url_path)
12         img = open_img.read()
13         img_file = open(file_path, 'wb')
14         img_file.write(img)
15         img_file.close()
16         print 'downloading images from:' + url_path
17     except:
18         print 'HTTP Error 404: Not Found'
19         pass

  第2~9行就是把url和本地的路径进行一些处理
  10~19行下载,依然要抓异常,因为有些图本身就挂了,打不开,会弹出404异常
  13~15就是文件的读写操作,把图片信息存起来来。
  
  存储就到这里了,然后包一下,做一个start函数,把上面的东西都给装进来:
 1 def start(begin, end):
 2     if(end < begin):
 3         print '输入有误,请检查您的输入。'
 4         return None
 5
 6     default_group_num = 50
 7     groups = (end - begin) / default_group_num
 8    
 9     for i in range(groups):
10         group_start = i * default_group_num + begin
11         group_end = (i + 1) * default_group_num + begin
12         images_list = store(group_start, group_end)
13         len_img_list = len(images_list)
14         for i in range(len_img_list):                       
15             len_img = len(images_list[i])
16             for j in range(len_img):                   
17                 download_img(images_list[i][j])
18
19     if (end - begin) >= 0 :
20         last_group_start = groups * default_group_num + begin
21         images_list = store(last_group_start, end + 1)
22         len_img_list = len(images_list)
23         for i in range(len_img_list):                       
24             len_img = len(images_list[i])
25             for j in range(len_img):                   
26                 download_img(images_list[i][j])

 6     default_group_num = 50
  默认一次存多少数据,我怕一次存太多,内存受不了,或者是等了10来分钟结果中途崩了,还要从头来,麻烦。
 7     groups = (end - begin) / default_group_num
  groups以及一下的for循环就是做分组处理的。
  python抓数据,存数据就彻底ok了,下一步就是用django显示看看是否正确,django的静态文件这次是深刻体会了,上课去先,晚上或者明天在写下一篇吧。  

 

摘自  duoduo3_69
 
相关文章
最新文章
热点推荐