From 62a546ebcac5c0c59532f8cf38c6f98293283cb9 Mon Sep 17 00:00:00 2001 From: Big Bear <2337256919@qq.com> Date: Sat, 18 Feb 2017 23:47:31 +0800 Subject: [PATCH 1/5] update daily test script --- backup/README | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/backup/README b/backup/README index 5a9d68f..08dd59e 100644 --- a/backup/README +++ b/backup/README @@ -1 +1 @@ -stores database backup files. +stores database backup files,and daily test script From 409b4497ee415c127e98971ccc50431d3c4b953e Mon Sep 17 00:00:00 2001 From: Big Bear <2337256919@qq.com> Date: Sat, 18 Feb 2017 23:50:46 +0800 Subject: [PATCH 2/5] Add daily test script --- backup/advance.py | 22 +++++++++ backup/hanio.py | 16 ++++++ backup/hello.py | 1 + backup/learning.py | 106 ++++++++++++++++++++++++++++++++++++++++ backup/map&reduce.py | 36 ++++++++++++++ backup/triangles.py | 15 ++++++ backup/weight-height.py | 15 ++++++ 7 files changed, 211 insertions(+) create mode 100644 backup/advance.py create mode 100644 backup/hanio.py create mode 100644 backup/hello.py create mode 100644 backup/learning.py create mode 100644 backup/map&reduce.py create mode 100644 backup/triangles.py create mode 100644 backup/weight-height.py diff --git a/backup/advance.py b/backup/advance.py new file mode 100644 index 0000000..89593e0 --- /dev/null +++ b/backup/advance.py @@ -0,0 +1,22 @@ +# -*- coding: utf-8 -*- +#列表生成器 +L=list(range(1,11)) +L2=list(range(10)) +print(L) +print(L2) +#切片 +print(L[0:3]) +print(L[1:5]) +print(L[-2:]) +print(L[-3:-1]) +print(L[::2]) +#迭代 +for x in L: + print(x) +for word in 'ABCDE': + print(word) +#判断是否为课迭代对象 +from collections import Iterable +print(isinstance('abc',Iterable)) +print(isinstance([1,2,3],Iterable)) +print(isinstance(123,Iterable)) diff --git a/backup/hanio.py b/backup/hanio.py new file mode 100644 index 0000000..5d780e7 --- /dev/null +++ b/backup/hanio.py @@ -0,0 +1,16 @@ +def move(n, a, b, c): + if n==1: + print(a,' --> ',c) + else: + move(n-1,a,c,b) + print(a,' --> ',c) + move(n-1,b,a,c) +# 期待输出: +# A --> C +# A --> B +# C --> B +# A --> C +# B --> A +# B --> C +# A --> C +move(3, 'A', 'B', 'C') \ No newline at end of file diff --git a/backup/hello.py b/backup/hello.py new file mode 100644 index 0000000..94397f7 --- /dev/null +++ b/backup/hello.py @@ -0,0 +1 @@ +print('Hello,World!') \ No newline at end of file diff --git a/backup/learning.py b/backup/learning.py new file mode 100644 index 0000000..9cef8f1 --- /dev/null +++ b/backup/learning.py @@ -0,0 +1,106 @@ +#!/usr/bin/env python3 +# -*- coding: utf-8 -*- + +r''' +learning.py + +A Python 3 tutorial from http://www.liaoxuefeng.com + +Usage: + +python3 learning.py +''' + +import sys + +def check_version(): + v = sys.version_info + if v.major == 3 and v.minor >= 4: + return True + print('Your current python is %d.%d. Please use Python 3.4.' % (v.major, v.minor)) + return False + +if not check_version(): + exit(1) + +import os, io, json, subprocess, tempfile +from urllib import parse +from wsgiref.simple_server import make_server + +EXEC = sys.executable +PORT = 39093 +HOST = 'local.liaoxuefeng.com:%d' % PORT +TEMP = tempfile.mkdtemp(suffix='_py', prefix='learn_python_') +INDEX = 0 + +def main(): + httpd = make_server('127.0.0.1', PORT, application) + print('Ready for Python code on port %d...' % PORT) + httpd.serve_forever() + +def get_name(): + global INDEX + INDEX = INDEX + 1 + return 'test_%d' % INDEX + +def write_py(name, code): + fpath = os.path.join(TEMP, '%s.py' % name) + with open(fpath, 'w', encoding='utf-8') as f: + f.write(code) + print('Code wrote to: %s' % fpath) + return fpath + +def decode(s): + try: + return s.decode('utf-8') + except UnicodeDecodeError: + return s.decode('gbk') + +def application(environ, start_response): + host = environ.get('HTTP_HOST') + method = environ.get('REQUEST_METHOD') + path = environ.get('PATH_INFO') + if method == 'GET' and path == '/': + start_response('200 OK', [('Content-Type', 'text/html')]) + return [b'Learning Python

'] + if method == 'GET' and path == '/env': + start_response('200 OK', [('Content-Type', 'text/html')]) + L = [b'ENV'] + for k, v in environ.items(): + p = '

%s = %s' % (k, str(v)) + L.append(p.encode('utf-8')) + L.append(b'') + return L + if host != HOST or method != 'POST' or path != '/run' or not environ.get('CONTENT_TYPE', '').lower().startswith('application/x-www-form-urlencoded'): + start_response('400 Bad Request', [('Content-Type', 'application/json')]) + return [b'{"error":"bad_request"}'] + s = environ['wsgi.input'].read(int(environ['CONTENT_LENGTH'])) + qs = parse.parse_qs(s.decode('utf-8')) + if not 'code' in qs: + start_response('400 Bad Request', [('Content-Type', 'application/json')]) + return [b'{"error":"invalid_params"}'] + name = qs['name'][0] if 'name' in qs else get_name() + code = qs['code'][0] + headers = [('Content-Type', 'application/json')] + origin = environ.get('HTTP_ORIGIN', '') + if origin.find('.liaoxuefeng.com') == -1: + start_response('400 Bad Request', [('Content-Type', 'application/json')]) + return [b'{"error":"invalid_origin"}'] + headers.append(('Access-Control-Allow-Origin', origin)) + start_response('200 OK', headers) + r = dict() + try: + fpath = write_py(name, code) + print('Execute: %s %s' % (EXEC, fpath)) + r['output'] = decode(subprocess.check_output([EXEC, fpath], stderr=subprocess.STDOUT, timeout=5)) + except subprocess.CalledProcessError as e: + r = dict(error='Exception', output=decode(e.output)) + except subprocess.TimeoutExpired as e: + r = dict(error='Timeout', output='执行超时') + except subprocess.CalledProcessError as e: + r = dict(error='Error', output='执行错误') + print('Execute done.') + return [json.dumps(r).encode('utf-8')] + +if __name__ == '__main__': + main() \ No newline at end of file diff --git a/backup/map&reduce.py b/backup/map&reduce.py new file mode 100644 index 0000000..3a36679 --- /dev/null +++ b/backup/map&reduce.py @@ -0,0 +1,36 @@ +# -*- coding: utf-8 -*- +#高阶函数map +def f(x): + return x*x +r=map(f,[1,2,3,4,5,6,7,8,9]) +#得到的r为Iterator +print(list(r)) + + +def normalize(name): + return name[:1].upper()+name[1:].lower() +L1 = ['adam', 'LISA', 'barT'] +L2 = list(map(normalize, L1)) +print(L2) + + +#高阶函数reduce +from functools import reduce + +def prod(L): + return reduce(lambda x,y:x*y,L) +print('3 * 5 * 7 * 9 =', prod([3, 5, 7, 9])) + + +#综合测试 + +m=input('请输入字符串形式的数字：') +def str2float(s): + def char2num(s): + return {'0': 0, '1': 1, '2': 2, '3': 3, '4': 4, '5': 5, '6': 6, '7': 7, '8': 8, '9': 9}[s] + def str2int(s): + return reduce(lambda x, y: x * 10 + y, map(char2num, s)) + num=len(s)-s.rfind('.')-1 + s=s.replace('.','') + return str2int(s)/(10**num) +print('str2float('+m+')=',str2float(m)) \ No newline at end of file diff --git a/backup/triangles.py b/backup/triangles.py new file mode 100644 index 0000000..4be6968 --- /dev/null +++ b/backup/triangles.py @@ -0,0 +1,15 @@ +# -*- coding: utf-8 -*- +def triangles(): + L=[1] + while True: + yield L + L.append(0) + L=[L[i-1]+L[i] for i in range(len(L))] + + +n=0 +for t in triangles(): + print(t) + n+=1 + if n==10: + break \ No newline at end of file diff --git a/backup/weight-height.py b/backup/weight-height.py new file mode 100644 index 0000000..a4e8f32 --- /dev/null +++ b/backup/weight-height.py @@ -0,0 +1,15 @@ +#!/usr/bin/env python3 +h=float(input('please input you height:')) +w=float(input('please input you weight:')) +bmi=w/(h**2) +print('你的BMI值是：%.1f' %bmi) +if bmi>32: + print('过度肥胖') +elif bmi>28: + print('肥胖') +elif bmi>25: + print('过重') +elif bmi>18.5: + print('正常') +else: + print('过轻') \ No newline at end of file From 5022092c2fffb401a1b5049bbca133309d0e588e Mon Sep 17 00:00:00 2001 From: zm <2337256919@qq.com> Date: Tue, 28 Mar 2017 18:06:31 +0800 Subject: [PATCH 3/5] Add spider learn --- backup/filter.py | 6 ++ backup/sorted.py | 15 +++++ baike_spider/__init__.py | 0 baike_spider/html_downloader.py | 14 +++++ baike_spider/html_outputer.py | 28 +++++++++ baike_spider/html_parser.py | 46 ++++++++++++++ baike_spider/output.html | 107 ++++++++++++++++++++++++++++++++ baike_spider/spider_main.py | 49 +++++++++++++++ baike_spider/url_manager.py | 36 +++++++++++ 9 files changed, 301 insertions(+) create mode 100644 backup/filter.py create mode 100644 backup/sorted.py create mode 100755 baike_spider/__init__.py create mode 100755 baike_spider/html_downloader.py create mode 100755 baike_spider/html_outputer.py create mode 100755 baike_spider/html_parser.py create mode 100644 baike_spider/output.html create mode 100755 baike_spider/spider_main.py create mode 100755 baike_spider/url_manager.py diff --git a/backup/filter.py b/backup/filter.py new file mode 100644 index 0000000..348fe45 --- /dev/null +++ b/backup/filter.py @@ -0,0 +1,6 @@ +# -*- coding: utf-8 -*- +def is_palindrome(n): + if str(n)[0]==str(n)[-1]: + return n +output = filter(is_palindrome, range(1, 1000)) +print(list(output)) diff --git a/backup/sorted.py b/backup/sorted.py new file mode 100644 index 0000000..094d16f --- /dev/null +++ b/backup/sorted.py @@ -0,0 +1,15 @@ +# -*- coding: utf-8 -*- + +L = [('Bob', 75), ('Adam', 92), ('Bart', 66), ('Lisa', 88)] + +def by_name(t): + return t[0] + +L2 = sorted(L, key=by_name) +print(L2) + +def by_score(t): + return t[1] + +L3 = sorted(L,key=by_score,reverse=True) +print(L3) diff --git a/baike_spider/__init__.py b/baike_spider/__init__.py new file mode 100755 index 0000000..e69de29 diff --git a/baike_spider/html_downloader.py b/baike_spider/html_downloader.py new file mode 100755 index 0000000..0a09a8f --- /dev/null +++ b/baike_spider/html_downloader.py @@ -0,0 +1,14 @@ +from urllib import request + + +class HtmlDownloader(object): + def download(self, url): + if url is None: + return None + + response = request.urlopen(url) + + if response.getcode() != 200: + return None + + return response.read() \ No newline at end of file diff --git a/baike_spider/html_outputer.py b/baike_spider/html_outputer.py new file mode 100755 index 0000000..71b952f --- /dev/null +++ b/baike_spider/html_outputer.py @@ -0,0 +1,28 @@ +class HtmlOutputer(object): + def __init__(self): + self.datas = [] + + def collect_data(self, data): + if data is None: + return + self.datas.append(data) + + def output_html(self): + # 在windows下新文件的默认编码是gbk，需手动改为utf-8 + fout = open('output.html', 'w', encoding='utf-8') + fout.write('') + fout.write('') + fout.write('') + + for data in self.datas: + fout.write('') + fout.write('' % data['url']) + fout.write('' % data['title']) + fout.write('' % data['summary']) + fout.write('') + + fout.write('
%s%s%s
') + fout.write('') + fout.write('') + + fout.close() diff --git a/baike_spider/html_parser.py b/baike_spider/html_parser.py new file mode 100755 index 0000000..0561114 --- /dev/null +++ b/baike_spider/html_parser.py @@ -0,0 +1,46 @@ +from bs4 import BeautifulSoup +import re +from urllib import parse + + +class HtmlParser(object): + def _get_new_urls(self, page_url, soup): + # 结果存入列表 + new_urls = set() + # 正则匹配：/view/1234.htm + links = soup.find_all('a', href=re.compile(r'/item/+')) + for link in links: + # 获取相对url + new_url = link['href'] + # 拼接为完整url + new_full_url = parse.urljoin(page_url, new_url) + new_urls.add(new_full_url) + + return new_urls + + def _get_new_data(self, page_url, soup): + # 存放数据 + res_data = {} + + # url + res_data['url'] = page_url + + #

Python

+ title_node = soup.find( + 'dd', class_='lemmaWgt-lemmaTitle-title').find('h1') + res_data['title'] = title_node.get_text() + + #
+ summary_node = soup.find('div', class_='lemma-summary') + res_data['summary'] = summary_node.get_text() + + return res_data + + def parse(self, page_url, html_cont): + if page_url is None or html_cont is None: + return + + soup = BeautifulSoup(html_cont, 'html.parser', from_encoding='utf-8') + new_urls = self._get_new_urls(page_url, soup) + new_data = self._get_new_data(page_url, soup) + return new_urls, new_data diff --git a/baike_spider/output.html b/baike_spider/output.html new file mode 100644 index 0000000..0a59533 --- /dev/null +++ b/baike_spider/output.html @@ -0,0 +1,107 @@ +
http://baike.baidu.com/item/PythonPython +Python[1]  +（英国发音：/ˈpaɪθən/ 美国发音：/ˈpaɪθɑːn/）, 是一种面向对象的解释型计算机程序设计语言，由荷兰人Guido van Rossum于1989年发明，第一个公开发行版发行于1991年。Python是纯粹的自由软件， 源代码和解释器CPython遵循 GPL(GNU General Public License)协议[2]  +。Python语法简洁清晰，特色之一是强制用空白符(white space)作为语句缩进。Python具有丰富和强大的库。它常被昵称为胶水语言，能够把用其他语言制作的各种模块（尤其是C/C++）很轻松地联结在一起。常见的一种应用情形是，使用Python快速生成程序的原型（有时甚至是程序的最终界面），然后对其中[3]  +有特别要求的部分，用更合适的语言改写，比如3D游戏中的图形渲染模块，性能要求特别高，就可以用C/C++重写，而后封装为Python可以调用的扩展类库。需要注意的是在您使用扩展类库时可能需要考虑平台问题，某些可能不提供跨平台的实现。 +
http://baike.baidu.com/item/3D%E6%B8%B8%E6%88%8F3D游戏 +3D游戏是使用空间立体计算技术实现操作的游戏。从编程实现角度来说游戏基础模型（游戏的人物，场景，基础地形）是使用三维立体模型实现的，游戏的人物角色控制是使用空间立体编程算法实现的，那么就把这种游戏称作3D游戏。 +
http://baike.baidu.com/item/PyPyPyPy +PyPy是用Python实现的Python解释器。 +
http://baike.baidu.com/item/%E7%A9%BA%E9%97%B4%E6%93%8D%E4%BD%9C空间操作 +本书重在回应所谓“建筑自主性”问题，致力于建筑学自身的探讨与回归。 +
http://baike.baidu.com/item/Python%E6%8A%80%E6%9C%AF%E6%89%8B%E5%86%8CPython技术手册 +《Python技术手册（第2版）》是一本全面介绍有关Python语言和Python程序开发专业知识的参考手册。书中详细介绍了Python开发工具的安装和使用、Python语言的语法结构、Python内置对象、库和模块以及Python与其他语言的扩展和嵌入，并专门介绍了有关Python网络和Web编程的内容和实例。 +
http://baike.baidu.com/item/Unix%20shellunix shell +Unix shell，通常被称作“命令行”，为Unix和类Unix操作系统提供了传统的用户界面。用户通过输入shell所执行的命令，引导计算机的操作。在微软Windows操作系统平台，类似程序是command.com，或者基于Windows NT内核操作系统的cmd.exe。 +
http://baike.baidu.com/item/MySQLdbMySQLdb +MySQL是一个小型关系型数据库管理系统，开发者为瑞典MySQLAB公司。在2008年1月16号被Sun公司收购。目前MySQL被广泛地应用在Internet上的中小型网站中。由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，许多中小型网站为了降低网站总体拥有成本而选择了MySQL作为网站数据库。 +
http://baike.baidu.com/item/%E5%88%86%E5%B8%83%E5%BC%8F%E5%BA%94%E7%94%A8%E7%A8%8B%E5%BA%8F分布式应用程序 +分布式应用程序是指：应用程序分布在不同计算机上，通过网络来共同完成一项任务。通常为服务器/客户端模式。 +
http://baike.baidu.com/item/Wikiwiki +Wiki一词来源于夏威夷语的“wee kee wee kee”, 发音wiki, 原本是“快点快点”的意思，被译为“维基”或“维客”。一种多人协作的写作工具。Wiki站点可以有多人（甚至任何访问者）维护，每个人都可以发表自己的意见，或者对共同的主题进行扩展或者探讨。Wiki也指一种超文本系统。这种超文本系统支持面向社群的协作式写作，同时也包括一组支持这种写作。 +
http://baike.baidu.com/item/%E8%A7%A3%E9%87%8A%E5%99%A8解释器 +解释器（英语：Interpreter），又译为直译器，是一种电脑程序，能够把高级编程语言一行一行直接转译运行。解释器不会一次把整个程序转译出来，只像一位“中间人”，每次运行程序时都要先转成另一种语言再作运行，因此解释器的程序运行速度比较缓慢。它每转译一行程序叙述就立刻运行，然后再转译下一行，再运行，如此不停地进行下去。 +
http://baike.baidu.com/item/keywordsKeywords +Keywords又叫关键词、关键字，其就是一个网站管理者给网站某个页面设定的以便用户通过搜索引擎能搜到本网页的词汇，关键词代表了网站的市场定位。网站的首页关键词至关重要。首页网站关键词代表了网站主题内容，内页和栏目页的关键词一般紧扣页面主题，代表的是当前页面或者栏目内容的主体。 +
http://baike.baidu.com/item/C%E8%AF%AD%E8%A8%80c语言 +C语言是一门通用计算机编程语言，应用广泛。C语言的设计目标是提供一种能以简易的方式编译、处理低级存储器、产生少量的机器码以及不需要任何运行环境支持便能运行的编程语言。尽管C语言提供了许多低级处理的功能，但仍然保持着良好跨平台的特性，以一个标准规格写出的C语言程序可在许多电脑平台上进行编译，甚至包含一些嵌入式处理器（单片机或称MCU）以及超级电脑等作业平台。二十世纪八十年代，为了避免各开发厂商用的C语言语法产生差异，由美国国家标准局为C语言订定了一套完整的国际标准语法，称为ANSI C，作为C语言最初的标准。[1]  + +
http://baike.baidu.com/item/%E6%95%B0%E6%8D%AE%E8%AE%BF%E9%97%AE%E5%B1%82数据访问层 +数据访问层又称为DAL层，有时候也称为是持久层，其功能主要是负责数据库的访问。 +
http://baike.baidu.com/item/%E6%9E%9A%E4%B8%BE%E7%B1%BB%E5%9E%8B枚举类型 +枚举类型在C#或C++,java,VB等一些计算机编程语言中是一种基本数据类型而不是构造数据类型，而在C语言等计算机编程语言中是一种构造数据类型[1]  +。它用于声明一组命名的常数，当一个变量有几种可能的取值时，可以将它定义为枚举类型。枚举可以根据Integer、Long、Short或Byte中的任意一种数据类型来创建一种新型变量。这种变量能设置为已经定义的一组之中的一个，有效地防止用户提供无效值。该变量可使代码更加清晰，因为它可以描述特定的值。 +
http://baike.baidu.com/item/DOSDOS +dos，是磁盘操作系统的缩写，是个人计算机上的一类操作系统。从1981年直到1995年的15年间，磁盘操作系统在IBM PC 兼容机市场中占有举足轻重的地位。而且，若是把部分以DOS为基础的Microsoft Windows版本，如Windows 95、Windows 98和Windows Me等都算进去的话，那么其商业寿命至少可以算到2000年。微软的所有后续版本中，磁盘操作系统仍然被保留着。从1981年MS-DOS1.0直到1995年MS-DOS7.1的15年间，DOS作为微软公司在个人计算机上使用的一个操作系统载体，推出了多个版本。DOS在IBM PC 兼容机市场中占有举足轻重的地位。可以直接操纵管理硬盘的文件，以DOS的形式运行。是一个更久远的操作系统CP/M的翻版。DOS家族包括MS-DOS、PC-DOS、DR-DOS、Free-DOS、PTS-DOS、ROM-DOS、JM-OS等，其中以MS-DOS最为著名，最自由开放的则是Free-DOS。虽然这些系统常被简称为"DOS"，但没有任何一个系统单纯以"DOS"命名（只有一个毫无关连的1960年代IBM大型主机操作系统以此命名）。此外，有几个和DOS无关、在非x86的微计算机系统上运行的磁盘操作系统在名称中也有"DOS"字眼，而且在专门讨论该机器的场合中也会简称为"DOS"（例如：AmigaDOS、AMSDOS、ANDOS、Apple DOS、Atari DOS、Commodore DOS、CSI-DOS、ProDOS、TRS-DOS等），但这些系统和DOS可执行文件以及MS-DOS API并不兼容。微软图形界面操作系统 Windows NT 问世以来，DOS就是一个后台程序的形式出现的。可以通过点击运行-CMD进入运行。[1]  + +
http://baike.baidu.com/item/IronPythonIronPython +IronPython 是一种在 NET 和 Mono 上实现的 Python 语言，由 Jim Hugunin（同时也是 Jython 创造者）所创造。 +
http://baike.baidu.com/item/ForthForth +Forth是六十年代末期，由Charles H. Moore发展出来在天文台使用的电脑自动控制系统及程序设计语言，允许使用者很容易组合系统已有的简单指令，定义成为功能较复杂的高阶指令。由于其结构精简、执行快速、操作方便，广为当代天文学界使用。八十年代以后，有爱用者成立Forth Interest Group在世界各地推广，并陆续在各类计算机上建立Forth系统及标准的语言。 +
http://baike.baidu.com/item/UliwebUliweb +Uliweb[1-2]  +是国人开发的一个开放源代码的网络交流互动平台。 +
http://baike.baidu.com/item/SEOSEO +SEO是由英文Search Engine Optimization缩写而来， 中文意译为“搜索引擎优化”。SEO是指通过站内优化比如网站结构调整、网站内容建设、网站代码优化等以及站外优化，比如网站站外推广、网站品牌建设等，使网站满足搜索引擎收录排名需求，在搜索引擎中提高关键词排名，从而吸引精准用户进入网站，获得免费流量，产生直接销售或品牌推广。 +
http://baike.baidu.com/item/%E5%A4%B4%E6%96%87%E4%BB%B6头文件 +在C语言家族程序中，头文件被大量使用。一般而言，每个C++/C程序通常由头文件(header files)和定义文件(definition files)组成。头文件作为一种包含功能函数、数据接口声明的载体文件，主要用于保存程序的声明(declaration)，而定义文件用于保存程序的实现 (implementation)。 .c就是你写的程序文件。 +
http://baike.baidu.com/item/WindowsWindows操作系统 +Microsoft Windows,是美国微软公司研发的一套操作系统，它问世于1985年，起初仅仅是Microsoft-DOS模拟环境，后续的系统版本由于微软不断的更新升级，不但易用，也慢慢的成为家家户户人们最喜爱的操作系统。Windows采用了图形化模式GUI，比起从前的DOS需要键入指令使用的方式更为人性化。随着电脑硬件和软件的不断升级，微软的Windows也在不断升级，从架构的16位、32位再到64位， 系统版本从最初的Windows 1.0 到大家熟知的Windows 95、Windows 98、Windows ME、Windows 2000、Windows 2003、Windows XP、Windows Vista、Windows 7、Windows 8、Windows 8.1、Windows 10 和 Windows Server服务器企业级操作系统，不断持续更新，微软一直在致力于Windows操作系统的开发和完善。 +
http://baike.baidu.com/item/%E9%A9%B1%E5%8A%A8%E7%A8%8B%E5%BA%8F驱动程序 +驱动程序一般指的是设备驱动程序（Device Driver），是一种可以使计算机和设备通信的特殊程序。相当于硬件的接口，操作系统只有通过这个接口，才能控制硬件设备的工作，假如某设备的驱动程序未能正确安装，便不能正常工作。因此，驱动程序被比作“ 硬件的灵魂”、“硬件的主宰”、和“硬件和系统之间的桥梁”等。 +
http://baike.baidu.com/item/%E5%88%86%E5%8C%BA分区 +分区，指轻工业、重工业、住宅、办公楼及其他房屋在土地使用总平面布置图上的标志；一个区的小区，经济分区，划分成区或组织成区，这个地区仅仅是根据人口数字来分区的。 +
http://baike.baidu.com/item/%E5%A4%96%E9%83%A8%E5%91%BD%E4%BB%A4外部命令 +外部命令实际上是一个DOS应用程序，通过执行存储于外部（盘）的程序完成其功能，能够使用户的操作更加方便和深入。这些外部命令都是以文件的形式存在，Windows系统的DOS外部命令保存在Windows主目录下的"Command"目录中。 +
http://baike.baidu.com/item/%E7%99%BE%E5%BA%A6%E6%90%9C%E8%97%8F百度搜藏 +
http://baike.baidu.com/item/HaskellHaskell +Haskell是一种标准化的、通用纯函数式编程语言，有非限定性语义和强静态类型。它的命名源自美国逻辑学家Haskell Brooks Curry，他在数学逻辑方面的工作使得函数式编程语言有了广泛的基础。在Haskell中，函数是一等公民。作为函数式编程语言，主要控制结构是函数。Haskell语言是1990年在编程语言Miranda的基础上标准化的，并且以λ演算（Lambda-Calculus)为基础发展而来。具有“证明即程序、结论公式即程序类型”的特征。这也是Haskell语言以希腊字母「λ」（Lambda）作为自己标志的原因。Haskell语言的最主要的执行环境是GHC。 +
http://baike.baidu.com/item/%E8%83%96%E5%AE%A2%E6%88%B7%E7%AB%AF胖客户端 +胖客户端(Rich or Thick Client)，是相对于“瘦客户端”(Thin Client)（基于Web的应用程序）而言的，它是在客户机器上安装配置的一个功能丰富的交互式的用户界面，例如Oracle、DB2数据库的客户端管理工具。 +
http://baike.baidu.com/item/%E8%BE%85%E5%8A%A9%E7%B3%BB%E7%BB%9F辅助系统 +
http://baike.baidu.com/item/PyScripterPyScripter +PyScripter是一个使用Delphi开发的开源的Python集成开发环境（IDE），发布于MIT协议之下。 +
http://baike.baidu.com/item/%E8%AE%BE%E5%A4%87%E7%AE%A1%E7%90%86设备管理 +设备管理是以设备为研究对象，追求设备综合效率，应用一系列理论、方法，通过一系列技术、经济、组织措施，对设备的物质运动和价值运动进行全过程（从规划、设计、选型、购置、安装、验收、使用、保养、维修、改造、更新直至报废）的科学型管理。 +
http://baike.baidu.com/item/SERPSERP +SERP是Search Engine Results Page的首字母缩写，即搜索引擎结果页面。 +
http://baike.baidu.com/item/web2.0web2.0 +Web2.0 是相对于Web1.0 的新的时代。指的是一个利用Web的平台，由用户主导而生成的内容互联网产品模式，为了区别传统由网站雇员主导生成的内容而定义为第二代互联网，即web2.0，是一个新的时代。[1]  + +
http://baike.baidu.com/item/%E5%AE%9A%E4%B9%89%E6%96%87%E4%BB%B6定义文件 +
http://baike.baidu.com/item/%E8%87%AA%E7%94%B1%E8%BD%AF%E4%BB%B6自由软件 +根据自由软件基金会的定义，自由软件是一种可以不受限制地自由使用、复制、研究、修改和分发的软件。可以买卖。这方面的不受限制正是自由软件最重要的本质。要将软件以自由软件的形式发表，通常是让软件以“自由软件授权协议”的方式被分配发布，以及公开的软件原始码。 自由软件对全世界的商业发展有巨大的贡献。自由软件使成千上万的人的日常工作更加便利，为了满足用户的各种应用需要，它以一种不可思议的速度发展。自由软件是信息社会下以开放创新、共同创新为特点的创新2.0模式在软件开发与应用领域的典型体现。主要许可证有GPL和BSD许可证两种。 +
http://baike.baidu.com/item/%E6%B5%AE%E7%82%B9%E5%9E%8B浮点型 +在计算机系统的发展过程中，曾经提出过多种方法表示实数，但是到目前为止使用最广泛的是浮点表示法。相对于定点数而言，浮点数利用指数使小数点的位置可以根据需要而上下浮动，从而可以灵活地表达更大范围的实数。 +
http://baike.baidu.com/item/%E5%AE%9E%E6%A8%A1%E5%BC%8F实模式 +CPU复位（reset）或加电（power on）的时候以实模式启动，处理器以实模式工作。在实模式下，内存寻址方式和8086相同，由16位段寄存器的内容乘以16（10H）当做段基地址，加上16位偏移地址形成20位的物理地址，最大寻址空间1MB，最大分段64KB。可以使用32位指令。32位的x86 CPU用做高速的8086。在实模式下，所有的段都是可以读、写和可执行的。286架构导入保护模式，允许硬件等级的存储器保护。然而要使用这些新的特色，需要额外先前不需要的软件指令。由于x86微处理机主要的设计规格，是能够完全地向前兼容于针对先前所有x86芯片所撰写的软件，因此286芯片的开机是处于'实模式'—也就是关闭新的存储器保护特性的模式，所以可以运行针对旧的微处理器所设计的软件。到现在为止，即使最新的x86 CPU一开始在电源打开处于实模式下，也能够运行针对先前任何芯片所撰写的软件.[1]  + +
http://baike.baidu.com/item/%E9%A2%84%E7%BC%96%E8%AF%91预编译 +预编译又称为预处理，是做些代码文本的替换工作。是整个编译过程的最先做的工作。 +
http://baike.baidu.com/item/%E6%90%9C%E7%B4%A2%E5%BC%95%E6%93%8E%E8%9C%98%E8%9B%9B网络爬虫 +网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 +
http://baike.baidu.com/item/%E7%A4%BE%E4%BC%9A%E7%BD%91%E7%BB%9C社会网络 +社会网络（social network）是一种基于“网络”（节点之间的相互连接）而非“群体”（明确的边界和秩序）的社会组织形式，也是西方社会学从 1960 年代兴起的一种分析视角。随着工业化、城市化的进行和新的通讯技术的兴起，社会呈现越来越网络化的趋势，发生“社会网络革命”（social network revolution），与移动革命（mobile revolution）、互联网革命（internet revolution）并列为新时期影响人类社会的三大革命.[1]  + +
http://baike.baidu.com/item/%E8%84%9A%E6%9C%AC%E8%AF%AD%E8%A8%80脚本语言 +脚本语言又被称为扩建的语言，或者动态语言，是一种编程语言，用来控制软件应用程序，脚本通常以文本（如ASCII)保存，只在被调用时进行解释或编译。 +
http://baike.baidu.com/item/wikiwiki +Wiki一词来源于夏威夷语的“wee kee wee kee”, 发音wiki, 原本是“快点快点”的意思，被译为“维基”或“维客”。一种多人协作的写作工具。Wiki站点可以有多人（甚至任何访问者）维护，每个人都可以发表自己的意见，或者对共同的主题进行扩展或者探讨。Wiki也指一种超文本系统。这种超文本系统支持面向社群的协作式写作，同时也包括一组支持这种写作。 +
http://baike.baidu.com/item/64%E4%BD%8D64位 +在计算机架构中，64位整数、内存地址或其他数据单元，是指它们最高达到64位（8字节）宽。此外，64位CPU和算术逻辑单元架构是以寄存器、内存总线或者数据总线的大小为基准。 64 位CPU在1960年代，便已存在于超级计算机，且早在1990年代，就有以 RISC 为基础的工作站和服务器。2003年才以 x86-64 和 64 位 PowerPC 处理器架构的形式引入到（在此之前是 32 位）个人计算机领域的主流。 +
http://baike.baidu.com/item/ColdFusionColdFusion +ColdFusion（直译：冷聚变），是一个动态Web服务器，其CFML（ColdFusion Markup Language）是一种程序设计语言，类似现在的JavaServer Page里的JSTL（JSP Standard Tag Lib），从1995年开始开发，其设计思想被一些人认为非常先进，被一些语言所借鉴。 +
http://baike.baidu.com/item/%E6%95%B0%E6%8D%AE%E5%8D%95%E5%85%83数据单元 +数据单元是网络信息传输的基本单位。一般网络连接不允许传送任意大小的数据包，而是采用分组技术将一个数据分成若干个很小的数据包，并给每个小数据包加上一些关于此数据包的属性信息。协议数据单元，是指在分层网络结构，例如在开放式系统互联（OSI）模型中，在传输系统的每一层都将建立协议数据单元（PDU）。 +
http://baike.baidu.com/item/BACKUPBackup +Backup是华为公司为用户精心打造的一款手机数据备份软件，可以方便快速地在本地或云端备份华为手机中的个人数据、应用程序、多媒体数据等，系统升级、刷机、换机安全无忧。 +
http://baike.baidu.com/item/%E4%BC%81%E4%B8%9A%E8%B5%84%E4%BA%A7企业资产 +资产指企业拥有或控制的能以货币计量的经济资源，包括各种财产、债权和其他权利。根据不同的标准，企业的资产有多种不同的分类。如根据流动性，可以将资产分为流动资产和非流动资产。流动资产是指现金以及可以合理地预期将在一年或者超过一年的营业周期内变现、出售或者耗用的资产，主要包括货币资金、短期投资、应收及预付款项、存货、待摊费用等项目。非流动资产又称长期资产，是指企业旨在生产经营中长期使用或者为某种目的而长期持有的资产，包括长期投资（是指不准备在一年内变现的投资，包括长期债权投资、长期股权投资和其他长期投资）、固定资产、无形资产和其他资产（如长期待摊费用）。资产按其流动性（即资产的变现能力和支付能力）划分为：流动资产、固定资产、长期资产、无形资产、递延资产、生物资产和其他资产等。 +
http://baike.baidu.com/item/%E7%88%AC%E8%A1%8C%E5%99%A8爬行器 +爬行器（Spider）指在 Web 上漫游，寻找要添加进搜索引擎索引中的列表。爬行器有时也称为 Web 爬行榜（Webcrawler）或机器人。针对有机列表优化页面也就是为了吸引爬行器的注意。 +
http://baike.baidu.com/item/%E4%BA%A4%E6%8D%A2%E5%88%86%E5%8C%BA交换分区 +SWAP就是LINUX下的虚拟内存分区,它的作用是在物理内存使用完之后,将磁盘空间(也就是SWAP分区)虚拟成内存来使用.它和Windows系统的交换文件作用类似，但是它是一段连续的磁盘空间，并且对用户不可见。 +
http://baike.baidu.com/item/%E5%9E%82%E7%9B%B4%E5%88%86%E5%8C%BA垂直分区 +
http://baike.baidu.com/item/%E4%B8%A5%E6%8F%B4%E6%9C%9D严援朝 +严援朝，1951年10月26日生，毕业于华中工学院，高级工程师。 CCDOS的作者，MSOA的作者，长城0520CH微机的主要设计者。曾荣获国家科技进步二等奖。主持开发长城0520显示卡，主持设计人民大会堂电子表决系统参与创办四通利方，掌控最大的中文网站新浪网技术总架构。 +
\ No newline at end of file diff --git a/baike_spider/spider_main.py b/baike_spider/spider_main.py new file mode 100755 index 0000000..ee3c4f1 --- /dev/null +++ b/baike_spider/spider_main.py @@ -0,0 +1,49 @@ +# 加载url管理器、下载器、解析器、输出器 +import url_manager, html_downloader, html_parser, html_outputer + + +class SpiderMain(object): + # 初始化各个对象 + def __init__(self): + self.urls = url_manager.UrlManager() + self.downloader = html_downloader.HtmlDownloader() + self.parser = html_parser.HtmlParser() + self.outputer = html_outputer.HtmlOutputer() + + def craw(self, root_url): + # 记录当前爬取的是第几个url + count = 1 + # 将入口url添加进url管理器，这样url管理器就有了待爬取的url,我们就可以启动爬虫的循环 + self.urls.add_new_url(root_url) + # 当url管理器有新的url时，启动循环 + while self.urls.has_new_url(): + try: + # 获取待爬取的url + new_url = self.urls.get_new_url() + # 实时打印爬取数和爬取url + print('craw %s : %s' % (count, new_url)) + # 下载器下载页面 + html_cont = self.downloader.download(new_url) + # 解析器解析url和页面，得到新的url和数据(返回两个值) + new_urls, new_data = self.parser.parse(new_url, html_cont) + # 获得的新的url添加进url管理器 + self.urls.add_new_urls(new_urls) + # 收集数据 + self.outputer.collect_data(new_data) + + # 设置爬取数 + if count == 50: + break + + count = count + 1 + except Exception as e: + print(str(e)) + + # 输出收集好的数据 + self.outputer.output_html() + +if __name__ == '__main__': + # 爬虫入口url + root_url = 'http://baike.baidu.com/item/Python' + obj_spider = SpiderMain() + obj_spider.craw(root_url) diff --git a/baike_spider/url_manager.py b/baike_spider/url_manager.py new file mode 100755 index 0000000..931c62c --- /dev/null +++ b/baike_spider/url_manager.py @@ -0,0 +1,36 @@ +class UrlManager(object): + # 初始化存放新的url列表和爬取过的url列表 + def __init__(self): + self.new_urls = set() + self.old_urls = set() + + # 向url管理器添加一个新的url + def add_new_url(self, url): + # url是否是空 + if url is None: + return + # url是否存在在新的url列表和爬取过的url列表中 + if url not in self.new_urls and url not in self.old_urls: + self.new_urls.add(url) + + # 向url管理器添加新的url(urls是解析器返回的新的url列表) + def add_new_urls(self, urls): + # urls是否是空 + if urls is None or len(urls) == 0: + return + # 逐一添加url + for url in urls: + self.add_new_url(url) + + # url管理器是否有新的待爬取url + def has_new_url(self): + return len(self.new_urls) != 0 + + # 从url管理器中获取新的待爬取url + def get_new_url(self): + # 获取url并从new_urls中移除 + new_url = self.new_urls.pop() + # 添加进已爬取old_urls中 + self.old_urls.add(new_url) + # 返回新的url + return new_url From 34fb5f61c7518da6309df319bbda6bdd1d2f5199 Mon Sep 17 00:00:00 2001 From: Big Bear <2337256919@qq.com> Date: Thu, 27 Apr 2017 11:44:33 +0800 Subject: [PATCH 4/5] Update README.md --- README.md | 11 +---------- 1 file changed, 1 insertion(+), 10 deletions(-) diff --git a/README.md b/README.md index d1130d8..7807ad5 100644 --- a/README.md +++ b/README.md @@ -1,14 +1,5 @@ awesome-python-webapp ===================== - -这是“[小白的Python教程](http://www.liaoxuefeng.com/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000)”中“[实战](http://www.liaoxuefeng.com/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000/001397616003925a3d157284cd24bc0952d6c4a7c9d8c55000)”章的完整网站 + iOS App源码。 - -要查看示例网站运行效果，猛击： - -[http://awesome.liaoxuefeng.com/](http://awesome.liaoxuefeng.com/) - -示例网站由[Sina AppEngine](http://sae.sina.com.cn/)托管。 - -要下载源码，请直接通过Git获取源码。 +个人python入门练习 实战章节的每天的增量源码在分支“day-xx”中。 From e5b2a373c34cf07a3b369293768b88e88aa3245c Mon Sep 17 00:00:00 2001 From: Big Bear <2337256919@qq.com> Date: Thu, 27 Apr 2017 11:48:24 +0800 Subject: [PATCH 5/5] Update README.md --- README.md | 2 ++ 1 file changed, 2 insertions(+) diff --git a/README.md b/README.md index 7807ad5..c622187 100644 --- a/README.md +++ b/README.md @@ -3,3 +3,5 @@ awesome-python-webapp 个人python入门练习 实战章节的每天的增量源码在分支“day-xx”中。 + +backup/中包含python特性测试 spider/为简单python爬虫实现