Python 爬虫原理写简单代码

简单写了个从 Linux命令大全 爬取命令使用方法的代码，可以使用pyinstaller编译为命令行模式的可执行文件，然后设置系统变量，这样学linux命令或者查询linux命令使用方法就可以不用打开网页了。

# -*- coding: utf-8 -*-

# @Time: 2018/9/14 21:42

# @Author: 素还真

# @File: linuxCMD.py

# @SoftWare: PyCharm

import urllib.request

from lxml import etree

import sys

def cmdQuery():

url = 'http://man.linuxde.net/%s'%(sys.argv[1])

r = urllib.request.urlopen(url)

htmlData = r.read()

html = etree.HTML(htmlData)

content = html.xpath('//div[@class="right arc-wrap"]//div[@id="arc-body"]//text()')

endnum=len(content)

for i in range(0,endnum):

print(content[i],"\n")

if __name__=='__main__':

try:

cmdQuery()

except:

print("网络连接无法连接或者命令输入错误.\n Usage:%s %s"%(sys.argv[0],"linux命令名称"),"\n 如:%s ls"%(sys.argv[0]))