<filename>scrapy4eng/test/test.py
# -*- coding:utf-8 -*-
import urllib
import urllib2

#enable_proxy = True
#proxy_handler = urllib2.ProxyHandler({"http" : 'http://127.0.0.1:1087'})
#null_proxy_handler = urllib2.ProxyHandler({})
#if enable_proxy:
#    opener = urllib2.build_opener(proxy_handler)
#else:
#    opener = urllib2.build_opener(null_proxy_handler)
#urllib2.install_opener(opener)


#httpHandler = urllib2.HTTPHandler(debuglevel=1)
#httpsHandler = urllib2.HTTPSHandler(debuglevel=1)
#opener = urllib2.build_opener(httpHandler, httpsHandler)
#urllib2.install_opener(opener)

url = "http://test.yygx.org/index.php"
#url = "http://www.baidu.com"
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
values = {"username":"*******","password":"******"}
headers = { 'User-Agent' : user_agent }
data = urllib.urlencode(values)
request = urllib2.Request(url, data, headers)
response = urllib2.urlopen(request)
page = response.read()
print page

#requset = urllib2.Request('http://www.xxxxx.com')
#try:
#    urllib2.urlopen(requset)
#except urllib2.URLError, e:
#    print e.reason


import cookielib
#声明一个CookieJar对象实例来保存cookie
cookie = cookielib.CookieJar()
#利用urllib2库的HTTPCookieProcessor对象来创建cookie处理器
handler=urllib2.HTTPCookieProcessor(cookie)
#通过handler来构建opener
opener = urllib2.build_opener(handler)
#此处的open方法同urllib2的urlopen方法，也可以传入request
response = opener.open('http://www.baidu.com')
for item in cookie:
    print 'Name = '+item.name
    print 'Value = '+item.value


#设置保存cookie的文件，同级目录下的cookie.txt
filename = 'cookie.txt'
#声明一个MozillaCookieJar对象实例来保存cookie，之后写入文件
cookie = cookielib.MozillaCookieJar(filename)
#利用urllib2库的HTTPCookieProcessor对象来创建cookie处理器
handler = urllib2.HTTPCookieProcessor(cookie)
#通过handler来构建opener
opener = urllib2.build_opener(handler)
#创建一个请求，原理同urllib2的urlopen
response = opener.open("http://www.baidu.com")
#保存cookie到文件
cookie.save(ignore_discard=True, ignore_expires=True)


#导入re模块
import re

# 将正则表达式编译成Pattern对象，注意hello前面的r的意思是“原生字符串”
pattern = re.compile(r'hello')

# 使用re.match匹配文本，获得匹配结果，无法匹配时将返回None
result1 = re.match(pattern,'hello')
result2 = re.match(pattern,'helloo CQC!')
result3 = re.match(pattern,'helo CQC!')
result4 = re.match(pattern,'hello CQC!')

#如果1匹配成功
if result1:
    # 使用Match获得分组信息
    print result1.group()
else:
    print '1匹配失败！'

#如果2匹配成功
if result2:
    # 使用Match获得分组信息
    print result2.group()
else:
    print '2匹配失败！'

#如果3匹配成功
if result3:
    # 使用Match获得分组信息
    print result3.group()
else:
    print '3匹配失败！'

#如果4匹配成功
if result4:
    # 使用Match获得分组信息
    print result4.group()
else:
    print '4匹配失败！'


# 匹配如下内容：单词+空格+单词+任意字符
# m = re.match(r'(\w+) (\w+)(?P.*)', 'hello world!')
m = re.match(r'(\w+) (\w+)(\w?.*)', 'hello world!')

print "m.string:", m.string
print "m.re:", m.re
print "m.pos:", m.pos
print "m.endpos:", m.endpos
print "m.lastindex:", m.lastindex
print "m.lastgroup:", m.lastgroup
print "m.group():", m.group()
print "m.group(1,2):", m.group(1, 2)
print "m.groups():", m.groups()
print "m.groupdict():", m.groupdict()
print "m.start(2):", m.start(2)
print "m.end(2):", m.end(2)
print "m.span(2):", m.span(2)
print r"m.expand(r'\g \g\g'):", m.expand(r'\2 \1\3')
<filename>scrapy4eng/test/test.py
# -*- coding:utf-8 -*-
import urllib
import urllib2

#enable_proxy = True
#proxy_handler = urllib2.ProxyHandler({"http" : 'http://127.0.0.1:1087'})
#null_proxy_handler = urllib2.ProxyHandler({})
#if enable_proxy:
#    opener = urllib2.build_opener(proxy_handler)
#else:
#    opener = urllib2.build_opener(null_proxy_handler)
#urllib2.install_opener(opener)


#httpHandler = urllib2.HTTPHandler(debuglevel=1)
#httpsHandler = urllib2.HTTPSHandler(debuglevel=1)
#opener = urllib2.build_opener(httpHandler, httpsHandler)
#urllib2.install_opener(opener)

url = "http://test.yygx.org/index.php"
#url = "http://www.baidu.com"
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
values = {"username":"*******","password":"******"}
headers = { 'User-Agent' : user_agent }
data = urllib.urlencode(values)
request = urllib2.Request(url, data, headers)
response = urllib2.urlopen(request)
page = response.read()
print page

#requset = urllib2.Request('http://www.xxxxx.com')
#try:
#    urllib2.urlopen(requset)
#except urllib2.URLError, e:
#    print e.reason


import cookielib
#声明一个CookieJar对象实例来保存cookie
cookie = cookielib.CookieJar()
#利用urllib2库的HTTPCookieProcessor对象来创建cookie处理器
handler=urllib2.HTTPCookieProcessor(cookie)
#通过handler来构建opener
opener = urllib2.build_opener(handler)
#此处的open方法同urllib2的urlopen方法，也可以传入request
response = opener.open('http://www.baidu.com')
for item in cookie:
    print 'Name = '+item.name
    print 'Value = '+item.value


#设置保存cookie的文件，同级目录下的cookie.txt
filename = 'cookie.txt'
#声明一个MozillaCookieJar对象实例来保存cookie，之后写入文件
cookie = cookielib.MozillaCookieJar(filename)
#利用urllib2库的HTTPCookieProcessor对象来创建cookie处理器
handler = urllib2.HTTPCookieProcessor(cookie)
#通过handler来构建opener
opener = urllib2.build_opener(handler)
#创建一个请求，原理同urllib2的urlopen
response = opener.open("http://www.baidu.com")
#保存cookie到文件
cookie.save(ignore_discard=True, ignore_expires=True)


#导入re模块
import re

# 将正则表达式编译成Pattern对象，注意hello前面的r的意思是“原生字符串”
pattern = re.compile(r'hello')

# 使用re.match匹配文本，获得匹配结果，无法匹配时将返回None
result1 = re.match(pattern,'hello')
result2 = re.match(pattern,'helloo CQC!')
result3 = re.match(pattern,'helo CQC!')
result4 = re.match(pattern,'hello CQC!')

#如果1匹配成功
if result1:
    # 使用Match获得分组信息
    print result1.group()
else:
    print '1匹配失败！'

#如果2匹配成功
if result2:
    # 使用Match获得分组信息
    print result2.group()
else:
    print '2匹配失败！'

#如果3匹配成功
if result3:
    # 使用Match获得分组信息
    print result3.group()
else:
    print '3匹配失败！'

#如果4匹配成功
if result4:
    # 使用Match获得分组信息
    print result4.group()
else:
    print '4匹配失败！'


# 匹配如下内容：单词+空格+单词+任意字符
# m = re.match(r'(\w+) (\w+)(?P.*)', 'hello world!')
m = re.match(r'(\w+) (\w+)(\w?.*)', 'hello world!')

print "m.string:", m.string
print "m.re:", m.re
print "m.pos:", m.pos
print "m.endpos:", m.endpos
print "m.lastindex:", m.lastindex
print "m.lastgroup:", m.lastgroup
print "m.group():", m.group()
print "m.group(1,2):", m.group(1, 2)
print "m.groups():", m.groups()
print "m.groupdict():", m.groupdict()
print "m.start(2):", m.start(2)
print "m.end(2):", m.end(2)
print "m.span(2):", m.span(2)
print r"m.expand(r'\g \g\g'):", m.expand(r'\2 \1\3')
# -*- coding:utf-8 -*- #enable_proxy = True #proxy_handler = urllib2.ProxyHandler({"http" : 'http://127.0.0.1:1087'}) #null_proxy_handler = urllib2.ProxyHandler({}) #if enable_proxy: #    opener = urllib2.build_opener(proxy_handler) #else: #    opener = urllib2.build_opener(null_proxy_handler) #urllib2.install_opener(opener) #httpHandler = urllib2.HTTPHandler(debuglevel=1) #httpsHandler = urllib2.HTTPSHandler(debuglevel=1) #opener = urllib2.build_opener(httpHandler, httpsHandler) #urllib2.install_opener(opener) #url = "http://www.baidu.com" #requset = urllib2.Request('http://www.xxxxx.com') #try: #    urllib2.urlopen(requset) #except urllib2.URLError, e: #    print e.reason #声明一个CookieJar对象实例来保存cookie #利用urllib2库的HTTPCookieProcessor对象来创建cookie处理器 #通过handler来构建opener #此处的open方法同urllib2的urlopen方法，也可以传入request #设置保存cookie的文件，同级目录下的cookie.txt #声明一个MozillaCookieJar对象实例来保存cookie，之后写入文件 #利用urllib2库的HTTPCookieProcessor对象来创建cookie处理器 #通过handler来构建opener #创建一个请求，原理同urllib2的urlopen #保存cookie到文件 #导入re模块 # 将正则表达式编译成Pattern对象，注意hello前面的r的意思是“原生字符串” # 使用re.match匹配文本，获得匹配结果，无法匹配时将返回None #如果1匹配成功 # 使用Match获得分组信息 #如果2匹配成功 # 使用Match获得分组信息 #如果3匹配成功 # 使用Match获得分组信息 #如果4匹配成功 # 使用Match获得分组信息 # 匹配如下内容：单词+空格+单词+任意字符 # m = re.match(r'(\w+) (\w+)(?P.*)', 'hello world!')