吕雄

# -*- coding: utf-8 -*-
"""
Created on Fri Feb 23 20:19:41 2018

@author: lenovo
"""
import re
import random
import sys
import time
import datetime
import threading
from random import choice
import requests
import bs4


def get_ip():
    """获取代理IP"""
    url = "http://www.xicidaili.com/nn"
    headers = { "Accept":"text/html,application/xhtml+xml,application/xml;",
                "Accept-Encoding":"gzip, deflate, sdch",
                "Accept-Language":"zh-CN,zh;q=0.8,en;q=0.6",
                "Referer":"http://www.xicidaili.com",
                "User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.90 Safari/537.36"
                }
    r = requests.get(url,headers=headers)
    soup = bs4.BeautifulSoup(r.text, 'html.parser')
    data = soup.table.find_all("td")
    ip_compile= re.compile(r'<td>(\d+\.\d+\.\d+\.\d+)</td>')    # 匹配IP
    port_compile = re.compile(r'<td>(\d+)</td>')                # 匹配端口
    ip = re.findall(ip_compile,str(data))       # 获取所有IP
    port = re.findall(port_compile,str(data))   # 获取所有端口
    return [":".join(i) for i in zip(ip,port)]  # 组合IP+端口，如：115.112.88.23:8080


# 设置 user-agent列表，每次请求时，可在此列表中随机挑选一个user-agnet
uas = [
    "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:17.0; Baiduspider-ads) Gecko/17.0 Firefox/17.0",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9b4) Gecko/2008030317 Firefox/3.0b4",
    "Mozilla/5.0 (Windows; U; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727; BIDUBrowser 7.6)",
    "Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko",
    "Mozilla/5.0 (Windows NT 6.3; WOW64; rv:46.0) Gecko/20100101 Firefox/46.0",
    "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.99 Safari/537.36",
    "Mozilla/5.0 (Windows NT 6.3; Win64; x64; Trident/7.0; Touch; LCJB; rv:11.0) like Gecko",
    ]


def get_url(code=0,ips=[]):
    """
        投票
        如果因为代理IP不可用造成投票失败，则会自动换一个代理IP后继续投
    """
    try:
        ip = choice(ips)
    except:
        return False
    else:
        proxies = {
            "http":ip,
        }
        headers2 = {
            "Accept":"*/*",
            "Accept-Encoding":"gzip, deflate, sdch",
            "Accept-Language":"zh-CN,zh;q=0.8,en;q=0.6",
            "Referer":"https://best.zhaopin.com/",
            "User-Agent":choice(uas),
        }
        datas = {'bestid': 11174, 'source': 'best'}
    try:
        hz_url = "https://best.zhaopin.com/API/Vote.ashx"   # 某投票网站的地址，这里不用真实的域名
        hz_r = requests.post(hz_url,headers=headers2,data=datas,proxies=proxies)
    except requests.exceptions.ConnectionError:
        print ('ConnectionError')
        if not ips:
            print ('not ip')
            sys.exit()
        # 删除不可用的代理IP
        if ip in ips:
            ips.remove(ip)
        # 重新请求URL
        get_url(code,ips)
    else:
        date = datetime.datetime.now().strftime('%H:%M:%S')
        print ("code={0},date={1},ip={2},hz_r.text={3},len(ips)={4}".format(code,date,ip,hz_r.text,len(ips)))


ips = []
for i in range(6000):
    # 每隔1000次重新获取一次最新的代理IP，每次可获取最新的100个代理IP
    if i % 1000 == 0:
        ips.extend(get_ip())
    # 启用线程，隔1秒产生一个线程，可控制时间加快投票速度 ,time.sleep的最小单位是毫秒
    t1 = threading.Thread(target=get_url,args=(i,ips))
    t1.start()
    time.sleep(1)

原文链接：https://www.cnblogs.com/zhouxinfei/p/7861966.html

# -*- coding: utf-8 -*-
"""
Created on Fri Feb 23 12:31:27 2018

@author: lenovo
"""

from splinter.browser import Browser
from time import sleep
import traceback

driver = webdriver.Chrome('C:\Program Files (x86)\Google\Chrome\Application\chromedriver.exe')

class Buy_Tickets(object):
    # 定义实例属性，初始化
    def __init__(self, username, passwd, order, passengers, dtime, starts, ends):
        self.username = username
        self.passwd = passwd
        # 车次，0代表所有车次，依次从上到下，1代表所有车次，依次类推
        self.order = order
        # 乘客名
        self.passengers = passengers
        # 起始地和终点
        self.starts = starts
        self.ends = ends
        # 日期
        self.dtime = dtime
        YW =['硬卧'] 
        self.YW = YW
        self.login_url = 'https://kyfw.12306.cn/otn/login/init'
        self.initMy_url = 'https://kyfw.12306.cn/otn/index/initMy12306'
        self.ticket_url = 'https://kyfw.12306.cn/otn/leftTicket/init'
        self.driver_name = 'chrome'
        self.executable_path = 'C:\Program Files (x86)\Google\Chrome\Application\chromedriver.exe'
    # 登录功能实现
    def login(self):
        self.driver.visit(self.login_url)
        self.driver.fill('loginUserDTO.user_name', self.username)
        # sleep(1)
        self.driver.fill('userDTO.password', self.passwd)
        # sleep(1)
        print('请输入验证码...')
        while True:
            if self.driver.url != self.initMy_url:
                sleep(1)
            else:
                break
    # 买票功能实现
    def start_buy(self):
        self.driver = Browser(driver_name=self.driver_name, executable_path=self.executable_path)
        #窗口大小的操作
        self.driver.driver.set_window_size(700, 500)
        self.login()
        self.driver.visit(self.ticket_url)
        try:
            print('开始购票...')
            # 加载查询信息
            self.driver.cookies.add({"_jc_save_fromStation": self.starts})
            self.driver.cookies.add({"_jc_save_toStation": self.ends})
            self.driver.cookies.add({"_jc_save_fromDate": self.dtime})
            self.driver.reload()
            count = 0
            if self.order != 0:
                while self.driver.url == self.ticket_url:
                    self.driver.find_by_text('查询').click()
                    count += 1
                    print('第%d次点击查询...' % count)
                    try:
                        self.driver.find_by_text('预订')[self.order-1].click()
                        sleep(1.5)
                    except Exception as e:
                        print(e)
                        print('预订失败...')
                        continue
            else:
                while self.driver.url == self.ticket_url:
                    self.driver.find_by_text('查询').click()
                    count += 1
                    print('第%d次点击查询...' % count)
                    try:
                        for i in self.driver.find_by_text('预订'):
                            i.click()
                            sleep(1)
                    except Exception as e:
                        print(e)
                        print('预订失败...')
                        continue
            print('开始预订...')
            sleep(1)
            print('开始选择用户...')
            for p in self.passengers:

                self.driver.find_by_text(p).last.click()
                sleep(0.5)
                if p[-1] == ')':
                    self.driver.find_by_id('dialog_xsertcj_ok').click()
            print('提交订单...')
            sleep(1)
            self.driver.find_by_text(self.YW).click()
            sleep(1)
            self.driver.find_by_id('submitOrder_id').click()
            sleep(2)
            print('确认选座...')
            self.driver.find_by_id('qr_submit_id').click()
            print('预订成功...')
        except Exception as e:
            print(e)


if __name__ == '__main__':
    # 用户名
    username = 'LVXIONG06'
    # 密码
    password = '******''
    # 车次选择，0代表所有车次
    order = 0
    # 乘客名，比如passengers = ['吕雄']
    # 学生票需注明，注明方式为：passengers = ['吕雄(学生)']
    passengers = ['吕雄(学生)']
    # 日期，格式为：'2018-03-10'
    dtime = '2018-03-10'
    # 出发地(需填写cookie值)
    starts = '%u5BA3%u5A01%2CXWM' #宣威
    # 目的地(需填写cookie值)
    ends = '%u5357%u660C%2CNCG' #北京

    Buy_Tickets(username, password, order, passengers, dtime, starts, ends).start_buy()
    

- WZ无座
- YZ硬座
- RZ软座
- YW硬卧
- SRRB动卧
- RW软卧
- GR高软
- ZE二等座
- ZY一等座
- TZ商务座
- %u5317%u4EAC%2CBJP北京
- %u5BA3%u5A01%2CXWM宣威
- %u6606%u660E%2CKMM昆明
- %u5357%u660C%2CNCG南昌
- value="1"成人票
- value="2"儿童票
- value="3"学生票
- value="4"残军票

##
- 火车票始终点cookie查询：
- console--javascript:alert(document.cookie)
##

原文链接：http://www.itongji.cn/cms/article/articledetails?articleid=6845

前言

爬虫与反爬虫，是一个很不阳光的行业。

这里说的不阳光，有两个含义。

在自然语言处理中常遇坎坷，既爱又恨，是想换些花样，捣鼓捣鼓，便偶来奇想，依葫芦画瓢，码码代码，找找手感。搁置C处理，转向R文本挖掘，很好奇诗词歌赋遇到程序代码究竟会摩擦出怎样的火花？

过程：

1、检索千家诗并保存到本地桌面，格式编码为ANSI
2、以作者韩翃的《同题仙游观》为模板进行换词

思想： 先对所有千家诗按照词性分词形成词料库，后根据给定诗文模板，从词料库中选取TF<50的单字、二字或三字词语匹配词性以替换 不足之处：

1、R语言自动根据词性拼组形成的“古诗”，只注词性相配，无韵律可言，自然更不具文学性，不过生成的某些词语也比较有意思，详见生成图。下期考虑结合诗文平仄词韵继续优化代码；
2、分词后排序依据为词频TF大小，分词不尽合理，后期将试用TFIDF（词频*逆文档词频）

#代码作诗的主意并非是我原创。清华大学在2016年就推出过作诗机器人薇薇，宣称可以通过图灵测试#https://zhuanlan.zhihu.com/p/25446637#

代码如下：

fileName <- "C:\\Users\\lenovo\\Desktop\\千家诗.txt"
SC <- readChar(fileName, file.info(fileName)$size)
substr(SC, 1000, 1100)
library(jiebaR)
cc = worker()
analysis <- as.data.frame(table(cc[SC]))
analysis <- analysis[order(-analysis$freq),]
names(analysis) <- c("word","freq")
analysis$word <- as.character(analysis$word)
head(analysis)
library(wordcloud2)
wordcloud2(analysis)
wordcloud2(analysis[analysis$freq>1& analysis$freq < 50 & nchar(analysis$word) == 1,])
wordcloud2(analysis[analysis$freq>1& analysis$freq < 50 & nchar(analysis$word) == 2,])
wordcloud2(analysis[analysis$freq>1& analysis$freq < 50 & nchar(analysis$word) == 3,])
gushi <- "仙台初见五城楼，风物凄凄宿雨收。山色遥连秦树晚，砧声近报汉宫秋。疏松影落空坛静，细草春香小洞幽。何用别寻方外去，人间亦自有丹邱。"
tagger <- worker("tag")
gushi_2 <- tagger <= gushi
gushi_2
example <- subset(analysis, freq >1 & nchar(word) <4 & freq < 50)
cixing <- attributes(gushi_2)$names
example_2 <- tagger <= example$word
write_songci <- function(m){
  set.seed(m)
  empty <- ""
  for (i in 1:length(gushi_2)){
    temp_file <- example_2[attributes(example_2)$name == cixing[i]]
    temp_file <- temp_file[nchar(temp_file) == nchar(gushi_2[i])]
    empty <- paste0(empty, sample(temp_file,1))
  }
  result <- paste0(substr(empty, 1,7), ",", substr(empty,8,14),"。",
                   substr(empty, 15,21), ",", substr(empty, 22,28),"。",
                   substr(empty, 29,35), ",", substr(empty, 36,42),"。",
                   substr(empty, 43,49), ",", substr(empty, 50,56),"。")

}
lapply(1:6, write_gushi)

[[1]]
[1] "海气扶持日幽州,俸钱寻常朱庆余。世事送春歌古调,歌韵风急宋之问。老大投明镜垣遵,入云峰押元韵圆。对此他何所似覆,居处暗沽酒云金。"

[[2]]
[1] "风色停船日飞上,院落有感花里逢。匈奴梅柳新雨后,秋光古木望明月。繁华生烟霞樽宫,太乙近共沾巾士。何用吾花想容昏,门户甫风吹舟翠。"

[[3]]
[1] "飞上相识两魂魄,山房凄凄何所似。红叶散入押翰韵,齐韵偏惊孟浩然。平明影姓名际翁,折露葵卢梅坡蜂。不曾别归思欲扶,先帝未早知南晓。"

[[4]]
[1] "人烟安得九行宫,斜阳高适押沁韵。幽人蒸韵共沾巾,香雾花迎戴复古。有感生蝼蚁子阙,竹里馆押御韵水。自是任无一字赏,兄弟尚相与美秦。"

[[5]]
[1] "烽火送君余行人,村庄清明夏木啭。小园之四海日生,横北难复黄庭坚。平明辅俸钱身苑,新雨后欲傍衮饮。向晚各剑佩星倒,满地岂至尊丹朱。"

[[6]]
[1] "山路掌中九旧事,小姑自足竹里馆。无情齐韵歌古调,啼时云想戴复古。孤高投归路蛙王,花想容押麻韵照。照眼别江春入停,画屏绝造化鹤灵。"

2018年02月22日 记 -----------------------------------------

望路过网友不吝斧正代码\(≧▽≦)/ 万谢！ -----------------------------------------

《中庸》有云：‚天命之谓性，率性之谓道，其所谓“天”乃最高自然本源，是一个作为对自然造化进行总体性概括的理性概念，这种儒学形而上学式的“天”在悬设上与老庄之“道”是一致的。孔子强调‚子不语怪力乱神为之“天”，老子主张‚道可道，非常道，吾不知其名，强字之曰道为之“道”。此二者，皆在避其“鬼神之说”，重其“天命之论”，对“玄思和幻相”都保持设而不究，存而不论的态度。儒学以“形而上学的天”赋予人类以“伦理道德的性”，而以天道运行法则中的“命”作为“天”与“性”之间相互作用的机制，此“命”旨在说明一种运行过程，而无任何神秘与宿命之言。故云，天命之谓性，率性之谓道。而《道德经》中：“道冲，而用之或不盈”则体现出老子的“天命自然，人性无为”的思想，主张“天命”重于“人性”。

脱离于儒老的“天”“道”思想，以“玄思、幻相”作为人性的赋予对象，从而衍生出佛学的“觉悟”之说。这实则是以对“人性”的实施对象区别于儒道思想。而“觉悟”之说更接近现实性的天命与人性之论。《心经》（般若波罗蜜多心经）中有偈言：“无苦集灭道，无智亦无得，以无所得故”正阐释了“天命”与“人性”之间的四圣谛：“苦”“集”“灭”“道”的人性发展过程，强调天命赋予人性的“苦”（此指生、老、病、死、怨憎会、爱别离、求不得、五取蕴八苦），人性则通过：“坚定地信仰真、顽强地求知善、敦厚地仁爱美”达到最饱满最真实的涅槃状态，从而实现“诸行无常，诸法无我，涅槃寂净”的“无我”“无物”的自然解脱。在此之间，形成了“善”与“恶”的行为相对化。“善”是解脱的根据，是觉悟的来源。故而“天命”与“人性”之间的运行机制是以“苦集灭道，受想行识”为根源的善恶转化过程。

“道其所道，非吾所谓之道；德其所德，非吾所谓之德。”佛道儒在对待天命与人性的态度上各有独见，但都基本遵循天命与人性之间的善恶相对化。《孟子》中有云“取诸人以为善，是以人为善者也。故君子莫大乎与人为善”；《道德经》中有言“是以圣人常善救人，故无弃人；常善救物，故无弃物。”善者有三，有见理明而善者，有惜名节而善者，有畏法理威严而善者。由此观之，天命对人性的相互作用效果受到人性的行为影响，并非如命理学所言：命由天定，天命掌控着人性，人性无法改变天命。而佛道儒认为的天命对人性的作用效果受到人性的行为影响，其影响有多大又各不相同。其中以佛学的“觉悟”之说最接近现实性的天命与人性之论。《金刚经》有偈言：“一切有为法，如梦幻泡影，如露亦如电，应作如是观”。佛家的善恶有报，因果循环，其是将个人视为永恒体，在每一个阶段以不同的身份出现罢了，而要想跳出此循环过程，就得达到“五蕴皆空”以改变自己的感知结构。故而，这就是：“善人者不善之，恶人者不恶之”的主要原因。常为善行的人，在天命循环的某一阶段（佛学所说的人的一生），却没有得到应有的善报；常为恶行的人，却没有得到应有的恶报，善人的善报往往在另一阶段（人的另一生）得以回报，故佛常言咒曰“揭谛、揭谛”。

2016年05月19日 记于QQ空间

2018年02月20日 摘录

老子《道德经》开篇明义中就言道：“无名天地之始，有名万物之母。故常无欲以观其微；常有欲以观其徼。此两者同出而异名，同谓之玄。玄之又玄，众妙之门。”未能悉数明晰道家思想，也未敢高论其理。只是心底一直对道理玄学充满好奇，似乎其有所谓“玄之又玄”的神奇力量。关于“命运”、“风水”、“鬼神”之说，众说纷纭，莫衷一是。各家之说自有其立足之地，但偏信则暗，世事洞明皆学问，带着疑惑与好奇，便决心掠眼一二所谓的八卦易理和风水学说，幻想自己也能拥有某种“特异功能”！（连买带送，店家一次送了19本杂七杂八的书籍）

将近花了半月，勉勉强强看完了风水学说的几本基础著作，包括所谓的安坟秘诀《葬经》、《青囊奥语》、《天玉经》、《寻龙点穴》及其它立宅风水典籍《水龙经》、《撼龙经》、《地理五决》、《三元总录》。剩十余本，待兴之所起，再有感而发吧！所幸小时候，因缘际会看过外公的《中医五行药书》（具体书名已经有些记不太清了，只大概记得是关于针对人体遵循五行用药的），渐渐长大，越加痴迷，还记得高中那时，生硬背些感觉很神奇的六十四卦，洛书的九宫八卦排位，戴九履一,三七为腰,二四为肩,六八为足（原来是数学的九宫格)等等。如今，庆幸有些许基础，能勉强看完这些具有神幻色彩的书籍，虽难及堪舆大师，但也略作几点读后笔记，不鼓吹亦不讽刺，心中自有丘壑就好。

早些时候，开始看《易经》时，怀揣着某些幻想，疑惑是否真能依卦断吉凶、测未来。真正浅读后才觉得俨然是本处世哲学，当然其中也不乏某些玄学之理，或许是自己未真正触及而已。风水学说中“理气派”与“形势派”的各家之见，未敢辩思一二，但对于五行学说，自己却是深信不疑。五行木火土金水对应五音角徵宫商羽、五味酸苦甘辛甜、五窍眼耳口鼻舌、五脏肝心脾肺肾、五志怒喜悲惊恐及其他五畜五谷五色五体五声等等 ，五行自有旺相休囚死之理，这可能也是诸如古语所言“食肝养眼”、“喜极伤心”、“子时睡得足，黑眼圈不露（足少阳胆经 子时（23点至1点）胆经当令）”、“午时一小憩，安神养精气（手少阴心经 午时（11点至13点）心经当令）”。常说“音乐是陶治性情的熔炉”，我也曾猜想，可能是音乐“角（木）徵（火）宫（土）商（金）羽（水）”的韵律与人五志“怒（木）喜（火）悲（土）惊（金）恐（水）”相互作用的结果吧。

而对于安坟秘诀的几本典籍，尤属《青囊奥语》最为晦涩难懂，虽有各类“龙砂穴水”形态各异，什么支龙、垄龙及止龙、进龙、来龙、劫龙等等；什么水口砂、鬼星山、官星山等等；还有窝穴、乳穴、钳穴、突穴等等及天心水、金鱼水等，较难记忆。但似乎都将以葬穴周围山水人像化，以前看山山皆一般，《青囊奥语》却将形态各异的山赋予不一样的吉凶征兆。顿觉世间之事，奇妙之至。在立宅风水中收获最大算是搞清楚九星二十八宿的真正寓意（一白贪狼星、二黑巨门星、三碧禄存星、四绿文曲星、五黄廉贞星、六白武曲星、七赤破军星、八白左辅星、九紫右弼星），也基本弄会八宅法与飞星法。

无论是四象五行六经八卦二十四山余八宿，玄学易理，都旨在驱人向善！

2018年02月20日 记