邢玮

macOS + Sublime Text + Latex 环境配置

Thu, 25 Oct 2018 00:00:00 +0000

转载自

https://www.jianshu.com/p/50a813c8a6ea
一篇很好的文章,介绍了在macOS上使用Sublime Text 3 + LaTex的方法.

python学习笔记（八）

Mon, 25 Jun 2018 00:00:00 +0000

6 抽象

6.4 参数魔法

6.4.6 练习使用参数

书上提供了一个综合性的例子以供更好理解参数分配：

def story(** kwds):
    return 'Once upon a time, there was a ' \
        '{job} called {name}. '.format_map(kwds)


def power(x, y, *others):
    if others:
        print(' Received redundant parameters:', others)
    return pow(x, y)


def interval(start, stop=None, step=1):
    'Imitates range() for step > 0'
    if stop is None:  # 如果没有给参数stop指定值,start,stop=0,start
        start, stop = 0, start
    result = []

    i = start
    while i < stop:
        result.append(i)
        i += step
    return result

python学习笔记（七）

Sat, 02 Jun 2018 00:00:00 +0000

6 抽象

6.3 为函数编写文档

def square(x):
    'Caculates the square of the number x.'
    return x * x

这样就可以用help查看该函数的解释了

6.4 函数的参数

python 中函数参数的使用基本和我们熟悉的c语言相同，参数变量传到函数中时，修改参数只生效于这个函数的局部作用域：

>>> def try_ to_ change( n):
...            n = 'Mr. Gumby'
... 
>>> name = 'Mrs. Entity' 
>>> try_ to_ change( name)
>>> name 
'Mrs. Entity'

可以看到，在函数内部对参数赋值对外部没有任何影响。
如果一定要修改外部参数，

可return返回修改后的参数。
可先将参数装在列表里，再传进去。

但列表呢？

>>> def change(n):
... n[0] = 'Mr. Gumby'
... 
>>> names = ['Mrs. Entity', 'Mrs. Thing'] 
>>> change(names)
>>> names
['Mr. Gumby', 'Mrs. Thing']

可以发现，在函数内部对列表进行修改居然对外部产生了同样的影响！这是为什么？
答案是python其实是将列表的内存地址传给了函数，也就是说，函数获得的列表和外部传进的列表是同一个列表！
这告诉我们，当参数为可变的数据结构，内部的修改会对外部产生影响！
但这个其实是个feature，使用python进行数据处理时通常需要对数据进行就地处理，有了这个特性，开发者就能非常开心地编写他们想要的函数了！
如果不想发生这个现象，可以给函数传进一个列表的副本，比如change(vector[:])。

6.4 关键字参数

这个不用讲了，在传入参数时写明参数关键字是非常有必要的。

>>> store( patient=' Mr. Brainsample', hour= 10, minute= 20, day= 13, month= 5)

6.4.4 收集参数

还记得*rest吗？
在第五章我们可以用*来收集剩下的任意个列表元素，在这里我们也可以用星号来收集任意个参数：

def print_ params(title, *params): 
      print(title)
      print(params)

当你需要把星号放在除了最后以外的位置时，我们需要使用名称来指定后续参数：

>>> def in_ the_ middle( x, *y, z):
...           print( x, y, z) 
... 
>>> in_ the_ middle( 1, 2, 3, 4, 5, z=7) 
1 (2, 3, 4, 5) 7 
>>> in_ the_ middle( 1, 2, 3, 4, 5, 7) 
Traceback (most recent call last): File "<stdin>", line 1, in < module> TypeError: in_ the_ middle() missing 1 required keyword- only argument: 'z'

6.4.5 分配参数

*号还可以用来分配参数，我们可以用*将元组或列表的元素分配到函数的参数上。

def add( x, y): 
    return x + y
params = (1, 2)
add(*params)

此代码块的输出结果：3

python学习笔记（六）

Fri, 25 May 2018 00:00:00 +0000

第五章条件、循环及其他语句

重提 print

除了最常见的print(xxx)用法， print函数还有一些对我们非常有利的特性。

打印多个参数

>>> print(' Age:', 42) 
Age:  42

可以看到，print打印多个参数时会在参数之间自动添加空格
如果你不想要自带的空格或者想用别的符号，设置sep属性可以自定义分隔符号来替代空格：

>>> print(" I", "wish", "to", "register", "a", "complaint", sep="_") 
I_ wish_ to_ register_ a_ complaint

不想换行？

每次print都会自动换行，我不想换行怎么办？
简单！看我变魔术（雾

print(' Hello,', end='') 
print(' world!')

结果输出Hello, world!

解包

python 的解包特性使我们可以同时给多个变量赋值

>>> x,y,z = 1,2,3
>>> print(x,y,z)
1 2 3

这个特性引出一个交换变量的技巧：

>>> x, y = y, x
>>> print(x,y)
1 2

还有字典的解包：

key,value = somedict.popitem()

如果你不确定解包的item里有多少个元素
可以使用星号运算符（*）来收集多余的值。

>>> a, b, *rest = [1, 2, 3, 4] 
>>> rest
[3, 4]

链式赋值

x = y = somefunction()

注意，x，y此时会指向同一对象，x只是y的别名，尽量别这样做。因为多数时间你想要的并不是给y取个别名，而是两个不同的对象。更好的做法可能是这样的：

x = somefunction() 
y = somefunction()

增强赋值

如+=、-=、*=、/=。。。。
此操作与c语言的行为可能相同。

缩进

python 的缩进可以说是最优美的也是最坑的地方。
在其他语言中，很多语言都使用很明显的特殊关键词或字符来表示一个代码块的开始位置，比如 pascal 的begin，C 的 { ，和代码块的结束位置，比如pascal 的 end， C 的 }。
而在python中，使用：来表示一个子代码块的开始，接下来的代码块都要缩进一个tab。当你不再缩进一个tab，就表示你的这个代码块结束了。

条件语句

格式：

if {condition 1}:
    # code 1
    # code 2
    ......
elif {condition 2}:
    # code 3
    # code 4
    ......
else:
    # code 5
    # code 6
    ......

条件运算符

与赋值一样， Python 也支持链式比较：可同时使用多个比较运算符，如 0 < age < 100。

is 相同运算符

相信接受过高中物理洗礼的同学都可以理解相同（is）和相等（==）的区别。
给出书上的例子就可以很好的理解：

>>> x = y = [1, 2, 3] 
>>> z = [1, 2, 3] 
>>> x == y 
True
>>> x == z 
True
>>> x is y
True 
>>> x is z
False

in 成员资格检查

a in b用来检查a是否是b的成员，比如列表的元素，比如字符串的字符，比如字典的键值对…

assert 断言

assert condition用来要求某些条件一定要得到满足，不然就立即崩溃，用来保证程序的正确运行。

循环

格式：

while

while {condition}:
    # code ...

for

如果要循环指定次数的话：

for i in range(n):
   # code ...

也可以更灵活地使用：

for a in b:
    # code ...

b必须是可迭代对象。

python学习笔记（五）

Mon, 21 May 2018 00:00:00 +0000

4 字典

4.1 创建和使用

创建：

phonebook = {'Alice': '2341', 'Beth': '9102', 'Cecil': '3258'}

注意：字典的格式为key:value，key不能重复

4.2 基本操作

4.3 字典方法

clear()
Q:为什么需要这个方法？我直接赋值空字典不行吗？
A:在大部分情况下是可以的，但当两个变量指向同一个字典的时候，如果我希望把这个地址的字典数据清空，也就是清除所有指向这个字典的变量，而不是清空单独一个变量，这时候就要用到clear方法。
例子如下：
```
x = {}
y = x
x['a'] = 'b'
print(y)
x = {}
print(y)
{'a': 'b'}
{'a': 'b'}
```
```
x = {}
y = x
x['a'] = 'b'
print(y)
x.clear()
print(y)
{'a': 'b'}
{}
```
deepcopy
不介绍copy的意图是我也不知道直接赋值和copy有什么区别😅
然而这个deepcopy函数不能不知道，因为这是完全复制。

python学习笔记（四）

Mon, 21 May 2018 00:00:00 +0000

第三章使用字符串

字符串基本操作

正好复习一下所有序列操作有哪些：索引、切片、乘法、成员资格检查、长度、最小值和最大值
上述操作都适用于字符串，这也是python学习的魅力，省心，好记。

生成字符串

format % value 格式化输出

类似于c语言，python也可以以格式化字符串的方法生成字符串：

format = "hello, %s. I'm %d years old."
value = ("Ricky", 19)
print(format % value)

输出如下

hello, Ricky. I'm 19 years old.

优点是能一一对应，结构清晰

str.format() 替代

str = "{3} {0} {2} {1} {3} {0}". format("be", "not","or","to")
print(str)

输出如下

to be or not to be

这两种也是最基本，最常见的手法。

指定排版格式

宽度: {:10f} 控制宽度为10
精度: {:.2f} 保留两位小数
千位分隔符: print("{:,d}". format(10**100))
符号: print("{:+10f}". format(3.14))
```
from math import pi
print("{:-10f}". format(-pi))
```
可以看到成功地在有符号的情况下输出了10位结果

对齐

from math import pi
print('{0:<10.2f}\n{0:^10.2f}\n{0:>10.2f}'.format(pi))
3.14      
 3.14   
    3.14

左对齐	居中	右对齐
<	^	>

用0填充: print("{:010f}". format(3.14))
也可以用其他符号填充： print("{:¥10f}". format(3.14))

字符串方法

懒得抄写一遍了，直接粘贴！反正现在上课记笔记也是拍拍拍（逃

记几个特别有用的模块常量：

center

join

a = "join"
b = '+'
print(b.join(a))

我想说的是，注意搞清join主客关系

split

非常有用！！作用是处理英语句子或者具有类似url格式的字符串时非常方便！

使用 Scrapy 爬虫监控教务处公告栏

Sat, 19 May 2018 00:00:00 +0000

Introduction

自从某次因为没看到教务处公告错失良机，我就一直想写一个程序监控教务处发布的公告。正好学习 Scrapy 和 mysql 的使用，和最近比较火的 GitHub 上 Python 开源项目 Zmail，可以让我用发邮件的形式提醒我有新公告。

分析

在使用 scrapy 前要分析一下教务处网页的结构，右键任一公告链接，点击审查元素（Mac:Chrome上是检查）查看网页结构：
发现公告在某个类型为textAreo clearfix的div标签内的a标签，属性都帮我们写好了，一个newsid是唯一识别编号，一个title可以让我方便地填充邮件标题，公告是否是新发布的也非常好判断，只要遍历之前的公告newsid是否有未存入数据库的就可以了。接下来就开始动手做监控脚本。

大致步骤

初始化，用爬虫的follow功能先爬取公告栏59页所有的newsid和title存入数据库作为初始数据
Scrapy爬取教务处学生公告第一页，获取到title和newsid
存入 mysql 数据库
每2小时Scrapy爬取教务处公告栏页面
逐个遍历数据库中newsid是否已经存在
不存在则存入数据库并发邮件提醒，附上链接（因为很大一部分通知带有附件，我还没研究过如何把附件自动下载下来，就先不自动爬取内容了吧，减少工作量）
定时启动脚本，检查是否有新公告

技术细节

天坑啊！要说清楚其实挺麻烦的，慢慢写吧…就把它当成未来技术面试能力的积累…
功能模块主要有4个：

scrapy爬取教务处页面
依照上述的标签和属性来定位公告的id、date和title，我使用了爬虫解析html元素最常用的xpath语言，得到我想要的所有数据：

 id = response.xpath('//div[@class="textAreo clearfix"]/a/@newsid').extract()
 title = response.xpath('//div[@class="textAreo clearfix"]/a/@title').extract()
 date = response.xpath('//div[@class="textAreo clearfix"]/i/text()').extract()

pymysql+mysql负责存储和查询公告数据
使用方法在pymysql官方文档中有示例，如何增删改查直接照搬即可。在此放出部分代码以供以后复用。

 import pymysql
        # 连接到MySQL数据库
     connection = pymysql.connect(host='localhost',
                                  user='xingwei',
                                  password='***********',
                                  db='uestcjwc',
                                  charset='utf8mb4',
                                  cursorclass=pymysql.cursors.DictCursor)
         try:
         with connection.cursor() as cursor:
             # 检查公告是否已经在之前获取到过
             for i in range(len(id)):
                 selectsql = "select * from news where newsid = %s"
                 cursor.execute(selectsql, (id[i]))
                 result = cursor.fetchone()
                 if result is None:
                     # print('---------!!New record!!--------')
                     insertsql = "INSERT INTO `news` VALUES (%s, %s, %s)"
                     cursor.execute(insertsql, (id[i], title[i], date[i]))
                     # 必须手动commit你的insert操作
                     connection.commit()
                     #发email到我的邮箱，提醒我有新公告
                     url = 'http://www.jwc.uestc.edu.cn/web/News!view.action?id=%s' % (id[i])
                     mail(url,title[i])
                 else:
                     # print('---------!!Old record!!--------')
                 pass
     finally:
         connection.close()
         # 关闭连接

用到了github上国人开发的开源邮件项目zmail，负责发邮件
这个package非常好用，对于只需要email基本功能，且对性能不作要求的人来说足够用了。
代码精简到极致：

import zmail
def mail(url, title):
 server = zmail.server('18918735979@163.com', 'xxxxxx')

 mail = {
             'subject': '教务处有新公告:%s' %(title),
             'content_html': url,
         }
 server.send_mail('18918735979@163.com', mail)
pass

用crontab在我电脑上设置定时运行脚本
这个不说了非常简单。在我的博客有提到：
Linux命令 - crontab

思考与反省

大佬说过，做过的每个项目要反省不足。
胡乱分析了一遍代码，我认为有以下不足：

各个模块可复用性低
解决办法：封装sendmail方法，insertdb方法。
电脑关闭了就没法收公告了，考虑以后放云服务器上，不过现在用crontab也够用了，除非我好几天不开电脑2333
虽然是小脚本，但做出整个这个服务的过程还是有点艰辛，碰到了一些坑，有版本问题，也有我从网上角落处搜集的解决方案的移植问题，遇到这些问题需要去解决的时候，还没有形成系统的思路。

Github

代码发到github上了，隐去了个人信息（邮箱密码，mysql密码）要用的话直接填写即可，使用说明文档有空会填坑。
https://github.com/Ricky-fight/scrapy_uestcjwc

pymysql.err.OperationalError 1045 Access denied最简单解决办法

Sat, 19 May 2018 00:00:00 +0000

参考自 William_Dong@CSDN

使用的是python3.6+pymysql+mysql8.0

在cmd命令行直接输入mysql回车出现：ERROR 1045 (28000): Access denied for user 'ODBC'@'localhost' (using password: NO)

这时在cmd命令行输入mysql -u root -p 回车输入密码，就可以成功连接数据库

但用pymysql登陆报错，使用 Pymysql 官方给出的范例脚本如下：
在此之前创建一个新的DB：

CREATE TABLE `users` (
    `id` int(11) NOT NULL AUTO_INCREMENT,
    `email` varchar(255) COLLATE utf8_bin NOT NULL,
    `password` varchar(255) COLLATE utf8_bin NOT NULL,
    PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin
AUTO_INCREMENT=1 ;

import pymysql

# Connect to the database
connection = pymysql.connect(host='localhost',
                             user='root',
                             password='pass',
                             db='test',
                             charset='utf8mb4',
                             cursorclass=pymysql.cursors.DictCursor)

try:
    with connection.cursor() as cursor:
        # Create a new record
        sql = "INSERT INTO `users` (`email`, `password`) VALUES (%s, %s)"
        cursor.execute(sql, ('webmaster@python.org', 'very-secret'))

    # connection is not autocommit by default. So you must commit to save
    # your changes.
    connection.commit()

    with connection.cursor() as cursor:
        # Read a single record
        sql = "SELECT `id`, `password` FROM `users` WHERE `email`=%s"
        cursor.execute(sql, ('webmaster@python.org',))
        result = cursor.fetchone()
        print(result)
finally:
    connection.close()

预期输出是：

{'password': 'very-secret', 'id': 1}

然而脚本回报了traceback：

Traceback (most recent call last):
  File "testmysql.py", line 9, in <module>
    cursorclass=pymysql.cursors.DictCursor)
  File "/usr/local/Cellar/python3/3.6.3/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/pymysql/__init__.py", line90, in Connect
    return Connection(*args, **kwargs)
  File "/usr/local/Cellar/python3/3.6.3/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/pymysql/connections.py", line 704, in __init__
    self.connect()
  File "/usr/local/Cellar/python3/3.6.3/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/pymysql/connections.py", line 974, in connect
    self._request_authentication()
  File "/usr/local/Cellar/python3/3.6.3/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/pymysql/connections.py", line 1203, in _request_authentication
    auth_packet = self._read_packet()
  File "/usr/local/Cellar/python3/3.6.3/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/pymysql/connections.py", line 1059, in _read_packet
    packet.check_error()
  File "/usr/local/Cellar/python3/3.6.3/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/pymysql/connections.py", line 384, in check_error
    err.raise_mysql_exception(self._data)
  File "/usr/local/Cellar/python3/3.6.3/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/pymysql/err.py", line 109,in raise_mysql_exception
    raise errorclass(errno, errval)
pymysql.err.OperationalError: (1045, "Access denied for user 'root'@'localhost' (using password: NO)")

网上给了各种各样的方法，大多是通过各种方式修改密码。

最简单的方法是更换了root密码的认证方式解决的，新版mysql使用的caching_sha2_password，换成mysql_native_password我就可以连上了。

步骤是在cmd命令行连接mysql
mysql -u root -p

然后输入ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY 'dong1990';

DONE!

这时再跑下python脚本就可以连接了。

mysql 命令备忘

Sat, 19 May 2018 00:00:00 +0000

登录 mysql

mysql -u root -p

如果要以root以外的用户登录的话root换成username就可以

linux 命令备忘

Sat, 19 May 2018 00:00:00 +0000

ln

当我们需要在不同的目录，用到相同的文件时，我们不需要在每一个需要的目录下都放一个必须相同的文件，我们只要在某个固定的目录，放上该文件，然后在其它的目录下用ln命令链接（link）它就可以，不必重复的占用磁盘空间。

例如：ln -s /bin/A /usr/local/bin/B

A ：源文件
B：镜像文件

crontab

编辑：crontab -e
格式：
||分钟|小时|日|月|星期|命令
|:—:|
|范围|0-59|0-23|1-31|1-12|0-7|cmd
部分语法：
可识别的符号|作用
|:–:|

|代表范围内的任何一个数字
/x|代表每x时间执行一次
基本上只要知道上面两个符号就够用了。

邢玮

macOS + Sublime Text + Latex 环境配置

转载自

python学习笔记（八）

6 抽象

6.4 参数魔法

6.4.6 练习使用参数

python学习笔记（七）

6 抽象

6.3 为函数编写文档

6.4 函数的参数

6.4 关键字参数

6.4.4 收集参数

6.4.5 分配参数

python学习笔记（六）

第五章 条件、循环及其他语句

重提 print

打印多个参数

不想换行？

解包

链式赋值

增强赋值

缩进

条件语句

条件运算符

is 相同运算符

in 成员资格检查

assert 断言

循环

while

for

python学习笔记（五）

4 字典

4.1 创建和使用

4.2 基本操作

4.3 字典方法

python学习笔记（四）

第三章 使用字符串

字符串基本操作

生成字符串

format % value 格式化输出

str.format() 替代

指定排版格式

字符串方法

记几个特别有用的模块常量：

center

join

split

使用 Scrapy 爬虫监控教务处公告栏

Introduction

分析

大致步骤

技术细节

思考与反省

Github

pymysql.err.OperationalError 1045 Access denied最简单解决办法

mysql 命令备忘

登录 mysql

linux 命令备忘

ln

crontab

第五章条件、循环及其他语句

第三章使用字符串