抓取网页常见问题总结

Author:zhang Date:2015年12月7日 - 0:00 AM

有时候我们需要程序化的方式访问网页, 最典型的应用当然是网络爬虫, 但也可以是其他有用的应用. 和通常的用浏览器访问不同, 爬虫会碰到一些意想不到的问题, 一般大型站点基本都有某种反爬虫策略. 不过理论上, 服务器是无法完全区别浏览器和爬虫的, 只要不是恶意的发送大量请求, 基本可以绕过这些限制, 下面是常见的问题总结.

Referer

more

如何在Sublime中快速切换主题

Author:zhang Date:2015年10月24日 - 0:00 AM

Sublime中切换颜色主题有两种办法, 一个是在菜单里面选, 一个是编辑Preferences: Settings - User文件的color_scheme属性. 两个都不怎么方便, 用的较多的主题至少有两个一个是夜间的, 一个是白天的, 一个暗的一个亮的. 如果是Emacs就比较好办了, 一般就是写两个ELISP函数, 用的时候M-x这两个函数即可, 下面是我所用的.

more

升级win10后, WIFI间歇性断开

Author:zhang Date:2015年10月1日 - 0:00 AM

Surface pro 2 , WIN10 , wifi, bluetooth, 蓝牙

more

Surface Pro 已连接未充电问题总结

Author:zhang Date:2015年7月3日 - 0:00 AM

最近被Surface Pro的已连接未充电问题折腾的够呛. 因为一旦遇到这个问题, 又不知道原因, 只能束手待毙, 看着电池电量一点点的掉光, 然后突然关机, 然后无论怎么也启动不了了.

第一次碰到这个问题是很突然的, 因为一直用的好好的, 从来没有这种问题, 直到有一次, 用着用着突然黑屏了, 尽管充电器一直是联通着的. 从此以后就不得安宁, 问题反复出现.

more

收集几个hash算法

Author:zhang Date:2013年3月20日 - 0:00 AM

HASH几乎会在任何场合下用到, 每一份源代码里面几乎都有一些hash算法. 收集一些例子以飨读者.

more

厘清概念: 字符集, 编码, 代码页

Author:zhang Date:2013年1月25日 - 0:00 AM

从广义的角度看, 计算机内的一切信息都有编码, 因为这些信息都是数字. 例如图片, 图片由像素组成, 表示一个像素有很多种方法, 如果一副图片只有黑白两色, 那么只需要两个数字, 一个数字表示黑色, 一个数字表示白色, 然后按矩形排列就可以得到一副黑白...

more

Visual SVN 配合MyEclipse, Visual Studio 安装教程

Author:zhang Date:2013年1月8日 - 0:00 AM

SVN服务器选择Visual SVN, 简单易用, 客户端的话再VS里面用AnkhSVN是最好的, MyEclipse则是Subclipse. 三个下载地址如下

more

Page 1/2 前一页12后一页
hello