抓取网页常见问题总结

Author:zhang Date:2015年12月7日 - 0:00 AM

有时候我们需要程序化的方式访问网页, 最典型的应用当然是网络爬虫, 但也可以是其他有用的应用. 和通常的用浏览器访问不同, 爬虫会碰到一些意想不到的问题, 一般大型站点基本都有某种反爬虫策略. 不过理论上, 服务器是无法完全区别浏览器和爬虫的, 只要不是恶意的发送大量请求, 基本可以绕过这些限制, 下面是常见的问题总结.

Referer

more

Clojure脚本处理yandex图片搜索和Youtube视频下载地址

Author:zhang Date:2015年11月25日 - 0:00 AM

论搜索能力, Yandex不再Google之下, 有时候比Google的结果要好, 下面的Clojure脚本将会抓取Yandex图片搜索的结果并提取所有图片的图片地址, 来源网址等信息, 这样可以在同一个界面中以原始大小显示所有图片.

more

Magit在Windows下无法stage hunk的问题

Author:zhang Date:2015年11月24日 - 0:00 AM

下面是在Windows上使用Magit碰到的一个问题, 已经解决并在GitHub上提交了issue:https://github.com/magit/magit/issues/2403.

因为文档实在太缺乏了, 不得不去读Magit的elisp代码, 下面是涉及到的代码, 以及插入调试语句的地方.

Magit如何调用外部程序git, 以及所传递的参数

more

如何在Sublime中快速切换主题

Author:zhang Date:2015年10月24日 - 0:00 AM

Sublime中切换颜色主题有两种办法, 一个是在菜单里面选, 一个是编辑Preferences: Settings - User文件的color_scheme属性. 两个都不怎么方便, 用的较多的主题至少有两个一个是夜间的, 一个是白天的, 一个暗的一个亮的. 如果是Emacs就比较好办了, 一般就是写两个ELISP函数, 用的时候M-x这两个函数即可, 下面是我所用的.

more

升级win10后, WIFI间歇性断开

Author:zhang Date:2015年10月1日 - 0:00 AM

Surface pro 2 , WIN10 , wifi, bluetooth, 蓝牙

more

Emacs 添加删除hook和修正文本高亮功能

Author:zhang Date:2015年9月3日 - 0:00 AM

一直是用msearch.el做文本高亮的, 最近发现一个问题, 每次执行复制命令之后, 被复制是文本会被高亮, 虽然复制之后文本已经不是处于选中状态了. 此时如果离开当前的buffer, 例如将文本粘贴到另一个buffer, 则高亮会一直保持着, 此时从另外的buffer返回, 发现这些高亮区域已经对光标移动命令没有反应了, 正常情况是, 当移动光标的时候, 任何高亮的部分应该会被取消.

more

antlr java.lang.NoSuchFieldError 错误分析报告

Author:zhang Date:2015年7月7日 - 0:00 AM

一个平时在Clojure REPL工作的非常正常的函数, 今天突然无法正常工作了, 抛出如下异常.

more

Page 1/18 前一页1234567后一页
hello