クロウラー larbin-2.6.3のコンパイル

いわゆるスパイダー、クロウラー、ロボットのプログラム。
http://sourceforge.net/projects/larbin/
すこし古くて開発が中止になっているっぽい。
昔やってましたが、最新のOSでもコンパイルできるようにするには
adns/internal.h を修正する必要があります。

internal.h line569-571

adns_status adns__parse_domain(adns_state ads, int serv, adns_query qu,
vbuf *vb, parsedomain_flags flags,
const byte *dgram, int dglen, int *cbyte_io, int max);

修正後：
adns_status_adns__parse_domain(adns_state ads, int serv, adns_query qu,
vbuf *vb, adns_queryflags flags,
const byte *dgram, int dglen, int *cbyte_io, int max);
これで configure makeできます。（当方の環境はUbuntu8.04）

larbin.conf と options.h も修正したほうがいいでしょう。
larbin.conf
forbiddenExtensions
.js .ico .css
など追加。

options.hに
#define SIMPLE_SAVE
をアンコメントにすればゲットしたHTMLをローカルに保存できる。
後適当に。