nog.jp crawler

nog.jp crawlerとは?

erogmap/ラノベマップ用データ収集用ロボットです。

もともとerogmap crawlerという名前を使っていましたが、2007年6月よりnog.jp crawlerに改称されました。

FAQ.になりそうなもの

nog.jp crawler がサイト全体または一部をクロールしないように設定するには?

robots.txtというファイルをユーザーのサーバーに置くことによって、nog.jp crawlerや他のWebクローラを拒否することができます。http://domain/robots.txt でアクセスできる場所に以下のような内容の robots.txt という名のファイルをおいてください。

User-Agent: nog.jp crawler
Disallow: /

最終行は空行でなければいけません。

また、旧名称erogmap crawlerのDisallowも引き続き有効です。

nog.jp crowler に捕捉されるようにするには?

メール・要望フォーム等でご一報いただければと思います。

現状、日次で各種検索サイトより巡回サイトの追加を行っておりますが、不確実かと思われます。

erogmapのデータとして組み込まれる条件は?

RSSのdescriptionかcontent:encodedのフィールドに

のURLが含まれている場合(ハイパーリンクでなくても可です)にデータが取り込まれます。

ラノベマップのデータとして組み込まれる条件は?

RSSのdescriptionかcontent:encodedのフィールドに

のURLが含まれている場合(ハイパーリンクでなくても可です)にデータが取り込まれます。

その他

商業サイトに関しては上記のルールで運用していない場合があります。なにか不都合等ありましたら連絡頂ければ幸いです。


erogmap@nog.jp