自前のクローラを稼働し続ける方法

投稿者: Anonymous

Rubyでseleniumを使って自前のクローラを作成しました。
30分毎にとあるWebサイトから情報を集め続けるクローラです。

クローリング自体は上手く行っていますが、当たり前ではありますが、PCの電源をOFFにしている間はクローリングできません。
しかしPCの電源を24時間ONにし続けるということはしたくありません。

このクローラを24時間稼働し続けたいのですが、何かいい方法はありますでしょうか。
できれば無料でできる方法があれば嬉しいです。

解決

Amazon EC2やさくらVPSなどのサーバー上でクローラを実行するのが良いと思います。
無料であればHerokuが良いと思いますが、無料でHerokuを利用する場合、1日中サーバを起動しておくのはできなかったように記憶しています。

自動実行についてはcronを使用すればサーバー上で30分毎にクローラを自動実行できます。
私の場合、Twitter botをさくらVPSとcronで毎分実行しています。
https://github.com/tackeyy/sanfre_twitter_bot

回答者: Anonymous

Leave a Reply

Your email address will not be published. Required fields are marked *