オールドドメイン探索クローラーを開発

SEOを行う上で重要な要素として外部施策がありますが、外部施策を行う上でオールドドメインを利用するのは、今でも効果的です。

弊社も定期的にオールドドメインの購入をしているのですが、効果的なドメインは既に取得されていたり高価だったりするので、自社製のオールドドメイン探索ツールを作りました。
これによりSEOの価格を抑えて施策できるようになりました。

主な特徴

日本サイトを限定として1日数百万ページをクロールして期限切れドメインを探します。
→日本サイトと判断されなかったサイトはクロール対象から外れます。
クロール時にリンクのアンカーテキスト情報などSEOに役立つ情報も取得しており、対象ドメインがどの様なワードでアンカーテキストされていたかやリンク元サイトのURLを確認できます。
→これによりスパムサイトか元アフィリエイトサイトだったかどうかの簡易的な調査ができる様にしています。
アンカーテキストから希望のオールドドメインを探せる様にしています。
例：音楽関係のアンカーテキストを持つオールドドメインを探せたりします。
「Moz Link Explorer」のAPIを利用して、オールドドメインのドメインオーソリティ調査を自動でします。
「Wayback Machine」に初めて登録された日にちを自動取得します。

こんな感じで期限切れドメインが一覧に表示されます。
ドメインオーソリティが高めなドメインが思った以上に探索できて個人的には満足するものができたかなと思っています。

外部リンク確認画面はこの様にしています。
リンク先URL、アンカーテキスト、属性を確認できます。

日本限定に絞っている為か想定以上に「jp」ドメインのオールドドメインが多いです。
メジャーな「com」や「net」の1.5倍以上ありそうです。

比較的需要がありそうなツールだと思いますので、興味ある方いましたらお問い合わせよりご連絡下さい。