ステージング環境がGoogleの検索結果に乗ってしまった時にやった対処方法まとめ

注記

この記事はQiitaの私の記事からそのままコピってきたものである。
Qiitaを退会するにあたって、消してしまうには惜しかったので以下にそのまま残すことにする。
Markdownの記法が違うことによる表示崩れが起きているが、直すのが面倒なので放置する。

title: ステージング環境がGoogleの検索結果に乗ってしまった時にやった対処方法まとめ tags: robots.txt SEO author: sosmii slide: false

やらかした

robots.txtを書き忘れた、Disallow: /にしていたのになぜかインデックスに登録された¹、そういうことってありますよね。

Google様にお願いして消してもらいましょう。

robots.txtにNoindexを指定

Noindexは、クローラーにインデックスにしないでねと伝えるだけでなく、すでにインデックスされたページが再クロールされた時にインデックスから削除してもらえる効果もあるようです。

後述する90日間削除の後にまた登録されてはかないませんので、設定しておきましょう。

User-Agent: *
Disallow: /
Noindex: /

私はexpressを使っていたので、こんな感じになりました。ステージング環境（別ドメイン）と本番環境とでrobots.txtを出し分けられるので便利ですね。

import express from 'express';

const app = express();

// blah blah ...

app.get('/robots.txt', function (req, res) {
    const host = req.get('host');
    const regResult = host.match(/([^.]+$)/g);
    const domainName = regResult ? regResult[0] : null;

    if (domainName && domainName === 'xyz') {
        res.type('text/plain');
        res.send('User-agent: *\nDisallow: /\nNoindex: /');
        return;
    }

    res.type('text/plain');
    res.send('User-agent: *\nDisallow:');
});

Fetch as Google

robots.txtが正しく書かれているかどうかをチェックします。 Google Search ConsoleのFetch as Googleを使うと、クローラーに自分のサイトがどう見えているかがチェックできます。

再インデックスを促す的な効果もあると聞きましたが、後述の手動削除もするのであまり関係ないと思います。

90日間削除

90日間検索結果から除外してもらいます。私の場合は30分後くらいに検索に出なくなったので、とりあえずの急場をしのぐだけならこれだけでも。

なぜかと書いていますが、これはふしぎなことでも何でもなく、隠したいサイトへの外部リンクやカノニカルタグがある場合に、クローラーがそこから辿ってインデックスしてしまうようです。 ↩

sosmii/ステージング環境がGoogleの検索結果に乗ってしまった時にやった対処方法まとめ.md