名古屋のホームページ制作会社、WEB集客会社なら株式会社オンカ|ホームページ集客を考える企業に欠かせない!robots.txtの必要性と正しい記述・設置方法

  • 0120-038-5170120-038-517
  • mailCONTACT

Column

コラム

  • 0120-038-517
  • mail

ONCA

  • オンカについて
  • オンカのHP制作オンカのホームページ制作
  • HP制作後の運用ホームページ制作後の運用
  • HP集客の必要性ホームページ集客の必要性
  • よくある質問
  • お客様の声
  • 制作実績
  • 0120-038-5170120-038-517
  • mailCONTACT
  • ホーム
  • コラム
  • ホームページ集客を考える企業に欠かせない!robots.txtの必要性と正しい記述・設置方法

コラム

2018.3.8

ホームページ集客を考える企業に欠かせない!robots.txtの必要性と正しい記述・設置方法

ホームページ集客を考える企業に欠かせない!robots.txtの必要性と正しい記述・設置方法


GoogleやYahoo!、Bingなどの検索エンジンは、クローラーと呼ばれるロボットがリンクを辿り、様々なページを回遊して情報をインデックスすることで、ユーザーが検索したキーワードと関連性の高いページを検索結果ページに表示させることができます。
自社ホームページを検索結果ページの上位に表示させたいと思う一方で、自社ホームページの中には、検索結果ページに表示させる必要のないページが存在する場合があります。
そのようなページは、Googleなどのクローラーにインデックスしないよう知らせる必要がありますが、どうすれば良いのかわからない…という方も多いのではないでしょうか。
そこで今回は、簡単な記述をするだけでクロールされるのを防ぐことができる「robots.txt」の必要性や正しい記述・設置方法についてお伝えしていきます。

【目次】
1.robots.txtの必要性
2.robots.txtの正しい記述・設置方法
a. User-Agentに対象となるクローラーを記述する
b. Disallowにクロールをブロックするページのディレクトリを記述する
c. Allowにクロールを許可するディレクトリを記述する
3.今回のまとめ

robots.txtの必要性

冒頭でもお伝えしたとおり、Googleなどの検索エンジンは、クローラーと呼ばれるロボットがインターネット上をクロールし、ホームページの情報を集め、インデックスしています。そのインデックスした情報を基に、ユーザーに検索されたキーワードと関連性の高いホームページを瞬時に探し出し、検索結果ページに表示しています。
しかし、ホームページの中には、顧客情報を管理しているページやWordPressのプラグインページなど、インターネット上に公開していても検索結果ページには表示させなくても良いページや、ユーザーに見せる必要のないページが存在する場合があります。そのようなページが検索結果ページに表示されているとユーザーは、どのページにアクセスすれば必要としている情報が記載されているのかが分からなくなってしまい、精神的なストレスを感じるだけでなく、ホームページからの離脱率が高まる傾向があります。もしくは、SEO対策において不利な記述や記載内容が含まれているため、クローラーに見せたくないページについても同様です。
そのようなページを検索結果ページに表示させないためにも、Googleなどの検索エンジンに対して、ホームページ内の特定のページをクロールしないようにrobots.txtを記述する必要があります。

robots.txtの正しい記述・設置方法

検索結果ページに表示させる必要のないページなど、ホームページ内の特定のページをクロールしないようGoogleなどのクローラーに知らせるためには、robots.txtに以下の要素を記述する必要があります。

①どのクローラーに対してクロールをブロックするのか
②どのファイルやディレクトリへのクロールをブロックするのか

 
記述自体は難しいものではないため、続いて解説する記述方法を参考にrobots.txtを記述していきましょう。

User-Agentに対象となるクローラーを記述する

robots.txtでは「User-Agent:」の後に対象となるクローラーの名前を記述します。クローラーの名前は、各クローラーごとに決まっており、Googleだけでもウェブ検索用や画像検索用、そしてAdSense用など複数のクローラーがあります。そのため、特定のクローラーに対する制限を行う場合は、まずクローラーの名前を調べる必要があります。その際は、Googleクローラー Search Console ヘルプを参照ください。

Googleのすべてのクローラーに対して、ホームページ内すべてのファイルへのクロールをブロックする場合は、以下のように記述します。

Bingのクローラーに対して、ホームページ内すべてのファイルへのクロールをブロックする場合は、「Google bot」の部分を「bing bot」に変更するだけですが、GoogleとBingなど複数のクローラーを対象にブロックする場合は、以下のように分かりやすいよう間に1行空けてそれぞれの記述を行いましょう。

特定の検索エンジンのクローラーではなく。すべての検索エンジンのクローラーを対象とする場合は、以下のように「*」を記述します。

Disallowにクロールをブロックするページのディレクトリを記述する

初期設定では、すべてのページにクロールが許可されていることになっているため、クロールをブロックするページのディレクトリを記述していきましょう。以下のように「Disallow:/」の後にブロックしたいディレクトリ名を記述します。

複数のディレクトリをブロックする場合は、「Disallow:/」の行を複数続けて記述します。

Allowにクロールを許可するディレクトリを記述する

「Allow」は、「Disallow」でブロックした中ディレクトリの一部のファイルへのクロールを許可する際に使用します。例えば、「Disallow」を用いて記述したディレクトリとそこに含まれるすべてのファイルをブロックした後、そのディレクトリに含まれる特定のファイルだけクロールを許可したい場合は、以下のように記述します。

この場合は、「dir」ディレクトリに含まれるファイルは全てブロックされますが、「/dir/sample.html」ファイルだけはクロールが許可されます。

以上の記述を行い、作成したrobots.txtファイルは、必ず文字コードを「UTF-8」、名前を「robots.txt」で保存し、「FFFTP」などのFTPツールを利用してホームページのルートディレクトリに設置しましょう。

今回のまとめ

今回は、ホームページ集客を考える上で絶対に欠かすことのできない要素であるrobots.txtの記述・設置方法についてお伝えしました。roots.txtを正しく記述・設置することによって、Googleのクローラーが指定したページをクロールしなくなり、結果的に検索結果ページに表示されなくなります。
ただし、クローラーをブロックしたページに他のページからのリンクが張られていたり、Googleなどの検索エンジンが重要なページだと判断している場合は、robots.txtを正しく設置していても検索結果ページに表示されてしまうことがあります。そのため、自社ホームページにおける各ページの重要性を今一度確認し、ホームページの構成を見直すことも大切です。

PREV

記事一覧

NEXT

CATEGORY

  • コラム
  • ニュース
  • その他

ARCHIVE

    • 2021月 3月
    • 2021月 2月
    • 2021月 1月
    • 2020月 12月
    • 2020月 11月
    • 2020月 10月
    • 2020月 9月
    • 2020月 8月
    • 2020月 7月
    • 2020月 6月
    • 2020月 5月
    • 2020月 4月
    • 2020月 3月
    • 2020月 2月
    • 2020月 1月
    • 2019月 12月
    • 2019月 11月
    • 2019月 10月
    • 2019月 9月
    • 2019月 8月
    • 2019月 7月
    • 2019月 6月
    • 2019月 5月
    • 2019月 4月
    • 2019月 3月
    • 2019月 2月
    • 2019月 1月
    • 2018月 12月
    • 2018月 11月
    • 2018月 10月
    • 2018月 9月
    • 2018月 8月
    • 2018月 7月
    • 2018月 6月
    • 2018月 5月
    • 2018月 4月
    • 2018月 3月
    • 2018月 2月
    • 2018月 1月
    • 2017月 12月
    • 2017月 11月
    • 2017月 10月
    • 2017月 9月
    • 2017月 8月
    • 2017月 7月
    • 2017月 6月
    • 2017月 4月

CONTACT US

ホームページ制作や集客に関するご質問など、
お気軽にお問い合わせください。

onca

株式会社オンカ
〒460-0008 愛知県名古屋市中区栄3-23-23
エフジー若宮ビル4階
TEL : 0120-038-517

banner

banner

banner

  • ホーム
  • ホームページ集客の必要性
  • よくある質問
  • お客様の声
  • 制作実績
  • コラム
  • お問い合わせ
  • サイトマップ
  • オンカについて ホーム

    オンカについて

    • オンカについて(目次)
    • オフィス紹介・会社概要
    • ホームページ集客にかける想い
    • 社会貢献活動
  • オンカのホームページ制作

    オンカのホームページ制作

    • オンカのホームページ制作(目次)
    • クライアント専属チームによる
      戦略会議
    • Web専門のライターがすべての
      原稿を執筆
    • コンバージョン率を高める
      デザイン
    • 最新かつ正しい方法のSEO対策
    • あらゆる閲覧環境を想定した
      レスポンシブ
      デザイン
    • ホームページ制作後の運用
  • ホームページ制作後の運用

    ホームページ制作後の運用

    • ホームページ制作後の運用(目次)
    • 検索順位を安定的に伸ばす
      内部SEO対策
    • ユーザーをファン化する
      コンテンツ
      マーケティング
    • 流入状況を分析・改善する
      アクセス解析
    • ユーザーの動きを分析する
      ヒートマップ解析
    • 特定のターゲットに的確に
      訴求する
      インターネット広告
    • ターゲットの属性にあわせて
      訴求するSNS広告
    ホームページ集客の必要性
  • よくある質問
  • お客様の声
  • 制作実績
  • コラム
  • お問い合わせ
  • サイトマップ

株式会社オンカは、愛知、名古屋、岐阜、三重でWEBサイト・ホームページ制作とWEBマーケティングを行う会社です。インターネット広告の運用やSEO対策、SNS集客を含め、あらゆる手段でお客様の業績を向上させる、愛知・名古屋のWEBマーケティング集団です。トップデザイナーによるお客様の心を惹きつけるデザインと、Googleのポリシーに則った最新で最適なコーディング、コピーライターによるセンスフルな文章の執筆、そしてマーケティングの視点を吹き込むコンサルタントとディレクター。WEBサイト・ホームページ集客に関するあらゆる専門家がチームとなって、お客様のホームページ集客を成功に導きます。WEBサイト・ホームページ制作後も、内部SEO対策を適宜見直しながら、コンテンツマーケティングやWEB広告などのWEBサイト・ホームページ運用を行いながら、お客様のコンバージョン(問い合わせや購入)数と売上の増加を図ります。他にも、WEBサイト・ホームページ制作の段階ではわからなかったWEBサイト・ホームページの課題やボトルネックを、アクセス解析ツールやヒートマップツールを活用して明確化し、随時、最新で最適なホームページ集客が行えるよう、WEBサイト・ホームページそのものの見直しを行います。また、アクセス解析等のデータはレポートを作成して、WEBサイト・ホームページの状況を、お客様にもわかりやすくご説明しています。WEBサイト・ホームページ制作だけでなく、ここ愛知・名古屋で本気のWEBサイト・ホームページ集客をお考えの企業は、私たち株式会社オンカにご相談ください。

© All Rights Reserved. 株式会社オンカ