Search Engine Optimization Standards and Spam Discussion

Situation

サイトAは、コンテンツリッチなよくできたサイトで、検索キーワード"W"に対して非常に高い関連性があります。サイトBは、サイトAほどよくできたサイトではなくて、コンテンツも貧弱で、検索キーワード"W"に対してさほど関連性が高くありません。サイトBは、検索エンジン最適化（SEO）を実施し、スパムすれすれのテクニックも使い、サイトBは、突然検索キーワード"W"でサイトAより上位表示されるようになりました。サイトBがおこなったことは、検索エンジンの関連性を損ね、検索エンジンの利用者の満足度を下げる行為です。つまり、ユーザエクスペリエンスに打撃を与える行為なのです。また、検索エンジンの利用者が、検索結果に関連性の高いものがリストされて、うれしく思ってもらうことを仕事としている検索エンジンサービスの提供企業のスタッフに「してやったり」とほくそ笑むのと同じことだとも言えます。

検索エンジンが「スパム」ルールを厳しくしていっていることを不思議に思いますか？品質やウェブページ上のキーワードフレーズの一般的な使い方の改善と、エンジンを騙し、サイトコンテンツの編集なしに、より高いランキングを獲得することは、まったく別のことなのです。

検索エンジン最適化の実践者の役割は、検索エンジンが、それぞれの独自に開発した関連性の判定要因に基づいて価値あるサイトを価値のあるものとして選択できるようにするために、質的にも、量的にも、明暸性においても、検索結果の上位に表示されるべきコンテンツの価値などを高め、検索エンジンの精度にも寄与すべき立場にあるのは明らかです。検索エンジン最適化の実践者は、サイトをより関連あるものにし、関連する情報を鮮明かつアクセスしやすくすることにより、そしてまた粗悪なサイトの関連性を不自然につり上げるようなスパム技術を使用することなく、検索エンジンを支援すべきなのです。粗悪なサイトを偽装してはならず、それをあるべき姿に改善すべきなのです。サイトBを、サイトAより関連性が高いように見せるべきではなく、サイトBをより関連性のあるものにすべきなのです。

一部の検索エンジンは、外的要因となる検索エンジン最適化テクノロジーを許容し、評価の対象とすることがありますが、このテクニックをおこなっても効果はあまり長続きせず、次第に薄れていき、メリットは非常に小さくなっていきます。情報量が多く、コンテンツ、ユーザビリティに優れ、クローラーにとっても扱いやすいページは、一層の高評価を受けることになります。これが、検索エンジン最適化のあるべき姿です。

多くの検索エンジン最適化の実践者は、あまりにも長い間「軍備拡大競争」に巻き込まれ、誤った技術を次々と考案し、検索エンジンを騙し、競争相手を打ち破るということを続けてきました。現在、投入されつつある積極的なアンチスパム対策について、次のように伝えられています。クライアントのサイトのランキングを向上させたいのなら、ルールを守って正々堂々とやらなければなりません。そして、そのルールとは、絶対に「トリックは許さない」ということなのです。

端的に言えば、関連性の向上に正面から取り組むことが大事なのだということです。そうすれば、目指すべき結果は得られ、そうでないものは消え去っていくのです。

注：実際には、必ずしもそのようにはうまくいっていなかったというのが事実です。2000年には「ドアウェイページ」と呼ばれる動的コンテンツへの入り口となるページが普通に使われていました。事実、主要ないくつかのエンジンは「ドアウェイページ」を是認していましたし、今でもそれを許容しているエンジンもあるのです。2001年には、自分のサイトでドアウェイ自動生成ソフトウェアがどういった効果を持つかについてリサーチしてみました。コードに厄介なエラーが若干あったにもかかわらず、調査の結果では、ドアウェイページは、同等に努力を注いだ本物のサイトページの最適化を上回ることはないということが証明されました。2002年前半に、検索エンジンはエンジンのドアウェイページに対する評価を逆転させ、エンジンの動的ページのクローリングとインデクシングの機能を改善し、ドアウェイページはスパムであるというスタンスを強めることになりました。いくつかのエンジンでは以前から、ドアウェイページはスパムであると表明していましたが、その判断は、その判断はさらに強まってきています。今日、ほとんどの人がそれらを純粋なスパムであるとみなしています。このことは、今日機能しているものが、明日機能するとは限らないこと、火遊びすると後で悔やむことになるということを示しています。[注記として、2年間におこなってきたことはすべて主要な検索エンジンのルールに準拠するものであったにもかかわらず、何年も前に行った「ドアウェイ」の実験は、今日まで筆者を悩ましつづけています。筆者のアドバイスは、常に戦うべきグラウンドの真ん中で戦うこと、そしてエンジンを騙す新しい手法を使ったの実験で、一夜だけのランキング稼ぎをするなということです。筆者の場合は、本当に研究でしたが、誰も気にかけていないようです。]

検索エンジン最適化に使われる技術と方法論は、人によってやり方がりがうということが知られています。倫理コードの意図するところは、このコードをどのように守るかを定義することではなくて、むしろ遵守するべき境界を客観的に設定することにあります。たとえば、サイトを最適化するためにクローキング、ドアウェイ、ホールウェイ、サイトマップ、あるいはシャドーページを使用しても、プロダクトが倫理コードを満たす限り、倫理的見地からは問題とはしません。しかし、検索エンジンに受け入れられるかどうかは、これらのコードに加えて、それぞれの検索エンジンの検索エンジン最適化に関する基準（現時点では統一基準ではない）を満足するかどうかにかかっています。一般的には、倫理コードを遵守し、かつ検索エンジン（個々の検索エンジン最適化に関する基準を明らかに満足する）によって受諾されるならば、許容されている手法だと考えることになります。

しかし、状況は変化するもので、今日許容されているトリックが、明日にはブラックリストに載せられる可能性もあることは忘れてはいけません。明日にも止めなければならないかもしれないトラックに時間を浪費するよりも、「誠実なページ」による検索エンジン最適化に重点を置くのがよいでしょう。

検索エンジンによって多少の違いはありますが、一般的なガイドラインを以下に列挙しておきます：

1. キーワードは、ページ本体のコンテンツと関連性を持つ必要があり、コンテンツを表すものでなくてはならず、明確な関連性が認識されるものでなければならない。
2. キーワードは、検索エンジンが認める形、受け入れられるような形で使用しなければならない（配置、位置や方法、文字色など）。
3. キーワードは、ページにおいて度を超えた頻度で使用してはならない（頻度、密度、分布、など）。
4. リダイレクト技術を用いる場合には、ユーザビリティの向上といったユーザーエクスペリエンスに寄与するものでなければならない。しかし、これは、常にといってよいほどトリックとみなされ、インデックスから排除される原因となる場合がしばしばあるので気をつけなくてはならない。
5. リダイレクト技術を用いる場合には、常に本体コンテンツに適正キーワードが含まれるページを表示しなければならない（リンクベイティング・すり替えの禁止）。
6. リダイレクト技術を用いる場合は、URL（URLリダイレクトを変更してはならず、ブラウザのバック（もどる）ボタンに影響（ループを生じる）を与えてはならず、あるいはそのサイトではない外部サイトの情報の表示や、もしくは適切なテクニカルな理由（言語別ページへのリダイレクトなど）もなく関連性のないページ情報を表示してはならない。
7. ページを、度を過ぎて頻繁に検索エンジンに登録申請してはならない。

注：公平にいえば、それぞれの検索エンジンは、少なくともロボット排除規格（NO ROBOTS）をサポートしなければなりません。これは常に当てはまるわけではありませんが、そうであるべきです。

検索エンジンあるいはディレクトリに関するさらなるガイドラインは、「関連性」、「スパミング」、「クローキング」あるいは「リダイレクト」に関するもので、通常それは「ユーザーエクスペリエンス」に関連するものです。一般に、コンテンツの改訂や追加は、それがユーザーエクスペリエンスを向上させるものである場合には、望ましいことです。これは、ケースバイケースで判断すべき主観的な領域ですが、それにしてもなぜ、ルールはそのようにしばしば変わるのでしょうか。個々の検索エンジンの定義する規則およびガイドラインについては、各検索エンジンの登録申請ページを参照してください。

The Players

検索エンジン検索エンジン最適化については、主なプレイヤーは以下の三者です：

1. クライアント - ウェブサイトのオーナー：売上、ユーザー定義、およびユーザーエクスペリエンスを重視し、訪問者にサイト側が望むようなアクションを起こしてもらうことを期待しています。
2. 検索エンジン: アルゴリズムによって制御される関連性によって良いユーザーエクスペリエンスを提供し、検索エンジン内ユーザを欺くようなネガティブな検索結果を極力提供しないことに重点を置いています。
3. SEO業者: 検索エンジン問合せの結果として、クライアントのサイトへのトラフィックを獲得することが目標です。これには、検索エンジンのランキングアルゴリズムを理解し、クライアントと同じキーワードで他社のサイトを最適化させようとしている別のSEO業者を打ち破って、スパムを使わずに（決められたルールの中で）実現することが求められます。検索エンジン最適化の実践者は、検索エンジンではなくクライアントから報酬を受け、手法を問わず（スパムではないやり方で）ランキングを獲得することに対して報酬が与えられます。

不幸にしてルールが変わった場合には、サイトは検索エンジンの検索結果に表示されなくなることもあります。アルゴリズムの変更時には、サイトのランキングが落ちることもあります。競合のSEO業者が、ルールの範囲内で新しいトリックの発見に成功したことにより、クライアントサイトのランキングが下落することもあります。クライアント企業の新たな競合企業のサイトが市場に参入すると、クライアントサイトのランキングが下落することもあります。クライアントサイトのページ改定や、あるいはサーバ技術の変更によっても、クライアントサイトのランキングは下落することがあります。

Processes

SEO業者が使用するページを中心とした（ページ内要因）メインプロセスは4つあります：

1. クライアントサイトのページの編集: 検索エンジンで高いランキングを獲得するために、クライアントサイトのページの改訂をおこないます。これは、「誠実な」検索エンジン最適化のための作業であり、本物の「誠実な」ウェブサイトページの編集作業になります。これは、合法的なSEO業者にとっては基本中の基本タスクであり、意義のある、長持ちするランキングを獲得することに関しては明らかに効果があります。
2. マン・メイドの（人が手作業で作成する）ページ: 一般的には、キーワード集約的で、閲覧時にはビジターが訪れると「誠実な」サイトのページとして表示されるような、「ドアウェイ」的な技術（シャドーページ）のことを指します。これは、本物の「誠実な」ページのコピーを作成し、それから「誠実な」ページ（実際のページ）で使われているキーワードを強調するために、そのコピーを改訂する労働集約的なプロセスです。実装例としては、このページにはフレームセットで本来表示すべきページをロードし、いくつかのリダイレクトをものとなります。これは、ヒトである訪問者を対象とした追加的なコンテンツをサイトに加える、「ウェブデザイン」と取り違えてはいけません。ヒトである訪問者を意図しないマン・メイドのページは、コンテンツがいかに優れていても、主要な検索エンジンのすべてがこれをスパムとみなします。
3. マシン・メイドの（サーバで自動生成する）ページ: 一般的には、ページのコンテンツをキーワードに基づいて他のサイトのコンテンツから抽出し、ソフトウェアツールによりコンパイルされる「ドアウェイ」的なページのことを指します。実装例としては、jibberish、あるいは検索エンジンが容易に検出できるテンプレートを用いて、ページを生成します。この種のツールは、文字通り数分で何千ものページを生成することができます。ヒトである訪問者を意図しない、マシン生成の任意のページは、コンテンツがいかに優れていても、主要な検索エンジンのすべてがスパムとみなします。
4. クローキング: これは、通常、訪問者のIPアドレスやUSER-AGENTに応じて表示するページを変えているサイトで利用する手法です。この技術は、一般的に、それぞれの検索エンジンとブラウザに異なるコンテンツを表示するために使用され、検索エンジンには、ブラウザで見た時と同じ内容のコンテンツが表示されることはほとんどありません。訪問者がクローラーなのか、ヒトなのかに基づいてフィルタリングするようなクローキングをおこなうサイトは、コンテンツがいかに優れていても、主要な検索エンジンのすべてがスパムとみなします。

Editing Focus/Methodology

弊社のサイトでは、検索エンジンでのランキング向上のために使用される主要な方法についてご紹介しています。このセクションでは、新たに出現してきた規格の影響を受けるいくつかの領域を挙げておきますので、特にご注意ください。

1. ナビゲーション: クローラーにサイト内のコンテンツを発見させ、ポピュラリティアルゴリズムを利用するようなリンクの活用法。
2. コンテンツ: 検索エンジンへの検索文字列と関連する言葉、フレーズ、およびテーマを包含し、もしくはこれらに重点を置くこと。
3. トランスファー: 本物の「誠実な」ページを表示する（あるいはトランスファーする）ページ。これらのページは、一般に検索エンジンに対しては、キーワードリッチであり、かつテーマが定まったものとして表示されますが、ブラウザに対しては再フォーマットされたページを表示します（標準的なフレーム構成のページと検索エンジン用のフレーム構成としていないページを併用することによく似ています）これには、ぶらうざとけんさくえんじんにいはべつべつのURLを表示させるURLスイッチング（リダイヤル）やブラウザのバック（もどる）ボタンでループさせるようなものが含まれます。

Bad Practice Issues

不正な検索エンジン最適化の実践には何が含まれるかについては、いろいろと意見が分かれるのは明白ですが、「スパム」と「クローキング」がそのリーダーと考えてよいでしょう。ここでは、これらの一般的に不正な実践とされている行為を挙げておきます。もし、これらに対してご意見をお持ちの方は是非お知らせください。これらの手法には、かつては問題視されていなかったものも含まれていますが、検索エンジンがそれぞれのスパムに対する定義を進化させる過程において「不正」であると見なされるようになったものもあります。

透明なリンク、目に見えないリンク、まぎらわしいリンク、目立たないリンク - リンクに完全に透明な画像を使用使用すること、目に見えないリンク（DIVタグやレイヤーなど）を使用すること、リンクをクリックした結果が読みとれるような文字や記号が含まれていない画像を利用したリンクを使用すること、あるいは1x1ピクセルの画像を使うような目立たないリンクを使用すること、あるいは句読点（<a href=link> </a><a href=real-link>real words</a><a href=link>.</a>）を対象としたリンクを使用することは、「スパム」であって、検索エンジンのインデックスから削除される原因になると考えられます。

「マシンが生成した」ページ - 無条件でスパム。いかなる場合であっても不必要なそうしたページを作ることができるプロダクトが販売されています。

クローキング - これは、訪問者のブラウザに表示されるコンテンツと検索エンジンに対して表示されるコンテンツの内容に違い（削除やフォーマット変更、挿入など）がまったくないのであれば別ですが、どんな状況においても虚偽のページを表示するスパム行為です。そのツール[IPアドレスまたはユーザエージェントによってフィルタリング]の本来の目的は、コンテンツを閲覧するのが人間なのか、検索エンジンなのかを判別して、それぞれに別々のコンテンツを配信することを容易にするというものでしたが、クローキング技術の実相は、現在不正と見なされています。すべてのエンジンがクローキングされたサイトを検出できるというわけではなく、一部にはそれを許容するものもありますが、ほとんどの場合、クローキングサイトはスパムと見なされます。Googleには、そのようなページを検出できるツールを所有していると表面化しており、クローキングが発覚した場合には、それらのサイトをインデックスから削除するという措置をとっています。

スパムは、その対象範囲がかなり広いトピックで、ホワイト・オン・ホワイト（白いページ上に白い文字色のテキストを表示する一見不可視の偽装テクニック）から、ウェブに負荷を与える「リンクポピュラリティを急増させるための非常に大量のリンクを設置した無料のウェブページ／サイト」（リンクファーム）まで、様々なものがあります。この分野に関しては本質的な定義が必要であるように感じます。「白か黒か」のルールーで定義するのが最も簡単かもしれません。

スパムの新しい領域は「外部」要因を持つものであって、この外部要因には、多数の不必要なホスト名を持つサイト、過剰に相互リンクを重ねることで見せかけのリンクポピュラリティを増幅させるようなサイトや、アフィリエイトプログラムの一環としてリンクの設置を義務付けるものなどがあります。

What the engines think is spam

Google: 「基本的には、隠しリンクや、隠しテキスト、ランキング操作のための自動ツール、クローキングは是としないというのがGoogleのスタンスです。Googleは、Googlebotが、ユーザーが見るものと全く同じページを見ることができることを是とします。一般的には、Googleは可能な限りコンサバティブなスタンスを取ろうとしているとお考えのようです。Googleは、たとえばdivタグや、レイヤー、IFRAME、CSSにリンクやテキストを隠ぺいする行為や目立たないリンクや、句読点へのリンクの設置は是としていません。同様に、Googleは、クローキングや欺瞞的なリダイレクトに関してはユーザエージェントやipベースでおこなうものであれ、javascript、metaリフレッシュ、302、100%フレームなどのどんなテクニックによるものであれ、是としていません。」 Googleはまた、「Googleは、ページのインデックスからの削除について個別に説明することはありませんし、削除対象となりうる行為のリストの提供もおこないません。しかし、クローキングなどの行為、ユーザーではなく検索エンジンにだけ見ることのできるテキストの記述、あるいは検索エンジンを騙すためだけに設置されたページやリンクの公開といった類の行為、Googleのインデックスから永久に削除される結果になるでしょう。」とも明言しています。より詳細な情報については以下をご覧ください：ガイドラインおよび検索エンジン最適化について。また、著作権侵害については、Google DMCAページをご覧ください。

Inktomi: 「Inktomiは、スパムのことを、検索エンジンを騙し、不適当な、冗長な、あるいは低品質の検索結果を提供させるように故意に作成されたページであると考えています。」

All The Web: 「[スパムとは]検索エンジンの精度または関連度の判定に対して、人工的に影響を及ぼすようなテクニックを利用すること。」より詳細な情報については以下をご覧ください：スパム・ポリシー。

AltaVista: 以下は、前述の事柄と共通しているが、しかしスパム検討記録に関する非常に多くの論点を掲げるものです：

「AltaVistaのアンチスパム技術により、本質的に同じコンテンツを持つ大量のページ、もしくは同じコンテンツに導く大量のページを登録申請するようなサイトあるいはサブネットを検知することができるように作られています。検索結果を操作しようと試みるウェブサイトは、AltaVistaインデックスからブロックされることがあります。AltaVistaは、最高品質のインデックスをウェブ上に維持するために断続的に活動しています。AltaVistaのインデックスを、誤解を招くあるいは販売促進用のページで満たそうとする試みはインデックスの価値を低下させ、かつ検索体験の非効率化をもたらします。検索体験の質の低下は、検索ユーザだけでなく、すべての人、企業や非営利団体に害をもたらします。

AltaVistaのインデックスからサイトがブロックされる理由になる操作の具体例は、以下をご参照ください：

1. テキストのフォントサイズがあまりにも小さいか、またはページの背景色や背景画像によって不明瞭になっているか、そのどちらかのために容易に読むことのできないページ
2. キーワードが主題から外れているか、あるいは過剰なページ
3. 同一ページの過剰な登録申請や、同一ページの複数ドメインからの登録申請、あるいは同一ページの複数のホストからの登録申請などによるコンテンツの複製
4. ユーザーに他のページをクリックさせることだけを目的とする、コンテンツが最小限か、あるいは皆無の自動生成されたページ
5. 他のページへのリンクだけしかないページ
6. ユーザーを他のページにリダイレクトさせることを、主たる意図としたページ

誤解を招くあるいは販売促進用のページで、AltaVistaのインデックスを満たそうとする試みは、すべての人にとってインデックスの価値を低下させます。AltaVistaは、大量のURL登録申請をおこない、インデックスに対するスパム行為をおこないことは許可しておらず、そうしたページはインデックスから削除します。

Google: spamreport@google.com
Inktomi: spambuster@inktomi.com
All The Web （現在は、Yahoo!が所有）: Form
Ask: information@ask.com
AltaVista: spam-support@altavista.com

検索エンジン最適化倫理コードのページをご一読いただくことをお勧めします。

Summary

「遵守」していないサイトをフィルタにかけ、検索エンジンのインデックスからのフィルタリングは既に開始されています。他のエンジンでも順次開始されることでしょう。あらゆる検索エンジンは、この機会に各社連携して、共通の基準を策定し、強化すべきなのです。そうすれば、相当数のウェブサイトは、その基準にのっとってサイトを最適化しようと考え、「誠実な」検索エンジン最適化業者の元を訪れることになるのです。同様に、このことが、検索エンジン最適化の実践者にとっても、「この波に乗る」ことと将来の規格を設定するための機会となりうるのです。

ここで扱った以外の新たな基準に関する問題点については、こちらをご覧ください… NEXT >>

参考：
ロボット排除規格