ロボット型検索エンジンは、現代のインターネット生活に欠かせない

2017年08月28日
2018年07月24日
#アルゴリズム
#クローラー
#ロボット検索

ロボット型検索エンジンの重要性

GoogleやマイクロソフトのBINGなど、インターネット上にひそかにロボットのクローラーを飛ばし、世界中のインターネット上のコンテンツを参照し、検索できるように複製する検索エンジンがあります。そうした検索エンジンを、ロボット型検索エンジン、と呼びます。ロボット型検索エンジンで、圧倒的に世間で使われているのはGoogleですので、ここではGoogleをモデルに説明をさせていただきます。

利用者はロボット型検索エンジンを使って、キーワード検索することができます。たとえば、「ECサイト　開発」などのキーワードで検索すれば、検索エンジンがインターネット上にある、ECサイトを開発している会社や、開発している会社に関する情報をまとめているページなどを検索結果に表示してくれます。

キーワードは、単体でも構いませんし、複合キーワードでも構いません。AND検索、OR検索のどちらにも対応しており、「-（マイナス）」のキーワードを使えば、特定のサイトを除外して検索することもできます。Googleの場合は、「site:」というキーワードを使って、特定のサイト内の単語を検索することもできます。

インターネットには、約80億のページがあると言われています。世界中で日々コンテンツが作成されています。ロボット型検索エンジンは、コンテンツの更新日時を参照しながら、中身を解析していきます。

ロボット型検索エンジンが、検索結果を返す仕組み

ロボット型検索エンジンには、クローラーというロボットの存在が欠かせません。
クローラーは、インターネットを巡回し、見つけたあちこちのページを、自然言語処理機能を使って分析します。そこで何が書かれているかを、自然言語に分解して、学習するのです。
Googleは、コンテンツの中身を理解しているのです。たとえそれが日本語であったとしてもです。
クローラーが集めてきたWebサイトの情報を、このように解析して、重要度の高いものを判断します。ここが検索エンジンの品質を左右するともいえるポイントです。集めてきたWebページは整理され、インデックスが張られます。それによって、高速にインターネット検索が可能になるのです。Googleで何か文字列を検索すると、「0.0000○秒」という検索にかかった時間が表示されるのを見たことがある方もいらっしゃるかもしれません。

検索エンジンは、入力されたキーワードを元にインデックスを捜索し、役に立つと思われる順番にページへのリンクを表示していきます。ここの情報がどれだけ利用者の役に立つかによって、その検索エンジンの評価が決まります。検索しても役に立たないページばかりでてくるようでは、利用者は離れていってしまいます。そのため、どのような検索結果を返すかが、ロボット型検索エンジンにおいてもっとも重要な機能なのです。
この機能、アルゴリズム等は重要機密となっており、公開されていません。どのような順番でキーワードに対して表示されるかは、コンテンツの作成者にとっては非常に重要なことです。インターネットでビジネスを展開していく上で、検索ボリュームがあってニーズのあるキーワードで、上位表示されることは、死活問題だからです。そのため、多くの業者が、SEO（Search Engine Optimization）と呼ばれる検索エンジン最適化を行っています。検索エンジンの仕組みは非公開なのですが、どのようなコンテンツを作成すれば、上位表示されるかはある程度攻略されており、多くのコンテンツ作成業者が上位を競っています。
このアルゴリズムは、常に変動しています。特にGoogleはたびたびアップデートを行い、検索結果の表示順番を入れ替えています。Googleは、「ユーザーの役に立つサイト」をもっとも重視して検索結果に表示します。読む前と読んだ後で、人生が変わるような体験、読んだ人の人生が豊かになるようなコンテンツを率先して上位表示する、と宣言しています。Googleは特に、「悪いことをしなくてもお金を稼ぐことができる」というのがポリシーですので、正々堂々とユーザーの役に立つコンテンツを書いている人は、検索結果に表示されやすくなるのです。

ロボット型検索エンジンが重視するもの

Googleはロボット型検索エンジンの中でも最高峰の性能を誇っています。ですが、完璧ではありません。たとえば、ペンギンアップデート、パンダアップデートと呼ばれるアルゴリズムの改修がある前は、低品質の、あまり内容のないコンテンツでも、外部からリンクを張ることで強制的に検索結果の上位に表示されていました。

Googleが、そのページを「役に立つ」と評価する上で、コンテンツの内容の他に、外部からのリンクがどの程度ついているか、いわゆる「被リンク」も重視しています。そのコンテンツが役に立つと思うからこそ、ユーザーは自分のコンテンツから、他人のコンテンツにリンクを張って、何らかの解説を行うからです。この被リンクは、普通に良質のコンテンツを作成していれば、いろいろな人が読者になってくれて自然と増えていくものです。

ロボット型検索エンジンをハックする人たち

しかし、中には、自分のページを検索上位に上げたいという思いを持って、意図的に無料ブログや中古ドメインでページを作成し、そこから自分のサイトにリンクを張る「自演リンク」を行うユーザーもいます。こうしたユーザーは自演リンクを使って、自分のページがあたかも人気があり、良質のサイトであるかのように装っているのです。

これは、アフィリエイトサイトなどを運営している人の間で、「ブラックハットSEO」と呼ばれる手法です。Googleはアップデートによってこれらの自演リンクを張っているサイトを圏外に飛ばしましたが、それでも未だに自演リンクを完璧に見破ることはできません。

信頼性の評価

また、他者が作成した記事を語尾だけ変えてリライトし、多くの文字数とともに大量作成したコンテンツも、有効とされていました。しかし、2016年末に起こったキュレーションサイトのWELQ問題のように、悪質な複製を無効にするため、Googleはフレッドアップデートを実行しました。リライトや単純に長いだけのコンテンツは評価せず、雑多ブログなどの評価を下げ、専門性の高い信頼がおけるサイトを上位表示するようアップデートしています。

その他にロボット型検索エンジンが重視するもの

被リンクや記事内容の専門性の評価以外では、下記のようなポイントが重視されていると言われています。

コンテンツを多角的にチェック

ロボット型検索エンジンは、サイトのコンテンツ内容とドメイン名が一致しているかどうかをチェックしています。サイトの構造も、最低2クリックでどのようなページにもたどり着けるように作ってあるのが望ましく、クローラーはさまざまな角度から、多角的にあなたのサイトを評価します。

滞在時間の長さ

滞在時間も重視します。ページに対する滞在時間が長いということは、それだけしっかり読み込まれているということでもあり、しっかり作られた良いサイトであることがわかるからです。同様の理由で、以前は7000文字～10000文字のかなり長いコンテンツが評価されていたのですが、今はフレッドアップデートで変更され、長さはそれほど重視されなくなりました。

まとめ

こうした指標は、Googleを代表とするロボット型検索エンジンがページを評価する上で欠かせないものです。ロボット型検索エンジンは、今後もよりユーザーのためになるページを検索結果に上位表示させるために、アルゴリズム改良を続けていくものだと見られます。良質なコンテンツを作り、世界中の人に読んでもらおうと考えたら、ロボット型検索エンジンがどのように振る舞っているのか、知っておくと有利です。