検索エンジンは、その種類として、ロボット型とディレクトリ型に分けられます。

ロボット型の検索エンジンは、ロボットと呼ばれるコンピュータ（プログラム）が、インターネット上に存在するウェブページを定期的、自動的に巡回して収集しています。収集方法は、検索エンジンに入っているWeb上のリンクをたどっていきます。そのために、ロボット型の検索エンジンの場合、常に新しい大量の情報が蓄積されています。反面、検索したときに情報が多すぎて、その中から必要な情報を探すのに時間がかかったりすることもあります。
キーワードによる全文検索ができる全文検索型と呼ばれている検索エンジンは、ほとんどが、ロボットによる情報収集のため、ロボット型検索エンジンと呼ばれています。しかし最近は、ディレクトリ型でもサイトの収集と分類をロボットが行っているケースもありますので、ロボット型＝全文検索型とは言い切れなくなっています。

ディレクトリ型と呼ばれる検索エンジンは、カテゴリ別に分類されていて、主に申し込みにより、該当するカテゴリに登録されています。ディレクトリ型による検索方法のロボット型との大きな違いは、キーワード入力による検索のようなウェブページ単位の検索ではなく、ウェブサイト単位の検索となります。ディレクトリ型の代表がYahooです。ただし、最近の検索エンジンでは、両方の機能を備えてきています。特にYahooの場合、2005年10月2日までは、Yahooカテゴリサイトが優先的に表示されていましたが、それ以降は、Yahooの初期画面では、ロボット型の検索エンジンによる「ウェブ」が表示されます。インターネット普及の当初は、手作業で登録する検索エンジンも多かったのですが、すさまじい勢いで増え続けるウェブページを手作業で登録するのには限界があり、現状ではほとんどの検索エンジンがロボット型を採用しています。また、ディレクトリ型にもロボット型にも、それぞれメリット・デメリットがあるため、最近の代表的な検索エンジンでは両方を兼ね備えているところがほとんどです。