Niedersächsische Staats- und Universitätsbibliothek Göttingen InetBib2002 Universitätsbibliothek Dortmund
Protokolle - Portale - Profile
6. InetBib-Tagung vom 18. bis 20. September 2002 in Göttingen

ABSTRACT

 
Kühne GmbH


Mittwoch, 18.9.2002 
Block 2: Portale und Suchmaschinen
16:30 - 17:00 
Hörsaal 18
Innovative Basistechnologien für eine skalierbare, intelligente Internet-Suchmaschine
Mail an Prof. Dr. Christoph Lindemann senden Prof. Dr. Christoph Lindemann,
Universität Dortmund, Fachbereich Informatik, Lehrstuhl (IV) für praktische Informatik

InetBib-Man

A Highly Scalable Software Architecture for Internet Search Engines

As a consequence of the tremendous size, explosive growth, and rapidly changing nature of the Web, a major challenge for search engine design and implementation lies in providing means for scalability at large. In this paper, we introduce WebSearchBench: a parallel software architecture for Internet search engines running on commodity-of-the-shelf components
(a Linux cluster comprising of Intel Pentium IV Xeon dual-processor PCs connected by a Gigabit Ethernet).
The presented performance study shows that WebSearchBench running on 8 nodes of a cluster can crawl and index 40 million Web pages per day. Another 4 nodes of the cluster can manage an index of 200 million pages and answer more than 25 million search queries per day. The repository for storing 200 million pages requires 7 additional nodes. Furthermore, our study indicates that WebSearchBench running on 32 nodes should be able to manage an index of 2 billion pages and answer about 120 million search queries per day.

 
 
 

- Anmeldung HIER möglich -


Die InetBib-Tagung findet regelmäßig statt und ist ein Kongress der Teilnehmer der gleichnamigen Liste.
Für Fragen oder Anregungen schicken Sie bitte eine Mail an
goettingen@inetbib.de.
Für Informationen über die Tagungen der letzten Jahre und noch vieles mehr:
www.inetbib.de.
Stand: 29.07.2002