Поисковая система Google известна практически всем, кто пользуется Интернетом. Этой популярнейшей торговой маркой мира владеет необыкновенно успешная одноименная компания с годовым оборотом 6,1 млрд. долл. Однако о ее новаторской инфраструктуре управления информацией, построенной на базе огромной распределенной grid-системы, известно не очень много. Но недавно Дуглас Меррилл, директор Google по информационным технологиям, провел встречу с коллегами из других фирм, на которой рассказал об основных принципах работы компании, ее компьютерных системах и взглядах на будущее.

Когда Ларри Пэйдж и Сергей Брин выпустили в 2004-м акции Google на рынок и стали публиковать финансовые показатели, все были поражены

Поскольку Google успешно справляется с колоссальной работой, ее опыт может пригодиться другим компаниям, особенно тем, которые рассматривают возможность применения grid-технологии, позволяющей выполнять интенсивную вычислительную обработку с помощью большого количества недорогих компьютеров.

Когда журналисты пишут про Google, они обычно выдвигают на первый план самые яркие моменты: феноменальный рост курса акций, неформальную обстановку на работе, огромную долю рынка, поразительное количество бета-версий продуктов и жесточайшую конкуренция с Microsoft. Но компания также сталкивается и с более практическими проблемами, включая трудности с биллингом, сбором информации, управлением проектами, взаимодействием с подрядчиками, наемом сотрудников и оценкой их работы, использованием систем видеоконференцсвязи. Судя по рассказу Меррилла, эти задачи Google решает своеобразно. “Мы считаем, что не все методы, популярные в прошлом, нужно обязательно использовать в будущем”, — сказал он.

В числе прочего это значит, что Google не всегда действует традиционным образом. Например, иногда для извлечения информации из электронной почты она применяет не стандартный пользовательский интерфейс на базе форм, а методику синтаксического анализа, составляющую основу ее поискового механизма. Для развертывания обычных бизнес-приложений в некоторых случаях служат не традиционные серверы, а машины, построенные на ее фирменных кластерных технологиях.

Система Google работает на сотнях тысяч серверов (по некоторым оценкам, их более 450 тыс.). Они объединены в тысячи кластеров, которые установлены в десятках центров обработки данных (ЦОД), расположенных в разных городах мира. Такие центры есть в Дублине (Ирландия), штате Виргиния (США). Недавно компания приобрела огромное здание для штаб-квартиры в Калифорнии, открыла новый ЦОД в Атланте и сейчас строит в городе The Dalles (шт. Орегон) помещение размером в два футбольных поля. 

За счет территориального распределения серверов Google обеспечивает высокую производительность при обработке запросов, так необходимую ее многочисленным пользователям во всем мире. И хотя услуги поиска информации до сих пор приносят компании основной доход, на этих серверах также работает и быстро растущее семейство других приложений, в частности Gamil, Blogger, основанный на Web текстовый редактор и программа создания электронных таблиц. 

Именно поэтому сейчас так много разговоров о том, что Google — “убийца” Microsoft. Одни в это верят, другие нет, но факт остается фактом: обе компании играют на одном поле. В 2006 г. Microsoft собирается вложить 1,5 млрд. долл. в создание инфраструктуры серверов в ЦОД. Google в прошлом году потратила на эти цели 838 млн. долл., и теперь для удержания лидирующих позиций ей придется израсходовать не меньше соперницы. 

Ведь ей необходимы крупномасштабные вычислительные системы. В 2005-м она проиндексировала 8 млрд. Web-страниц. Видимо, это количество будет расти, так как доля компании на рынке увеличивается. По оценке аналитической фирмы ComScour Networks, в апреле текущего года к Google обратилось 43% пользователей поисковых систем из США (за полгода до этого — 36,5%), Yahoo и Microsoft Network отстают со значительным отрывом (см. диаграмму). К тому же расширяется и сама аудитория. В том же отчете ComScour говорится, что в апреле американцы занимались поиском в Интернете 6,6 млрд. раз, что на 4% больше, чем за месяц до этого. Система Google обработала 2,9 млрд. поисковых запросов, Yahoo — 1,9 млрд., а Microsoft Network — 858 млн. 

Но рост невозможен без увеличения вычислительной мощности. Как отмечает Google в последнем годовом финансовом отчете, “наш бизнес основан на использовании программной и аппаратной инфраструктуры, обеспечивающей значительные вычислительные ресурсы при невысоких затратах. Мы применяем комбинацию из коммерческого и собственного ПО, она работает на кластерах, состоящих из недорогих компьютеров. Эта инфраструктура, в которую мы вложили значительные инвестиции, обеспечивает нам целый ряд преимуществ: упрощает хранение и обработку огромного объема данных, облегчает развертывание и эксплуатацию продуктов и предоставление услуг в разных странах мира, позволяет в значительной степени автоматизировать управление мощными кластерами”. 

Чтобы получить максимальный контроль над своей инфраструктурой, Google предпочитает не арендовать оборудование на условиях лизинга, а покупать его. Главный исполнительный директор компании Эрик Шмидт так объясняет эту стратегию: “Мы обеспечиваем высокую конкурентоспособность, самостоятельно создавая собственную инфраструктуру”. При этом Google не просто скупает в массовых количествах ПК-серверы и устанавливает их в стойки.

Главная цель — построение систем, которые, по нашему мнению, являются суперкомпьютерами”, — сказал Шмидт.

И хотя компания не любит распространяться об особенностях своей инфраструктуры, кое-какая информация все же просачивается. Например, Google разработала методику быстрого развертывания заранее сконфигурированных ЦОД. Вот как описывает этот метод автор блога Pbs.org: “Компьютеры, включающие 5000 процессоров Opteron и дисковые массивы общей емкостью 3,5 ПБ упаковываются в стандартные контейнеры и за одну ночь перевозятся трейлером в любое место, где у Google есть подключение к оптоволоконному интернет-каналу. Таким образом, Всемирная сеть превращается в гигантскую grid-систему, обладающую огромной вычислительной и запоминающей мощностью”. Google не прокомментировала это сообщение. Кроме того, компания постоянно разрабатывает ПО для управления данными и сетями (см. таблицу) и использует так мало чужого софта, что лишь немногие поставщики могут назвать ее своим клиентом.