Дата-центр (ЦОД)

Дата-центр — это помещение, здание или комплекс зданий с оборудованием для хранения и обработки данных. На его серверах работают сайты, приложения, облачные сервисы и нейросети. Другое название — центр обработки данных, сокращенно ЦОД.

Внутри дата-центра находятся компьютеры, системы хранения и сетевое оборудование. Чтобы техника могла работать круглосуточно, для нее организуют электропитание, охлаждение, связь и защиту. За состоянием оборудования следят специалисты и программы мониторинга.

Для чего нужны дата-центры

Дата-центры используют для работы сайтов и приложений, хранения данных и решения вычислительных задач. В одном сервисе эти возможности обычно сочетаются.

Работа сайтов и приложений. Например, на серверах работают электронная почта, банковские приложения и видеосервисы. Программы принимают запросы пользователей, проверяют права доступа, находят нужную информацию и отправляют результат.

Хранение данных. Это могут быть документы компании, фотографии, видеозаписи, переписка или сведения о заказах. Оборудование должно сохранять информацию и предоставлять ее программам, когда она понадобится.

Вычисления. Серверы обрабатывают статистику, рассчитывают прогнозы, помогают моделировать физические процессы и запускать нейросети. Дата-центр может обслуживать множество разных задач или быть подготовлен для определенного вида работы.

Для круглосуточной работы мало установить компьютеры в одном помещении. Им нужны достаточная электрическая мощность, отвод тепла, исправная сеть и регулярное обслуживание. На специально подготовленной площадке эти условия предусматривают заранее: рассчитывают нагрузку, размещают вспомогательное оборудование и организуют дежурство специалистов.

Как устроен дата-центр

Основное оборудование размещают в серверных залах. Здесь обычно стоят ряды металлических стоек, в которых закрепляют серверы и другие устройства. К ним подводят питание и сетевые подключения, оставляя специалистам доступ для обслуживания.

Серверы и системы хранения. Сервер — компьютер, который выполняет программы и обрабатывает запросы других устройств. Как и у обычного компьютера, у него есть процессор, память для текущей работы и накопители для хранения данных. На одном сервере могут работать несколько приложений, а задачи большого сервиса могут быть распределены между множеством серверов.

Диски размещают как внутри серверов, так и в отдельных системах хранения. Например, приложение может работать на одном устройстве, а получать документы или записи из хранилища, доступного через внутреннюю сеть.

Сеть. Сетевое оборудование связывает серверы и хранилища между собой и передает данные пользователям. Для связи с внешними сетями дата-центр подключают к линиям операторов. Резервные подключения помогают сохранить связь при повреждении одного из каналов.

Электропитание. Работающей технике постоянно нужно электричество. Система питания распределяет его между оборудованием, а резервные источники поддерживают работу при перебоях основного электроснабжения.

Охлаждение. Процессоры и другие компоненты нагреваются во время работы. Если тепло не отводить, оборудование может перегреться и остановиться. Поэтому в дата-центрах поддерживают условия, при которых техника способна работать под нужной нагрузкой.

В залах с воздушным охлаждением серверы обычно забирают прохладный воздух спереди и выпускают нагретый сзади. Потоки разделяют, чтобы горячий воздух не возвращался сразу к входу в оборудование. Для особенно мощных систем применяют и жидкостное охлаждение: жидкость отводит тепло от нагревающихся компонентов.

Защита. Доступ к оборудованию ограничивают: в серверные залы допускают только людей с соответствующими полномочиями. Для контроля используют пропуска, охрану и видеонаблюдение. Системы обнаружения и тушения пожара помогают защитить оборудование при возгорании.

Мониторинг и обслуживание. Датчики и программы следят за температурой, питанием, состоянием устройств и другими показателями. Если значения выходят за допустимые пределы, специалисты получают уведомление и могут принять меры. Оборудование также регулярно проверяют и обслуживают: наличие запасной системы полезно, только если она исправна и готова к работе.

Как работает дата-центр

Рассмотрим упрощенный пример. Покупатель открывает карточку товара в интернет-магазине, приложение которого работает на сервере в дата-центре.

1. Браузер отправляет запрос. В нем указано, какую страницу или данные нужно получить.
2. Сеть передает запрос серверу. Сетевое оборудование направляет его к приложению магазина.
3. Приложение получает данные. Оно определяет нужный товар и обращается к базе данных за названием, ценой, описанием и ссылками на изображения.
4. Сервер готовит ответ. Приложение формирует данные для страницы и отправляет их обратно через сеть.
5. Браузер отображает страницу. Он обрабатывает ответ, при необходимости загружает изображения и другие файлы, после чего покупатель видит карточку товара.

В реальном сервисе запрос может проходить через несколько систем. Например, приложение, база данных и изображения могут находиться на разных серверах или площадках. Поэтому один сайт не обязательно занимает один отдельный компьютер.

Пока программы обрабатывают запросы, системы питания и охлаждения продолжают работать. Их задача — поддерживать условия для техники независимо от того, открывает пользователь страницу, загружает файл или ждет ответа нейросети.

Как защищают оборудование и данные

В дата-центре стараются предусмотреть отказы отдельных устройств и внешних подключений. Для этого используют резервное питание, запасное оборудование и линии связи. Отдельно организуют защиту самих данных.

Резервное питание. При потере основного электроснабжения оборудование может получать энергию от источника бесперебойного питания — ИБП. Он поддерживает работу техники, пока запускается резервный генератор. Затем генератор принимает нагрузку и снабжает оборудование электричеством при более длительном отключении.

Так ИБП и генератор решают разные задачи. Первый помогает пережить переход без остановки оборудования, второй позволяет дольше работать без внешней электросети. Конкретная схема питания и время автономной работы зависят от устройства площадки.

Резервирование оборудования. Запасными делают и другие важные элементы: например, сетевые устройства, каналы связи и системы охлаждения. Если для охлаждения зала достаточно двух кондиционеров, можно установить третий как запасной: он заменит один из основных при поломке. При ремонте часть оборудования тоже можно временно вывести из работы, если система спроектирована для такого режима.

Резервные копии. Исправное питание не защищает от случайного удаления файлов или повреждения данных. Для восстановления сохраняют отдельные копии. Например, копия интернет-магазина может содержать каталог, сведения о заказах и другие данные, необходимые для его работы.

Копия должна пережить происшествие с основными данными. Если оба экземпляра находятся на одной площадке, крупная авария может затронуть их одновременно. Поэтому копию можно хранить в другом дата-центре.

10 марта 2021 года пожар уничтожил дата-центр SBG2 компании OVHcloud в Страсбурге. Сервисы на затронутой площадке стали недоступны, а компания начала предоставлять пострадавшим клиентам инфраструктуру в других ЦОД. Этот случай показывает, почему при подготовке к авариям учитывают и возможность потери целой площадки.

Сохранность данных и доступность сервиса — разные задачи. Резервная копия помогает вернуть информацию, но для работы сайта нужны еще серверы, программы и настройки. После аварии нужно восстановить работу серверов и программ или запустить сайт на заранее подготовленной инфраструктуре. Пока это не сделано, пользователи могут не иметь доступа к сервису.

Чтобы сократить перерыв, работу приложения можно заранее распределить между несколькими площадками или подготовить запасную. Самого наличия второго дата-центра недостаточно: нужно настроить переключение и предусмотреть ресурсы, которые примут нагрузку.

Резервные копии нужны и при таком размещении. Синхронизация между площадками может перенести ошибочные изменения в данных. Сохраненная копия прежней версии помогает вернуться к состоянию до ошибки. Возможность восстановления регулярно проверяют, чтобы обнаружить проблемы до настоящей аварии.

Надежность самого дата-центра также не исключает ошибок в приложении. Сервер может быть включен и подключен к сети, а сайт на нем — не работать из-за сбоя программы. Поэтому защитой инженерных систем и устойчивостью конкретного сервиса занимаются на разных уровнях.

Чем дата-центр отличается от сервера, облака и хостинга

Эти понятия связаны между собой, но обозначают разные вещи: оборудование, место его размещения и услуги, которые на нем работают.

За облачными сервисами стоят реальные компьютеры и системы хранения. Пользователь может сохранять файлы в облаке, не зная, в каком именно здании находятся носители. Для работы сервиса это оборудование все равно нуждается в питании, охлаждении и обслуживании.

Компания может получать облачные ресурсы у провайдера или создать частное облако на собственной инфраструктуре. В облаке провайдера ей доступны, например, виртуальные серверы, готовые базы данных или приложения. Физическое оборудование обслуживает провайдер, а обязанности клиента по настройке программ зависят от выбранного сервиса.

Хостинг тоже бывает разным. При общем хостинге несколько сайтов используют ресурсы одного сервера. Другой вариант — виртуальный сервер: часть ресурсов физической машины предоставляют клиенту как отдельный компьютер. Также можно арендовать физический сервер целиком. Поэтому хостинг не сводится только к месту на общем сервере.

Если компания хочет использовать собственное оборудование, она может разместить его у оператора дата-центра. Эта услуга называется колокейшн. Компания устанавливает свои серверы, а оператор предоставляет место, питание, охлаждение и другие оговоренные условия. Еще один вариант — организовать собственную площадку и самостоятельно отвечать за ее эксплуатацию.

Как дата-центры используют для нейросетей

Дата-центры обеспечивают вычисления для обучения нейросетей и работы уже обученных моделей. Требования к оборудованию зависят от модели, задачи и количества запросов, которые должен обрабатывать сервис.

Нейросеть выполняет большое количество математических операций. Многие из них можно проводить параллельно, поэтому для крупных моделей часто используют вычислительные ускорители, в том числе графические процессоры — GPU. Они позволяют выполнять множество таких операций одновременно.

Нужна и память, в которой размещаются параметры модели и обрабатываемые данные. Если ресурсов одного устройства недостаточно, работу распределяют между несколькими. При этом важна скорость обмена данными между ними: устройства должны передавать результаты друг другу.

Обучение. Во время обучения модели программа обрабатывает примеры и изменяет внутренние числовые параметры нейросети. Эти изменения нужны, чтобы модель лучше справлялась с выбранными задачами: например, распознавала речь или создавала связный текст. Для обучения крупной модели могут использовать много связанных между собой вычислительных устройств.

Обработка запросов. После обучения модель применяют к новым данным. Например, пользователь просит составить письмо, а нейросеть обрабатывает запрос и формирует ответ. Такой этап называют инференсом.

Готовая модель продолжает выполнять вычисления при каждом запросе. Если сервис одновременно обслуживает много пользователей, ему нужны ресурсы для обработки всей этой нагрузки. При этом само создание ответа не означает, что модель заново обучается: во время обычного инференса она использует параметры, полученные при обучении.

Мощному вычислительному оборудованию требуется соответствующее электропитание. Оно выделяет много тепла, которое необходимо отводить. Поэтому при подготовке дата-центров для крупных ИИ-систем особенно важны возможности питания, охлаждения и размещения оборудования. Развитие таких сервисов увеличивает потребность в подходящей инфраструктуре.

Для пользователя облачного ИИ-сервиса эта работа остается за пределами его устройства: запрос обрабатывает удаленная инфраструктура сервиса. Но некоторые модели можно запустить непосредственно на своем компьютере, если ему хватает ресурсов.

Для работы локальной нейросети заранее загружают модель и программу для ее запуска. После этого обработка запросов может происходить на самом устройстве без обращения к удаленному серверу. Возможности такого запуска зависят от модели, доступной памяти и вычислительной мощности компьютера.

Коротко о главном

Дата-центр, или ЦОД, — физическая площадка с оборудованием для хранения и обработки данных. Серверы выполняют программы, системы хранения сохраняют информацию, а сеть связывает оборудование и пользователей. Питание, охлаждение, мониторинг и защита поддерживают работу техники.

На этой инфраструктуре работают сайты, приложения, облачные сервисы и многие нейросети. Резервные системы помогают переживать сбои, а копии — восстанавливать данные. Доступность конкретного сервиса также зависит от того, как устроены и настроены его программы.