Ноутбук и компьютер - Информационный портал

Что такое цоды. Что такое дата центры и их назначения, цод расшифровка аббревиатуры Что такое собственный цод

21. 05.2018

Блог Дмитрия Вассиярова.

Что такое дата-центры — вся суть

Приветствую своих любознательных читателей, и сегодня мы поговорим на глобальную, для компьютерных технологий, тему. Я расскажу вам о святая святых интернета и местах, куда практически невозможно попасть простому человеку. Интригующе звучит? Расслабьтесь, ведь я просто расскажу, что такое дата-центры.

«Data» – в переводе с нескольких распространенных языков означает «данные», поэтому, если мы представим себе условное место где они хранятся, то получим начальное и вполне объективное представление об обсуждаемом нами объекте.

Но, данные хранятся и у каждого из нас на компьютере, скажете вы. Да, соглашусь я, и добавлю, и если общая информация используется несколькими компьютерами (на предприятии, в офисе), то она уже располагается на сервере, и доступ к ней осуществляется через локальную сеть. А теперь, представьте, что корпоративными данными пользуются несколько организаций в разных городах (и даже странах).

И здесь мы подошли к наиболее важным качествам, которые точно характеризует дата-центр. Это надежность и безопасность. Доступ к данным должен обеспечиваться в любое время суток, без задержек и без сбоев. Кроме того, вся хранящаяся информация обязана иметь несколько степеней защиты от стороннего физического и программного доступа, а так же от вирусных атак.

Инфраструктура дата-центра и системы безопасности

Теперь мы имеем общее представление, что представляет собой дата центр и какие общие функции он выполняет. Это позволяет выделить основные элементы данного объекта:

  • информационный комплекс – это аппаратная часть в виде серверов и программное обеспечение для их обслуживания;
  • телекоммуникационные каналы для передачи информации между сервером и пользователями, так же используются внутреннего обмена данными;

  • техническая инфраструктура, обеспечивающая надежное функционирование объекта и всех его инженерных систем;

Полноценная защита информации, размещаемой на серверах, обеспечивается комплексом различных мероприятий, и чем солиднее дата-центр, тем больше уровней защиты он использует:

  • эксплуатация ресурсоемкого серверного оборудования и дисковых накопителей от надежных производителей;
  • резервное копирование данных (обязательное условие их сохранности);
  • программная защита от хакерского взлома, незаконного копирования. Так же для интернет ресурсов используются меры по отражению ;
  • многоуровневая система проверки допуска на объект, где располагается дата центр;

  • наличие нескольких источников электроэнергии, в том числе резервного аккумулятора и автономного генератора соответствующей мощности;
  • создание благоприятных климатических условий для работы оборудования и персонала. Особое внимание уделяется системе кондиционирования и очистки воздуха;

  • современное противопожарное оборудование, включающие датчики раннего обнаружения признаков (дымовые, тепловые) и систему тушения;

Безусловно, в полном объеме эти меры используются в солидных дата-центрах, обслуживающих известные интернет-ресурсы и специализирующихся на предоставлении серверных услуг. Они обычно располагаются на специально отведенной территории, и лучшим местом для этого являются сейсмоустойчивые районы с холодным климатом. Но также datacenter можно обустроить в любом месте, исходя из условий целесообразности прокладки коммуникаций и обеспечения безопасности. Такие объекты могут быть отдельностоящими, модульными (с возможностью расширения мощностей) или передвижным (в ISO контейнере).

Зачем нужен datacenter?

Для получения полного представления о дата-цетре, рассмотрим виды предоставляемых им услуг:

  • Выделенный сервер – это аренда клиентом аппаратной платформы для хранения и обработки информации. Наиболее распространенная услуга крупных центров.
  • Выделенная (dedicated) зона, предоставляемая datacenter для размещения компанией комплекса оборудования, включающего выделенную коммуникационную линию. Позволяет обеспечить требуемый уровень безопасности корпоративных данных;
  • Колокация – это когда клиент пользуется инфраструктурой дата-центра для размещения своего серверного и прочего оборудования с соответствующим ПО. На волне ажиотажа, связанного с ростом курса биткоинов, в datacenter размещали майнинг фермы;
  • Виртуальный сервер – это выделение определенной части дискового пространства. На одном HDD теоретически может располагаться базы данных нескольких клиентов с разных стран;

  • Виртуальный хостинг для размещения небольших сайтов. Зачастую клиенты нуждаются в консультационной помощи, поэтому данный сервис предоставляют небольшие специализированные центры;

Теперь вы владеете необходимой информацией, дающей представление о том, что такое дата-центры. Наверняка вы захотите побывать там, или узнать о них больше. Это можно сделать, посетив виртуальную экскурсию. Например, в интернете есть интересная информация с фотообзором о дата центре VK .

Я надеюсь, что прочитав эту статью, вы увидели насколько ответственным и сложным является процесс хранения и обработки информации. И если вам придется выбирать datacenter, то вы уже со знанием дела сможете определить свои требования и вид нужных услуг.

На этом до свиданья дорогие друзья, и до встречи на новых страницах моего блога.

Центры обработки данных ориентированы на решение бизнес-задач путём предоставления услуг в виде информационных сервисов. Современный ЦОД, несмотря на такие относительно новые требования как высокая степень гибкости и масштабируемости, по-прежнему должен, прежде всего, обеспечивать высокую надёжность. Всё, что вы хотели знать о надёжности ЦОДов, но боялись спросить – под катом.

ЦОД: что это такое?

Что такое центр (хранения и) обработки данных (ЦОД)? Современный ЦОД – комплексное решение по управлению информационными системами предприятия. Это совокупность помещений, внешних площадок, инженерного оборудования, образующая единую систему для размещения средств передачи, хранения и обработки информации с заданной степенью доступности . ЦОД включает в себя набор взаимосвязанных программных и аппаратных компонентов, организационных процедур, мест размещения этих компонентов и персонала для безопасной централизованной обработки, хранения и предоставления данных, сервисов и приложений. С системной точки зрения ЦОД – отказоустойчивое, комплексное, централизованное решение, охватывающее информационные и инженерные системы. В обычном представлении центр обработки данных – специализированное здание, где располагается серверное, сетевое оборудование и системы хранения данных, которые размещаются в стандартных стойках.


Оборудование, используемое в ЦОДе, размещается в специальных шкафах и стойках.

Назначение ЦОДа

ЦОД – сложное инженерное сооружение для централизованного размещения и обслуживания информационных систем, компьютерного и телекоммуникационного оборудования, высокотехнологичная площадка, оснащенная системами кондиционирования, бесперебойного питания, пожаротушения, СКС, контроля доступа. Основное назначение центров обработки данных – хранение, обработка и передача критичной для заказчика информации, поэтому в инфраструктуру ЦОДа входит множество сложных и резервируемых инженерных систем высокой надёжности.
Надёжность является главной характеристикой центра обработки данных. Она включает в себя много факторов: надёжность здания, электроснабжения, инженерных систем и коммуникаций, установленного оборудования. Высокая надёжность ЦОДа означает бесперебойное предоставление услуг заказчикам в случае коммерческого центра обработки данных и уверенную работу собственной ИТ-инфраструктуры компании, эксплуатирующей корпоративный ЦОД.

ЦОД обеспечивает доступ к информации предприятия, управление его информационными системами, организацию хранения и обработки данных. Как единая многокомпонентная система с консолидированным централизованным хранением и обработкой данных ЦОД, прежде всего, призван гарантировать бесперебойное автоматизированное функционирование бизнес-процессов.

К основным задачам ЦОДа, в первую очередь, относятся эффективное консолидированное хранение и обработка данных, предоставление пользователям прикладных сервисов, а также поддержка функционирования корпоративных приложений. Центры обработки данных создаются, в первую очередь, для повышения эффективности работы компаний, активно использующих в своей деятельности информационные технологии, повышения качества предоставляемых услуг. Они дают возможность надежно хранить важную информацию на протяжении всего ее жизненного цикла.

Состав и структура ЦОД

Любой ЦОД состоит из трех технологических блоков: информационного (отвечающего за обработку и хранение информации), телекоммуникационного (обеспечивающего взаимосвязь элементов центра и передача данных) и инженерного (сюда входят бесперебойное электроснабжение, поддержание температуры и влажности в помещении, системы пожаротушения). Таким образом, элементы ЦОДа включают в себя информационную, сетевую, инженерную инфраструктуру, а также системы мониторинга/управления и обеспечения безопасности.


Основными элементами ЦОДа являются системы обработки и хранения данных, активное сетевое оборудование, инженерные системы. В нем размещаются вычислительные платформы и СХД, система передачи данных, система электроснабжения и электроосвещения, система прецизионного кондиционирования, структурированная кабельная система, система кабельных каналов, фальшпол, подвесной потолок, интегрированная система безопасности, средства физической защита вычислительных систем и телекоммуникационного оборудования, системы раннего обнаружения пожара и газового пожаротушения.

В состав информационной инфраструктуры входят серверный комплекс, системы хранения данных и резервного копирования. Сетевая и телекоммуникационная инфраструктура обеспечивает взаимодействие между серверами, объединяет логические уровни и образует каналы связи, в том числе магистральные соединения с операторами связи и каналы, обеспечивающие доступ пользователей к ресурсам центра обработки данных. Телекоммуникационная инфраструктура позволяет осуществлять взаимосвязь элементов ЦОДа, взаимодействие между ЦОДом и пользователями.


Структура ЦОД.

Инженерная инфраструктура обеспечивает нормальное функционирование основных систем ЦОДа. Она включает в себя подсистемы контроля климата и кондиционирования, энергообеспечения, пожарной сигнализации и пожаротушения.


Сетевая инфраструктура (СКС) обеспечивает взаимодействие между серверами, а также включает в себя магистральные каналы для связи с операторами и коммуникации для связи пользователей с ЦОДом.

Автоматизированные системы мониторинга, диспетчеризации и управления информационными ресурсами – необходимый элемент повышения надёжности ЦОДа, уменьшения негативного влияния «человеческого фактора». Система безопасности предотвращает несанкционированное вторжение в зоны конфиденциальной информации. Она включает в себя средства защиты, оповещения и контроля доступа. Часто для предотвращения несанкционированного проникновения в ЦОД (физическая безопасность) устанавливаются камеры видеонаблюдения.

Надёжность ЦОДа

Основная функция современных ЦОДов – это повышение надёжности обработки и хранения информации. Одним из главных критериев оценки качества работы любого ЦОД является время доступности информационных систем. ЦОД должен обеспечивать безопасность бизнеса и минимизировать риски простоя, отвечая следующим требованиям:
  • Отказоустойчивость. Это свойство технической системы сохранять свою работоспособность после отказа одного или нескольких составных компонентов.
  • Высокая доступность. Это свойство системы определяет её надёжность, возможность выполнять требуемую функцию при заданных условиях в данный момент времени или в течение заданного интервала времени при соблюдении определенного набора условий.
  • Непрерывность бизнеса. Она включает в себя процессы и методы, направленные на обеспечение безостановочного выполнение критичных бизнес-функций.
  • Катастрофоустойчивость. Это способность к восстановлению после катастрофы т.е. устойчивость к воздействию аварий и природных катаклизмов.
Эти первоочередные требования определяются стоимостью простоя и стоимостью обеспечения доступности приложений и данных. То есть требования бизнеса – стоимость решения, время восстановления приложений и данных после отказа – определяют соответствующие технические требования к подсистемам ЦОД, в числе которых их избыточность, производительность, пропускная способность, емкость и целостность данных.

Надёжность ЦОД обычно включает в себя такие составляющие как правильно выбранное помещение, наличие отлаженной системы бесперебойного гарантированного энергоснабжения, грамотной системы вентиляции и кондиционирования, водоснабжения и водоотвода, а также правильное построение телекоммуникационных систем. Критичным для пользователя остается обеспечение комплексной безопасности центра обработки данных – контроля доступа, охранной и пожарной сигнализации, пожаротушения. Все большее значение приобретают аспекты катастрофоустойчивости, наличия резервной площадки.

При проектировании современных центров обработки данных, помимо исключительной надёжности, отказоустойчивости и работоспособности, к системам предъявляется целый ряд дополнительных требований, таких как управляемость, ремонтопригодность, низкая совокупная стоимость владения, масштабируемость, адаптируемость к изменениям и безопасность. Поэтому ЦОД обычно проектируется как комплексное решение, тесно интегрированное как со службами эксплуатации здания, так и с ИТ-инфраструктурой предприятия. Модульность и стандартизация позволяет всему комплексу развиваться, адаптироваться к меняющимся условиям и нагрузкам.

ЦОД обеспечивает гарантированное бесперебойное питание размещаемого оборудования даже при отказе внешнего энергоснабжения, выполнение требований по климатическим параметрам (температура, влажность) и безопасности (физической и информационной). Как правило, для высокой доступности ЦОД подключают к нескольким (каналам различных операторов связи или узлам корпоративной сети. Качество и ширина каналов влияют на уровень предоставляемых услуг.

Основная характеристика ЦОДа – уровень его надёжности. По стандарту TIA-942 выделяют четыре уровня надёжности:

Tier I (N) - без резервирования. Доступность 99,71%. Это самый ненадежный ЦОД, в котором в случаи возникновения неполадок и отказа оборудования либо при начале ремонтных работ происходит остановка все центра обмена данными. Более того в таком ЦОДе нет фальшполов и дополнительных источников питания, а инженерная инфраструктура не зарезервирована.

Tier II (N+1) - резервирование критических узлов. Доступность 99,741%. В этом случае есть некий уровень резервирования, в таком ЦОДе присутствуют фальшполы и дополнительные источники питания, но в случае начала ремонтных работ ЦОД приостановит свою работу.

Tier III (N+1) - резервирование критических узлов, путей получения электроэнергии и трасс доставки хладоносителя. При этом есть возможность вывода любого узла из эксплуатации для его обслуживания с сохранением полной функциональности объекта в целом. Доступность 99,982%. В таких ЦОДах есть возможность проведения ремонтных работ без прекращения работы центра обработки данных. Инженерные системы однократно зарезервированы и существует несколько каналов служащих для распределения электропитания и охлаждения, но постоянно работает лишь один из них.

Tier IV (2(N+1)) - это самый отказоустойчивый уровень, где допускается одна авария (а не плановый вывод узла из эксплуатации) в один момент времени. Доступность составляет 99,995%, что означает простой в течение всего 26 минут в год. В ЦОДах такого типа возможно проведение всех видов работ без остановки его работы. Инженерные системы зарезервированы двукратно, продублирована основная и дополнительная система.


Четыре уровня отказоустойчивости ЦОДа.

По оценкам экспертов, ЦОД с полным резервированием обычно обходится в 2,5 раза дороже простого ЦОД, поэтому крайне важно еще на уровне предпроектной подготовки определиться, какой категории должна соответствовать площадка. Как недооценка, так и переоценка важности параметра допустимого времени простоя одинаково негативно сказываются на бюджете компании. Ведь финансовые потери возможны либо из-за простоя и сбоев в работе критически важных систем, либо из-за нерациональных инвестиций.

Другие характеристики

Главная характеристика ЦОДа – отказоустойчивость, но не менее важными являются стоимость эксплуатации, показатель расхода электроэнергии и энергоэффективности (PUE). При определении требований к ЦОДу необходимо учитывать тенденции развития информационных систем и телекоммуникаций, предусмотреть варианты расширения мощностей ЦОДу в соответствии с планами развития предприятия.

Требования к площадям и пространству ЦОДа определяются наряду с общей производительностью и емкостью ИТ-систем также такими факторами, как расчетный отвод тепла и необходимый уровень резервирования для обеспечения отказоустойчивости. Важный параметр – энергопотребление основного оборудования. Например, при проектировании нового ЦОДа рекомендуют ориентироваться не на 5−6 кВт на стойку, а на подведение 10−15 кВт. Мощность источников бесперебойного питания выбирается в зависимости от энергопотребления основного оборудования.

Подводимая к ЦОДу должна составлять примерно 250% от мощности, потребляемой ИТ-системами. Наряду с ИТ ее потребляют системы кондиционирования и электропитания, а также системы освещения, вентиляции, пожаротушения, контроля доступа, видеонаблюдения.
Размеры и общий вес стоек определяют требования к минимальной нагрузочной способности перекрытий и фальшпола, а состав и производительность информационных систем – к кабельным системам и внешним кабельным вводам для каналов связи. На основании емкости и типов размещаемого оборудования, а также необходимых уровней обслуживания составляются требования к вспомогательным помещениям.
Требования к ЦОДу также определяются особенностями эксплуатации прикладных систем и необходимостью выделения ИТ-ресурсов, законодательными актами государственных регуляторов хозяйственной деятельности. В целом они зависят от потребностей бизнеса и решаемых бизнес-задач, однако есть и общие требования, определяемые стандартами.

Классификация ЦОДов

Центры обработки данных можно разделить на несколько видов, которые зависят от некоторых параметров. По целям использования обычно выделяют два вида ЦОД: корпоративный и коммерческий (КЦОД). Целью создания корпоративного ЦОД является автоматизация бизнес-процессов, хранение и обработке информации компании или организации. Главная задача коммерческого ЦОДа – получение прибыли от сдачи площадей в аренду, предоставления услуг и сервисов.

По своему назначению в информационной инфраструктуре ЦОД может быть основным или резервным. Последний необходим для замены основного в случае непредвиденных происшествий либо профилактических работ.

ЦОДы можно также разделить на несколько типов по размерам. Крупные ЦОДы имеют собственное здание, которое создано или выбрано в соответствии с предъявляемыми к центру обработки данных требованиями. Средние ЦОДы, как правило, арендуют помещение необходимого размера, а также каналы определенной пропускной способностью. Малые ЦОДы и серверные вовсе не обязательно располагаются в плохо приспособленных для этого помещениях, а перечень услуг представлен по минимуму. В последние годы становятся популярными высокотехнологичные контейнерные ЦОДы – специально спроектированные и быстро развертываемые модульные решения. Наконец, ЦОДы классифицируются по уровням надёжности – упомянутым выше Tier I-IV.

Существует несколько типов коммерческого использования ЦОДов. Первый - виртуальный хостинг, подразумевающий аренду части дискового пространства, процессорного времени и оперативной памяти (один физический сервер делится между множеством клиентов). Второй - выделенный хостинг - аналогичная схема, но с гарантированными ресурсами. Третий - размещение сервера и другого оборудования клиента в помещении центра (co-location).

Стандарты ЦОДов

Есть два основных документа, которые чаще всего упоминаются при обсуждении стандартов центров обработки данных: это стандарт TIA 942 и классификация по уровням от Uptime Institute. Оба этих документа регламентируют уровни надёжности (Tier), что часто приводит к путанице: например, Tier III по TIA 942 и Tier III по Uptime Institute - это две большие разницы.

Стандарт ANSI/TIA/EIA-942 регламентирует требования к расположению центров обработки данных, к внешней инфраструктуре, телекоммуникационному пространству внутри центра данных, к кабельной системе и кабельным каналам ЦОДа, к его инфраструктуре в зависимости от требуемого уровня надёжности ЦОДа. ЦОДы I и II класса могут занимать часть какого-либо помещения, а объекты III и IV класса размещаются только в отдельных зданиях. Всего EIA/TIA-942 описывает до 200 различных параметров ЦОДа.

Стандарт TIA 942 (Telecommunications Industry Association - Telecommunications Infrastructure Standard for Data Centers) разработан ассоциацией телекоммуникационной промышленности США и, в первую очередь, касается вопросов организации структурированных кабельных систем в ЦОДе и отказоустойчивости и других инженерных подсистем. Он носит рекомендательный характер. Разработанный Uptime Institute документ – не стандарт, а скорее методология нормирования отказоустойчивости ЦОДа. В нем сформулированы основные принципы проектирования и подходы. Сертифицируется как проект (Tier Certification of Design Documents), так и работающая площадка (Tier Certification of Constructed Facility) и её эксплуатация (Operational Sustainability Certification). Сертификация осуществляется только самим Uptime Institute.

Хотя по сути эти уровни схожи, принципы оценки значительно различаются. Uptime Institute проверяет полученный результат – как работает построенный ЦОД, а не строгое соответствие документам. В России нет единого стандарта, однако ЦОДы ориентируются на требования, разработанные для сооружений связи, на TIA-942, а также на ГОСТы. Существует также относительно новый стандарт BICSI 002 2010 Data Center Design and Implementation Best Practices, который появился в 2010 году и был обновлен в 2011 году. Он создан с целью дополнения уже существующих стандартов. Близок к завершению и европейский стандарт EN 50173-5, на основе которого в будущем предполагается сформировать соответствующий российский ГОСТ.

ЦОДы SAFEDATA

Центры обработки данных – основное направление деятельности SAFEDATA , оператора собственной распределенной сети ЦОДов и поставщика услуг ИТ-аутсорсинга. Группа SAFEDATA, в состав которой сегодня входят Центр Хранения Данных, Центр Технологий Виртуализации, оператор CDN компания NGENIX и оператор площадки обмена трафиком MСК-IX, владеет сетью ЦОДов, построенных в соответствии с требованиями международных стандартов TIA-942 (Tier III).

По данным iKS-Consulting, структуры «Ростелекома» в 2015 году займут 12,5% российского рынка ЦОДов. Сейчас госкомпания запустила 3081 стойку, включая ЦОДы ММТС-9 и SAFEDATA. На конец 2014 года доход ее ЦОДов оценивается в 1,67 млрд руб.

ЦОДы SAFEDATA - современные и энергоэффективные инженерные решения. Они спроектированы так, что смогут функционировать практически в любых условиях. ЦОД SAFEDATA Москва-I общей площадью более 2000 кв.м расположен в Остаповском проезде.


ЦОД Москва-I начал свою работу в сентябре 2007 года. С момента запуска ЦОДа не было зафиксировано ни одной аварийной остановки.


Инфраструктура ЦОДа, рассчитанного на 500 стоек, построена в соответствии со стандартом TIA-942.


Питается этот ЦОД мощностью 4 МВт напрямую от ТЭЦ-8 Мосэнерго. ЦОД обеспечивает бесперебойное электропитание категории 1, имеет независимые энерговводы, резервированные дизель-генераторные установки. Для бесперебойной работы ЦОДа задействованы четыре ДГУ FG Wilson мощностью 1250 кВА каждая, и четыре ИБП мощностью 800 кВА. ДГУ автоматически запускается при пропадании напряжения от трансформаторной подстанции и работает до 8 часов без дозаправки топливом.


ЦОД имеет ВОЛС до ММТС-9, ММТС-10, а клиентам предоставляется возможность ввода собственной ВОЛС.


Работа системы энергоснабжения круглосуточно контролируется сотрудниками SAFEDATA.

В ЦОДе Москва-I установлены прецизионные шкафные кондиционеры, работающие по схеме (N+1), холодопроизводительностью 100 кВт каждый. Система прецизионного кондиционирования построена на базе шкафных кондиционеров Hiref и холодильных машин Geoclima. От кондиционеров охлажденный воздух подается под фальшпол и далее, через перфорированные плитки фальшпола - в «холодные» коридоры.


На крыше здания расположены внешние конденсаторные блоки Guntner, соединенные с кондиционерами двумя независимыми трассами.

На открытых технологических площадках ЦОДа установлены два чиллера с технологией естественного охлаждения (free cooling) по 700 кВт холодопроизводительности, а также две холодильные машины с технологией Turbocool. Суммарная холодопроизводительность двух контуров независимой системы охлаждения ЦОДа доведена до 2600 кВт. В качестве хладагента используется 40% раствор этиленгликоля. ЦОД оборудован системами автоматического газового пожаротушения (АГПТ) на основе газовой смеси Хладон 227.

ЦОД Москва-II , расположенный по адресу пл. Академика Курчатова, д.1, стр.19, построен в рамках сотрудничества с Российским Научным Центром «Курчатовский Институт».


ЦОД Москва-II общей площадью 3500 кв.м. построен в соответствии со стандартом TIA-942 (Tier III) и введен в эксплуатацию в 2014 году.


Он рассчитан на 900 стоек, а выделенная электрическая мощность составляет 10 МВт.

Как и Москва-I, данный ЦОД предусматривает собственные ВОЛС до ММТС-9 и ММТС-10, а крупным клиентам предоставляется возможность ввода собственной ВОЛС.


ЦОД имеет бесперебойное электропитание категории 1, независимые энерговводы, дублированные дизель-роторными источниками бесперебойного питания. Он оснащен восемью дизель-роторными источниками бесперебойного питания Hitec Power Protection мощностью 1680 кВА каждый, зарезервированными по схеме N+1.

Специальная резервная емкость обеспечивает время автономной работы всей системы дизель-роторных ИБП не менее 20 часов (оперативная доставка дизельного топлива гарантирует бесперебойную работу ЦОДа даже при долговременном отсутствии питания городской электросети).

Поддержание требуемых климатических параметров осуществляется с помощью прецизионных кондиционеров Hiref. В ЦОДе Москва-II установлены несколько десятков прецизионных шкафных кондиционеров, работающих по схеме (N+1), холодопроизводительностью 100 кВт каждый. Вся система кондиционирования зарезервирована по схеме N+1 для каждого машинного зала. От кондиционеров охлажденный воздух подается под фальшпол и далее, через перфорированные плитки фальшпола в «холодные» коридоры.


ЦОД оборудован системами автоматического газового пожаротушения (АГПТ) на основе газовой смеси Хладон 125. В состав АГПТ входят световая и звуковая сигнализация, предупреждающая о пуске газа, которая интегрирована с системой охлаждения для отключения кондиционирующего оборудования в случае аварии, и системой разграничения физического доступа.


Система безопасности и ограничения доступа ЦОДов Москва-I и Москва-II организована на нескольких уровнях и включает в себя охраняемую территорию, организационные процедуры контроля доступа в ЦОД, систему разграничения физического доступа на базе «proximity»-карт, систему видеонаблюдения внутри, снаружи ЦОДа и в каждом модуле с тридцатидневным архивированием записей. По желанию заказчика могут быть установлены дополнительные средства безопасности.

Главное свойство современного ЦОДа - надёжность. Он не останавливается даже при авариях в энергосистемах города. Вышедшее из строя оборудование и каналы связи подменяют резервные системы. ЦОДам SAFEDATA не помешают нештатные ситуации – на случай любого бедствия есть ответ.

Теги: Добавить метки

Центр обработки данных (ЦОД) – единая многокомпонентная система, которая призвана обеспечивать бесперебойную автоматизированную работу бизнес-процессов . Центры обработки данных создаются в первую очередь для увеличения производительности компаний, активно использующих в своей деятельности информационные технологии, а также для повышения качества предоставляемых услуг.

Для хранения и обработки большого количества информации используются специализированные технические решения, мощные серверы, дисковые хранилища. Создавать и обслуживать такие технические системы самостоятельно достаточно сложно и дорого: содержание серверов требует специальных технических условий, отдельных помещений и квалифицированного персонала. Одним из основных назначений дата центров как раз и является создание подходящих условий для размещения таких технических решений.

Преимущества для бизнеса

Создание многокомпонентных систем, решающих большинство проблем в бизнесе, намного сокращает расходы предприятий. В частности, для компаний с территориально-распределенной инфраструктурой это незаменимое решение, поскольку 1–2 сотрудника, обслуживающих ЦОД , с успехом заменяют множество лиц, работающих в офисах в регионах. Впоследствии многие предприниматели задумались над приобретением центров обработки данных в связи с тем, что потребовалось интегрировать воедино большое количество информации. Риск потерять определенные сведения безвозвратно стал очень велик и обусловил определенные затраты по восстановлению информации. Кроме того, возникли риски по лишению части доходов в связи с простоями по разным причинам. То есть, благодаря своим уникальным особенностям ЦОД обеспечивает эффективную бесперебойную работу любой организации.

Преимущество дата-центра в том, что человек или компания, может, из любой точки планеты, используя любое устройство доступа в сеть, работать с необходимой и достаточной вычислительной мощностью, требуемым объемам памяти, всем необходимым программным обеспечением, которое будет работать и храниться на серверах в дата-центре.

Традиционные услуги в дата-центрах: аренда стойки, размещение серверов, подключение к Интернету, аренда каналов связи, установка, настройка ПО, администрирование. В настоящее время к ним добавились предоставление в аренду вычислительных мощностей, виртуальных серверов, дискового пространства для резервного копирования данных, аренды приложений.

  • Надежность хранения информации. Причем эта надежность подтверждается как заложенной на этапе проектирования архитектурой, так и последующей эксплуатацией. Интересный факт, что при детальном сравнении стоимости владения информационной системой, расположенной на территории заказчика (как правило, это бизнес-центр) и в дата центре, получаются вполне сравнимые цифры, чего нельзя сказать о сравнении надежности этих способов.
  • Уменьшение временных затрат на реализацию новых проектов в сфере IT. При работе в дата-центре компании самостоятельно выбирают услуги, которые они хотят получать. Самыми востребованными остаются аренда стойки, юнита, готового сервера, виртуального сервера и резервное копирование данных. Но помимо этого существует ряд других услуг, которыми компании-арендаторы могут при необходимости воспользоваться, что значительно сэкономит время на запуск нового IT-проекта. Например, это аренда приложений, позволяющая избежать масштабных инвестиций на начальном этапе работы. В качестве примера можно привести аренду 1С бухгалтерии – для развертывания готовой системы, пригодной к работе, достаточно заказать и оплатить такую услугу в дата центре. При этом, зачастую, в офисе заказчика не нужно ничего покупать, устанавливать или настраивать, кроме как доступа в Интернет.
  • Сокращение затрат на аренду помещения. Сюда можно отнести затраты на электричество, офисные площади, используемые под «серверные», и обслуживание собственных систем охлаждения и устройств бесперебойного питания. Кстати, купленная в офис техника становится основными средствами предприятия, на них начисляется налог на имущество.
  • Организация непрерывной работы головного офиса с филиалами компании по всей стране. доступ к рабочей информации независимо от места нахождения сотрудника. Например, руководитель компании может, находясь в отпуске, проверять рабочую почту, связываться со своими сотрудниками через IP-телефонию.
  • Возможность создания резервного офиса организации, если по каким-то причинам работа в основном офисе невозможна, а необходимо получить важную информацию, доделать проект

сокращение затрат на покупку приложений. Для усиления конкурентных позиций собственники дата-центров разрабатывают новый спектр услуг, который можно предлагать арендаторам.

Первыми, кто стал использовать в своей работе центры обработки данных, были крупные зарубежные компании. За ними последовали и российские предприниматели. В РФ в 2000-2001 годах появились первые обладатели ЦОД . Пионером выступил Сбербанк России . Именно он является наиболее территориально-распределенной организацией. То есть потребность в создании интеграции многочисленных данных была высока. В дальнейшем собственными ЦОД обзавелись и крупные нефтяные компании.

Типы центров обработки данных

В зависимости от назначения различают три разных типа дата-центров, каждый из которых рассчитан на определенную модель предприятия и имеет собственные оперативные задачи и проблемы:

  • корпоративные дата-центры;
  • хостинговые дата-центры, предоставляющие компьютерную инфраструктуру как услугу (IaaS);
  • дата-центры, использующие технологию Web 2.0.

Ниже приведены параметры, которые могут значительно отличаться в разных типах дата-центров:

  • тип трафика (внутренний, внешний или смешанный);
  • использование Layer 2 (L2) и/или Layer 3 (L3) для управлення трафиком в центре или на периферии (Top of Rack);
  • технология хранения данных;
  • уровень серверной виртуализации;
  • общий размер центра обработки данных (по количеству серверов).

Создание и модернизация ЦОД

Компоненты ЦОД

Традиционный ЦОД

Обязательные компоненты, входящие в состав ЦОД , можно разделить на три основные группы:

1. Технические компоненты . Они создают условия для эффективной работы центра. К таковым относятся:

  • серверный комплекс, включает серверы информационных ресурсов, приложений, представления информации, а также служебные серверы
  • система хранения данных и резервного копирования – ядро ЦОД. Она состоит из консолидирующих дисковых массивов, сети хранения данных, системы резервного копирования и аварийного восстановления данных
  • сетевая инфраструктура обеспечивает взаимодействие между серверами, объединяет логические уровни и организует каналы связи. Она включает магистрали для связи с операторами общего доступа, телекоммуникации, обеспечивающие связь пользователей с ЦОД
  • инженерная система эксплуатации ЦОД поддерживает условия для нормального функционирования центра. В ее состав входят подсистемы энергообеспечения, климатконтроля, пожарной сигнализации и пожаротушения, передачи данных, а также автоматизированные системы диспетчеризации, управления информационными ресурсами
  • система безопасности предотвращает несанкционированное вторжение в зоны конфиденциальной информации. Она состоит из средств защиты, системы оповещения и системы контроля доступа

2. Программное обеспечение . Это фактически сервисы инфраструктуры ЦОД и ПО для корректной работы бизнес-процессов , необходимых для конкретной организации. К компонентам инфраструктуры относятся:

  • операционные системы серверов;
  • программное обеспечение баз данных;
  • операционные системы рабочих станций;
  • средства кластеризации ;
  • средства резервного копирования;
  • программы устройств хранения данных;
  • средства администрирования серверов и рабочих станций;
  • средства инвентаризации;
  • офисное программное обеспечение;
  • электронная почта;
  • Интернет -браузеры.

К программам, отвечающим за функционирование бизнес процессов, относятся:

  • деловые приложения;
  • базовые корпоративные информационные сервисы;
  • приложения для коллективной работы;
  • отраслевые компоненты;
  • программное обеспечение для решения задач конструкторско-технологического плана системы электронного архива и управления проектами;
  • программы, обеспечивающие сервисы файлов, печати, службы каталогов и других прикладных задач.

3. Организационная среда решает вопросы, связанные с предоставлением IT-услуг. Она должна соответствовать требованиям по оказанию IT-услуг, таким как ISO/IEC 20000. Здесь представлены:

  • процессы оказания услуг, то есть качество и доступность услуг;
  • процессы взаимоотношений между поставщиком и клиентом, а также с подрядными организациями;
  • процессы решения проблем, возникающих при функционировании любого из компонентов системы;
  • процессы управления конфигурациями, мониторинг и контроль статуса IT-инфраструктуры, инвентаризация, верификация и регистрация конфигурационных единиц, сбор и управление документацией, предоставление информации об IT-инфраструктуре для всех других процессов;
  • процессы управления изменениями, то есть определение необходимых изменений и способов их проведения с наименьшим риском для IT-услуг, а также проведение консультаций и координации действий с организацией в целом;
  • процессы релиза, то есть совместного тестирования и введения в активную деятельность организации ряда конфигурационных единиц.

Программный ЦОД

В программном ЦОДе мы все окружение реализуем в виде программных модулей в виртуальных машинах – virtual appliance. Идея состоит в том, что физически используются только серверы и коммутаторы . Все остальное реализуется в виде виртуальных машин – virtual appliance.

В мире сервис-провайдеров эта технология известна и даже стандартизована под названием NFV – Network Function Virtualization – виртуализация сетевых функций. Только там это используется для предоставления сервисов и соответственно очень много внимания уделяется средствам оркестрации и управления, интеграции с OSS системами, что позволяет автоматизировать процесс создания услуг для каждого из абонентов. В корпоративном ЦОД так часто состав услуг менять не надо, уровень автоматизации может быть существенно ниже, но перенос всех сетевых функций в виртуальные машины все равно дает существенные преимущества.

Типы дата-центров

Все дата-центры можно условно разделить на несколько типов:

  1. Крупные дата-центры имеют свое здание, специально сконструированное для обеспечения наилучших условий размещения. Обычно они имеют свои каналы связи, к которым подключают серверы.
  2. Средние дата-центры обычно арендуют площадку определенного размера и каналы определенной ширины (ширина канала измеряется его пропускной способностью в Mbps).
  3. Мелкие дата-центры размещаются в неприспособленных помещениях. В общих случаях используется оборудование плохого качества, а также предоставляется самый минимум услуг.

Структура и описание дата-центра

Типичный дата-центр состоит из информационной инфраструктуры , включающей в себя серверное оборудование и обеспечивающей основные функции дата-центра - обработку и хранение информации; телекоммуникационной инфраструктуры обеспечивающей взаимосвязь элементов датацентра, а также передачу данных между датацентром и пользователями; инженерной инфраструктуры обеспечивающей нормальное функционирование основных систем датацентра. Инженерная инфраструктура включает в себя прецизионное кондиционирование для поддержание температуры и уровня влажности в заданных параметрах; бесперебойное и гарантированное электроснабжение обеспечивает автономную работу дата-центра в случаях отключения центральных источников электроэнергии, а также повышают качество электропитания; охранно-пожарная сигнализация и система газового пожаротушения ; системы управления и контроля доступом.

Некоторые дата-центры предлагают клиентам дополнительные услуги по использованию оборудования по автоматическому уходу от различных видов атак. Команды квалифицированных специалистов круглосуточно производят мониторинг всех серверов. Необходимо отметить, что услуги датацентров сильно отличаются в цене и количестве услуг. Для обеспечения сохранности данных используются резервные системы копирования. Для предотвращения кражи данных, в дата-центрах используются различные системы ограничения физического доступа, системы видеонаблюдения. В корпоративных (ведомственных) дата-центрах обычно сосредоточено большинство серверов соответствующей организации. Оборудование крепится в специализированных стойках . Как правило, в дата-центр принимают для размещения лишь оборудование в стоечном исполнении, то есть, в корпусах стандартных размеров, приспособленных для крепления в стойку. Компьютеры в корпусах настольного исполнения не удобны для дата-центров и размещаются в них редко. Датацентр представляет собой комнату, этаж или целое здание, обычно расположенные в пределах или в непосредственной близости от узла связи или точки присутствия какого-либо одного или нескольких операторов . Системы электропитания, вентиляции и пожаротушения дата-центра отличаются повышенной надёжностью и резервированием. Разумеется, должна быть предусмотрена физическая защита и особый режим допуска в технологические помещения. В ряде стран имеются специальные стандарты на оборудование помещений датацентров. В России пока такого стандарта нет, дата-центры оснащаются согласно требованиям для сооружений связи . Существует американский (ANSI) стандарт TIA-942 , несущий в себе рекомендации по созданию дата-центров, и делящий дата-центры на типы по степени надежности. Фактически, TIA-942 воспринимается во всем мире как единый стандарт для дата-центров.

Услуги дата-центров

  1. Виртуальный хостинг . Предоставление лимитированной части дискового места, процессорного времени, оперативной памяти клиенту для использования. Крупные датацентры обычно не предоставляют подобную массовую услугу из-за необходимости обеспечения техническо-консультационной поддержки. При использовании виртуального хостинга один физический сервер делится между множеством клиентов (сотни или тысячи). Каждому клиенту не гарантируется какое-либо выделение ресурса, но строго лимитируется максимальное. Клиенты не могут в большей степени конфигурировать сервер. Виртуальный хостинг имеет два основных преимущества: малую стоимость и легкость управления сайтами. По этим причинам виртуальный хостинг в основном используют частные лица.
  2. VDS)-хостинг - Предоставление гарантированной и лимитированной части сервера (части всех ресурсов). Важная особенность данного вида хостинга - разделение сервера на несколько виртуальных независимых серверов реализуемых программным способом.
  3. хостинг - Аренда сервера (Dedicated). Дата-центр предоставляет клиенту в аренду сервер в различной конфигурации. Крупные дата-центры в основном специализируются именно на подобных типах услуг. В зависимости от страны расположения дата-центра имеются различные ограничения на трафик.
  4. Размещение сервера (Colocation). Размещение сервера клиента на площадке дата-центра за определенную плату. Стоимость зависит от энергопотребления и тепловыделения размещаемого оборудования, пропускной способности подключаемого к оборудованию канала передачи данных, а также размера и веса стойки.
  5. Выделенная зона (Dedicated area). В некоторых случаях владельцы дата-центра выделяют часть технологических площадей для специальных клиентов, как правило, финансовых компаний, имеющих строгие внутренние нормы безопасности. В этом случае дата-центр предоставляет некую выделенную зону, обеспеченную каналами связи, электроснабжением, холодоснабжением и системами безопасности, а клиент сам создает свой ЦОД внутри этого пространства.

Сетевая инфраструктура

Сегодня коммуникации дата центра чаще всего базируются на сетях с использованием IP протокола. Дата центр содержит ряд роутеров и свитчей , которые управляют трафиком между серверами и внешним миром. Для надежности дата-центр иногда подключен к интернету с помощью множества разных внешних каналов от разных ISP .

Некоторые серверы в дата-центре служат для работы базовых интернет и интранет служб, которые используются внутри организации: почтовые сервера, прокси, DNS и т. п.

Сетевой уровень безопасности поддерживают: межсетевые экраны , IDS-системы и т. д. Также используются системы мониторинга трафика и некоторых приложений.

Примечания

Ссылки

  • Описание и фотографии одного из дата-центров компании Яндекс
  • Project Blackbox (рус.) , SUN.com (англ.)
  • Коллекция полезных нормативов по строительству и эксплуатации дата-центров
  • Лист российских топ-игроков бизнеса коммерческих дата-центров

См. также

Wikimedia Foundation . 2010 .

Смотреть что такое "Центр обработки данных" в других словарях:

    центр обработки данных - центр обработки и хранения данных ЦОД Консолидированный комплекс инженерно технических средств, обеспечивающий безопасную централизованную обработку, хранение и предоставление данных, сервисов и приложений, а также вычислительную инфраструктуру… …

    Центр обработки данных при управлении приоритетными национальными проектами - центр обработки данных информационно технологический и программно технический комплекс, обеспечивающий автоматизацию процедур формирования, ведения, хранения и оперативного представления различным группам пользователей полной и достоверной… … Официальная терминология

    модульный центр обработки данных (ЦОД) - [Интент] Параллельные тексты EN RU Data Centers are a hot topic these days. No… … Справочник технического переводчика

    Связать? Подземный центр обработки данных расположен в парке Гризинькалнс в Риге (Латвия), и принадлежит оператору … Википедия

    - (мобильный ЦОД) или контейнерный центр обработки данных (контейнерный ЦОД) (от англ. Container Data Center), центр обработки данных, размещённый в специализированном транспортном контейнере с размещённым внутри него комплексом информационной … Википедия

    динамический центр обработки данных - Динамические центры обработки данных - это концепция аппаратной и программной архитектуры нового поколения. Ее основные принципы - предоставление сервисов для конечных пользователей и гарантированное выполнение соглашений об уровне… … Справочник технического переводчика

    интернет-центр обработки данных - Компания, предоставляющая услуги хостинга вычислительных платформ и простых Internet сервисов c немногими расширенными услугами. Тематики ЦОДы (центры обработки данных) EN internet data… … Справочник технического переводчика

    - (МЦОД) специализированное мобильное помещение с размещённым внутри комплексом информационной, телекоммуникационной и инженерной инфраструктуры, подключенный к каналам связи и предназначенный для хранения и обработки информации, а также оказания… … Википедия

Центр обработки данных (ЦОД) - это здание или его часть, первичной функцией которых является размещение оборудования обработки и хранения информации, а также инженерных средств, обеспечивающих его работу.

История

Задачи обработки информации решались в разное время при помощи разных технических средств. В XX веке электронно-вычислительные устройства взяли на себя выполнение больших вычислительных задач, а появление устройств для хранения информации позволило перейти от бумажных архивов к более компактным ленточным и электронных носителям. Уже для размещения первых ЭВМ требовалось создание специальных помещений - машинных залов, в которых поддерживались определенные климатические условия, чтобы предотвратить перегрев оборудования и обеспечить его стабильную работу.

С началом эпохи персональных компьютеров и компактных серверов вычислительное оборудование компаний сосредоточилось в серверных комнатах. В большинстве случаев под серверной комнатой на предприятии понимается отдельное помещение, оснащенное бытовым кондиционером и источником бесперебойного питания, которые создают минимальные условия для непрерывной работы техники. Однако сегодня это годится только для тех предприятий, бизнеc-процессы которых незначительно зависят от вычислительных ресурсов и информации.

Появление ЦОДов: когда нужен ЦОД?

По большому счету, центр обработки данных является увеличенной копией серверной комнаты. Но есть и ряд принципиальных отличий.

Как только бизнес-информация становится ключевым фактором работоспособности предприятия и надежность работы корпоративной информационной инфраструктуры определяет непрерывность бизнес-процессов, требуются другие, более надежные решения, подразумевающие гарантированное электроснабжение (дизель-генераторные установки), бесперебойное электроснабжение (источники бесперебойного питания), точный климат-контроль (прецизионное кондиционирование), комплексную систему безопасности (газовое пожаротушение , дымоудаление, охранно-пожарная сигнализация, контроль доступа и видеонаблюдение), автоматизированная система диспетчеризации и контроля оборудования.

Итак, необходимость создать и поддерживать эффективный центр обработки данных возникает тогда, когда у предприятия появляется реальная потребность в бесперебойности, управляемости и масштабируемости, когда от ИТ-инфраструктуры зависит стабильность бизнеса в целом.

Зачем нужен ЦОД?

И тогда приходит время консолидировать обработку данных и централизованно управлять ИТ-инфраструктурой и информационными системами - для этого необходимо построить центр обработки данных.

Следовательно, ЦОД удовлетворяет следующие потребности рынка:

  • значительный рост объемов информации;
  • рост количества используемых бизнес-приложений;
  • обработка данных в удаленных друг от друга подразделениях.

Кому нужен ЦОД?

В России первые центры обработки данных стали появляться в самом конце 90-х годов прошлого века. Их заказчиками были банковские структуры, предприятия нефтеперерабатывающей промышленности и государственные учреждения.
Центр обработки данных может быть предназначен как для использования одним предприятием, так и являться многопользовательским. Многопользовательский ЦОД представляет широкий спектр услуг, среди которых непрерывность бизнеса, хостинг, аренда сервера, размещение сервера. Обращение к услугам многопользовательского ЦОД наиболее целесообразно для компаний среднего и малого бизнеса, так как позволяет избежать капитальных затрат на модернизацию ИТ-инфраструктуры и получить высококачественный сервис и гарантию надежности.

Итак, подведем итог вышесказанному, каким же компаниям нужен ЦОД:

  • компаниям, для которых критичны:
    • максимальная степень готовности,
    • отказоустойчивость,
    • надежность информационных систем;
  • крупным компаниям, эксплуатирующим сложные бизнес-приложения;
  • операторам услуг связи, банкам, страховым компаниям и т.п.;
  • предприятиям среднего и малого бизнеса, которым можно предложить многопользовательский ЦОД.

Что делает ЦОД?

Центр обработки данных обеспечивает:

  • консолидированую обработку и хранение данных;
  • поддержание заданного режима автоматизации бизнес-задач предприятия;
  • сохранность корпоративной информации.

Требования к ЦОД

От того, насколько квалифицированно и тщательно проработана концепция центра обработки данных, самым непосредственным образом зависит успех проекта и экономическая эффективность ЦОД в период его эксплуатации. Грамотное проектирование и планирование строительства центра обработки данных - это основной способ снижения затрат на ЦОД.

Глобальные требования

К глобальным требованиям относятся принципиальные положения, закладываемые в архитектуру центра обработки данных, его перспективу и др. Перед строительством ЦОДа необходимо:

  • выяснить реальную потребность владельца в ресурсах центра обработки данных;
  • бизнес-модель использования центра обработки данных;
  • определить прогнозы развития ЦОД и, соответственно, этапность его масштабного расширения.

Требования к надежности

Приступая к проектирования центра обработки данных, в первую очередь необходимо определить, какие требования предъявляет бизнес к надежности функционирования информационной инфраструктуры.

Эти требования к надежности можно формализовать двумя параметрами:

  • время, которое прошло с момента последнего сохранения данных до момента сбоя (очевидно, что все операции, произошедшие в системе в это промежуток времени, просто не будут существовать в вашей информационной среде после ее восстановления);
  • время восстановления работоспособности системы после сбоя.

Сумма двух этих параметров является временем неработы системы.

От того, какие параметры будут заданы в техническом задании, зависит набор аппаратно-программных решений, реализованных в центре обработки данных.

Вопрос рисков

Существует три группы рисков , которые потенциально могут служить источником несоответствия центра обработки данных бизнес и ИТ потребностям пользователя:

  1. риски простоев:
    • связанные с плановым профилактическими мероприятиями ;
    • связанные с незапланированными событиями (сбоями в работе сети и оборудования);
  2. риски изменения бизнес и ИТ потребностей (рост бизнеса, изменение требований к ИТ-инфраструктуре);
  3. риски простоев, связанные с человеческим фактором .

Для того, чтобы минимизировать эти риски , решение центра обработки данных должно отвечать трем важнейшим требованиям:

  • работоспособность;
  • гибкость;
  • простота.

Методы снижения рисков:

  1. Для снижения рисков простоев и обеспечения необходимого уровня работоспособности ЦОД следует предусмотреть:
    • избыточность систем (резервирование);
    • отказоустойчивость систем (возможность работы в автономном режиме),
  2. Для снижения рисков изменения требований к инфраструктуре и обеспечения гибкости решения необходимо предусмотреть его масштабируемость (возможность добавления модулей к ИТ- и инженерной инфраструктуре).
  3. Для снижения рисков, связанных с человеческим фактором , необходимо предусмотреть простоту систем мониторинга , управления, эксплуатации центра обработки данных.

Заключение

Долгое время в России решение вопросов создания центров обработки данных и аналогичных им объектов сводилось к оперативному поиску подходящего по площади офисного помещения и столь же оперативной его адаптации под задачи ИТ-службы. Однако повторение систематически возникающих непредвиденных ситуаций, вызванных просчетами проектирования, убедили специалистов в том, что эти вопросы заслуживают куда большего внимания, знаний и ресурсозатрат. К построению ЦОДа необходимо относится серьезно и методологически.

Похожие публикации