Как выбрать облачную систему хранения данных, чтобы получить лучшую производительность и оптимизировать стоимость / Хабр

Основные характеристики файловых хранилищ

1. Capacity. Рекомендуемый максимальный размер хранилища — 2 Тб. Максимальный размер файла — не больше запрошенного размера хранилища.

2. IOPS (количество операций в секунду на 2 Тб пространства). Так как файловое хранилище базируется на дисках HDD, показатель SLA будет тем же: для чтения — 2000, для записи — 800.

3. Throughput (пропускная способность на 2 Тб пространства, при размере блока 1М). Аналогично, как для HDD: для чтения — 250 Мб/с, для записи — 100 Мб/с.

4. Масштабирование. Проводится вручную — через web-консоль управления облаком или OpenStack CLI (Command Line Interface). В отличие от облачных дисков возможно как увеличение, так и уменьшение размера файлового хранилища.

5. Доступность. Гарантируется SLA, общий для облака, — 99,95%.

6. Поведение при выходе физического оборудования из строя. При выходе из строя оборудования, с которого предоставляется дисковое пространство, сервис продолжает предоставляться. Но выход из строя компонентов самого сервиса, конечно, ведет к его прерыванию.

7. Бэкапы и восстановление. Возможно создание снапшотов, бэкапирование из веб-консоли недоступно. Механизмы те же, что и для облачных дисков.

8. Границы доступности. Доступ осуществим из сетей, которые имеют возможность маршрутизации IP-пакетов с сетью, где размещено файловое хранилище.

9. Протоколы доступа. Подключить файловое хранилище к инстансам проекта можно по протоколам CIFS (SMB v3) или NFS.

10. Безопасность. Доступ к файловым хранилищам осуществляется только из виртуальных машин внутри проекта (Namespace) MCS. При этом дается возможность настроить правила доступа к хранилищу в зависимости от IP клиента.

11. Механизм расчета стоимости. Цена определяется в зависимости от запрошенного при создании объема хранилища. При изменении размера в дальнейшем стоимость автоматически пересчитывается.

Как выбрать облачную систему хранения с учетом потребностей компании: основные критерии

Преобладающий тип операций (чтение/запись) и их частота. В первую очередь необходимо оценить, каким образом планируется обращаться к хранимым данным.

Объектное хранилище S3 ориентировано на операции WORM. Оно не подойдет для частых модификаций объектов, обладающих большими размерами. Если для таких объектов скорость доступа критична и данные часто модифицируются, следует предпочесть файловые хранилища и, в зависимости от ситуации, облачные диски. Выбор конкретного типа дисков будет зависеть от требуемой производительности.

При выборе S3 необходимо дополнительно определить частоту доступа к данным и выбрать соответствующий тип хранилища: HotBox, IceBox или Glacier.

Требуемая производительность: IOPS, Throughput, Latency. Для систем, требующих низкой задержки и одновременно высокой пропускной способности, рекомендуется использовать блочное хранилище, оно же виртуальный диск. В объектных хранилищах модифицируемый объект перезаписывается целиком, в отличие от обычных дисков, где изменение всегда происходит на уровне конкретного блока данных.

В порядке возрастания производительности диски можно расположить следующим образом: HDD, SSD, SSD High IOPS, Low Latency NVMe. Если требуется обеспечить минимальную задержку, Low Latency NVMe будет лучшим выбором, так как для этого типа диска определено SLA на данный показатель — 0,5 мс.

Методы доступа к данным, используемые в классических приложениях (в первую очередь протоколы доступа, так как контроль над интерфейсами напрямую заказчику недоступен). Очень часто при переносе Legacy-приложений клиентов в облако требуется обеспечить наличие конкретных, уже используемых ими протоколов.

Конечно, обновление систем возможно, но, как правило, требует дополнительных затрат. В таких случаях выбор облачного хранилища полностью зависит от требований переносимого ПО. Например, файловые хранилища чаще всего выбирают, когда необходимы протоколы SMB/NFS. И это стало в свое время основной причиной того, почему у нас появилось файловое хранилище как сервис.

Требования к организации доступа к данным. Доступ к дисковым и файловым хранилищам возможен из разных AZ, но ресурс локализован в одной AZ, то есть при недоступности этой AZ хранилище тоже может стать недоступным. Поэтому для доступа из нескольких зон доступности или из любой точки интернета вне облака S3 будет лучшим выбором.

Цена. Среди облачных систем хранения данных минимальная стоимость у S3, она автоматически может меняться в зависимости от того, какое количество данных вы будете хранить. Важное преимущество S3 — необходимость оплаты только фактически используемых ресурсов.

Для файловых хранилищ и обычных дисков цена определяется запрошенным объемом ресурсов. При этом цена дисков возрастает по мере увеличения их производительности: HDD, SSD, SSD High IOPS, Low Latency NVMe. Рекомендуем выбирать тот тип диска, который при достаточной для вас производительности будет дешевле всего, так как в дальнейшем при необходимости его можно будет изменить «на лету».

Схема выбора оптимальной системы хранения данных с учетом описанных параметров в очень упрощенном виде приведена ниже. Она носит рекомендательный характер. Естественно, в зависимости от ситуации данные рекомендации могут быть и абсолютно нерелевантными, но для общих случаев они чаще всего корректны.

Упрощенная схема выбора облачного хранилища

Как показывает опыт, описанные выше требования во многом определяются типом хранимых данных. Поэтому можно выделить наиболее типичные сценарии использования для каждой системы хранения данных. В таблице ниже показано, как выбрать облачное хранилище в зависимости от того, какие данные планируется размещать.

: способы хранения информации – паролей, сканов документов, фото и прочего – чтобы ничего не терялось и было под рукой

▍внутренние механизмы indexeddb

API

IndexedDB

позволяет сохранять в базу и читать из неё данные объектов с использованием «ключа». Все изменения, вносимые в базу данных, происходят в транзакциях. Как и большинство подобных решений, IndexedDB следует

. В результате приложение может получить доступ только к данным, относящимся к собственному домену, но не к данным из других доменов.

IndexedDB — это асинхронное API, которое можно использовать в большинстве контекстов, в том числе — в веб-воркерах. Раньше существовала и синхронная версия этого API, предназначенная для веб-воркеров, но её убрали из спецификации из-за того, что она была не особенно интересна веб-разработчикам.

У IndexedDB был конкурент в лице базы данных WebSQL, но работа над этим стандартом была прекращена W3C много лет назад. В то время, как и IndexedDB и WebSQL являются решениями для хранения данных на клиенте, их функционал различается. WebSQL — это реляционная СУБД, а IndexedDB — это система, основанная на индексированных таблицах.

Не стоит приступать к работе с IndexedDB, основываясь на идеях, вынесенных из опыта работы с другими СУБД. Вместо этого полезно будет внимательно ознакомиться с документацией по этой базе данных и использовать при работе с ней те методы, на которые она рассчитана. Вот краткий обзор основных концепций IndexedDB:

Amazon

Хранилище данных — это лишь часть комплексного продукта Amazon Web Services (AWS), куда помимо него входят вычислительная облачная служба, средства управления, разработки, безопасности и многое другое, что перечислено на официальном портале Amazon.

Как понятно из описания, Amazon Web Services ориентирован только на корпоративный сектор и не предназначен для хранения альбомов с фотографиями котиков, хотя не исключено, что кто-то использует его и для этого. Ведь облачное хранилище файлов — Amazon Glacier, как и Яндекс диск, предоставляет пользователям 10 бесплатных Гб. Стоимость дополнительного объема составляет $0,004 за 1 Гб в месяц.

Сравнение Amazon Glacier с веб-ресурсами, о которых рассказано выше, пожалуй, некорректно, поскольку у них несколько разное назначение. Функционал и возможности этого сервиса определяются задачами бизнеса, в числе которых:

• Бесперебойная работа, повышенная надежность.
• Соответствие стандартам усиленной защиты данных.
• Мультиязычный интерфейс.
• Неограниченный объем (расширение за доплату).
• Простота использования и гибкость настроек.
• Интеграция с прочими службами Amazon Web Services.

Те, кого заинтересовали возможности Amazon, могут ознакомиться с полной документацией по продуктам AWS, которая находится на официальной сайте.

Api cache

Интерфейс

предоставляет механизм хранения данных для кэшируемых пар объектов

. Этот интерфейс определён в тех же спецификациях, что и сервис-воркеры, но доступен он не только воркерам. Интерфейс

Cache

доступен и в области видимости объекта

window

, его необязательно использовать только с сервис-воркерами.

Некий источник может иметь несколько именованных объектов Cache. Разработчик несёт ответственность за реализацию того, как его скрипт (например — в сервис-воркере) поддерживает кэш в актуальном состоянии. Элементы, сохранённые в кэше, не обновляются до тех пор, пока не будет сделан явный запрос на их обновление, срок их хранения не истекает, их можно лишь удалить из кэша.

Кроме того, разработчик ответственен за периодическую очистку кэша. У каждого браузера имеется жёстко заданное ограничение на размер кэша, который выделяется конкретному источнику. Узнать примерное значение квоты кэширования можно, воспользовавшись API StorageEstimate.

Браузер делает всё, что в его силах, для того, чтобы поддерживать определённый объём доступного пространства кэша, но он может удалить кэш для некоего источника. Обычно браузер либо удаляет весь кэш, либо совершенно его не касается. Пользуясь кэшами, не забывайте о том, чтобы различать их в соответствии с версиями ваших скриптов, например, включая версию скрипта в имя кэша.

Интерфейс CacheStorage представляет хранилище для объектов Cache. Вот задачи, за решение которых отвечает этот интерфейс:

Для того чтобы получить экземпляр объекта

Cache

, воспользуйтесь командой

Для того чтобы узнать, является ли некий объект Request ключом какого-либо объекта Cache, которым управляет CacheStorage, воспользуйтесь методом CacheStorage.match().

Обратиться к CacheStorage можно через глобальное свойство caches.

Google drive

Главное достоинство облачного хранилища Google Drive — интеграция с другими службами Гугл. В их числе: средство создания онлайн-фотоальбомов Google Фото, редакторы документов (текстов, таблиц, презентаций) Google Docs, инструмент для работы с формами и опросниками Google Forms, редактор схем и диаграмм Google Drawings и т. д (полный список связанных приложений приведен внизу главной страницы).

У сервиса Google Drive есть даже собственный магазин приложений, которые расширяют его возможности до бесконечности. Кроме того, надо отдать должное встроенному просмотрщику файлов Гугл Диск, поддерживающему более 30 форматов. Благодаря ему мы можем просматривать файлы всех распространенных типов прямо в браузере — без скачивания их на ПК и загрузки в связанные приложения.

Каждый владелец аккаунта Google (а это практически все, кто пользуется устройствами на базе Андроид), получает в бесплатное распоряжение 15 Гб дискового пространства и все интегрированные приложения сервиса. Желающим увеличить объем хранилища, как и везде, придется раскошелиться:

• 100 дополнительных Gb стоит 139 рублей в месяц;
• 1 Тб — 699 рублей в месяц;
• 10 Тб — 6 990 рублей в месяц;
• за максимальный объем — 30 Тб, придется заплатить 20 990 рублей в месяц.

Однако кроме увеличения доступного дискового пространства, премиум-аккаунт не дает никаких иных преимуществ: все возможности Google Drive в равной мере доступны всем его пользователям.

Гугл Диск поддерживает следующие операционные системы: Windows, OS X, Android, iOS.

Microsoft onedrive

Microsoft OneDrive — облачный сервис хранения данных, который не нуждается в представлении пользователям Windows. Еще бы, ведь в последних выпусках этой ОС (в «десятке») он прямо-таки лезет поверх всего на экране, так как настроен на автозапуск по умолчанию.

Для пользователей винды преимущество сервиса Microsoft OneDrive перед аналогами, пожалуй, только одно — его не нужно устанавливать. Также не нужно создавать для него отдельный аккаунт — для входа в облако достаточно ввести данные своей учетной записи Microsoft.

Владельцу одной учетки Microsoft OneDrive предоставляет 5 Гб бесплатного дискового пространства для хранения любой информации. Чтобы получить дополнительный объем, придется доплачивать. Максимум составляет 5 Тб и стоит 3 399 рублей в год, однако в этот пакет входит не только дисковое пространство, но и приложение Office 365 (домашний выпуск).

Дополнительные возможности всех тарифов:

• Поддержка других операционных систем — Mac OS X, iOS и Android.
• Просмотр и редактирование документов при помощи приложений встроенного пакета Office.
• Удаленный доступ ко всему содержимому компьютера (не только папки OneDrive), на котором установлен сервис и используется ваша учетная запись Microsoft.
• Создание фотоальбомов.
• Встроенный мессенджер (Скайп).
• Создание и хранение текстовых заметок.
• Поиск.

Только платных версий:

• Создание ссылок с ограниченным сроком действия.
• Автономные папки.
• Многостраничное сканирование с сохранением документов в файл формата PDF.

В целом сервис неплох, но иногда случаются проблемы со входом в учетную запись. Если вы собираетесь работать с веб-версией хранилища (через браузер) и заходите в него под другим IP-адресом, чем был раньше, Microsoft иногда запускает проверку принадлежности учетной записи вам, что отнимает довольно много времени.

Также были жалобы на удаление пользовательского контента из OneDrive — когда у Microsoft возникали подозрения, что он нелицензионный.

Nextcloud — лучшее облачное хранилище для самостоятельного хостинга

Nextcloud отличается от других рассмотренных сервисов. В первую очередь потому, что это система FOSS (бесплатное программное обеспечение с открытым исходным кодом). Значит, можно пользоваться этой системой как угодно, когда угодно и где угодно, причём бесплатно.

Nextcloud позволяет хранить данные на собственных надёжных серверах пользователя. Размещая данные на собственном сервере, вы сможете закрыть посторонним доступ к нему, а сами будете иметь этот доступ через брандмауэр.

Среди примеров такого подхода можно назвать Nextcloud Hub. Вы и ваша команда получите следующие возможности:

• Делиться и совместно работать над документами, отправлять и получать электронные письма, управлять календарём и общаться в видеочатах без утечек данных.
• Поскольку это локальное решение, Nextcloud Hub обеспечивает преимущество онлайн-сотрудничества без рисков безопасности и необходимости соответствовать каким-либо требованиям.

Возможность разместить Nextcloud на собственном оборудовании важна, так как Nextcloud пока не предлагает сквозного шифрования.

При этом Nextcloud может считаться мощным, гибким и бесплатным облачным хранилищем. Помимо основного продукта, вы можете получить более 100 приложений и создавать простейшее облачное хранилище или полноценную среду для домашнего и корпоративного применения.

Используя защищённые серверы, можно создать бесплатное или дешёвое защищённое облачное хранилище, которое ни в чём не уступает конкурентам. Когда появится сквозное шифрование, можно будет создавать такое хранилище даже без собственного хостинга.

Tresorit — лучшее безопасное облачное хранилище

Tresorit может считаться наиболее надёжным облачным хранилищем и располагается в Швейцарии. Применяется сквозное шифрование и полный набор функциональных возможностей для бизнеса, команд и отдельных пользователей. Если вы собираетесь защищать важные данные своей организации от злоумышленников, исполнять требования регулирующих органов в вашей отрасли и заниматься управлением организацией, этот сервис может вам подойти.

Ориентированные на бизнес тарифы Tresorit дадут возможность управлять и анализировать использование сервиса сотрудниками. Сервис отвечает требованиям HIPAA, GDPR, FedRAMP и множеству других правил защиты данных. Это делает его подходящим для работы с многочисленными корпоративными приложениями.

Этот сервис даёт корпоративным пользователям возможность выбирать, где именно будут храниться их данные географически. Это важно для транснациональных корпораций. Tresorit предлагает всё это наряду со сторонними тестами на проникновение, исходным кодом и криптографическими обзорами. Это делает сервис хорошим выбором для крупных компаний, которые готовы заплатить за надёжность и безопасность.

Для обычных пользователей с небольшим бюджетом сервис может быть не лучшим вариантом. Хотя здесь есть ограниченная бесплатная версия, у других сервисов она может быть более привлекательной. Для домашних пользователей платные тарифы могут оказаться избыточными и придётся платить за ненужные функции.

Жесткие диски (hdd)

Жесткие диски сегодня являются самым дешевым устройством для хранения данных при учете фактора «цена за мегабайт». Легко можно купить трехтерабайтный «винчестер» менее чем за 100 евро, и он будет служить верой и правдой, пока у него не «полетят головки» (худший вариант) или же он просто однажды не посыплется «бэдами».

Технологии в производстве HDD кардинально не развиваются уже лет пятнадцать, за исключением повышения оборотов шпинделей; а различные многобуквенные сочетания надежности по большому счету не добавляют, разве что информированности. Кроме того, восстановление данных с жесткого диска в случае безвременной кончины последнего – весьма дорогостоящая процедура, а если модель еще и десятилетней давности или более, сумма возрастает совершенно непропорционально.

Да, трава раньше была зеленее, а «винчестеры» – надежнее. Потому что, к примеру, восстановление «голов» может вам обойтись далеко не в один десяток тысяч рублей, и критическая информация станет поистине золотой.

Выходом из этого может служить вышеупомянутый способ зеркалирования. Это значит, вы покупаете два HDD одинакового объема, но разных производителей, и проводите ежедневное автоматическое копирование данных с одного на другой. Такой способ можно назвать максимально бюджетным и при этом достаточно надежным (да и найти бесплатное приложение для зеркалирования не проблема).

Кто хранит ключи от ваших данных?

Зашифровать и расшифровать данные может только тот, у кого есть ключи шифрования. Во многих случаях ключи шифрования находятся в сервисе облачного хранения. Сервис использует протоколы TLS/SSL для передачи данных, затем применяет ключ шифрования и сохраняет данные на своих серверах. Это удобно, но вы должны доверять этому сервису защиту ваших данных.

Более безопасным подходом является самостоятельное хранение ключей шифрования. Самые надёжные системы не знают ключей шифрования. Приложение на вашем устройстве использует ключи для шифрования данных перед их отправкой на сервер и для дешифрования при получении данных с сервера. На самом сервере ключей нет.

Так вы не обязаны доверять кому-то хранение ваших ключей шифрования. Нужно только доверять приложению сервиса, что оно не отправит ключи шифрования на сервис. Если это приложение с открытым исходным кодом и достаточно популярное, можно быть почти уверенным, что никаких подвохов не будет. Разбирающиеся в программировании энтузиасты проверяют исходный код таких приложений и анализируют все их возможности.

Также нужно подумать о безопасности хранения данных на устройстве. Большинство сервисов облачного хранения данных, даже самые надёжные, защищают данные только тогда, когда они покинули ваше устройство. Если кто-то получит доступ к устройству, он получит и доступ к вашим данным, если они не зашифрованы.

В NordLocker находящиеся в облачном хранилище данные зашифрованы и на пользовательских устройствах. Для их расшифровки нужно выполнить вход в учётную запись NordLocker. Шифрование данных на устройстве пользователя обеспечивает дополнительный уровень защиты.

Такие системы, где только пользователь может шифровать и дешифровать свои данные, называются сквозным шифрованием. Если вы не используете сервис, где данные сохраняются в собственной защищённой частной сети, для обеспечения максимальной надёжности требуется некоторая форма сквозного шифрования.

Общие характеристики для всех типов облачных дисков

1. Capacity. Рекомендуемый максимальный размер диска — 2 Тб.

2. Масштабирование. Вручную через веб-консоль управления облаком или OpenStack CLI (Command Line Interface). Возможно только увеличение размера диска. Уменьшение недоступно, так как подобная процедура может негативно сказаться на работе файловой системы и целостности данных.

3. Доступность. Гарантируется SLA, общий для облака, — 99,95%.

4. Бэкапы и восстановление. Для всех дисков поддерживаются снапшоты и резервные копии. Создание снапшотов доступно через консоль управления облаком и OpenStack CLI. Создание бэкапов возможно через встроенный механизм MCS либо с использованием сторонних решений наших партнеров: Acronis и Veeam Backup & Replication. Встроенный механизм хорош интеграцией с облачной платформой, сохранением бэкапов в S3, что дешевле, и платой только за хранение данных. Однако в этом случае нет возможности восстановления данных в ту же виртуальную машину и восстановления отдельных файлов.

5. Границы доступности. Ресурс локализован в рамках одной зоны доступности (AZ, Availability Zone). Чтобы избежать потенциального снижения производительности работы, при создании диска, подключаемого к существующему инстансу, рекомендуется выбирать зону доступности инстанса.

6. Безопасность. Доступ к данным ограничен механизмами изоляции ресурсов (различные Namespace) проекта.

7. Механизм расчета стоимости. Цена определяется запрошенным объемом диска. При изменении размера стоимость автоматически пересчитывается.

Объектные хранилища s3 — еще один тип хранения данных в облаке

В S3 данные хранятся в виде объектов. Объект — это некая совокупность данных с уникальным идентификатором и бесконечным количеством метаданных. Для группировки объектов есть дополнительная сущность — бакеты. Это контейнеры для объектов, похожие на папки, но не являющиеся их полным аналогом. В проекте может быть один или несколько бакетов.

Лучше всего S3 подходит для хранения неструктурированных данных и обработки большого количества объектов малого и среднего размера, которые редко изменяются и часто требуют параллельного доступа большого числа пользователей. Для обработки больших объектов доступна дополнительная функциональность — мультипоточная загрузка.

S3 может выступать в качестве более надежной и дешевой альтернативы дискам HDD для большей части сценариев их использования.

Мы используем реализацию объектного хранилища S3 собственной разработки

В нашем облаке доступны три класса объектных хранилищ S3, которые различаются по своему назначению и стоимости:

1. S3 HotBox предназначен для хранения горячих данных — с частым доступом. В первую очередь это онлайн-сервисы с повышенной нагрузкой, работа которых требует хранения и раздачи контента: потоковая раздача мультимедиа, хостинг статических сайтов, хранилища для Backend-платформ. Могут также использоваться для анализа данных в Big Data, Data Mining и так далее. В HotBox хранение дороже, а исходящий трафик дешевле, входящий трафик не тарифицируется.

2. S3 IceBox используют для хранения холодных данных — с редким доступом, например несколько раз в месяц. Чаще всего это годовая и месячная отчетность, документы, бэкапы и журналы, к которым периодически нужен быстрый доступ. По сравнению с HotBox в IceBox хранение дешевле, а исходящий трафик дороже, входящий трафик также не тарифицируется.

3. Glacier подходит для хранения ледяных данных — массивных данных (от 100 Тб) с очень редким доступом. Это бэкапы, архивы и логи, к которым доступ может потребоваться несколько раз в год и реже. Из трех типов хранилищ в Glacier самая низкая цена на хранение данных, а весь трафик бесплатный. Такое хранилище подключается по отдельному запросу клиента.

Что хорошего в S3-хранилище:

Оценка систем хранения данных на стороне клиента

В наши дни существует немало браузерных API, которые позволяют организовать хранение данных. Мы рассмотрим некоторые из них и сравним их для того, чтобы упростить вам выбор подходящего API.

Для начала, однако, остановимся на нескольких общих вопросах, которые стоит принять к сведению перед выбором конкретной технологии для хранения данных. Конечно, в первую очередь нужно понять то, как ваше приложение будет использоваться, как будет организована его поддержка, как планируется его развивать.

При этом, если даже у вас есть чёткие ответы на эти вопросы, вы, в итоге, можете выйти на несколько вариантов систем хранения данных, из которых нужно будет выбрать наиболее подходящий. Вот на что стоит обратить внимание, выбирая систему хранения данных:

• Поддержка браузерами. Тут следует учесть тот факт, что лучше всего отдавать предпочтение стандартизированным, развитым API. Они, во-первых, отличаются достаточно длительным сроком существования, а во-вторых — их поддерживает много браузеров. Подобные API, кроме того, обычно имеют хорошую документацию и активное сообщество разработчиков.
• Поддержка транзакций. Иногда важно, чтобы при работе с хранилищем наборы связанных операций обладали бы свойством атомарности, то есть, чтобы выполнение набора операций либо завершалось успешно, при успешном выполнении всех операций, либо, при отказе хотя бы одной из них, завершалось бы с ошибкой. Базы данных традиционно поддерживают эту возможность, задействуя модель транзакций, при использовании которой связанные обновления данных могут быть сгруппированы в произвольные блоки.
• Синхронная или асинхронная работа. Некоторые API хранения данных являются синхронными, в том смысле, что операции сохранения или загрузки данных из таких API блокируют активный поток до завершения соответствующего запроса. Использование синхронных API может привести к блокировке главного потока, что может выразиться в «тормозах» пользовательского интерфейса. Поэтому, если это возможно, старайтесь использовать асинхронные API.

Типы дисков, которые вы можете использовать в облаке

Диски в облаке специально предоставляются в том виде, в котором классическим операционным системам «привычнее» с ними работать, то есть они имитируют физические носители информации, такие как HDD и SSD. При подключении к инстансам виртуальных машин такие диски можно использовать как обычное блочное устройство с «сырым» дисковым пространством — блоками, на которые разбивается все дисковое пространство, когда оно размечается под ту или иную файловую систему, чтобы уже на размеченном пространстве размещать данные операционных систем и приложений.

Но так как это все-таки виртуальные диски, для них доступны дополнительные возможности, например создание снимков состояния и шаблонов для новых дисков на их основе, смена типов дисков «на лету» и так далее. Эта функциональность была бы невозможна, если бы вы имели дело с физическим оборудованием, либо возможна, но за счет неоправданно высокой стоимости.

Особенности облачных (блочных) дисков:

1. Есть определенная гарантированная производительность в единицу времени на единицу объема хранения данных, выражаемая в операциях на диске в секунду (IOPS, пропускная способность).

2. Широкий выбор типов дисков. Возможность изменения типа диска «на лету».

3. Возможность создания снапшотов и образов (шаблонов) дисков.

4. Гибкость управления. При масштабировании диска можно не выключать инстанс, к которому он подключен. Можно создавать и подключать к работающей ВМ новые диски.

5. Совместимость. Диски можно рассматривать как локально подключенные накопители. Это позволяет разбивать их, форматировать и управлять ими с помощью знакомых инструментов и методов.

6. По сравнению с традиционными физическими носителями при использовании дисков в облаке нет необходимости задумываться о типах RAID, количестве шпинделей и прочем. За обслуживание оборудования и программной части отвечают инженеры облачного провайдера.

Отличия облачных (блочных) дисков от других облачных систем хранения данных:

На нашей платформе поддерживаются несколько типов дисков: HDD, SSD, SSD High IOPS и Low Latency NVMe. Вначале рассмотрим характеристики, которые будут общими для всех дисков, затем остановимся более подробно на каждом из них.

Примечание. Для каждого типа облачных дисков есть ближайший аналог из мира физических устройств. Но это не означает их полного технического соответствия. Также следует учесть, что бюджет на операции ввода-вывода в секунду для облачных дисков всегда определяется на определенный шаг дискового пространства.

Хранение данных

Под хранением обычно понимают запись данных на некоторые накопители данных, с целью их (данных) дальнейшего использования. Опустим исторические варианты организации хранения, рассмотрим подробнее классификацию систем хранения по разным критериям. Я выбрал следующие критерии для классификации: по способу подключения, по типу используемых носителей, по форме хранения данных, по реализации.

По способу подключения есть следующие варианты:

подключение дисков в сервере
дисковая полка, подключаемая по FC

По типу используемых накопителей возможно выделить:

Если рассматривать форму хранения данных, то явно выделяются следующие:

По реализации достаточно сложно провести четкие границы, однако можно отметить:

RAID контроллер от компании Fujitsu
пример организации LVM с шифрованием и избыточностью в виртуальной машине Linux в облаке Azure

Давайте рассмотрим более детально некоторые технологии, их достоинства и недостатки.

Яндекс диск

Что такое Яндекс Диск знают, наверное, все пользователи Рунета и одноименной поисковой системы — слишком уж активно компания пиарила свой продукт, когда он только появился. Благодаря их стараниям именно этот сервис завоевал самое большое доверие русскоязычных пользователей.

И это несмотря на масштабный сбой, который случился несколько лет назад (в 2021 году). В результате критической ошибки обновления Яндекс Диска у некоторых пользователей нарушилась функциональность Windows, и компании пришлось компенсировать им ущерб, предоставив в пожизненное пользование по 200 Гб дискового пространства.

Яндекс Диск, как и Google Drive, тоже тесно интегрирован с другими службами разработчика, в частности, Яндекс-почтой, и имеет в своем составе массу полезных дополнений:

• Программу для создания и оформления красивых онлайн-фотоальбомов с функцией сортировки фотографий по датам и возможностью делиться ими в соцсетях.
• Утилиту для получения снимков экрана и автосохранения их на Яндекс Диске.
• Небольшой бесплатный фоторедактор.
• Антивирус для проверки загруженного контента.

Наряду с этим сервис поддерживает все стандартные функции облачных хранилищ: синхронизацию, ссылки, общие папки, поиск и т. д.

Встроенный просмотрщик файлов и флеш-плеер Яндекс Диска позволяют читать документы и книги, смотреть картинки и видеоролики, слушать музыку без загрузки на устройство. Всего поддерживается более 30 форматов файлов.

Объем бесплатного хранилища составляет 10 Гб, но компания часто проводит акции, во время которых можно получить в подарок дополнительное место. Цены на премиум-тарифы здесь тоже выгодно отличаются от конкурентов. За лишних 10 Гб придется доплатить всего 300 рублей в год, за 100 Гб — 800 рублей в год, за 1 Тб — 2000 рублей в год.

Клиентское приложение Яндекс Диск поддерживает следующие операционные системы: Windows, OS X, Linux, iOS и Android.

Итоговое сравнение облачных систем хранения данных

Я рассказал про наиболее важные технические характеристики, которые чаще всего влияют на итоговый выбор облачного хранилища. Результат проведенного сравнения наглядно демонстрирует таблица ниже. Важно понимать, что единого алгоритма для выбора облачного хранилища быть не может: для каждого бизнес-кейса потребуется индивидуальный анализ. Но надеюсь, что представленная в статье информация поможет вам сделать правильный выбор.

Что еще почитать по теме: