09.10.2020

Что такое хранилище S3?

С увеличением объема данных растет потребность в использовании надежных хранилищ, которые обеспечивали бы гарантированную безопасность и доступность информации.

Локальные диски, съемные носители, ленточные накопители не всегда удовлетворяют требованиям бизнеса. Ведь с такими скоростями и ритмом жизни нужно быть максимально гибкими и мобильными.

Компании по всему миру давно практикуют облачный подход к хранению данных. Но в последнее время популярность набирает объектная модель, представленная в виде S3 хранилища.

Просто о сложном

S3 хранилище – это сервис хранения объектов, предлагаемый поставщиками облачных услуг. Основное преимущество решения – возможность хранить файлы любого типа, любого объема, с высоким уровнем надежности и доступности.

Принцип работы с S3 хранилищем сводится к созданию контейнеров и добавлению туда необходимых файлов, которые представляются в виде объектов. Таким образом все, что попадает в контейнер, можно просматривать, перемещать или удалять. Сами контейнеры, в случае необходимости, тоже могут быть удалены.

Важный момент: в object-хранилищах помимо самих объектов хранятся метаданные, определяющие свойства объекта и глобальный уникальный идентификатор в виде присвоенного адреса. Эти атрибуты хранятся в плоском адресном пространстве, позволяя избавиться от проблем, которые встречаются при работе с иерархической файловой системой на основе сложных путей к файлам. Примечательно, что один объект может содержать разнородные метаданные, которые наиболее подробным образом его характеризуют. Например, это может быть аудиофайл с заданными метаданными в виде исполнителя, названии песни,альбома и прочей информации. В дальнейшем метаданные файлов индексируются, что в значительной степени облегчает и в разы ускоряет поиск нужных объектов по заданным признакам.

Зачем использовать объектное хранилище

Теперь, когда вы знаете как устроено объектное хранилище, может возникнуть вопрос: зачем его использовать? Основная задача, которую решает объектная СХД связана с масштабированием и более рациональным хранением информации.

Нетрудно заметить, что природа данных в последние годы сильно изменилась. Если раньше можно было хранить файлы на традиционных хранилищах, то теперь мы имеем дело с постоянным ростом информации и этим процессом довольно сложно управлять. С такой задачей справляется облачное хранилище, подстраиваясь под любые темпы роста. Неудивительно, что сегодня многие БД работают с объектами, поддерживая тип данных BLOB (Binary Large Object). Таким образом хранение информации в виде объектов происходит более рационально.

Как подключиться к S3 хранилищу

Стоит отметить, что объектные хранилища не предназначены для обработки данных внутри себя, поскольку здесь может быть выполнена операция размещения либо получения объектов. Важно понимать, что с такими хранилищами взаимодействуют не сами пользователи, а приложения или отдельные системы, а основой API выступает протокол HTTP.

Для того, чтобы выполнить подключение к S3 хранилищу, можно воспользоваться несколькими способами. Какой из них окажется удобным, решать вам. Приведем пример наиболее часто используемых вариантов:

S3Browser

Программа S3Browser позволяет подключиться к хранилищу по протоколу S3, скачать ее можно с официального сайта компании. Процедура стандартная: необходимо задать имя аккаунту, выбрать тип подключения S3 Compatible Storage, указать адрес подключения, ID ключа доступа, значение секретного ключа и активировать в случае необходимости опцию шифрования данных при подключении. Все. После чего можно работать с хранилищем.

Swift API

Подключиться к S3 хранилищу можно с помощью Swift API через программу Cyberduck, скачав ее предварительно с официального сайта разработчика. После установки и запуска приложения, необходимо выполнить новое подключение. Для этого нужно указать, что вы подключаетесь к объектному хранилищу Swift (OpenStack Object Storage), задать название сервера, номер порта 443, ключ доступа и пароль.

Для каких задач подходит S3 хранилище
Обеспечение работы сайтов и мобильных приложений
Архивация, анализ больших объемов данных
Хранение статического контента, мультимедийных файлов
Хранение пользовательских данных и бэкапов
Раздача статических файлов
Хранение данных backend-платформ
Электронный документооборот
Хранение историй транзакций и логов
Хранение резервных копий ИС
Хранение неструктурированных данных