Как настроить резервное копирование в S3

Резервное копирование данных из объектного хранилища S3 — это процесс создания копий данных, которые хранятся в Amazon S3 или аналогичных системах объектного хранилища. Он гарантирует доступность данных в случае сбоев, их утраты или других непредвиденных обстоятельств.

В этой статье мы расскажем, как его настроить на примере Windows.

Как установить утилиту rclone на сервере-источнике

Rclone — это утилита для синхронизации данных между облачными хранилищами и локальными системами. Она поддерживает множество сервисов, включая Google Drive, Dropbox, Amazon S3, OneDrive и другие, позволяя автоматизировать процессы резервного копирования и миграции данных.

Постройте надежную IT-инфраструктуру под любые задачи и проекты с облачными решениями от Рег.ру. В вашем распоряжении будет современное объектное хранилище S3 — масштабируемая и безопасная платформа для хранения данных.

Способ 1. Установка через двоичный файл

1. Скачайте предварительно скомпилированный двоичный файл rclone для Windows с официального сайта rclone.

2. Распакуйте загруженный архив. Для этого щелкните правой кнопкой мыши на архиве и выберите «Извлечь все…» или используйте любое приложение для работы с архивами, например, WinRAR или 7-Zip.

3. Откройте извлеченную папку в проводнике и найдите файл rclone.exe.

4. Поместите файл rclone.exe в любое удобное место на вашем компьютере. Например, вы можете создать папку C:\rclone и переместить туда исполняемый файл.

5. Откройте окно командной строки (CMD) или PowerShell. Для этого нажмите комбинацию клавиш Win + R, введите cmd или powershell и нажмите Enter.

6. Перейдите в каталог, где находится файл rclone.exe, с помощью команды cd. Например, если файл находится в папке C:\rclone, выполните команду:

7. Запустите rclone, чтобы проверить его работоспособность. Выполните следующую команду:

Она выведет текущую версию утилиты rclone, подтверждая, что установка выполнена успешно.

Если вы хотите воспользоваться функцией монтирования в rclone, вам понадобится установить дополнительную утилиту WinFsp, которая отвечает за поддержку файловой системы в пространстве пользователя. Без нее монтирование работать не будет.

Если вы ищете надежное решение для хранения данных, обратите внимание на Объектное хранилище S3 от Рег.ру. Заказав его у нас, вы получите не только доступное и безопасное облачное хранилище, но также и возможность эффективно управлять информацией и адаптировать ресурсы под свои задачи.

Способ 2. Установка с помощью менеджера пакетов Windows

Winget — это удобный менеджер пакетов для Windows, который обычно предустановлен на последних версиях операционной системы. Если на вашем устройстве он отсутствует, достаточно обновить приложение App Installer через магазин Microsoft Store.

Чтобы установить rclone с помощью Winget, выполните следующую команду в терминале:

Если вам нужно удалить rclone, используйте команду:

Эта команда удалит приложение полностью, включая его конфигурации, если они были созданы.

Как настроить утилиту rclone на сервере-источнике

1. Откройте командную строку и выполните команду:

2. В появившемся терминале выберите создание нового подключения, введя n. Назовите подключение, например, example-s3:

3. Укажите тип хранилища — S3, выбрав номер 4: Amazon S3 Compliant Storage Providers including AWS…

4. Укажите провайдера — Other, выбрав номер 32.

5. Выберите опцию для ввода AWS-учетных данных вручную, введя 1.

6. Далее введите ваш access_key_id:

И secret_access_key:

7. Оставьте поле Region пустым:

8. В поле Endpoint укажите URL для подключения к вашему S3-хранилищу, например, https://s3.regru.cloud:

9. Пропустите опцию location_constraint, оставив ее пустой.

10. Для параметра acl выберите номер 6 (bucket-owner-full-control).

11. Когда будет предложена продвинутая настройка (Edit advanced config?), выберите n:

12. Проверьте, что все параметры указаны верно, и подтвердите, выбрав y.

13. Чтобы завершить работу конфигуратора, выберите q.

Теперь удаленное подключение example-s3 готово к использованию. Вы можете использовать его для управления данными в указанном S3-хранилище.

Создание и настройка скрипта переноса файлов бэкапа в облачное хранилище S3

Рассмотрим пример автоматизации переноса бэкапов баз 1С в PostgreSQL с использованием утилиты rclone и написанием скрипта на Windows.

1. Откройте Notepad++ или другой текстовый редактор.

2. Создайте новый файл и сохраните его с расширением .bat или .cmd. Например, backup_to_s3.bat.

Что именно нужно сделать:

• сформируйте имя файла отчета с датой и временем создания;
• укажите путь, куда будут сохраняться лог-файлы;
• определите расположение утилиты rclone;
• укажите директорию с файлами для переноса;
• задайте ранее сконфигурированное в rclone название облачного хранилища (в нашем руководстве: example-s3).

3. Запустите утилиту rclone для копирования файлов с логированием из источника в место назначения.

Пример скрипта:

Важно! Перед использованием скрипта убедитесь, что:

• путь к rclone указан корректно;
• название хранилища (example-s3) совпадает с настройками rclone;
• у вас есть права на выполнение команд удаления в каталоге источника.

Как настроить запуск скрипта в Планировщике заданий Windows

Автоматизация запуска скрипта по расписанию позволяет избавиться от необходимости ручного запуска и гарантирует своевременное выполнение задач. Планировщик заданий Windows позволяет легко настроить выполнение скриптов в указанный день и время.

1. Откройте «Планировщик заданий». Для этого перейдите в «Пуск» —> «Панель управления» —> «Администрирование» —> «Планировщик заданий».

2. Нажмите «Создать задачу».

3. Задайте имя для задачи, например, «Запуск скрипта».

4. Перейдите на вкладку «Триггеры» и нажмите «Создать».

5. Настройте расписание запуска. Например, выберите выполнение еженедельно по рабочим дням или в удобное ночное время.

6. Нажмите «ОК».

7. Перейдите на вкладку «Действия».

8. Нажмите «Создать».

9. Выберите «Запустить программу» и укажите путь к вашему скрипту, например, rclone-example-s3.cmd. Можете сделать это через кнопку «Обзор».

10. Проверьте параметры задачи на других вкладках, например, условия запуска и права администратора, если требуется.

11. Нажмите «ОК», чтобы сохранить задачу, и убедитесь, что она появилась в списке активных.

12. Для проверки нажмите «Выполнить» на созданной задаче и убедитесь, что скрипт запускается корректно.

Теперь ваш скрипт настроен и будет выполняться автоматически по указанному расписанию.

Как проверить, работает ли скрипт

После настройки задачи важно убедиться, что скрипт выполняется корректно:

1. В «Планировщике заданий» найдите созданную задачу, щелкните по ней правой кнопкой мыши и выберите «Запустить».
2. Проверьте результат выполнения. Если возникли ошибки, откройте лог выполнения задачи для анализа причин и устранения проблем.
3. Подключитесь к S3-хранилищу, используя S3-браузер или другой инструмент, и проверьте, были ли необходимые файлы успешно перенесены.

Таким образом, вы можете убедиться в работоспособности скрипта и его корректном выполнении.

Заключение

Резервное копирование в S3 — это основа для стабильной работы вашей инфраструктуры. Правильно настроенные процессы позволяют минимизировать риск утраты данных, обеспечивая их доступность.