INT 21h

Домашняя страница самого страшного прерывания

Опера о бэкапе очень большого SVN репозитория

№ 4855 В разделе "Администрирование" от February 16th, 2013,

Поставили мне недавно задачку ежедневно бэкапить наш корпоративный SVN. Когда я зашел посмотреть что там именно нужно бэкапить у меня аж челюсть отвисла… Репозиторий весил 37 гигабайт. 35 Гб одним файлом (!) + всякая мелочь.

Решено было сделать так:

  1. на стороне рабочего сервера выделить директорию для бэкапа и расчистить место размером с сам репозиторий
  2. на время бэкапа выключить SVN сервер чтобы никаких изменений не происходило во время копирования
  3. на стороне бэкапного сервера скопировать с рабочего rsync’ом всякую мелочь кроме самого большого файла strings
  4. на рабочем сервере split’ом разрезать strings на кусочки по 250 Мб и положить в отдельную директорию
  5. т.к. файлы уже все скопированы в отдельные директории, то можно включить сервер SVN
  6. на бэкапном сервере rsync’ком скопировать частички разрезаного strings (не измененные не будут копироваться)

Первый раз конечно будет скачиваться вообще весь репозиторий. Зато последующие разы только мелкие файлы и 1-4 кусочка по 250 Мб. Довольно простой метод и весьма устойчив к перебоям связи, которые у нас бывают.

Тот самый скрипт на рабочем сервере, который подготавливает файл strings к разрезанию и зеркалирует остальные файлы репозитория. Назовем его prepare_svn.sh. Он запускается не по крону, но также автоматически через ssh с бэкапного сервера (обязательно беспарольный вход с помощью ключа с бэкапного сервера на рабочий). Этот скрипт должен лежать в директории /data/backups/svn. Измените пути, когда будете применять это к своему серверу.

#!/bin/bash

BACKDIR="/data/backups/svn"

rm -rf $BACKDIR/repo_strings.split
mkdir $BACKDIR/repo_strings.split

#turn off svn. you [realy] need it!
chmod -x /usr/bin/svnserve 
sleep 120

#copy files excluding fucking big "strings"
echo "coping repo files"
rsync -vaz --exclude=db/strings /SVN/base /data/backups/svn/repo_svn_files/
#split fucking "strings"
echo "splitting megafucking strings"
split -d -a 3 -b 256000000 /SVN/base/db/strings $BACKDIR/repo_strings.split/

#fine. turn on svn
chmod +x /usr/bin/svnserve

В скрипте выше перед копированием все подчищается. Это делать нужно обязательно. Размер частей большого файла измеряется в байтах. По окончанию работы этого скрипта SVN сервер включается обратно.

А вот и сам управляющий скрипт на бэкапном сервере. Он располагается внутри директории /opt/backup_svn и запускается по крону в любимое для вас время. Скрипт сначала запустит на удаленном сервере скрипт подготовки, затем скопирует с рабочего сервера сначала мелкие файлы репозитория, а третьим шагом скопирует измененые частички файла strings.

#!/bin/bash

LOCALDIR="/opt/backup_svn"
REMOTEDIR="/data/backups/svn"

#run remote prepare script
ssh -i /root/.ssh/megakey.pem root@myserver.ru "$REMOTEDIR/prepare_svn.sh"

#rsync small files
rsync -vaz --checksum --rsh="ssh -l root -i /root/.ssh/megakey.pem" myserver.ru:$REMOTEDIR/repo_svn_files/ $LOCALDIR/repo_svn_files/

#rsync fucking big "strings"
rsync -vaz --checksum --rsh="ssh -l root -i /root/.ssh/megakey.pem" myserver.ru:$REMOTEDIR/repo_strings.split/ $LOCALDIR/repo_strings.split/

Теперь у вас есть бэкапилка для больших репозиториев.

Всего 1 комментарий »

1 комментарий »

Comment by Constantine | February 22, 2013 @ 11:14:54

Спасибо. Пригодится может быть.

Форма отправки комментария

CAPTCHA
*

Разрешенные HTML-теги:
<a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>

RSS RSS Feed только для этого поста |


Комментарии
  • Игорь: Все настроил, еще раз просмотрел видео и методом научного тыка все настроил и сохранил, все работает и обе...
  • 21h: Здравствуйте, Игорь! Я не знаю :) Думаю аналогично согласно инструкции к вашей радиостанции.
  • Игорь: Добрый день, просмотрел Ваше видео все доступно и ясно для 8 ми канальных радеек, но мне нада настроить 69...
  • Гоги: Есть инструкция к Моторолкам – она подходит к серии Motorola TLKR T4… Т8. В конце сетка частот и...
  • 21h: торчок давно уже не обновлял, как только закрыл сайт где он работал. да, это морда для opentracker. без...
  • Buter: Какова дальнейшая жизнь торчка? Он кстати веб-интерфейсом для OpenTracker выступает? Без OpenTracker работать...
  • 21h: понятия не имею. гуглите инструкцию к вашей радейке и сверяйтесь с ней.
  • Денис: хочу их подружить с uv5r
  • Денис: t-388 walkie talkie на эти шпаргалочек нет,или как приминить ваши к их настройке?
  • John: Стекла для электроник – техночас.ру