Einträge mit dem Tag: [backup]

Montag Aug 27, 2012

Barman - Backup und Recovery Manager für PostgreSQL

barman.png Von 2ndQuadrant stammt dieses Open Source Backup und Recovery Programm für PostgreSQL. Es bietet Remote Backups, Point in Time Recovery, das Managen von mehreren DB-Servern von einem Punkt/Server aus sowie einen Backup-Katalog, mit dem man seine Backups verwalten kann. Das geht schon etwas in Richtung Oracle Rman.


Dienstag Jul 03, 2012

Cloud-Backup in Amazon S3 mit Duplicity

Mit Hilfe von Duplicity kann man Backups gepackt und verschlüsselt direkt in Amazon AWS S3 speichern und eignet sich deshalb gut als Offsite-Backupprogramm. Und so richtet man das Ganze unter Ubuntu bzw. Gentoo ein:

Installation 

apt-get install duplicity bzw emerge -av duplicity
apt-get install python-boto bzw. emerge -av boto

s3cmd installieren und einrichten

Das ist nur notwendig, wenn man von einem Rechner aus checken will, ob alles im S3 gelandet ist. s3cmd ist ein sehr praktisches Tool, wenn man von der Kommandozeile aus mit S3 interagieren will.

apt-get install s3cmd bzw. emerge -av s3cmd

Weiterhin braucht man eine $HOME/.s3cfg (auch nur, wenn man s3cmd nutzen will, wird nicht für Duplicity benötigt, aber praktisch, wenn man sich die S3 Buckets anguggen will...). Hierzu die s3cmd Anleitung lesen. Dort drin sind der access_key und der secret_key, denn man für den Zugriff auf S3 benötigt. Ihn findet man auch, wenn man sich in die AWS Console einloggt und dann auf die Credientials geht.

GnuPG installieren und einrichten

apt-get install gpg bzw. emerge -av gnupg

GnuPG einrichten

gpg --gen-key (Und dann den Anweisungen folgen)

Key anzeigen mit: 

gpg --list-keys

...
pub   2048R/xxxxxxxx 2012-06-29
      Key fingerprint = E870 xxxx xxxx xxxxx
uid                  BACKUP_$HOST 

sub   2048R/xxxxxxxx 2012-06-29 

Die wichtige Info hier ist in der ersten Zeile der achtstellige Key: 2048R/xxxxxxxx. 

Ein Verzeichnis bzw. besser gesagt ein Bucket im S3 für das Backup einrichten (wo Duplicity die gepackten und verschlüsselten Files ablegt):

s3cmd mb $HOST s3://backup

Das eigentliche Backup

Damit Duplicity auf S3 zugreifen kann, muss es im Env. bzw. Shell-Umgebung folgende Variabeln finden:

export PASSPHRASE="..." # PW für Zugriff auf das GnuPG PW (bei --key-gen angegeben)
export AWS_ACCESS_KEY_ID="..." # Access Key für S3
export AWS_SECRET_ACCESS_KEY="..." # Secretkey für S3

Dann das Backup selbst:

duplicity -v5 --volsize 500 --asynchronous-upload --s3-use-multiprocessing --s3-use-new-style /VERZEICHNIS_ZU_SICHERN s3+http://backup/$HOST

--s3-use-multiprocessing kam erst mit Duplicity 0.6.17 rein, aber da ist ein Bug drin. Deshalb lieber 0.6.18 verwenden! Das Multiprocessing (oder besser gesagt bei S3 Multipartupload) braucht man, wenn man eine 100 oder 1 GBit-Leitung voll ausnutzen möchte und man ein paar hundert GigaByte oder TerraByte zu Amazon S3 hochladen möchte. Ansonsten bekommt man nicht mehr als 30-40 MBit/s über die Leitung. --asynchronous-upload sorgt dafür, das der Upload schon stattfindet, während in eine weitere Datei schon wieder geschrieben wird (ist nicht nicht freigegen, aber funktioniert recht gut). Das bedeutet aber auch, das man den doppelten Platz benötigt! Ich habe hier z.B. --volsize 500 angegeben, was in /tmp (default) ein 500 MB File erzeugt. Ist das voll, dann wird nochmal ein 500 MB File angelegt, während das Erste hochgeladen wird. Ist auch das zweite File voll und das Erste noch nicht fertig hochgeladen, wartet der Backupprozess. --s3-use-new-style wird benötigt (in neueren Versionen vielleicht nicht mehr), wenn man nach Amazon Eu (Irland) ins S3 hochladen möchte.

Das Ganze sieht dann so aus, wenn man Files/Verzeichnisse ausschließen möchte:

duplicity -v5 --volsize 500 --asynchronous-upload --s3-use-multiprocessing --s3-use-new-style --exclude "DIR1" --exclude "DIR2" / s3+http://backup/$HOST

Aktuelle Files im Backup anzeigen:

duplicity list-current-files --s3-use-new-style s3+http://backup/$HOST

Restore eines Files

duplicity --s3-use-new-style --file-to-restore DATEINAME s3+http://backup/$HOST /RESTORE_PFAD_INKL_DATEINAME

Restore eines Verzeichnisses

Zielverzeichnis darf noch nicht existieren!
duplicity --s3-use-new-style s3+http://backup/$HOST /VERZEICHNIS

UND JETZT KOMMT DAS WICHTIGSTE:

Das Verzeichnis $HOME/.gnupg ist irgendwo an einem sicheren Platz zu sichern! Wenn der Rechner, der mit Duplicity gesichert wurde, diese Dateien nicht mehr findet, weil er in Rauch aufgegangen ist, dann kommt man nicht mehr an seine Daten ran, weil das Backup mit diesem Schlüssel verschlüsselt wurde!


Freitag Aug 12, 2011

Links 20110812 - mylvmbackup, MySQL Backup

mylvmbackup - Eine sehr flexible Möglichkeit konsistente MySQL Backups zu erzeugen ist über LVM Snapshots. mylvmbackup implementiert alles Nötige. Sehr praktisch :-)
How To Back Up MySQL Databases With mylvmbackup - Ein weiterführender Artikel zum Thema.


Donnerstag Apr 09, 2009

Links 20090409 - Radio CSS Posfix Courier DRBD MySQL Redundanz Backup Buecher Performancemessung HTTP

KRadio4 - Das Programm für KDE4 unterstützt Internet- und AM/FM-Stationen, die per V4L/V4L2 von einer Radio-Karte kommen. Weiterhin wird LIRC und RDS unterstützt.
cssutils - CSS Cascading Style Sheets parser and library for Python
Virtual Users und Domains mit Postfix, Courier, MySQL und SquirrelMail (Debian Lenny)
Use DRBD to Provide Rock-Solid MySQL Redundancy - Gut... MySQL jetzt "Rock-Solid" zu nennen, ist vielleicht etwas übertrieben ;-) Aber DRBD ist wirklich eine tolle und zuverlässige Sache. Ich hoffe, das die Jungs das mit 2.6.30 in den Kernel bekommen.
Provide Robust Clustered Storage with Linux and GFS
Install Bacula for Open Source Backups - Ich bin ja mehr ein Fan von Backuppc, aber Bacula hat sicherlich auch seine Berechtigung.
Configure Bacula for Open Source Backups
20 of the Best Free Linux Books
PostgreSQL Code Snippets - Hier findet man div. Skripte für Postgres im PostgreSQL Wiki, u.a. um raus zu finden, wieviel Speicher div. Tabellen auf der Platte belegen, Zeit- und Datumskonvertierung, EMail-Parsing, usw.
TikiWiki - TikiWiki ist so ziemlich alles, was man von einer Groupware/Content Management System (CMS) so erwartet. Es hat eigentlich alles, was man man für eine Social-Site braucht vom Wiki, Blogs, über Photoalben bis zu Foren.
Pylot: Web Performance Tool - Ein Tools ähnlich zu Apaches Jmeter mit dem man Last auf Webservern erzeugen kann. Jmeter ist allerdings wesenlich umfangreicher.
Xpra - Xpra ist screen für X. Man kann sich damit mit einem Host verbinden, ein X-Programm starten, die Verbindung unterbrechen und später die Verbindung wieder an der Stelle vorführen, wo man aufgehört hat.
Paver is a Python-based software project scripting tool - Ähnlich wie make oder rake.


Freitag Jul 11, 2008

Weekly Links 20080710

The 16 Inch Meade LightBridge: Thats What I Like About You... - Tammy Plotner über seine Erfahrungen und Eindrücke mit dem 16 Zoll LightBridge Teleskop vom Meade.
Cobian Backup 9 für Windows - Diese Freeware bietet jede Menge mehr Möglichkeiten als das integrierte Windows Backup. Unterstützt auch Volume Shadow Copies und kann damit auch  Dateien kopieren, die gelocked sind.
A case for text-based DVD rippers - Div. konsolenbasierende DVD Ripper für Linux in der Übersicht.
How To Block Spammers/Hackers With mod_defensible On Apache2 (Debian Etch) - Ich weiß nicht, ob man sich damit nicht mehr Probleme einhandelt als nötig, aber vielleicht ist es im ein oder anderen Kontext interessant.
Spielen-unter-Linux - Ich glaube, der Name sagt alles. In diesem umfangreichen Portal gehts genau um dieses Thema.
freiesMagazin 07/2008 erschienen
GNU/Linux free software tools to preserve your online privacy, anonymity and security - Hier gehts um freie Tools, mit denen man seine Privatsphäre, Anonymität und Sicherheit bewahren kann.
List of Firebug Extensions - Schon witzig, das es jetzt für die Firefox Plugins schon Plugins gibt ;-) Firebug ist sicherlich eine der besten Erweiterungen für Webentwickler und diese Plugins hier für Firebug machen das Plugin noch nützlicher.
Erste LAN-Party auf Computerklassiker C64 - Der Brotkasten lebt! ;-)
NetRacer: The first multiplayer Internet game for the Commodore 64!
Floorplaner.com - Wer mal kurz Architekt spielen möchte... Mit diesem Raumplaner kann man planen, wie mal das Haus, Raum oder Büro aussehen soll und kann die Pläne auch anderen zur Verfügung stellen.
Foxmarks Gets Selective Bookmark Syncing - Mit dieser schon länger erhältlichen Firefox Erweiterung ist es nun möglich, nicht nur die ganze Bookmarksammlung immer und überall griffbereit zu haben sondern auch nur ausschnittsweise. So kann man in der Arbeit die privaten Einträge weglassen.
Pantera - Wer mal seine Webapplikation auf Herz und Nieren prüfen möchte, der sollte dieses Tool mal genauer ansehen.
Elastix - Elastix ist eine Linux-Distribution, mit der man seine eigene Telefonanlage aufziehen kann.
MPlayerThumbs - Wer Vorschaubilder seiner Videos in KDE/Konquerer bzw. den KDE Filemanagern haben möchte, sollte das hier ausprobieren.
QVideoConverter is an GUI for mencoder and provides an simple way to convert files/dvds to DivX videos.
Sphinx - Der Python Dokumenten Generator. Damit lassen sich schöne Dokus erstellen.
Pydev and Pydev Extensions 1.3.18 released - Wer Python Skripte mit der Eclipse IDE entwickeln möchte, kommt um diese Erweiterungen fast nicht rum.
Open Source Data Recovery Tools To The Rescue
Ask Slashdot: Digitizing Old Magazines - Einige Tipps, wie man alte Magazine digitalisiert.
Der Hackerfunk des Chaos Computer Clubs Zürich - Einige interessante Podcasts
Throttle The Disk I/O Rate: Limit disk I/O for rsync Tool - Wie man rsync davon abhält, die Festplatten allzu sehr zu belasten.
How To Set Up Red hat / CentOS Linux Remote Backup / Snapshot Server


Freitag Mrz 14, 2008

Weekly Links 20080314

Interview: Howard Chu, OpenLDAP chief architect - Ein ganz interessantes Interview mit einem der wichtigsten Person hinter OpenLDAP. BTW: Version 2.4 von OpenLDAP ist wirklich ziemlich gut geworden!
smtp + sql = more than it seems so - Sechsteiliger Blog bei dem es um Mail, SMTP, IMAP, POP3 und PostgreSQL geht: Teil 1, 2, 3, 4, 5, 6
Stellarium for Java - Stellarium ist ein sehr schönes Astronomieprogramm, das realistische Anblicke des Sternenhimmels mit Erdhorizont erzeugt, so wie man ihn mit blosem Auge oder Fernstecher sehen würde. Das hier ist die Java-Version.
Load Balancer Open Source Software - nixCraft gibt einen sehr guten Überblick über die vorhandene Opensource Loadbalancer Software. Es muss nicht immer ein Hardware-LB sein ;-)
VisualVM - Sehr interessantes Tool für Admins die Java-Anwendungen wie Tomcat, JBoss oder andere Java-Programme im Auge behalten müssen. Das Tool mit graphischen Oberfläche kann Memory- und CPU-Profiling z.T. auch Remote durchführen. Das geht im Development als auch in Produktion.
Substance Java look & feel - Sind ein paar schöne Skins dabei.
flamingo - Wer auf der Suche nach Icons für Applikationen ist, der findet hier eine ganze Reihe.
Tango Icon Library - Auch hier eine ganze Reihe Icons
Dark Filter Lists - Erweiterung für Songbird. Macht das Layout etwas dunkler ;-)
Error Messages for Windows - Man kommt ja nicht umhin, ab und zu doch was mit Windows zu machen. ;-) Und wenns mal wieder Fehlermeldungen hagelt im Eventlog, dann hilft diese kleine Programm doch gleich etwas weiter...
SafeKeep is a centralized and easy to use backup application that combines the best features of a mirror and an incremental backup.
Semantic MediaWiki - Eine Erweiterung um MediaWiki mit sematischen Funktionen auszustatten.
MediaWiki is Postgres 8.3 compatible - Wer PostgreSQL 8.3 mit MediaWiki einsetzen möchte, kann das jetzt tun.
Simutrans Starter - Eine kleine GUI für die gute Wirtschaftsimulation Simutrans128 (geht in Richtung SimCity).
PostgreSQL Docs - Tja, wie der Name schon sagt... ;-) Hat aber nichts mit der Dokumentation auf postgresql.org zu tun.
Readding implicit casts in PostgreSQL 8.3 - Eines der größten Probleme beim Umstieg auf PostgreSQL 8.3 ist, das viele implizite Casts rausgeflogen sind. Peter Eisentraut hat ein paar Skripte geschrieben, die einige Casts wieder hinzufügen.


Donnerstag Aug 09, 2007

Today's Links

curl-loader - Ein HTTP/HTTPS/FTP-Lasttesttool das komplett in C geschrieben ist.
PosteRazor - Mit diesem Opensource Programm kann man Poster selbst erzeugen und ausdrucken.
Linbox Directory Server - Ob die Welt noch einen LDAP-Server braucht, weiss ich nicht, aber Auswahl kann ja nicht schaden ;-)
Rivendell Opensource Radio Automation - Wer schon immer mal seine eigene Radiostation eröffnen wollte, findet hier alles, was man braucht.
Spam filtering with qpsmtpd
Anti-Spam SMTP Proxy (ASSP) server project
Dr. Morena - Firewall Configuration Testing Tool
Copy Link Text (CoLT) Firefox Extension - CoLT oder Copy Link Text ermöglicht das Kopieren eines Links inklusive Name und Adresse in selbstdefinierten Formaten, z.B. für das Einfügen in Foren und Wikis.
50+ Tools For Torrenting - Für die Torrent-Freaks...
Monitoring Debian Servers Using Monit
DevelopSpace Wiki - The goal of DevelopSpace is to build-up the technical foundations for human space activities.
Pyro project - Interessantes Konzept. Pyro ist eine Art Window-Manager für Webseiten und basiert auf Firefox. Ein kompletter Desktop mit Firefox soz.
Sandcat by Syhunt - Web Server & Application Vulnerability Scanner - Leider nur für Windows...
iMacros for Firefox (Extenstion) - Ziemlich heftige Firefox Extension... Eine komplette Macrosprache für Firefox.
CodecInstaller für Windows - Wenn mal wieder ein Video nicht abspielen will...
XUL/Migemo Firefox Extension - Bietet u.a. ein Highlight Feature wie Apples Safari 3
Ctrl+R to search and other terminal history tricks
PostgreSQLs Datenbestände bzw. Datenbanken sichern
First Steps to Scala - Das ist eine witzige (relativ) neue Programmiersprache, die .NET CLR und Java Bytecode erzeugt beim Kompilieren und: Scala is a statically typed, object-oriented programming language that blends imperative and functional programming styles

 

Technorati Tags: , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,


Montag Jun 11, 2007

Today's Links

HOWTO Custom Gentoo Stage4 - Ein Stage 4 Archiv ist ein komplettes Image der root Partition, das man zur Wiederherstellung braucht, falls mal die Festplatte den Geist aufgibt.
Hacking Firefox - The secrets of about:config
The Commodore Billboard - Nette Seite über Commodore Anzeigen, Broschüren und TV Werbung aus den guten alten Zeiten ;-)
A day without X - Eine nette Sammlung von Tools, die man benutzen kann als Ersatz, für die mächtigen und großen Programme mit GUI
QoS And Traffic Shaping For VoIP Users Using iproute2 and Asterisk
OpenJFX - Project OpenJFX is a project of the OpenJFX community for sharing early versions of the JavaFX Script language
Nichts zu verbergen, nichts zu befürchten? Beweise des Gegenteils
Defenses Against TCP SYN Flooding Attacks
CRM-Lösungen für kleine und mittlere Unternehmen - Was also taugt Open Source auf dem Gebiet CRM?
Free Me is a DVD which aims to show off the best of Free Cultue, ranging from movies you can watch in your player to a LiveCD you can experience on your computer.
Executing commands upon remote machines via secure email
OpenLDAP-POSTGRESQL HOWTO
WipeOut - Automatic MySQL Backup
Cursor Appearance in the Linux Console
Measuring Congestion Windows of TCP Senders
Rule-based DoS attacks prevention shell script

Technorati Tags: , , , , , , , , , , , , , , , , , , , , , , , ,


Dienstag Mrz 20, 2007

Today's Links

Textarea Backup - Ein nützliches Greasemonkey-Script für Firefox. Sichert eine Textarea in bestimmten Abständen auf Platte.
3D Mars Überflüge von der NASA
Java Power Tools - Die Homepage zum Buch
Google Guice (pronounced "juice") is an ultra-lightweight, next-generation dependency injection container for Java 5 and later.
Knoppix 5.2 mit Virtualisierung und 3D-Desktop
Einführung in OpenID
How to hide an entire filesystem - Wie verschlüsselt man ein komplettes Filesystem unter Linux
20 must-have Firefox extensions
WinBoard - Das Windows Portal. Eine grosse Community mit Tipps und Tricks rund um Windows
Die New Horizon Sonde hat ein paar Aufnahmen von Vulkanausbrüchen auf Io - einem Jupiter-Mond - gemacht
How To Retrieve Remote JVM Monitoring And Management Information
Myspace.com selber bauen? Dafür gibt's Elgg (OpenSource)
Zabbix: State-of-the-art network monitoring - Nase voll von Nagios? Mal hiermit probieren...
REGex TESTER - Praktisch! Online reguläre Ausdrücke testen.
Platzsparendes netzwerkweites Backup mit BoxBackup
Using truecrypt-intaller to help install Truecrypt for Debian
Open-Xchange - Die Linux Groupware Open-Xchange gibt's jetzt auch als OpenSource

Technorati Tags: , , , , , , , , , , , , , , , , , , , , , , , , , , , ,
 



Montag Jan 15, 2007

Today's Links

PG-Forum.de - Das deutsche PostgreSQL Forum
PostgreSQL Forums - Das englische PostgreSQL Forum
Deutsche PostgreSQL User Group
PostgreSQL Table Auditing module - Dieses Modul loggt Änderungen in einer Tabelle (insert, update, delete) mit.
PostgreSQL diff - Vergleicht zwei Schema Dumps und generiert eine Datei, um das alte Schema updaten zu können.
PostgreSQL Backup & Recovery - PostgreSQL Hotbackup mit dem pg_hotbackup Skript
A Primer on Spring's Data Access Object (DAO) Framework - Eine gute Einführung in das Thema
Common units in postgresql.conf - PostgreSQL 8.2 erlaubt nun Angaben in MB, KB und GB in der postgresql.conf
Firefox Extension Split Browser - Ermöglicht die Teilung des Browserfensters und das gleichzeitige Anzeigen mehrerer Webseiten.
dp.SyntaxHighlighter - JavaScript Syntax Highlighter
Nokia N800 Video Walkthrough
Desktop Virtualization with VMware Player and Workstation
The History of Hacking - Eine nette Videodokumentation (in Englisch). Lief irgendwann auch mal im Fernsehen.
Vinyl-Schallplatten digitalisieren - Kleine Anleitung dazu.
Linux Kernel in a Nutshell - Das Buch von O'Reilly gibt's hier zum kostenlosen Download
Flash MP3 Player / Flash FLV Player - Zwei sehr praktische und gut gemachte Flash Applikationen

Technorati Tags: , , , , , , , , , , , , , , , , , , , , , ,



Mittwoch Dez 06, 2006

Today's Links

Linux Technical Skills Assessment - Wer schon immer mal wissen wollte, wie gut sein Linux Wissen ist, kann das hier tun. Novell gibt für einige Monate sein Linux Technical Skills Assessment frei, das normalerweise 49 Dollar kostet.
NASA Telescope Sees Black Hole Munch on a Star - Schwarze Löcher haben auch Hunger ;-)
The Linux Equivalent Project - Wer gerade von Windows nach Linux umsteigt, dem hilft diese Seite Ersatz für Software zu finden, die es unter Windows gab aber unter Linux nicht.
How to use rsync for transferring files under Linux or UNIX
Hack Attack: Host your own photo gallery with Gallery2
NasBackup is an open source backup solution. It is a high-performance, enterprise-grade system for backing up MS Windows desktop PCs, laptops and servers to network disks.
DeltaCopy - rsync für Windows
juploadr and Flickr Backup - Zwei nette Flickr Applikationen in Java
Tunnel4J - Aufbauend Jsch bietet diese Java Programm die Möglichkeit SSH Tunnel aufzubauen, ohne auf native Bibliotheken wie OpenSSL zurückgreifen zu müssen.
Winzig: A portable PIM that understands usability - Ein praktischer Personal Information Manager für Linux.
Strobist - Eine interessante Seite für Fotografen. Hier geht's hauptsächlich um Belichtung
Geek to Live: Mastering Wget
Videos von YouTube downloaden mit wget

Technorati Tags: , , , , , , , , , , , , ,, , , , , ,