TauCeti.NET
The lost star colony...

Redis Sharding Python API - Redis Shard

Will man Datensätze auf verschiedene Redis-Instanzen gleichmäßig verteilen, hilft einem diese Python Sharding API. Die Implementierung basiert einen Artikel von Salvatore Sanfilippo.

Erstellt am 11:20PM Mrz 25, 2013 in General  |  Permalink Kommentare[0]
Tags: nosql databases postgresql redis sharding

Shard-Query fuer MySQL

Shard-Query ist eine verteilte, parallele Queryengine für MySQL. Diese Engine wurde designed, um so viel Arbeit wie möglich zu parallelisieren. Dadurch können z.B. SQL-Anfragen mit BETWEEN in der WHERE-Klausel oder Aggregats-Funktionen im Allgemeinen erheblich beschleunigt werden, wenn die Sache entsprechend designed ist.

Erstellt am 11:26PM Mrz 04, 2013 in Links  |  Permalink Kommentare[0]
Tags: databases mysql sharding performance

Redis im Schnelldurchgang - Präsentation

Peter Cooper gibt hier auf 103 Slides eine sehr gute Einführung in die NoSQL Redis.

Erstellt am 11:08PM Nov 28, 2012 in Links  |  Permalink Kommentare[0]
Tags: nosql databases redis presentation

Redis Sharding @ Craigslist

Jeremy Zawodny beschreibt in diesem Blogartikel, wie Craigslist Redis einsetzt und über mehrere Redis-Instanzen per Sharding skaliert. Von Redis-Entwickler Salvatore Sanfilippo gibt es hierzu auch einen Beitrag.

Erstellt am 10:51PM Nov 16, 2012 in Links  |  Permalink Kommentare[0]
Tags: redis sharding databases nosql scaling

Redis Bit Operations

In Redis 2.6 kamen Bit Operationen hinzu. Wie diese bei CopperEgg benutzt werden, beschreibt dieser Artikel. Beschrieben wird hier, wie man Redis für die Abrechnung eines Services auf Stundenbasis und monatlicher Abrechnung nutzen kann und das Ganze sehr sparsam und schnell mit Hilfe der Bit Operationen.

Erstellt am 12:18AM Nov 16, 2012 in General  |  Permalink Kommentare[0]
Tags: databases nosql redis

Vergleich NoSQL Datenbanken: Cassandra, HBase, MongoDB, Riak

Networkworld.com hat einen ganz interessanten Vergleich der o.g. NoSQL Datenbanken (inkl. shard'ed MySQL und MySQL Cluster). Wie immer sind solche Vergleiche mit Vorsicht zu genießen, aber als kleine Entscheidungshilfe kann der Vergleich schon etwas weiterhelfen.

Erstellt am 08:53PM Nov 06, 2012 in General  |  Permalink Kommentare[0]
Tags: databases hbase cassandra mongodb riak nosql

Scarlet - HTTP Frontend für Redis

Scarlet ist in Go geschrieben und bietet ein HTTP-Frontend für Redis. Könnte ganz praktisch sein, wenn man mal keine Redis-Lib zur Verfügung hat.

Erstellt am 11:23PM Nov 02, 2012 in Links  |  Permalink Kommentare[0]
Tags: programming databases redis http nosql

Langsame MySQL Queries ausfindig machen

Anstatt eines der MySQL Logs (slowquery.log im Speziellen) zu verwenden, um die langsamen Queries heraus zufinden, kann man das Ganze weit weniger invasiv (in Form von CPU und I/O) und genauer gestalten. Man benötigt dafür tcpdump und das Percona Toolkit. 

Als Erstes schneiden wir mit tcpdump mal den Netzverkehr mit, der auf dem Standard MySQL Port 3306 läuft (mal angenommen tcpdump läuft auf dem Rechner, auf dem die MySQL auch ist):

tcpdump -s 65535 -x -nn -q -tttt -i any -c 9999999 port 3306 | gzip -c > /tmp/tcpdump.txt.gz

Das kann man dann solange laufen lassen, wie man will. I.d.R. dürften aber 10 bis max. 30 Min. vollkommen ausreichen. Hängt natürlich auch etwas davon ab, wieviel auf der DB so an Queries/Sek. rein gehen. 

Dann können wir das Ganze auswerten:

gunzip -c /tmp/tcpdump.txt.gz | /pfad/zu/pt-query-digest --type tcpdump > /tmp/digest.txt

Zu pt-query-digest gibt es unzählige Optionen. Da muss man mal die Doku durchblättern. pg-query-digest kann nebei auch noch PostgreSQL und memcached Queries auswerten. Sehr praktische Sache... :-) 

Alternativ finde ich das kommerzielle GUI-Tool Jetprofiler recht schön. Nicht ganz günstig, aber die Daten werden schön aufbereitet (nicht nur Queries, sondern noch viel mehr) und man hat alles im Überblick.

Erstellt am 09:15PM Okt 22, 2012 in Tipps  |  Permalink Kommentare[0]
Tags: databases mysql performance

Redis in my PostgreSQL

Netter Blog von Craig Kerstiens wie man Redis Datenbanken über die PostgreSQL Foreign Data Wrapper (FDW) abfragen kann. Das Schöne an diesen FDW's ist, das man damit Joins mit externen Datenquellen wie eben einer Redis, MongoDB, MySQL, einer weiteren PostgreSQL, LDAP, usw. machen kann. Gibt sogar einen FDW für Twitter... ;-) Und wenn man das noch weiter spinnt, kann man damit SQL Queries über mehrere NoSQL-DB's machen - man missbraucht also Postgres soz. als SQL-Layer für NoSQL-DBs. Naja, aber der echte Vorteil ist hier, das man Datenquellen verbinden kann. Das kann für einige Anwendungen durchaus sehr interessant sein.

Erstellt am 11:18PM Okt 18, 2012 in Links  |  Permalink Kommentare[0]
Tags: postgresql nosql databases redis

Galera Cluster Nagios Plugin

Wer auf der Suche nach einem Nagios Plugin für den Galera Cluster für MySQL ist, wird hier fündig.

Erstellt am 08:44PM Okt 04, 2012 in Links  |  Permalink Kommentare[0]
Tags: databases galera mysql cluster

Real Time Activity Stream auf Cloud Foundry mit Node.js, Redis und MongoDB

Ein dreiteiliger Artikel von Monica Wilkinson. Das das Ganze auf Cloud Foundry läuft, ist nicht weiter relevant, man kann die Tools, Code-Snippets, usw. auch so ganz gut verstehen und für eigene Ideen verwenden. Das Ganze ist recht gut erklärt und zeigt recht schön, wie man so eine Applikation baut. U.a. kommen auch Backbone.js, Bootstrap, Jade und div. weitere Frontend- und Backend-Tools zum Einsatz.

Teil 1
Teil 2
Teil 3

Erstellt am 08:28PM Sep 18, 2012 in Links  |  Permalink Kommentare[0]
Tags: javascript cloud databases redis programming mongodb node.js nosql

redis-rdb-tools

Die Redis RDB Tools enthalten unter anderem einen Parser für das Redis rdb-Dump File, erzeugt Memory Reports für alle Datenbanken und Keys (oder auch nur einen), konvertiert Dumpfiles in JSON oder vergleicht zwei Dumpfiles mit Standard Diff-Tools.

Erstellt am 08:16AM Sep 18, 2012 in Links  |  Permalink Kommentare[0]
Tags: redis databases nosql

mysqldump: Error 2013: Lost connection to MySQL server...

Falls einem mal der Fehler 2013 bei mysqldump

mysqldump: Error 2013: Lost connection to MySQL server during query when dumping table `...` at row: ...

über den Weg läuft, dem dürfte das Erhöhen zweier net_*_timeout Parameter weiterhelfen. Zum Einen in der my.conf:

net_read_timeout = 120
net_write_timeout = 900

Und wenn man das gleich aktiv haben will noch ohne Neustart:

set global net_read_timeout = 120;
set global net_write_timeout = 900;

Die Werte sind in Sekunden. Ich hatte das Problem, beim Sichern auf einen langsamen NFS-Mount. Die Meldung selber deutet eigentlich auf ein ganz anderes Problem hin und ist ziemlich irreführend. Nun ja, wenn da auf jeden Fall mehrere Backups liefen, wurde das teilweise arg langsam. Die Parameter schufen Abhilfe.

Erstellt am 04:26PM Sep 04, 2012 in Tipps  |  Permalink Kommentare[2]
Tags: databases mysql

Barman - Backup und Recovery Manager für PostgreSQL

Von 2ndQuadrant stammt dieses Open Source Backup und Recovery Programm für PostgreSQL. Es bietet Remote Backups, Point in Time Recovery, das Managen von mehreren DB-Servern von einem Punkt/Server aus sowie einen Backup-Katalog, mit dem man seine Backups verwalten kann. Das geht schon etwas in Richtung Oracle Rman.

Erstellt am 09:56PM Aug 27, 2012 in Links  |  Permalink Kommentare[0]
Tags: backup postgresql databases

Redis Live - Real Time Dashboard for Redis

Wer eine graphische Aufbereitung einer Redis-DB haben will, der kann mit Redis Live RAM-Verbrauch, Top-Kommandos, usw. darstellen lassen. Weitere Infos hier.

Erstellt am 10:37PM Aug 06, 2012 in Links  |  Permalink Kommentare[0]
Tags: databases redis monitoring nosql