TauCeti.NET
The lost star colony...

Shard-Query fuer MySQL

Shard-Query ist eine verteilte, parallele Queryengine für MySQL. Diese Engine wurde designed, um so viel Arbeit wie möglich zu parallelisieren. Dadurch können z.B. SQL-Anfragen mit BETWEEN in der WHERE-Klausel oder Aggregats-Funktionen im Allgemeinen erheblich beschleunigt werden, wenn die Sache entsprechend designed ist.

Erstellt am 11:26PM Mrz 04, 2013 in Links  |  Permalink Kommentare[0]
Tags: databases mysql sharding performance

Langsame MySQL Queries ausfindig machen

Anstatt eines der MySQL Logs (slowquery.log im Speziellen) zu verwenden, um die langsamen Queries heraus zufinden, kann man das Ganze weit weniger invasiv (in Form von CPU und I/O) und genauer gestalten. Man benötigt dafür tcpdump und das Percona Toolkit. 

Als Erstes schneiden wir mit tcpdump mal den Netzverkehr mit, der auf dem Standard MySQL Port 3306 läuft (mal angenommen tcpdump läuft auf dem Rechner, auf dem die MySQL auch ist):

tcpdump -s 65535 -x -nn -q -tttt -i any -c 9999999 port 3306 | gzip -c > /tmp/tcpdump.txt.gz

Das kann man dann solange laufen lassen, wie man will. I.d.R. dürften aber 10 bis max. 30 Min. vollkommen ausreichen. Hängt natürlich auch etwas davon ab, wieviel auf der DB so an Queries/Sek. rein gehen. 

Dann können wir das Ganze auswerten:

gunzip -c /tmp/tcpdump.txt.gz | /pfad/zu/pt-query-digest --type tcpdump > /tmp/digest.txt

Zu pt-query-digest gibt es unzählige Optionen. Da muss man mal die Doku durchblättern. pg-query-digest kann nebei auch noch PostgreSQL und memcached Queries auswerten. Sehr praktische Sache... :-) 

Alternativ finde ich das kommerzielle GUI-Tool Jetprofiler recht schön. Nicht ganz günstig, aber die Daten werden schön aufbereitet (nicht nur Queries, sondern noch viel mehr) und man hat alles im Überblick.

Erstellt am 09:15PM Okt 22, 2012 in Tipps  |  Permalink Kommentare[0]
Tags: databases mysql performance

Links 20120716 - Leschs Kosmos, Graphen mit JavaScript, Websiteperformance messen, HTML5 Editor, Mousetrap

Leschs Kosmos - Die Homepage des Nachfolgers der legendären Sendung alpha centauri mit Prof. Harald Lesch. Im ZDF läuft Leschs Kosmos ja schon eine ganze Weile und zwischenzeitlich kann man über die Homepage Fragen an Harald Lesch per Mail und Video stellen.
sigma.js - Eine leichtgewichtige JavaScript Lib die Graphen mit Hilfe des HTML Canvas-Elements zeichnet.
load.in - Nicht ganz so umfangreich, wie die Messungen in Gomez oder Keynote, aber hier kann man von über 50 Locations in der ganzen Welt (für Deutschland z.B. Frankfurt) feststellen, wie schnell die eigene Webseite in div. Browsern ist. Das ist ganz praktisch, wenn man Kunden im Ausland hat, dann hat man hier u.U. eine Möglichkeit, die Speed zu testen.
Maqetta - Ein WYSIWYG HTML5 Editor der selbst in HTML geschrieben ist und deshalb keine Plugins benötigt.
Mousetrap - Mousetrap ist eine einfache JavaScript Lib, um Tastatur Shortcuts wie z.B. ALT+F2 abzufangen.

Erstellt am 07:00PM Jul 16, 2012 in Links  |  Permalink Kommentare[0]
Tags: html astronomy javascript performance programming

Oracle - Statements ohne Bindungsvariablen

Größere Performanceprobleme bei Oracle können sich ergeben, wenn man nicht konsequent Queries mit Bindungsvariablen einsetzt. Um mal schnell rauszufinden, welche davon so laufen, kann man folgende Statements nutzen:

Erstellt am 11:33AM Feb 03, 2012 in Tipps  |  Permalink Kommentare[0]
Tags: oracle performance database

Links 20101112 - Rygel, Neue PostgreSQL Buecher

Rygel - Eine Sammlung von DLNA (UPnP AV) Services. Damit kann man dann die ganzen DLNA bzw. UPnP Fernseher, Radios, usw. auch von Linux aus mit Multimedia versorgen.
Zwei neue, interessante PostgreSQL 9.0 Bücher sind erschienen von Simon Riggs und Hannu Krosing bzw. Gregory Smith:
PostgreSQL 9 Administration Cookbook
PostgreSQL 9.0 High Performance

Erstellt am 07:42AM Nov 12, 2010 in Links  |  Permalink Kommentare[0]
Tags: postgresql sql performance dlna database

MySQL Performance- und Diagnose-Tool Jet Profiler

Normalerweise bin ich ja kein Fan von ClosedSource Programmen insbesondere im OpenSource Umfeld. Aber dieses Tool hier ist wirklich praktisch und ich habe bisher auch noch nicht wirklich was Besseres gefunden, wenn es um die Performanceanalyse einer MySQL-DB geht, insbesondere wenn man auf der Suche nach langsamen Queries, Locks, Cache-Hit-Ratio's, usw. geht. Man bekommt diese Infos zwar auch teilweise anderweitig, aber kaum so gut und übersichtlich aufbereitet, was letztendlich viel Arbeit spart.

Vom Jet Profiler kann man sich eine soweit ganz funktionale, freie Version downloaden, aber leider wird man relativ schnell feststellen, das man ohne die 499 Dollar teure Version nicht so arg weit kommt. Nicht ganz billig, aber das ist Oracle auch nicht ;-) Wenn man täglich hört "die Datenbank ist langsam...", dann ist dieses Programm die Antwort. Das Programm ist in Java geschrieben und ist allen Unkenrufen zum Trotz (was man immer noch von Java-Programmen hört) schnell und gut bedienbar. Es läuft unter Linux, Mac OS X und Windows.

Erstellt am 09:30PM Mai 06, 2009 in Tipps  |  Permalink Kommentare[1]
Tags: performance profiler mysql

Links 20090409 - Radio CSS Posfix Courier DRBD MySQL Redundanz Backup Buecher Performancemessung HTTP

KRadio4 - Das Programm für KDE4 unterstützt Internet- und AM/FM-Stationen, die per V4L/V4L2 von einer Radio-Karte kommen. Weiterhin wird LIRC und RDS unterstützt.
cssutils - CSS Cascading Style Sheets parser and library for Python
Virtual Users und Domains mit Postfix, Courier, MySQL und SquirrelMail (Debian Lenny)
Use DRBD to Provide Rock-Solid MySQL Redundancy - Gut... MySQL jetzt "Rock-Solid" zu nennen, ist vielleicht etwas übertrieben ;-) Aber DRBD ist wirklich eine tolle und zuverlässige Sache. Ich hoffe, das die Jungs das mit 2.6.30 in den Kernel bekommen.
Provide Robust Clustered Storage with Linux and GFS
Install Bacula for Open Source Backups - Ich bin ja mehr ein Fan von Backuppc, aber Bacula hat sicherlich auch seine Berechtigung.
Configure Bacula for Open Source Backups
20 of the Best Free Linux Books
PostgreSQL Code Snippets - Hier findet man div. Skripte für Postgres im PostgreSQL Wiki, u.a. um raus zu finden, wieviel Speicher div. Tabellen auf der Platte belegen, Zeit- und Datumskonvertierung, EMail-Parsing, usw.
TikiWiki - TikiWiki ist so ziemlich alles, was man von einer Groupware/Content Management System (CMS) so erwartet. Es hat eigentlich alles, was man man für eine Social-Site braucht vom Wiki, Blogs, über Photoalben bis zu Foren.
Pylot: Web Performance Tool - Ein Tools ähnlich zu Apaches Jmeter mit dem man Last auf Webservern erzeugen kann. Jmeter ist allerdings wesenlich umfangreicher.
Xpra - Xpra ist screen für X. Man kann sich damit mit einem Host verbinden, ein X-Programm starten, die Verbindung unterbrechen und später die Verbindung wieder an der Stelle vorführen, wo man aufgehört hat.
Paver is a Python-based software project scripting tool - Ähnlich wie make oder rake.

Erstellt am 10:00PM Apr 09, 2009 in Links  |  Permalink Kommentare[0]
Tags: linux backup postgresql performance cms mysql css redundancy mail music cluster database drbd

Links 20090224 - Firefox Linux vnstat MySQL sed awk

Firefox Extension Update Scanner - Bietet eine Seite keinen RSS- oder Atom-Feed an, kann diese Erweiterung das übernehmen.
Firefox Extension Session Manager - Ein ziemlich umfangreicher Sessionmanager für Firefox.
Linux Distribution Tin Hat - Basiert auf Gentoo und läuft ausschließlich im RAM. Für sichere Desktop-Umgebungen gedacht.
vnstat PHP frontend - vnstat ist ein Netzwerk Traffic Logger. Das hier ist das entsprechende Webfrontend, wem die Console nicht so liegt.
Jet Profiler for MySQL - Ein Realtime Profiler für Queryanalyse und Performancestatistiken für MySQL. Gibt es auch als kostenlose Community Edition.
Famous Awk/Sed One-Liners Explained - Wer mit awk und/oder sed arbeitet, kennt vermutlich die awk und sed onliners. Peteris Krumin erklärt in seinem Blog die div. Einzeiler sehr ausfühlich. Sehr lesenswert!
Famous Awk One-Liners Explained, Part I
Famous Awk One-Liners Explained, Part II
Famous Awk One-Liners Explained, Part III
Famous Awk One-Liners Explained, Part IV
Sed One-Liners Explained I
Sed One-Liners Explained II
Sed One-Liners Explained III

Erstellt am 12:00AM Feb 24, 2009 in Links  |  Permalink Kommentare[0]
Tags: mysql linux performance firefox vnstat profiler extension sed awk

Weekly Links 20080801

JMRI - Ein Java OpenSource Projekt bzw. Framework mit dem man Modellbahn-Computer bzw. Controller wie die von Uhlenbrock oder Lenz ansprechen kann und damit Züge steuern kann.
Postgres-R - Steckt noch in den Kinderschuhen, aber ist ein interessanter Ansatz um Multimaster-Replikation endlich in Postgres reinzubekommen.
kdesvn - Wer ein Subversion Repository unter KDE lieber per grafischer Oberfläche durchstöbern möchte, ist hiermit gut bedient.
High Performance MySQL, Second Edition - Ein neues Buch vom O'Reilly Verlag. Die erste Ausgabe war schon sehr gut. Wer MySQL DBs unbedingt einsetzen muss, sollte einen Blick reinwerfen, wenn er skalierbare Lösungen braucht.
Convert Filenames to Lowercase - Div. Ansätze, wie man Dateinamen in einem Rutsch in Kleinbuchstaben umbenennt (vor allem die Kommentare lesen!)
C64-Wiki - Muss ich nichts zu sagen oder? ;-) Ist einfach Kult...
Zeitreise mit VICE 2.0 - Der Commodore 128, Plus/4, VC 20 und C64 Emulator in neuer Version.
VisualVM - Hab's noch nicht ausprobiert, aber wenn das Teil tut, dann ist es das ultimative Profiling und Monitoring Tool für JavaVM's für Systemadmin's und Programmierer.
Java run-time monitoring, Part 1: Run-time performance and availability monitoring for Java systems
AgencyTool Web Design Dashboard - Wer mal wieder nicht weiter weiß, während er grad seine Website designed, ist hier richtig. Eine große übersichtliche Linksammlung alles rum um's Thema Webdesign, HTML, CSS, usw.
The Linux Saga: boot loader, initrd & Sys V - Wenn schon immer mal interessiert hat, wie der Bootprozess unter Linux abläuft, liegt hier richtig.
VmwAROS LIVE! - Eine neue Version der Live-CD von AROS (Amiga Research Operating System) ist erschienen. Kann man gleich mit VmWare starten.
ath9k - Endlich finden div. WLAN 801.11n Treiber Einzug in Linux. Dieser neue Treiber unterstützt div. Karten von D-Link, Netgear, Belkin, Linksys und NEC.
ActiveState Code - Python Rezepte. Eine Reihe von Python Code Schnippsel für dies und das.
Install ntop on Red Hat Enterprise Linux / CentOS Linux
Install RRDTool on Red Hat Enterprise Linux
nUbuntu Development: Security LiveCD - Network Ubuntu ist eine Live CD die speziell für Sicherheitsbelange div. Software zusätzlich enthält und dafür auf alles Unnütze in diesem Zusammenhang verzichtet.

Erstellt am 11:00PM Aug 01, 2008 in Links  |  Permalink Kommentare[0]
Tags: python jrml nubuntu performance linux ntop modelleisenbahn aros amiga visualvm vice c64 subversion opensource java kde ath9k replication profiling postgresql wlan mysql retro

Weekly Links 20080704

LinuX-Gamers Live - Eine Linux-Live-DVD die nur Spiele enthält. Insgesamt sind 16 hochwertige Spiele drauf, die man einfach durch booten der DVD gleich spielen kann.
Using Bonnie++ for filesystem performance benchmarking - Ein sehr interessanter Artikel über Bonnie++ und wie man damit die Performance des Filesystems und der dahinter liegenden Hardware testen kann. Mit einigen interessanten Backgroundinfos, die vielleicht nicht jeder kennt.
Samba ctdb - Zusammen mit einem Cluster-Filesystem und Samba ctdb kann man hochverfügbare Samba- bzw. Windows-Shares im Netzwerk zur Verfügung stellen.
Jogli - Dieser Mashup-Service hat schon was... Man gibt einen Artisten/Musiker ein und der Service zeigt einem dann alle Album, Videos auf Youtube, Lyrics, usw. an. Find ich gut gemacht.
Master Your Digital Media with VLC - Rip Any DVD, Convert Any Video for Your iPod or iPhone with a Drag and Drop Batch Script und Stream Media to Other Computers - und das alles mit dem freien Mediaplayer VLC.
Mapping Linux memory for PostgreSQL using fincore - Sehr interessanter Artikel, wenn man rausfinden möchte, was Postgres denn so im Cache / Buffercache hat und was das auch für den Betriebssystem-Cache bedeutet. Postgres verlässt sich ja doch ziemlich darauf.
Java theory and practice: Going wild with generics, Part 2
Set Up Cheap Ambient Lighting with Rope Lights - Netter Artikel, wie man in seinem Büro mit Leuchtketten ein angenehmes Ambiente schafft.
I Heart Movies - Nette Möglichkeit, seine DVD-Kollektion online zu verwalten.
ACID 64 Player - C64 Music Player for all HardSID devices and the Catweasel MK series - Für den absolut orginalen C64 Sound ;-)

Erstellt am 10:30PM Jul 04, 2008 in Links  |  Permalink Kommentare[0]
Tags: licht samba vlc converter video filesystem jogli c64 games stream dvd bonnie ipod performance music linux ctdb

Today's Links

Converted the site from MySQL to PostgreSQL - Ich bin ja nicht wirklich ein Fan von "meine Datenbank ist schneller als deine", aber die Kommentare hier sind recht interessant.
Why PostgreSQL Instead of MySQL: Comparing Reliability and Speed in 2007 - Ein informativer Artikel der PostgreSQL Macher.
5-Minute Introduction to PostgreSQL Performance
Der perfekte Server - Debian Etch (4.0)
Converting text files into ODF with odtwriter - Wie man Textfiles ins OpenOffice Format konvertiert
jQuery Portlets - Mit jQuery Portlets läßt sich Content wie bei einer Zeitung anordnen, verschieben und zusammenklappen mit Hilfe von JavaScript, CSS und XHTML.
Use wget or curl to download from RapidShare Premium - Der Artikel geht noch über einfaches Downloaden raus - er implementiert eine Art Queue.
Your Sinclair Rock n Roll Years - Ja, hier geht's um den guten, alten Sinclair Computer ;-)
Google Collections - Eine Erweiterung des Java Collections Framework um BiMap, Multiset und Multimap.
AmiKit is a free compilation of more than 300 of the finest Amiga programs (freeware/shareware).
vdrtube - Mit diesem Utility kann man seine VDR Aufzeichnungen in Flash und zugehörige HTML-Seite umwandeln und dann über's Web und Webbrowser anguggen. Inzwischen konvertiert das Tool auch div. andere Formate wie AVI, MPG, usw.

Technorati Tags: postgresql, mysql, performance, debian, opensource, linux, odf, odtwriter, jquery, portlets, rapidshare, sinclair, google, collections, amikit, vdrtube, vdr, amiga, retro

Erstellt am 10:00PM Nov 05, 2007 in Links  |  Permalink Kommentare[0]
Tags: vdr postgresql amiga mysql retro odtwriter jquery sinclair opensource debian google vdrtube linux amikit performance portlets collections odf rapidshare

Schneller Prozessor, viel Speicher - langsame Festplatte

Ist irgendwie schon toll. Da hat man einen eigentlich aktuellen Prozessor, hat beim Board auch nicht gespart, 4 GByte Speicher, eine nette Grafikkarte und eine entsprechend schnelle Samsung SATA-II Festplatte - könnte man meinen... Kaum geht's auf der Festplatte ab, weil man was Größeres abspeichert, schlafen einem die Füsse ein und das DVD-Video ruckelt eh schon immer. Schon toll...

Nun... Nachdem ich das bisher nie angegangen bin, hab ich mich mal auf Spurensuche gemacht. Also den Kernel bzw. SATA-Treiber als Ursache konnte man eigentlich ausschließen. Neuer als 2.6.22 geht fast nicht. Nachdem mein relativ neuer Samsung DVD-Brenner DVD's immer schon ruckelig abgespielt hat, war mir das irgendwann zu bunt und ich packte meinen alten Dawicontrol DC 150 wieder aus und schloss den Brenner da an. Und siehe da: Nix ruckelt!

Es musste also eigentlich schon irgendwie an den IDE/SATA-Komponenten auf dem Mainboard liegen. Nun, also doch mal einen Blick ins BIOS riskieren. Ich hatte ja doch mal irgendwo gelesen, das neuere Mainboard mit angezogener Handbremse laufen. Dort hab ich dann auch tatsächlich was gefunden. U.a. findet man dort verschiedene IDE-Modi: IDE, RAID und AHCI. Eingestellt war IDE. RAID hab ich nicht vor zu betreiben. AHCI war das Gebot der Stunde. Das ist eine standardisierte Zugriffsmethode auf neuere Festplatten, die u.a. von Intel auf den Weg gebracht worden ist. Das wird wohl früher oder später auch mal die Standardeinstellung in den Boards werden, aber die Boardhersteller wollen natürlich möglichst wenig Ärger und Support haben und stellen so meist auf den kleinsten, gemeinsamen Nenner - IDE. AHCI hat allerdings ein paar ganz erhebliche Vorteile z.B. unterstützt es NCQ der neueren SATA-Platten und das kann sich durchaus bemerkbar machen in der Festplattenperformance.

Hab ich also auf AHCI umgestellt. Normalerweise ist es gesünder, wenn man das tut, bevor man das Betriebssystem umstellt. Aber meiner einer ist ja experimentierfreudig. Gentoo lief wunderbar hoch und siehe da, da kamen dann auch plötzlich Meldungen vom SATA-Treiber, die schon mal Anlass zur Freude boten wie z.B. die oben beschriebene NCQ-Fähigkeit.

Die Umstellung auf dem AHCI-Modus hat sich jedenfalls rentiert. Jetzt läuft das System wie geschmiert :-) Also wenn euch die Plattenperformance auf die Nerven geht, guggt auch mal ins BIOS. Und wer noch etwas mehr Gas geben möchte, der kann sich noch an die I/O-Scheduler wagen, das ich hier schon mal beschrieben hatte...

Technorati Tags: ahci, ide, raid, asus, slow, board, sata, sataii, ncq, performance, controller

Erstellt am 11:00PM Okt 08, 2007 in Tipps  |  Permalink Kommentare[0]
Tags: slow ide controller ncq asus board raid sataii sata performance ahci

Today's Links

GoogleXtra.com - Den werden sie zwar bald verklagen, aber der Dienst ist trotzdem praktisch. Alle Google Dienste auf einer Seite zu durchsuchen ist schon praktisch...
Java Classic RPG Open Source Framework and Game SVN (Java Classic Role Playing Game Framework)
Flickr Toys - Eine ganze Reihe von netten Flickr Tools.
walk2web - Nettes Spielzeug. Zeigt grafisch schön an, wohin eine Seite weiterverlinkt.
Java Rich-client application performance tutorial - Part 1, Part 2
Unix/Linux command line reference (PDF)
The Best 80 Photoshop Text Effects on the Web - Coole Liste (mit Vorschau) zu div. Tutorials im Web
The getting good with BitTorrent roundup - Alles über BitTorrent
PostgreSQL: Simple howto about restoring damaged template1 - Wie man template1 wieder herstellt ;-)
Editing music scores with free linux software - Notenprogramme für Linux
AmigaSYS - A pre-installed Amiga Operation System pack for WinUAE and for High performance Amiga Computers
Open Tools for MySQL Administrators - Eine nette Übersicht von Tools für MySQL Administratoren
Measuring resources for a MySQL server on Linux - Wieviel CPU und Speicher braucht eigentlich so eine MySQL?
MySQL Performance Tuning Primer Script - Sehr praktisch...
mysqlreport - Noch praktischer ;-) Wenn man eine schnelle Übersicht braucht, was in den InnoDB DBs abgeht, dann hilft dieses Skript.
The innotop MySQL and InnoDB monitor - Ein mtop-Ersatz.
rssnotifier - Ein Trayicon in Java geschrieben, das die neuesten Feeds anzeigt.
PostBooks - A fully open source accounting, ERP, and CRM system that shares a code base with the OpenMFG commercial product
Minimig - An Amiga in an FPGA (Minimig stands for Mini Amiga. Minimig is an FPGA-based re-implementation of the original Amiga 500 hardware)
Kickstart ROM Replacement - Wer die Entwicklung eines Ersatzes des Amiga Kickstart ROMs unterstützen möchte, ist hier richtig.

Technorati Tags: mysqlreport, rss, performance, photoshop, postbooks, mysql, linux, tuning, rpg, flickr, walk2web, postgresql, java, minimig, google, bittorrent, eclipse, music, opensource, effects, amiga, kickstart, commandline

Erstellt am 10:00PM Aug 08, 2007 in Links  |  Permalink Kommentare[0]
Tags: amiga eclipse bittorrent linux music mysql tuning effects opensource flickr walk2web minimig postgresql photoshop kickstart rss performance postbooks mysqlreport rpg java google commandline

Today's Links

Top 10 Hacks on Flickr
Light or Lighter Weight Aps To Replace Memory Hogs in Windows XP - Freie oder Open Source Applikationen für Windows
Learn home-improvement techniques from Eric Stromer - Wie man seine Wohnung etwas aufmöbelt.
SLAMD Distributed Load Generation Engine - Ein verteiltes Stress Testing und Performance Tool in Java geschrieben für LDAP, HTTP, SMTP, IMAP, POP oder Datenbanken die mit JDBC angebunden werden können.
Open Source Testing - Open Source Software Testing Tool, The Grinder, TestMaker, SLAMD

Technorati Tags: decor, diy, einrichtung, flickr, freeware, opensource, performance, stress, tool, windows

Erstellt am 12:48PM Jan 30, 2007 in Links  |  Permalink Kommentare[0]
Tags: stress tool performance flickr decor freeware diy windows einrichtung opensource