TauCeti.NET

m4a Dateien in mp3 konvertieren mit ffmpeg unter Linux

cetixx — Wed, 28 Dec 2016 18:34:27 +0000

Mit folgender Kommandozeile kann man mit ffmpeg m4a Sounddateien ins mp3 Format umwandeln:

find . -type f -name '*.m4a' -exec bash -c 'ffmpeg -i "$0" "${0/%m4a/mp3}"' '{}' \;

Mit find suchen wir uns erst mal alle m4a Dateien und für jede Datei wird eine neue Bash Shell gestartet. Diese startet ffmpeg, übergibt die gefundene Datei an ffmpeg als Input (-i). Dahinter wird die Zieldatei angegeben. Dabei ersetzen wir die Dateiendung m4a durch mp3.

KDE Plasma Display Helligkeit (Display Brightness)

cetixx — Mon, 7 Nov 2016 19:44:52 +0000

Wenn bei KDE Plasma mal wieder der Helligkeitsregler (Screen / Display brightness) versagt und genau nichts macht (was bei mir unter Archlinux ab und an passiert) und man auf das nächste Update wartet, kann man sich der weilen so behelfen, das man die Hintergrundbeleuchtung per Kommandozeile einstellt. Z.B.:

echo 700 > /sys/class/backlight/gmux_backlight/brightness

In meinem Fall steht hier gmux_backlight (MacBook Pro, der unter Linux läuft). Bei anderen muss man unter /sys/class/backlight/ einfach schauen, welche Backlights angezeigt werden (z.B. intel_backlight). Den aktuellen Wert kann man sich mit cat /sys/class/backlight/*/brightness ausgeben lassen. Für das gmux_backlight war der Wert bei mir bei 1023. Am Besten geht man in 100erter Schritten nach unten bis man die gewünschte Helligkeit eingestellt hat.

Google Storage mit s3cmd und aws cli benutzen

cetixx — Thu, 20 Oct 2016 07:59:28 +0000

Wenn man s3md mit Google Cloud Storage benutzen will, muss man in dessen Konfigurationsdatei .s3cfg Folgendes anpassen:

access_key = xxx
secret_key = xxx
host_base = storage.googleapis.com
host_bucket = %(bucket).storage.googleapis.com

xxx muss man natürlich durch seine entsprechenden Keys ersetzen, die man sich über die Google Console/UI (Storage -> Settings -> Interoperability) erstellen kann (nachdem man den interoperable access aktiviert hat natürlich). Diese Keys sind pro Projektmitglied und nicht pro Projekt (also jeder hat seinen eigenen Key).

Bei der AWS CLI (aws Kommando) konnte ich die Einstellungen in .aws/config irgendwie nicht nutzen. Hier half nur die Keys als Env. Variable zu setzen und den Endpoint zu ändern:

export AWS_ACCESS_KEY_ID=xxx
export AWS_SECRET_ACCESS_KEY=xxx
aws s3 --endpoint-url https://storage.googleapis.com ls

Auch hier natürlich xxx entsprechend ändern.

Ersatz für KDE Quadkonsole

cetixx — Mon, 7 Sep 2015 23:25:24 +0000

Bei KDE 4 hatte ich immer u.a. die KDE App Quadkonsole im Einsatz. Wird aber leider schon länger nicht mehr weiterentwickelt und unter Archlinux mit KDE Plasma 5 klappte das mit selber kompilieren auch nicht so wirklich. Als Ersatz habe ich Terminator gefunden, eine Konsole mit der man das Konsolenfenster in mehrere Teile splitten kann.

Wo ist mein Speicherplatz hin?

cetixx — Fri, 7 Aug 2015 22:55:08 +0000

cd /in/ein/verzeichnis
du -h . | grep -P '^[0-9\.]+G

Alternativ das Tool ncdu installieren...

Gentoo - Alle installierten Pakete auflisten

cetixx — Fri, 7 Aug 2015 22:55:01 +0000

equery list "*"

Apache Mesos Testcluster für daheim

cetixx — Thu, 6 Aug 2015 21:56:55 +0000

Was ist Mesos und Voraussetzungen

Ganz grob und einfach gesagt ist Apache Mesos ein "verteiltes Betriebssystem für Datenzentren", wenn man so will. Dabei spielt es keine Rolle, ob man Rechner, VMs oder beides hat und wo diese Rechner/VMs stehen. Man hat eine einheitliche Sicht auf alle Resourcen, auf welche man dann von Frameworks Tasks verteilt werden (u.a. auch Docker Container). Marathon und Chronos sind z.B. solche Frameworks und es gibt noch eine Reihe anderer und man kann selbst welche bauen. Alle Rechner, die in diesem Cluster-Verbund sind, stellen sich nach Außen als ein einzelner Pool an Resourcen dar. Das Ganze skaliert über einige zehntausend Nodes (soweit man sie denn hat ;-) ), ist ausfallsicher mit Hilfe von ZooKeeper, unterstützt Docker seit einiger Zeit, isoliert Tasks mit Hilfe von Linux Containern und bietet Java, Python, C++ und Go APIs, um direkt neue parallele Applikationen mit Mesos zu entwickeln.

Um Mesos einigermaßen realistisch zu testen (realistisch in dem Sinne, das man eine gewisse Anzahl von VMs hat und auch das HA-Setup mal testen kann), macht es Sinn, sich wie für den produktiven Betrieb auch, mindestens 3 Master-VMs (oder wer Rechner hat, dann 3 Rechner) und 2-3 Slaves (die dann die Tasks ausführen) zu installieren. Die Master-VMs benötigt man für ZooKeeper, der dafür sorgt, das immer ein Mesos-Service der sog. Master ist (die anderen sind soz. im Standby-Modus) und bei Ausfall des Masters, ein neuer Master bestimmt wird. Da der Master seine Aufgaben alle an die Slaves delegiert, hält sich die Belastung was CPU & Co. anbelangt bei ihm in Grenzen. Damit man ein Quorum hat, machen immer eine ungerade Anzahl von ZooKeeper-Instanzen Sinn (normalerweise 3 oder 5).

Für eine Testinstallation bietet es sich an, einige VMs zu installieren. Um VMs aufzusetzen, kann man z.B. Vagrant mit Virtualbox verwenden. Da ich libvirt drauf hab und in Vagrant nicht so tief drin bin, habe ich die 6 Ubuntu 14.04 LTS VMs mit virsh-install installiert. Wie das geht, habe ich prinzipiell hier beschrieben. Wenn man dann eine Ubuntu-VM installiert hat, kann man das fertige qcow2-File einfach kopieren (solange die VM nicht gestartet ist) und entsprechend dann in libvirt konfigurieren. Ich gehe darauf jetzt aber nicht weiter ein. Noch einfacher geht die Sache allerdings mit virt-builder (Teil des libguestfs Pakets ab Version 1.26, wenn ich mich nicht irre).

Wenn man dann die 6 VMs hat, kann man sich in der /etc/hosts noch Einträge machen, damit man die VMs per Namen und nicht per IP ansprechen kann. In meinem Fall:

192.168.122.252 me-master01
192.168.122.251 me-master02
192.168.122.250 me-master03
192.168.122.249 me-slave01
192.168.122.248 me-slave02
192.168.122.247 me-slave03

Der Netzbereich 192.168.122.0/24 ist bei mir die Default-Range, die bei libvirt vorgegeben war. Hab ich einfach übernommen. Ebenso die von libvirt erzeugte Bridge virbr0. Nicht schaden kann auch die Installation des ntp Pakets auf allen VMs, damit die Zeiten überall gleich sind.

Allgemein

Nachdem die VMs einsatzbereit sind, machen wir Ubuntu das Mesosphere Repository bekannt auf ALLEN VMs und updaten den Repo-Index:

sudo apt-key adv --keyserver keyserver.ubuntu.com --recv E56151BF
DISTRO=$(lsb_release -is | tr '[:upper:]' '[:lower:]')
CODENAME=$(lsb_release -cs)
echo "deb http://repos.mesosphere.io/${DISTRO} ${CODENAME} main" | sudo tee /etc/apt/sources.list.d/mesosphere.list
sudo apt-get -y update

Auf den Master-Hosts (und nur da) installieren wir das mesosphere-Metapaket das u.a. ZooKeeper, Mesos, Marathon (für langlaufende Tasks) und Chronos (für verteilte Cronjobs) enthält (das Metapaket hat aktuell ca. 330 MB):

sudo apt-get install mesosphere

Auf den Slave-Hosts installieren wir das mesos-Paket, das ist gut 100 MB kleiner und enthält u.a. ZooKeeper:

sudo apt-get install mesos

Als Nächstes konfigurieren wir ALLE VMs so, das sie alle die gleiche ZooKeeper Verbindungsinformation haben zu unseren ZooKeeper-Masterservern. Dazu editieren wir die Datei /etc/mesos/zk. Normalerweise finden wir dort den Eintrag zk://localhost:2181/mesos (der ist dafür gedacht, wenn man nur einen ZooKeeper hat), welchen wir ersetzen wollen. Statt localhost:2181 (2181 ist der ZooKeeoper Port) geben wir kommasepariert die IP's und Port unserer Master-ZooKeeper Server an. In meinem Fall sieht der Eintrag dann also so aus:

zk://192.168.122.252:2181,192.168.122.251:2181,192.168.122.250:2181/mesos

Master-Hosts/VMs (Mesos-Master)

Auf den Master-Hosts müssen wir nun jeder ZooKeeper-Instanz eine eindeutige ID verpassen. Dazu editieren wir /etc/zookeeper/conf/myid auf jedem Master. Die ID darf eine Zahl von 1-255 sein. In meinem Fall nehme ich das letzte Oktet von der IP der jeweiligen Master-VM also ID 252 für master01, 251 für master02 und 250 für master03.

Dann müssen wir der ID einen Host zuweisen. Dieses Mapping macht man in der Datei /etc/zookeeper/conf/zoo.cfg und sieht wie folgt aus:

server.252=192.168.122.252:2888:3888
server.251=192.168.122.251:2888:3888
server.250=192.168.122.250:2888:3888

Hinter server. steht also unsere ID, die wir oben vergeben haben und hinter dem "=" dann die IP des zugehörigen Hosts. Der erste Port 2888 wird verwendet, um mit dem Master zu kommunizieren. Der zweite Port 3888 wird verwendet, wenn ein neuer Master gewählt werden muss. Sollte man eine Firewall zwischen den Hosts haben, muss man die Ports natürlich freischalten! ZooKeeper ist damit soweit fertig.

Kümmern uns nun um die Mesos Master selber. Zuerst müssen wir das Quorum anpassen. Das Quorum legt fest, wie viele Nodes im Cluster noch funktionieren müssen, damit der Cluster noch als funktional eingestuft werden kann und Entscheidungen treffen kann. Über 50% des Clusters sollten noch funktionieren, damit Entscheidungen getroffen werden können. D.h. in unserem Fall von den drei Master-Hosts müssen mindestens zwei noch laufen. Wir setzen also auf ALLEN Master-VMs in /etc/mesos-master/quorum einen Wert von 2 (Default ist 1).

Dann schreiben wir auf ALLEN Master-VMs in /etc/mesos-master/ip die IP des jeweiligen Hosts, auf dem wir die Datei gerade editieren. Das Gleiche machen wir in/etc/mesos-master/hostname (alternativ kann man hier auch den Hostnamen rein schreiben, allerdings sollte man dann alle Hosts in der /etc/hosts stehen haben auf allen Mesos-Hosts/VMs, damit man nicht von einem DNS-Server abhängig ist - und falls der ausfällt, ist das eher ungünstig, zumindest wenn das Ganze produktiv wird ;-) ).

Master-Hosts/VMs (Marathon)

Als Nächstes ist dann die Marathon Konfiguration an der Reihe - die verteilte init System Implementierung, wenn man so will. Marathon startet u.a. lang laufende Prozesse. Marathon läuft auf allen Master-Hosts, aber nur der Leader kann Jobs ausführen. Die anderen Marathon Instanzen leiten die Requests transparent an den Leader weiter. Für jede Marathon Instanz müssen wir wie bei Mesos auch schon, wieder den Hostnamen festlegen. Hierzu können wir einfach /etc/mesos-master/hostname nach /etc/marathon/conf/hostname kopieren, müssen aber vorher noch das Verzeichnis auf jedem Master-Host anlegen (mkdir -p /etc/marathon/conf).

Dann müssen wir eine Liste von ZooKeeper Master für Marathon festlegen, die Marathon benötigt für den Informationsaustausch und Scheduling. Die Liste hat das gleiche Format wie wir es für Mesos in /etc/mesos/zk schon festgelegt haben. Auf ALLEN Master-Hosts kopieren wir also die Datei

sudo cp /etc/mesos/zk /etc/marathon/conf/master

Damit erlauben wir Marathon sich mit dem Mesos Cluster zu verbinden. Allerdings soll Marathon seine eigenen Informationen in ZooKeeper speichern können. Dafür nehmen wir wieder die gleiche Konfigurationsdatei und passen nur den Endpunkt (/marathon anstatt /mesos) an. Auf allen Master-Hosts kopieren wir

sudo cp /etc/marathon/conf/master /etc/marathon/conf/zk

Dann editieren wir /etc/marathon/conf/zk und tauschen, wie oben schon erwähnt, den Endpunkt /mesos durch /marathon aus. Dann sind wir mit Marathon soweit durch.

Auf den Master-Hosts sollen keine Slave-Prozesse laufen, deshalb beenden wir diese (soweit sie überhaupt laufen) und sorgen dafür, das sie beim Reboot nicht wieder starten:

sudo stop mesos-slave
echo manual | sudo tee /etc/init/mesos-slave.override

Nun soll dann auch endlich unser Konfiguration aktiv werden, an der wir schon die ganze Zeit rum basteln ;-)

sudo restart zookeeper
sudo start mesos-master
sudo start marathon

Wenn wir alles richtig gemacht haben, können wir uns auf einen der Master mal die GUI (Port 5050) anschauen z.B. http://192.168.122.251:5050/ . Man wird dann automatisch auf den Leader weitergeleitet, wenn man ihn nicht auf Anhieb erwischt. Bei Problemen kann man auf den Master-Hosts auch mal einen Blick in das ZooKeeper Log unter /var/log/zookeeper werfen. Da wir noch keine Slaves am Laufen haben, sieht die GUI noch nicht sehr spannend aus ;-)

Auf die Marathon-GUI können wir auch einen Blick werfen, welche unter Port 8080 läuft z.B. http://192.168.122.251:8080/ . Auch hier geht es nicht sonderlich spannend zu im Moment ;-)

Slave-Hosts/VMs

Da wir jetzt mit den Master-Hosts fertig sind, kümmern wir uns um die Slave-Hosts. Da wir hier keinen ZooKeeper und Mesos Master benötigen, fahren wir die Services runter (soweit sie laufen) und sorgen auch dafür, das diese Services beim Reboot nicht wieder starten. Auf ALLEN Slave-Hosts also:

sudo stop zookeeper
sudo echo manual | sudo tee /etc/init/zookeeper.override

sudo stop mesos-master
sudo echo manual | sudo tee /etc/init/mesos-master.override

Auch für die Slave-Hosts müssen wir wieder Hostname und IP festlegen diesmal im Verzeichnis /etc/mesos-slave. In unserem Fall sieht das für den ERSTEN Slave-Host dann so aus

echo "192.168.122.249" | sudo tee /etc/mesos-slave/ip
sudo cp /etc/mesos-slave/ip /etc/mesos-slave/hostname

Für die weiteren Slave-Hosts passt man die IP entsprechend an und führt die Kommandos dort aus. Dann können wir die Mesos Slaves auf ALLEN Slave-Hosts starten:

sudo service mesos-slave start

Wenn wir uns nun wieder auf eine der Mesos-Master GUIs einloggen (z.B. http://192.168.122.251:5050/), sollte auf der linken Seite irgendwo Slaves / Activated 3 stehen. Etwas weiter unten sieht man die Resourcen, die uns insgesamt im Cluster dann zur Verfügung stehen - also etwa die Anzahl der CPUs und RAM. Weitere Infos über die Slaves bekommt man, wenn man oben im Menü auf Slaves klickt.

Damit ist ZooKeeper, Mesos und Marathon soweit einsatzbereit. Über die Marathon-GUI (z.B. http://192.168.122.251:8080/) können wir dann oben links auf New Apps klicken und einen Task definieren. Zum Testen kann man einfach mal bei der ID Hello eingeben und beim Command

echo hello; sleep 10;

Man sieht dann, das alle 10 Sek. der Task auf einem Slave gestartet wird, nachdem er sich beendet hat.

VM mit virsh-install installieren

cetixx — Tue, 4 Aug 2015 22:12:29 +0000

Wenn man libvirtd (und die div. virsh*-Tools) installiert hat, kann man sich mit folgenden Kommando eine Ubuntu 14.04 VM erzeugen:

export VMNAME=vm_name
export VMRAM=1024
export VMCPU=3

virt-install \

--name $VMNAME \

--ram $VMRAM \

--disk path=/var/lib/libvirt/images/$VMNAME.qcow2,size=10 \

--vcpus $VMCPU \

--os-type linux \

--os-variant generic \

--network bridge=virbr0 \

--graphics none \

--console pty,target_type=serial \

--location 'http://archive.ubuntu.com/ubuntu/dists/trusty/main/installer-amd64/' \
--extra-args 'console=ttyS0,115200n8 serial'

vm_name ersetzt man durch den Namen, den die VM später haben soll und bei virsh list angezeigt wird. VMRAM gibt die RAM-Größe an und VMCPU die Anzahl der CPUs, die die VM nutzen darf. Wenn libvirtd gestartet ist, gibt es normalerweise auch ein Netzwerk-Interface virbr0. Sollte das br0 o.ä. heissen, muss man das entsprechend anpassen.

Abhängigkeiten bei der Installation eines .deb Pakets auflösen

cetixx — Thu, 23 Jul 2015 21:34:51 +0000

Wenn man ein .deb Paket direkt installieren will und auch die Abhängigkeiten aufgelöst werden sollen, dann kann man das mit

gdebi paketname.deb

machen.

Create a TV Show Tracker using AngularJS, Node.js and MongoDB

cetixx — Thu, 23 Jul 2015 21:30:36 +0000

Ein unfangreiches Tutorial das die Technologien AngularJS, Node.js und MongoDB verwendet.

Archlinux - XBMC/Kodi, Lirc und Streamzap

cetixx — Sun, 7 Dec 2014 14:40:29 +0000

Wer die Streamzap Fernbedienung unter Archlinux mit XBMC aka Kodi zum Laufen bringen möchte, dem hilft vielleicht diese kleine Anleitung:

*) Den Streamzap-Empfänger in den USB-Port stecken
*) Normalerweise müsste das streamzap-Modul dann selbstständig geladen werden (prüfen mit lsmod | grep streamzap). Ansonsten: modprobe streamzap und am Besten eine Datei anlegen, damit das Modul beim nächsten Start des Rechners mit geladen wird:
echo "streamzap" > /etc/modules-load.d/streamzap.conf
*) pacman -S lirc-utils
*) Im $HOME-Verzeichnis, mit dem XBMC aka Kodi dann laufen soll, ins Verzeichnis $HOME/.xbmc/userdata/ wechseln und eine Datei Lircmap.xml (man achte auf das große L) anlegen:

Download Lircmap.xml.gz

*) ln -s /usr/share/lirc/streamzap/lircd.conf.streamzap /etc/lirc/lircd.conf
*) Lircd-Service-Datei für Systemd anlegen: /usr/lib/systemd/system/lircd.service

Download lircd.service.gz

*) systemctl daemon-reload
*) systemctl start lircd
*) Mit dem Kommando irw kann man dann testen, ob man etwas empfängt, wenn man eine Taste auf der Fernbedienung drückt. Der Output sieht dann z.B. so aus:

00000000000028d0 00 KEY_UP Streamzap_PC_Remote
00000000000028d0 01 KEY_UP Streamzap_PC_Remote
00000000000028d4 00 KEY_DOWN Streamzap_PC_Remote
00000000000028d3 00 KEY_RIGHT Streamzap_PC_Remote
00000000000028d5 00 KEY_MENU Streamzap_PC_Remote
00000000000028d6 00 KEY_EXIT Streamzap_PC_Remote

Wenn was bei irw rein kommt, dann hat man gute Chancen, das es auch unter XBMC/Kodi klappt.

Thunderbird: Mehrere E-Mail-Adressen in einer Identität verwalten

cetixx — Wed, 4 Jun 2014 23:10:11 +0000

Da ich meine eigene Maildomain habe, richte ich mir immer eine neue E-Mail Adresse ein, wenn ich mich irgendwo anmelde. Sollte eine dieser Adressen irgendwo auf einer Spamliste landet, wird der Account einfach gelöscht (hat auch noch ein paar andere Vorteile). Der Nachteil ist, das man dann im Thunderbird für jede dieser Adressen eine eigene Identität sprich Konto anlegen muss. Das wird natürlich bald recht unübersichtlich ;-)

Aber Thunderbird kann mehrere E-Mail-Adressen in einer Identität bzw. Konto verwalten. Dazu geht man auf Edit -> Account Settings (sorry, hab die englischsprachige Version von Thunderbird...). Dann wählt man einen Account aus und klickt dann unten rechts auf den Button Manage Identities... (unterhalb vom Outgoing Server (SMTP)). Jetzt kann man hier die Email Adresse (das ist der FROM Header im SMTP-Protokoll) und auch Reply-to angeben (i.d.R. wird man in diesem Fall beides auf den gleichen Wert setzen).

Wenn man nun eine E-Mail verfasst, kann man oben bei From: diese - ich nenne es mal - virtuelle Identität auswählen. Wichtig ist nur, das der Mail-Server diese Mail-Adresse auch akzeptiert, sonst klappt das natürlich nicht. Aber ansonsten sieht dann der Empfänger der Mail als Absender diese "virtuelle" Identität. Es steht also dann nicht nur im Reply-to die gewünschte E-Mail-Adresse sondern auch im From: Feld und das ist das was wir haben wollen ;-) Die Default Mail-Adresse des Kontos taucht dann im Mailprotokoll nicht mehr auf.

cli53 - Amazon Route 53 DNS Kommandozeilentool

cetixx — Sun, 19 Jan 2014 22:09:18 +0000

Wenn man eine DNS-Zone in AWS Route 53 verwaltet, leistet das kleine Tool cli53 ganz gute Dienste. Damit kann man z.B. eine Zone aus AWS heraus ins BIND-Format exportieren oder auch wieder importieren oder gezielt Einträge ändern. Es gibt zwar hierfür auch das aws Kommandozeilen Tool (pip install awscli), aber das hat einige Features von cli53 nicht.

FTP: Verzeichnisse rekursiv herunterladen

cetixx — Mon, 25 Mar 2013 22:31:25 +0000

Will wann einen FTP-Ordner und dessen Unterordner herunterladen, geht das recht gut mit wget:

wget -r "ftp://user:passwort@domain/verzeichnis"

Varnish Cache Objekt vor Ablauf der TTL erneuern

cetixx — Wed, 20 Feb 2013 21:22:22 +0000

Der Varnish ist an sich ein toller Reverse-Proxy, hat nur vereinzelt ein paar Dinge, die manchmal etwas Kopfzerbrechen bereiten. Eine Sache davon ist, das Erneuern von gecachten Objekten. Ist die TTL eines Objekts abgelaufen und jemand frägt dieses Objekt ab, muss er warten, bis der Varnish es vom Backend neu gezogen hat. Fragen andere gleichzeitig dieses Objekt ab, bekommen sie es weiterhin aus dem Cache, soweit man eine Grace-Period definiert hat. Aber dieser eine o.g. User muss warten. Das kann man umgehen, in dem man sich für die wichtigsten Seiten einen Job schreibt, der das Objekt bereits vor Ablauf der TTL erneuert. In der Varnish-Konfiguration könnte das dann so aussehen:

acl refresh {
"localhost";
}

sub vcl_recv {
if (req.request == "REFRESH") {
if (client.ip !~ refresh) {
error 405 "Not allowed";
}
set req.hash_always_miss = true;
set req.request = "GET";
}
}

req.hash_always_miss funktioniert seit Varnish V 2.1.4. Während die User ja die Seiten mit der HTTP GET-Methode weiterhin aus dem Varnish-Cache bekommen, kommt unser Skript mit der REFRESH-Methode rein, setzt "req.hash_always_miss = true" und umgeht somit den Cache und zieht das entsprechende Objekt neu vom Backend. Anschließend wird es im Cache ersetzt und wir haben wieder ein "frisches" Objekt. Sehr praktisch :-)

Slide: Lasttest mit JMeter

cetixx — Sat, 26 Jan 2013 20:27:08 +0000

Ein gute Einführung von Larry Davidson:

Load Testing With JMeter by LAwebdevmeetup

Schöne Ausgabe der Git History auf der Kommandozeile

cetixx — Thu, 24 Jan 2013 19:49:31 +0000

Wenn man sich folgende Aliase in die .git/config einträgt, kann man sich die Git-History auf der Kommandozeile recht schön anzeigen lassen:

[alias]
lg1 = log --graph --all --format=format:'%C(bold blue)%h%C(reset) - %C(bold green)(%ar)%C(reset) %C(white)%s%C(reset) %C(bold white)— %an%C(reset)%C(bold yellow)%d%C(reset)' --abbrev-commit --date=relative
lg2 = log --graph --all --format=format:'%C(bold blue)%h%C(reset) - %C(bold cyan)%aD%C(reset) %C(bold green)(%ar)%C(reset)%C(bold yellow)%d%C(reset)%n''          %C(white)%s%C(reset) %C(bold white)— %an%C(reset)' --abbrev-commit
lg = !"git lg1"

git lg
git lg2

MySQL und DevOps

cetixx — Thu, 20 Dec 2012 20:12:11 +0000

Slides und Webinar zum Thema "Manage MySQL like a Devops Sysadmin".

Dokumentenscanner unter Linux - Fujitsu ScanSnap S1500

cetixx — Wed, 31 Oct 2012 21:06:23 +0000

Im neuen Linux Magazin 12/12 beschreibt Perlmeister Schilli, wie er seine Bücher mit Hilfe von Perl und dem Dokumentenscanner Fujitsu ScanSnap S1500 einliest. Der scheint unter Linux gut zu funktonieren und wird von SANE unterstützt. Robin Clarke hat hier für ein Script geschrieben, das die die Scan's automatisch einliest und als PDF speichert, sobald man auf den GO Knopf des Scanners drückt.

Einfaches Solr Start/Stop-Skript

cetixx — Wed, 31 Oct 2012 21:06:11 +0000

Hier ein kleines Start/Stop-Skript für Solr, wenn man den integrierten Jetty verwendet. Unter Ubuntu braucht man das "daemon" Paket, damit das Ganze funkt. Das Verzeichnis "/opt/solr" sollte dann dem User/Gruppe gehören, den man unter "--user" angibt. Ebenso sollte natürlich das Log-Verzeichnis existieren und dem User gehören, unter dem Solr dann läuft.

#!/bin/sh

start () {

echo -n "Starting solr..."

# start daemon

daemon --chdir='/opt/solr/example' --pidfiles='/opt/solr' --user=user:group --command "java -jar start.jar" --respawn --output=/var/log/solr/solr.log --name=solr --verbose

RETVAL=$?

if [ $RETVAL = 0 ]

then

echo "done."

else

echo "failed. See error code for more information."

return $RETVAL

}

stop () {

# stop daemon

echo -n "Stopping solr..."

daemon --stop --pidfiles='/opt/solr' --name=solr --verbose

RETVAL=$?

if [ $RETVAL = 0 ]

then

echo "done."

else

echo "failed. See error code for more information."

return $RETVAL

}

restart () {

daemon --restart --pidfiles='/data/solr' --name=solr --verbose

}

status () {

# report on the status of the daemon

daemon --running --pidfiles='/opt/solr' --verbose --name=solr

return $?

}

case "$1" in

start)

start

;;

status)

status

;;

stop)

stop

;;

restart)

restart

;;

echo $"Usage: solr {start|status|stop|restart}"

exit 3

;;

esac

exit $RETVAL

Langsame MySQL Queries ausfindig machen

cetixx — Mon, 22 Oct 2012 21:15:42 +0000

Anstatt eines der MySQL Logs (slowquery.log im Speziellen) zu verwenden, um die langsamen Queries heraus zufinden, kann man das Ganze weit weniger invasiv (in Form von CPU und I/O) und genauer gestalten. Man benötigt dafür tcpdump und das Percona Toolkit.

Als Erstes schneiden wir mit tcpdump mal den Netzverkehr mit, der auf dem Standard MySQL Port 3306 läuft (mal angenommen tcpdump läuft auf dem Rechner, auf dem die MySQL auch ist):

tcpdump -s 65535 -x -nn -q -tttt -i any -c 9999999 port 3306 | gzip -c > /tmp/tcpdump.txt.gz

Das kann man dann solange laufen lassen, wie man will. I.d.R. dürften aber 10 bis max. 30 Min. vollkommen ausreichen. Hängt natürlich auch etwas davon ab, wieviel auf der DB so an Queries/Sek. rein gehen.

Dann können wir das Ganze auswerten:

gunzip -c /tmp/tcpdump.txt.gz | /pfad/zu/pt-query-digest --type tcpdump > /tmp/digest.txt

Zu pt-query-digest gibt es unzählige Optionen. Da muss man mal die Doku durchblättern. pg-query-digest kann nebei auch noch PostgreSQL und memcached Queries auswerten. Sehr praktische Sache... :-)

Alternativ finde ich das kommerzielle GUI-Tool Jetprofiler recht schön. Nicht ganz günstig, aber die Daten werden schön aufbereitet (nicht nur Queries, sondern noch viel mehr) und man hat alles im Überblick.

MySQL Index Design und Tipps / MySQL Upgrading

cetixx — Wed, 17 Oct 2012 22:48:36 +0000

Auf der Percona Seite gibt es zwei sehr interesseante Slides / Webinars zum Thema MySQL (englisch):

Index-Design: Tools und Techniken
MySQL Indexing: Best Practices

Sehr interessant und einfach erklärt, wie man mit Indizes vernünftig in MySQL umgeht und verwaltet. Es werden z.B. div. Tools vorgestellt, mit denen man relativ einfach prüfen kann, ob ein Index überhaupt notwendig ist oder wie man raus findet, auf welche Spalten ein Index sinnvoll ist. Zu viele Indizes sind ja bekanntlich auch nix... ;-)

Dann noch ein weiteres Webinar mit Slides zum Thema MySQL Updates und welche Möglichkeiten es gibt, eine MySQL möglichst schnell und problemlos auf eine neue Minor- oder Major-Release zu heben.

Teil eines Videos verlustfrei kopieren bzw. herrausschneiden mit Linux und ffmpeg

cetixx — Wed, 17 Oct 2012 22:31:39 +0000

ffmpeg -ss <start zeit in hh:mm:ss> -t <dauer in hh:mm:ss> -i originaldatei.mpeg -acodec copy -vcodec copy out.mpeg

Apache Verzeichnis freigeben - außer einem...

cetixx — Wed, 17 Oct 2012 20:45:44 +0000

Manche Dinge kosten einen wirklich die letzten Haare... ;-) Man hat ein DocRoot-Verzeichnis "/", welches man absperren will, aber einen Ordner "/public" will man für die ganze Welt erreichbar haben. Das kann man sehr schön wie folgt lösen:

AuthType Basic
AuthName "Restricted Area"
AuthUserFile /home/path/.htpasswd
AuthGroupFile /dev/null
Require valid-user
SetEnvIf Request_URI "(path/to/directory/)$" allow
SetEnvIf Request_URI "(path/to/file\.php)$" allow
Order allow,deny
Allow from env=allow
Satisfy any

Also ganz normal die üblichen Auth*-Direktiven rein und Require valid-user, dann setzt man mit SetEnvIf für jeden Pfad bzw. Datei eine allow-Variable und bei "Allow from env=allow" sagen wir dem Apache, das der Zugriff auf Resourcen gestattet ist, wenn sie mit der allow-Variable ausgestattet ist. Ansonsten kommt die Passwortabfrage. Praktische Sache :-)

Im Orginal kann man das hier nachlesen (mit noch etwas mehr Information): Stupid htaccess Trick: Enable File or Directory Access to Your Password-Protected Site

PVR Support jetzt in XBMC integriert

cetixx — Tue, 18 Sep 2012 22:38:52 +0000

Wer hätte das gedacht, das ich das noch erlebe :-) Endlich ist der PVR Support fest im XBMC integriert. Am 5.9.2012 hat Lars Opdenkamp den entsprechenden Commit durchgeführt:

[pvr] added PVR support to XBMC (taken from https://github.com/opdenkamp/xbmc/commit/c576c080532a0e4c4ffc7babd57782f80a6951ba)

Ich schätze, Lars hat selbst nicht mehr daran geglaubt ;-) Damit dürfte wohl der nächste XBMC Release Frodo endlich auch den PVR Support haben. Um z.B. den VDR einzubinden, braucht man aktuell dann nur noch das xbmc-addon-xvdr von Alexander Pipelka.

Advanced Introduction to JavaScript Video

cetixx — Mon, 10 Sep 2012 21:13:46 +0000

Thunderbird goes Twitter

cetixx — Sun, 9 Sep 2012 21:00:17 +0000

Ich wusste gar nicht, das Thunderbird mit Version 15 jetzt auch Twitter kann :-) In meinem englischsprachingen Thunderbird findet man unter Tools/Chat-Status jetzt die Möglichkeit bei Twitter anzumelden. Recht praktisch...

Java SDK mit wget herunterladen

cetixx — Thu, 6 Sep 2012 22:38:58 +0000

Update 20140603: Wenn man den Download-Link für das Java SDK einfach so an wget übergibt, dann klappt das nicht mit dem Download. Aber wie folgt funktionierts:

Java 7:

wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/7u60-b19/jdk-7u60-linux-x64.tar.gz"

Java 8:

wget --no-check-certificate -c --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u5-b13/jdk-8u5-linux-x64.tar.gz

Die Java-Version muss man natürlich entsprechend ändern, wenn es neuere Releases gibt.

Stop Writing Puppet Modules That Suck

cetixx — Wed, 5 Sep 2012 21:41:56 +0000

Ein netter Artikel von Github Sysadmin Tim Sharpe wie man vernünftige Puppet Module schreibt. Es ist i.d.T. so, daß die Module auf github.com oder wo auch immer Module angeboten werden, zum großen Teil wirklich übel sind und überhaupt nicht verwendet werden können, ohne sie massiv anzupassen. Er gibt hier gute Tipps, wie's besser geht.

mysqldump: Error 2013: Lost connection to MySQL server...

cetixx — Tue, 4 Sep 2012 16:26:53 +0000

Falls einem mal der Fehler 2013 bei mysqldump

mysqldump: Error 2013: Lost connection to MySQL server during query when dumping table `...` at row: ...

über den Weg läuft, dem dürfte das Erhöhen zweier net_*_timeout Parameter weiterhelfen. Zum Einen in der my.conf:

net_read_timeout = 120
net_write_timeout = 900

Und wenn man das gleich aktiv haben will noch ohne Neustart:

set global net_read_timeout = 120;
set global net_write_timeout = 900;

Die Werte sind in Sekunden. Ich hatte das Problem, beim Sichern auf einen langsamen NFS-Mount. Die Meldung selber deutet eigentlich auf ein ganz anderes Problem hin und ist ziemlich irreführend. Nun ja, wenn da auf jeden Fall mehrere Backups liefen, wurde das teilweise arg langsam. Die Parameter schufen Abhilfe.

Redis PHP Session Handler

cetixx — Tue, 7 Aug 2012 20:46:32 +0000

Anstatt mit Sticky-Sessions am Loadbalancer zu arbeiten oder PHP-Session-Informationen in einer MySQL zu speichern, bietet sich die sehr schnelle Redis-Extension an

extension=redis.so
session.save_handler = redis
session.save_path = "tcp://localhost:6379

Linux und MacBook Pro Retina Display (10,1)

cetixx — Fri, 3 Aug 2012 23:11:32 +0000

Nachdem ich demnächst auf mein MacBook ein vernünftiges Betriebssystem spendieren (Funtoo/Gentoo) möchte, hier schon mal ein paar Links (mehr oder weniger interessant) für Leute, die das auch vorhaben. Die Links sind erstmal eine Sammlung an Infos, die so existieren. Das MacBook mit Retina ist ja noch relativ neu und das macht die Sache mit Linux oft nicht einfacher. Das ArchLinux Wiki scheint hier mal wieder am Weitesten zu sein, aber es gibt auch ein paar andere interessante Infos. Sobald ich Linux drauf habe bzw. hoffe drauf zu bekommen, schreibe ich wieder was...

Arch Linux Forum: MacBook Pro 2012 Retina
Arch Wiki: MacBookPro Retina
2012 Retina Display Macbook Pro and openSUSE Linux
Ubuntu MactelSupportTeam/AppleIntelInstallation
How to install Ubuntu on MacBook using USB Stick
Ubuntu 12.04 dual boot on Macbook Pro
wiki-AT-ubunutuusers-DOT-de
Ubuntu Forums: ubuntu on new retina macbook : any experience
cberner.com: Installing Ubuntu 12.04 on Macbook Pro Retina (10,1) <- Relativ gute Anleitung
Und als Nicht-Mac-Jünger brauch ich das hier: Startup key combinations for Intel-based Macs
Ubuntu: How to create a bootable USB stick on OS X

Kernel Hacker Greg Kroah-Hartman mischt auch mit auf Google+: Macbook retina booting with gummiboot to Gentoo. Now I can get more work done on this box as it's easier to install a new kernel.
Dann haben wir noch das Gentoo BlueDragonX / fm-overlay mit div. Patches für Kernel 3.5 (BTW: Ubuntu 12.10 Alpha3 hat auch Kernel 3.5. Damit könnte man auch Glück haben. Kernel 3.5 scheint im Allgemeinen nicht verkehrt zu sein).

Und dann noch dieser wunderschöne Post von Greg KH: "I booted it (MacBook) the first time on OS-X, saw that the screen and wireless worked (wanted to verify that), and registered for the warranty, then wiped the disk clean. ..." ;-)

Update 20120807

Wenn man Mac OS drauf lassen will, muss man zuerst mal die Partition verkleinern bzw. besser gesagt spalten, damit wir Linux irgendwo drauf bekommen. Ich hab das im Mac Terminal gemacht mit diskutil (ja ich weiß, geht alles viel schöner mit GUI, aber ich lebe halt auf der Konsole ;-) ). Hier die Orginal-Konfiguration:

mbpro:~ user$ diskutil list

/dev/disk0

#: TYPE NAME SIZE IDENTIFIER

0: GUID_partition_scheme *251.0 GB disk0
1: EFI 209.7 MB disk0s1
2: Apple_HFS Macintosh HD 250.1 GB disk0s2
3: Apple_Boot Recovery HD 650.0 MB disk0s3

Interessant hier ist also die Partition disk0s2. Die hat 250 GB und die wollen wir spalten. Dazu müssen wir aber auch erst wissen, wie viel wir für Mac OS übrig lassen müssen, wir brauchen also die Minimale Größe in GB, also die Anzahl an GByte, die wir nicht nutzen können und das geht dann so:

mbpro:~ user$ diskutil resizevolume disk0s2 limits

For device disk0s2 Macintosh HD:
Current size: 250.1 GB (250140434432 Bytes)
Minimum size: 48.8 GB (48755404800 Bytes)
Maximum size: 250.1 GB (250140434432 Bytes)

Wir haben hier also ca. 50 GB, die Mac OS benötigt und die wir nicht nutzen können. Ich habe mich entschieden, für Mac OS 100 GB zu verwenden und 150 GB für Linux. Dann spalten wir also mal ;-)

mbpro:~ user$ diskutil resizevolume disk0s2 100GB JHFS+ linux 150GB

Started partitioning on disk0s2 Macintosh HD
Verifying the disk
Checking file system
Performing live verification
Checking Journaled HFS Plus volume
Checking extents overflow file
Checking catalog file
Checking multi-linked files
Checking catalog hierarchy
Checking extended attributes file
Checking volume bitmap
Checking volume information
The volume Macintosh HD appears to be OK
Resizing
Waiting for the disks to reappear
Formatting disk0s4 as Mac OS Extended (Journaled) with name linux
Initialized /dev/rdisk0s4 as a 140 GB HFS Plus volume with a 16384k journal
Mounting disk
Finished partitioning on disk0s2 Macintosh HD

/dev/disk0

#: TYPE NAME SIZE IDENTIFIER

0: GUID_partition_scheme *251.0 GB disk0
1: EFI 209.7 MB   disk0s1
2: Apple_HFS Macintosh HD 100.0 GB   disk0s2
3: Apple_Boot Recovery HD 650.0 MB   disk0s5
4: Apple_HFS linux 150.0 GB   disk0s4

Wir haben hier jetzt also eine Partition disk0s4 bekommen und da soll dann mal Linux drauf...

Nachdem ich ja Funtoo (ein Gentoo Derivat) draufspielen möchte und Funtoo/Gentoo man ja nicht "mal so" installiert, brauchen wir als nächstes erstmal eine Distribution, von der wir booten können. Mein erster Versuch ist die neueste Ubuntu 12.10 Quantal Quetzal (noch in der Entwicklung). Die hat Kernel 3.5 dabei, damit sollte man hoffentlich Glück beim Booten haben. Ziel Kernel für mich ist jetzt aktuell dann 3.6 (~~Update: Kernel 3.6-rcX funktioniert nicht zusammen mit dem Binary Nvidia Treiber. Der Treiber kompiliert nicht. Deshalb bleibe ich bei Kernel 3.5~~). Genommen habe ich dieses Image hier von Ubuntu 12.10 (Quantal Quetzal) Daily Build 64-bit Mac (AMD64) desktop CD . Das ISO-File kopieren wir dann erstmal auf einen USB-Stick, der größer/gleich 1 GByte sein sollte. Ich hab das mit Linux und dd probiert, aber das mag das MacBook nicht booten, deshalb so, dann geht's: USB in Mac rein und dann erscheint der bei mir als /dev/disk1:

mbpro:~ user$ diskutil list

/dev/disk0

#: TYPE NAME SIZE IDENTIFIER
0: GUID_partition_scheme *251.0 GB disk0
1: EFI 209.7 MB   disk0s1
2: Apple_HFS Macintosh HD 100.0 GB   disk0s2
3: Apple_Boot Recovery HD 650.0 MB   disk0s3
4: Apple_HFS linux 150.0 GB   disk0s4

/dev/disk1

#: TYPE NAME SIZE IDENTIFIER
0: FDisk_partition_scheme *1.0 GB disk1
1: 0x17 797.2 MB disk1s1

Dann müssen wir das ISO-Image konvertieren:

mbpro:~ user$ hdiutil convert -format UDRW -o ubuntu.img quantal-desktop-amd64+mac.iso

Master Boot Record (MBR : 0) lesen …
Ubuntu 12.10 amd64 (Apple_ISO : 1) lesen …
(Windows_NTFS_Hidden : 2) lesen …

...........................................................

Dauer: 5.075s
Geschwindigkeit: 149.8M Byte/s
Ersparnis: 0.0 %
created: /Users/d790026/ubuntu.img.dmg

Und dann können wir mit dd das Image auf den Stick schreiben und wenn das fertig ist, auswerfen:

mbpro:~ user$ sudo dd if=ubuntu.img.dmg of=/dev/disk1 bs=1m
Password:

diskutil eject /dev/disk2

Dann spielt man sich erstmal rEFIt drauf (Download rEFIt-0.14.dmg). Einfach runterladen und Paket unter Mac OS installieren (einfach den Anweisungen folgen). Das macht es die Sache einfacher, später Linux zu starten. Wenn man das MacBook bootet, dann bekommt man gleich zu Beginn ein Menü, mit dem man Linux (jetzt erstmal vom USB-Stick, später taucht auch die Linux Installation auf Platte im Menü auf) starten kann.

Dann starten wir mal das Ubuntu von Stick. Sobald der Bootscreen

erscheint, irgend eine Taste drücken, damit man drei Kernel-Optionen setzen kann: noapic nomodeset. Hierzu drückt man, nachdem man die Sprache ausgewählt hat, auf F6, klickt das Auswahlmenü weg mit den Kerneloptionen und gibt sie unten in der Boot Options Zeile am Besten vor den beiden "--" am Schluss ein. Dann "Try Ubuntu without installing" auswählen, Return drücken und los geht's. Je nachdem, wie schnell der Stick ist, dauerts mal länger mal weniger lang, bis dann die GUI kommt. Bei mir blieb er vorher ca. 30 Sek. auf dem Prompt stehen, bis die GUI endlich kam.

Hier dann mal der erste Screenshot (1024x768 Auflösung) nach dem ersten Booten von Ubuntu vom USB Stick:

Dann kann man jetzt Ubuntu installieren wenn man will. Einfach "Install Ubuntu 12.10" doppelklicken und im Laufe der Installation erkennt Ubuntu selber, das da Mac OS schon drauf ist und installiert selbstständig auf der freien Partition, die wir oben angelegt haben, Ubuntu drauf. Wenn man dann rebootet und von Disk das Ubuntu startet, darf man nicht vergessen, wieder die o.g. Kerneloptionen einzubauen, sonst kommt man nicht weit (Update 20121017: Kernel 3.6 final bootet bei mir inszwischen ganz ohne Kerneloptionen - soweit man nicht den Nvidia Orginal-Treiber installieren möchte. Ansonsten sind folgende Kernel-Optionen sinnvoll: i915.modeset=1 rdblacklist=nouveau nouveau.modeset=0). Irgendwann ist man dann wieder im Ubuntu Desktop mit er 1024x768 Auflösung. Also die Intel-Grafik konnte ich überhaupt nicht aktivieren. Da hilft auch kein Projekt Bumblebee aktuell.

Ich dann noch kurz mal die Nvidia-Treiber installiert. Wenn man das tut, sollte man vorher am besten ssh installieren und aktivieren, root ein Passwort verpassen und root-Login erlauben. Wenn nämlich der Bildschirm vom MacBook schwarz bleibt, kann man sich von einem anderen Rechner aus einloggen und noch was reparieren. Ansonsten könnte es für immer schwarz bleiben oder man muss halt wieder vom Stick booten. Man bindet am besten dieses PPA ein: ppa:ubuntu-x-swat/x-updates . Ich hatte dann einmal die Auflösung 800x600, dann 640x480 und als ich die Treiber dann einmal deinstalliert und wieder installiert hatte, hatte ich dann irgendwann 1600x1200:

Aber das war's dann auch erstmal. Gut, ich hab jetzt nicht weiter experimentiert, weil ich will ja Funtoo drauf. Wichtig für den Nvidia-Treiber ist, das folgende Option in der xorg.conf gesetzt wird:

Option "UseDPLib" "off"

Das Touchpad reagiert auch manchmal recht sensibel, d.h. etwas eigensinnig und ich hatte jetzt auch nicht das Gefühl, das mit 3D viel läuft... Naja, das mal für alle Leute, die mit Ubuntu arbeiten wollen. Vielleicht hilft es was. Ich hab dann das MacBook mal voll aufgeladen und dann einfach mal im Batteriebetrieb laufen lassen (Monitor immer an). Der Akku hielt genau 4 Std. Mit dem Bug in Mac OS X Mountain Lion läuft das MacBook unter Mac OS X aktuell nur ca. 30 Min. länger. Bin mal gespannt, ob das mit dem versprochenen Update von Mac OS X besser wird. 7 Std. sollen das ja angeblich sein. Dann wären 4 Std. vs. 7 Std. natürlich schon ein dramatischer Abstand...

Ich habe übrigends diesen USB 2.0 Ethernet Adapter verwendet, da Thunderbolt über Ethernet in dieser Phase vermutlich noch nicht funktionert:

USB 2.0 Netzwerk Adapter auf 10,100,1000 Gigabit LAN Kabel, RJ45 Fast Ethernet

Der Adapter arbeitet einwandfrei und wird sofort erkannt. DHCP klappt auch gleich. Nur GBit über USB2.0 darf man jetzt nicht erwarten. Wie viel letztendlich drüber geht, habe ich noch nicht getestet. (Update 20121018: Mit Kernel 3.6.2 funktioniert der von Apple angebotene Thunderbolt/Ethernet-Adapter, wenn man ihn schon eingesteckt hat, bevor Linux startet. Ob Hotplug funktioniert und der Adapter nach dem Suspend wieder funktioniert, hab ich noch nicht getestet.)

Und jetzt probieren wir es mal mit Funtoo :-) Mal schauen, wie weit wir damit kommen. Bevor ich Ubuntu wieder gelöscht habe, habe ich mir die Kernel-Config unter /boot von Ubuntu geklaut ;-) Das ist ein 3.5er Kernel. Die .config könnt ihr euch hier runterladen: config-3.5.0-8-generic.gz . Alternativ: Hier die Kernel 3.5 .config von Sabayon (auch ein Gentoo Derivat). Update 20121017: Ganz unten findet ihr eine Kernel .config für Kernel 3.6.2. Der sollte komplett ohne Patches und Kernel-Parameter laufen (tut er bei mir zumindest).

Nachdem Ubuntu ja die Partitionen eingerichtet hat im vorhergehenden Schritt, übernehme ich das gleich so. In gparted sieht das dann so aus:

Ich werde jetzt mal die Funtoo Linux Installation Anleitung wie gewohnt abarbeiten und dann sehen wir schon, ob was bootet nachher. Hier jetzt ohne große Erklärung eine Auflistung der ausgeführten Kommandos:

mkfs.ext4 /dev/sda5
mkdir /mnt/funtoo
mount /dev/sda5 /mnt/funtoo
cd /mnt/funtoo
mkdir tmp
chmod 1777 /mnt/funtoo/tmp
date 080922352012
wget http://ftp.osuosl.org/pub/funtoo/funtoo-current/x86-64bit/corei7/stage3-latest.tar.xz
tar xJpf funtoo.stage3-latest.tar.xz
cd /mnt/funtoo
mount --bind /proc proc
mount --bind /dev dev
cp /etc/resolv.conf etc/
env -i; HOME=/root; TERM=$TERM; chroot . bash -l
export PS1="(chroot) $PS1"
emerge --sync

vi /etc/fstab
/dev/sda6 none swap sw 0 0
/dev/sda5 / ext4 noatime 0 1

rm /etc/localtime
ln -sf /usr/share/zoneinfo/Europe/Berlin /etc/localtime

vi /etc/make.conf
MAKEOPTS="-j9"

LINGUAS="en de"

rc-update add dhcpcd default

emerge -av genkernel gentoo-sources # Kernel 3.6.x verwenden, 3.7-rc1 tut aktuell auch
cd /usr/src/linux
wget http://www.tauceti.net/kernel-config-x86_64-3.6.2-gentoo.gz
gunzip kernel-config-x86_64-3.6.2-gentoo.gz
mv kernel-config-x86_64-3.6.2-gentoo .config
genkernel --menuconfig --lvm --oldconfig all
passwd # root Passwort setzen nicht vergessen!
emerge -av boot-update

vi /etc/boot.conf
boot {
generate grub
default "Funtoo Linux genkernel"
timeout 3
}

"Funtoo Linux" {
kernel bzImage[-v]
# params += nomodeset
}

"Funtoo Linux genkernel" {
kernel kernel[-v]
initrd initramfs[-v]
params += real_root=auto
params += nomodeset
params += noapic

}

Hier fehlt jetzt noch die Sache mit dem Bootloader. Das hat mich etwas genervt, da der installierte Ubuntu Grub nicht mit den Dateien, die grub-install von Funtoo unter /boot/grub/ installiert hatte, zusammenarbeiten wollte (Ubuntu hat grub2 und Funtoo ist noch auf 1.98... Aber mehr dazu weiter unten, deshalb mit der Installation vom Grub vielleicht noch warten bzw. hier lesen, wie's richtig geht - nach dieser Anleitung habe ich es gemacht: Grub with EFI support installation). Aber ich hab das erstmal falsch gemacht, weil man, wenn man nicht gleich den Grub mit EFI-Support installiert, im Bios Kompatibiltätsmodus startet und dann is nix mit der Installation vom Nvidia Orginal-Treiber z.B. ;-) Ich war mir aber zu dem Zeitpunkt nicht ganz sicher, ob ich Grub auf sda4 oder sda5 installieren soll. sda4 ging nicht, aber sda5 schien zu tun:

grub-install --no-floppy --force /dev/sda5
boot-update

Der grup-install meckert zwar, das das eine schlechte Idee ist, wenn man den MBR auf eine Partition schreibt, aber das tut wohl nichts zur Sache. Eine ganz schlecht Idee dürfte sein, wenn man Grub auf /dev/sda installiert. Ich vermute, dann bootet Mac OS X auf jeden Fall nicht mehr. Den Grub auf /dev/sda5 erkennt rEFIt aber.

cd /
umount /mnt/funtoo/boot /mnt/funtoo/dev /mnt/funtoo/proc /mnt/funtoo
reboot

Jetzt aber: Funtoo First Light!!! :-)

Und damit man mal eine Grundbasis für das grafische Zeuch hat:

emerge -av xorg-x11

Update 20120810

Ja spinn ich! Welcher Oberwahnsinnige hat denn (U)EFI erfunden? So etwas Krankes hab ich schon lange nicht mehr gesehen... Also Grafikkarte lief deshalb nicht, weil ich im BIOS Kompatibiltätsmodus gebootet hatte und nicht im neuen (U)EFI Modus. Ich hatte zuerst nicht gecheckt, das man für (U)EFI noch eine ganze Reihe weiterer Schritte notwendig sind, damit das funktioniert. Da braucht man Grub 2.0 (bzw. ich habe einen gepatch'ten Grub 1.99 von flow-Overlay: layman -a flow). Die Installation ist hier ganz gut beschrieben.

Derweilen habe ich jetzt twm in 2880er Auflösung am Laufen (aber noch ohne Touchpad, nur die Tasten funken) ;-) Hier die Screens:

KDE 4.9 ist am Kompilieren! :-) Mal morgen wieder guggen... Das kann ja heiter werden, wenn sich die UEFI PC's mal weiter verkaufen. Da muss man ja fast eine fertige Distribution nehmen, das blickt ja kein normaler Mensch mit dem BIOS-Nachfolger (U)EFI. Einfach krank, mehr fällt mir da nicht ein...

Update 20120819
Also KDE 4.9 läuft wunderbar:

Ich hab noch ein paar kleinere Probleme mit dem Touchpad, den Tastenbelegungen und bei manchen Programmen mit den Fonts (sind einfach zu klein ;-) ). Aber an sich läuft KDE gut. :-) Man muss aber in den System Settings ziemlich spielen, das man die Fonts im Allgemeinen annehmbar hinbekommt. U.a. habe ich folgende Datei erstellt:

echo "Xft.dpi 75.0" >> $HOME/.Xdefaults

Die Intel-Grafik habe ich noch nicht zum Laufen bekommen. Aktuell benutze ich die Nvidia Binary Driver und damit natürlich auch den Nvidia Chip. Das kostet aber unnötig Strom. Mal weiter schauen...

Update 20120826:
Ich verwende als Treiber für das Touchpad nicht xf86-input-synaptics sondern xf86-input-mtrack. Das funktioniert wesentlich besser. Damit das Ganze nicht zu empfindlich reagiert, hier meine Einstellungen für den Treiber in der xorg.conf:

Section "InputClass"
MatchIsTouchpad "true"
MatchDevicePath "/dev/input/event*"

Identifier "Touchpads"
Driver "mtrack"
Option "ThumbSize" "35"
Option "PalmSize" "55"
Option "ClickTime" "25"
Option "ScrollDistance" "300"
Option "TapButton1" "0"
Option "Sensitivity" "0.85"
Option "TapButton2" "0"
Option "TapButton3" "0"
Option "ScrollDistance" "175"
Option "FingerHigh" "10"
Option "FingerLow" "10"
Option "IgnorePalm" "true"
EndSection

Update 20121017: Inzwischen hab ich noch eine bessere Konfiguration gefunden (hat nur einen Hacken: Die rechte Maustaste zu emulieren, ist etwas umständlich):

Section "InputClass"
MatchIsTouchpad "on"
Identifier "Touchpads"
Driver "mtrack"
Option "Sensitivity" "0.35"
Option "IgnoreThumb" "true"
Option "IgnorePalm" "true"
Option "TapButton1" "0"
Option "TapButton2" "0"
Option "TapButton3" "0"
Option "TapButton4" "0"
Option "ClickFinger1" "0"
Option "ClickFinger2" "3"
Option "ClickFinger3" "2"
Option "ButtonMoveEmulate" "false"
Option "ClickTime" "25"
Option "BottomEdge" "25"
EndSection

Damit Suspend to RAM (Sleep) mit dem Nvidia Binary Treiber funktioniert, erstellt man noch eine Datei /etc/pm/config.d/99local mit folgenden Inhalt (Update 20121017: Soll angeblich nicht mehr notwendig sein mit Kernel >=3.6, noch nicht probiert):

DISPLAY_QUIRK_DPMS_ON="true"
QUIRKOPTS="true"

Update 20121017: Also mit Kernel 3.6 bzw. 3.7-rc1 hab ich den Intel- und Nvidia-Chip im Prinzip jetzt soweit, das es funktionieren sollte, ohne den Nvidia-Binary Treiber. Bevor man hier experimentiert, unbedingt den Orginal Nvidia-Treiber deinstallieren! Dann den Kernel ohne weitere Parameter booten (also den Treiber "nouveau" für den Nvidia-Chip nicht mehr blacklisten). Ich musste dann den "nouveau"-Treiber mit modprobe laden, nachdem der Kernel gestartet ist. Das System wechselt dann auf den Nvidia-Chip. Das funktoniert noch und man sieht mit "dmesg", das er vgaswitcheroo aktiviert hat (also damit kann man theoretisch dann zwischen Intel- und Nvidia Chip hin- und herschalten). Wenn vgaswitcheroo aktiv ist, sieht man das auch daran, das es jetzt folgenden Eintrag gibt:

cat /sys/kernel/debug/vgaswitcheroo/switch

Und nun sollte eigentlich Folgendes möglich sein:

# Nvidia Chip aktivieren
echo DDIS > /sys/kernel/debug/vgaswitcheroo/switch
# Intel Chip aktivieren
echo DIGD > /sys/kernel/debug/vgaswitcheroo/switch
# Den deaktivierten Chip ausschalten (spart Strom)
echo OFF > /sys/kernel/debug/vgaswitcheroo/switch
# Den deaktivierten Chip einschalten
echo ON > /sys/kernel/debug/vgaswitcheroo/switch

Leider verabschiedet sich das System dann mit einem schwarzen Bildschirm... Reboot über Ctrl+Alt+Del is aber noch möglich. Deshalb gehe ich da von aus, das nur der Bildschirm schwarz ist, aber das Betriebssystem noch da ist... Das ist wirklich zum Haare raufen. Falls jemand eine Idee hat, warum das so ist, immer her damit :-)

Falls jemand noch eine Kernel .config braucht, hier ist meine für Kernel 3.6.2 (ist so ziemlich alles aktiviert ;-) ): kernel-config-x86_64-3.6.2-gentoo.gz

Will man den Nvidia Orginal-Treiber benutzen, nimmt man den nouveau-Treiber am Besten auf die Blacklist. Folgende 3.6er Kernel-Parameter benutze ich zusammen mit den Nvidia Original-Treiber:

i915.modeset=1 rdblacklist=nouveau nouveau.modeset=0

Wie schon erwähnt, wenn man den Nvidia Orignal-Treiber nicht mehr verwenden möchte und mit vgaswitcheroo spielen will, dann nimmt man diese Kernelparameter alle wieder raus.

Wie SSD Disks Architekturen verändern

cetixx — Thu, 26 Jul 2012 21:49:07 +0000

Ein sehr interessanter Artikel auf High Scalability über die neue Amazon EC2 High I/O 2TB SSD Instanz und wie div. Firmen wie z.B. Netflix damit umgehen bzw. welche neue Möglichkeiten sich auftun. Ist schon interessant zu erfahren, das z.B. plötzlich nicht mehr die Platte der Flaschenhals ist sondern eventl. der Java Garbage Collector...

Factory Design Pattern - An Effective Approach

cetixx — Wed, 25 Jul 2012 21:50:30 +0000

In diesem JAVA Developer Journal Artikel von Debadatta Mishra wird gezeigt, wie man das Factory Design Pattern früher und heute implementiert und welche Performance Unterschiede die beiden Methoden haben.

Parallelisierter S3 Multipart Upload mit Python-boto

cetixx — Wed, 25 Jul 2012 21:50:18 +0000

Wie man mit der Python boto Lib eine große Datei parallel in Amazon AWS S3 hochlädt, sieht man hier auf github.

Gentoo: Alle installierten Pakete auflisten

cetixx — Tue, 24 Jul 2012 21:41:55 +0000

equery list '*'

Cloud-Backup in Amazon S3 mit Duplicity

cetixx — Tue, 3 Jul 2012 16:33:00 +0000

Mit Hilfe von Duplicity kann man Backups gepackt und verschlüsselt direkt in Amazon AWS S3 speichern und eignet sich deshalb gut als Offsite-Backupprogramm. Und so richtet man das Ganze unter Ubuntu bzw. Gentoo ein:

Installation

apt-get install duplicity bzw emerge -av duplicity
apt-get install python-boto bzw. emerge -av boto

s3cmd installieren und einrichten

Das ist nur notwendig, wenn man von einem Rechner aus checken will, ob alles im S3 gelandet ist. s3cmd ist ein sehr praktisches Tool, wenn man von der Kommandozeile aus mit S3 interagieren will.

apt-get install s3cmd bzw. emerge -av s3cmd

Weiterhin braucht man eine $HOME/.s3cfg (auch nur, wenn man s3cmd nutzen will, wird nicht für Duplicity benötigt, aber praktisch, wenn man sich die S3 Buckets anguggen will...). Hierzu die s3cmd Anleitung lesen. Dort drin sind der access_key und der secret_key, denn man für den Zugriff auf S3 benötigt. Ihn findet man auch, wenn man sich in die AWS Console einloggt und dann auf die Credientials geht.

GnuPG installieren und einrichten

apt-get install gpg bzw. emerge -av gnupg

GnuPG einrichten

gpg --gen-key (Und dann den Anweisungen folgen)

Key anzeigen mit:

gpg --list-keys

...

pub 2048R/xxxxxxxx 2012-06-29

Key fingerprint = E870 xxxx xxxx xxxxx

uid BACKUP_$HOST

sub 2048R/xxxxxxxx 2012-06-29

Die wichtige Info hier ist in der ersten Zeile der achtstellige Key: 2048R/xxxxxxxx.

Ein Verzeichnis bzw. besser gesagt ein Bucket im S3 für das Backup einrichten (wo Duplicity die gepackten und verschlüsselten Files ablegt):

s3cmd mb $HOST s3://backup

Das eigentliche Backup

Damit Duplicity auf S3 zugreifen kann, muss es im Env. bzw. Shell-Umgebung folgende Variabeln finden:

export PASSPHRASE="..." # PW für Zugriff auf das GnuPG PW (bei --key-gen angegeben)
export AWS_ACCESS_KEY_ID="..." # Access Key für S3
export AWS_SECRET_ACCESS_KEY="..." # Secretkey für S3

Dann das Backup selbst:

duplicity -v5 --volsize 500 --asynchronous-upload --s3-use-multiprocessing --s3-use-new-style /VERZEICHNIS_ZU_SICHERN s3+http://backup/$HOST

--s3-use-multiprocessing kam erst mit Duplicity 0.6.17 rein, aber da ist ein Bug drin. Deshalb lieber 0.6.18 verwenden! Das Multiprocessing (oder besser gesagt bei S3 Multipartupload) braucht man, wenn man eine 100 oder 1 GBit-Leitung voll ausnutzen möchte und man ein paar hundert GigaByte oder TerraByte zu Amazon S3 hochladen möchte. Ansonsten bekommt man nicht mehr als 30-40 MBit/s über die Leitung. --asynchronous-upload sorgt dafür, das der Upload schon stattfindet, während in eine weitere Datei schon wieder geschrieben wird (ist nicht nicht freigegen, aber funktioniert recht gut). Das bedeutet aber auch, das man den doppelten Platz benötigt! Ich habe hier z.B. --volsize 500 angegeben, was in /tmp (default) ein 500 MB File erzeugt. Ist das voll, dann wird nochmal ein 500 MB File angelegt, während das Erste hochgeladen wird. Ist auch das zweite File voll und das Erste noch nicht fertig hochgeladen, wartet der Backupprozess. --s3-use-new-style wird benötigt (in neueren Versionen vielleicht nicht mehr), wenn man nach Amazon Eu (Irland) ins S3 hochladen möchte.

Das Ganze sieht dann so aus, wenn man Files/Verzeichnisse ausschließen möchte:

duplicity -v5 --volsize 500 --asynchronous-upload --s3-use-multiprocessing --s3-use-new-style --exclude "DIR1" --exclude "DIR2" / s3+http://backup/$HOST

Aktuelle Files im Backup anzeigen:

duplicity list-current-files --s3-use-new-style s3+http://backup/$HOST

Restore eines Files

duplicity --s3-use-new-style --file-to-restore DATEINAME s3+http://backup/$HOST /RESTORE_PFAD_INKL_DATEINAME

Restore eines Verzeichnisses

Zielverzeichnis darf noch nicht existieren!
duplicity --s3-use-new-style s3+http://backup/$HOST /VERZEICHNIS

UND JETZT KOMMT DAS WICHTIGSTE:

Das Verzeichnis $HOME/.gnupg ist irgendwo an einem sicheren Platz zu sichern! Wenn der Rechner, der mit Duplicity gesichert wurde, diese Dateien nicht mehr findet, weil er in Rauch aufgegangen ist, dann kommt man nicht mehr an seine Daten ran, weil das Backup mit diesem Schlüssel verschlüsselt wurde!

Kernel dmesg Timestamp umwandeln

cetixx — Wed, 23 May 2012 08:26:47 +0000

Wenn man so einen dmesg Output hier

[120150.785488] nfs: server 10.232.218.3 not responding, timed out
[120450.903514] nfs: server 10.232.218.3 not responding, timed out
[120452.071783] nfs: server 10.232.218.3 not responding, timed out
[120462.577351] nfs: server 10.232.218.3 not responding, timed out

in ein lesbares Datumsformat umwandeln will

Wed May 23 07:52:55 2012 nfs: server 10.232.218.3 not responding, timed out
Wed May 23 07:57:55 2012 nfs: server 10.232.218.3 not responding, timed out
Wed May 23 07:57:57 2012 nfs: server 10.232.218.3 not responding, timed out
Wed May 23 07:58:07 2012 nfs: server 10.232.218.3 not responding, timed out

nimmt man das hier:

alias tmesg='dmesg|perl -ne "BEGIN{\$a= time()- qx!cat /proc/uptime!};s/\[\s*(\d+)\.\d+\]/localtime(\$1 + \$a)/e; print \$_;"'

Oracle - Statements ohne Bindungsvariablen

cetixx — Fri, 3 Feb 2012 11:33:19 +0000

Größere Performanceprobleme bei Oracle können sich ergeben, wenn man nicht konsequent Queries mit Bindungsvariablen einsetzt. Um mal schnell rauszufinden, welche davon so laufen, kann man folgende Statements nutzen:

create table t1 as select sql_text from v$sqlarea;

alter table t1 add sql_text_wo_constants varchar2(1000);

create or replace function
remove_constants( p_query in varchar2 ) return varchar2
as
    l_query long;
    l_char varchar2(1);
    l_in_quotes boolean default FALSE;
begin
    for i in 1 .. length( p_query )
    loop
        l_char := substr(p_query,i,1);
        if ( l_char = '''' and l_in_quotes )
        then
            l_in_quotes := FALSE;
        elsif ( l_char = '''' and NOT l_in_quotes )
        then
            l_in_quotes := TRUE;
            l_query := l_query || '''#';
        end if;
        if ( NOT l_in_quotes ) then
            l_query := l_query || l_char;
        end if;
    end loop;
    l_query := translate( l_query, '0123456789', '@@@@@@@@@@' );
    for i in 0 .. 8 loop
        l_query := replace( l_query, lpad('@',10-i,'@'), '@' );
        l_query := replace( l_query, lpad(' ',10-i,' '), ' ' );
    end loop;
    return upper(l_query);
end;
/
update t1 set sql_text_wo_constants = remove_constants(sql_text);

select sql_text_wo_constants, count(*)
from t1
group by sql_text_wo_constants
having count(*) > 100
order by 2
/

tar I/O limitieren mit dem Pipe Viewer

cetixx — Tue, 25 Jan 2011 13:47:20 +0000

Wenn man tar etwas einbremsen möchte, damit es nicht die Platte blockiert, dann kann man das u.a. mit dem Pipe Viewer (Gentoo: emerge -av pv) machen:

tar pcf - <verzeichnis_zum_packen> | pv -s $(du -sb home | awk '{print $1}') --rate-limit 500k | gzip > datei.tar.gz

Ich nehm für sowas auch immer ganz gerne rsync her. Da ruft man das Ganze einfach mit der Option --bwlimit auf z.B. folgender Befehl reduziert die Übertragungsgeschwindigkeit auf ~10MB/sec.:

rsync -av --bwlimit=10000 ...

Welche IP kommt am haeufigsten im Accesslog vor

cetixx — Fri, 14 Jan 2011 22:00:39 +0000

Wenn man rausfinden möchte, welche IPs am häufigsten auf eine Website zugreifen, hilft folgender Bash Einzeiler um das Apache Access-Log durchzugrasen:

cat apache.access_log |awk '{print $1}' | sort | uniq -c | sort -n | tail -20

32bit Anwendung auf 64bit Linux mit GCC kompilieren

cetixx — Fri, 15 Jan 2010 11:44:35 +0000

Wenn man mal in die Verlegenheit kommt, auf einem 64bit Linux OS ein 32bit Programm kompilieren zu müssen, dann ist das unter Gentoo mit multilib USE-Flag (also installierter 32bit und 64bit Unterstützung) kein Problem. Bevor man einen configure aufruft, exportiert man einfach zwei Variablen:

export CFLAGS="-m32"
export LDFLAGS="-m32"

Unter Ubuntu/Debian sollten folgende Pakete installiert sein, damit das tut:

libstdc++.i386
libgcc.i386
glibc.i386
glibc-devel.i386

Unter SuSE haben die Pakete immer 32bit im Paketnamen also z.B.:

glibc-32bit
glibc-devel-32bit

I.d.R. wird man bei einem größeren Projekt wie den Apache Webserver u.U. aber noch weitere andere 32bit Pakete nachinstallieren müssen.

HP Officejet 6500 und Linux

cetixx — Thu, 7 Jan 2010 21:25:20 +0000

Drucker hinüber, Neuer dringend benötigt... Also schnell zum Mediamarkt. Klar war, das es ein HP sein sollte. Die funzen i.d.R. ohne Probleme unter Linux. Ohne genau zu wissen, welchen ich eigentlich kaufen soll, hab ich mir dir 5-6 Typen angeschaut, die da so rumstehen. Gelandet bin ich dann beim 119 Euro teuren Officejet 6500 mit Ethernet-Anschluss, Fax, Scanner und Kopierer. Vorallem der Ethernet-Anschluss hat es mir angetan. Damit ließ sich dann der iMac auch noch anschließen und man hat nicht das Problem, das man das USB-Kabel ständig umstecken muss zwischen zwei Rechnern.

Also daheim IP-Adresse, Netzmaske und Default-Gateway eingestellt (DHCP hätte es auch getan, hab ich aber nicht eingerichtet). Anpingen ging dann schon mal. Dann die Treiber des HP Linux Imaging and Printing System installiert. Die hplip-Treiber laufen mit fast 2000 HP-Druckern und fast jedem Linux-System. Unter Gentoo/Funtoo muss man einfach ein

emerge -av hplip

starten. Ausserdem habe ich in der Datei /etc/portage/package.use noch folgende USE-Flags gesetzt:

net-print/hplip ppds fax qt4

Dann kann man mit CUPS den Druckertreiber einrichten. Dazu ruft man im Webbrowser einfach die Admin-Oberfläche von CUPS unter http://localhost:631 auf. Dort kann man dann nach dem Drucker einfach suchen lassen. Die Testseite kam ohne Probleme raus.

Für die Inbetriebnahme des Scanners habe ich nicht lange experimentiert und den Drucker/Scanner gleich per USB angeschlossen. Soweit Sane/XSane installiert ist, kann man dann gleich mit sane-find-scanner checken, ob der Scanner gefunden wird (hierzu muss man unter Gentoo in der Gruppe lp sein). Wird der Scanner gefunden (sicherheitshalber auch als User root probieren, wenn es als normaler User nicht funktioniert), kann man xsane starten und loslegen mit dem Scannen.

Summasummarum: Der Officejet 6500 läuft wunderbar unter Linux. Und für etwas über 100 Euro bekommt man 4 Geräte in Einem. Feine Sache :-)

Verzeichnisse ohne Dateien kopieren mit rsync

cetixx — Thu, 29 Oct 2009 15:17:10 +0000

Mit Version 3 von rsync lassen sich relativ einfach ganze Verzeichnisbäume inkl. Rechte und User-/Gruppen-IDs ohne Inhalt sprich ohne Dateien kopieren:

rsync -a -f"+ */" -f"- *" source/ destination/

Soweit ich weiß, gibt es die Option -f in Version 2 von rsync noch nicht. Drum wird das in div. Enterprise Linux Versionen nicht funktionieren.

3D Support Radeon HD 2000 - HD 4000 bzw. R6xx - R7xx

cetixx — Wed, 7 Oct 2009 21:25:10 +0000

Endlich ist es soweit! Nachdem ich die ATI Radeon Grafikkarte (Radeon HD 3650 - RV635) in meinem Laptop (siehe auch: Elitebook 8530p, Gentoo, Sabayon, Kubuntu - Teil 1 / Elitebook 8530p, Gentoo, Funtoo - Teil 2) am Anfang am liebsten an die Wand geklatscht hätte, weil die propritären ATI einfach nur übel sind und mit neueren sowie (teilweise) selbstkompilierten Kernel überhaupt nicht tun (im Gegensatz zu Nvidia), hab ich das Teil dann doch noch zum Laufen bekommen mit den OpenSource Treibern (radeonhd). Die laufen wirklich gut und die 2D Performance ist inzwischen super. Nur mit 3D war halt nix. Das ist mir prinzipiell egal, aber sowas wie die Desktopeffekte von KDE 4 oder Compiz Fusion is halt dann nicht so richtig (schnell) - und ich mag die Dinger echt gerne, da sie wirklich auch produktiv sind.

Wer Funtoo/Gentoo als Linux-Distribution nutzt und sich rantraut, kann die nötigen Treiber für 3D Unterstützung aber jetzt nutzen. Ich wollte zunächst wie hier beschrieben vorgehen, aber das Ganze kompilierte leider nicht ganz fertig.

Aber Gentoo "to the rescue"! Zunächst habe ich mir mal einen Kernel 2.6.32 (git-sources-2.6.32_rc3-r1) installiert und kompiliert. Verwendet habe ich eine Kernel-Config von Sabayon 5.0, das auf Gentoo aufsetzt, für Desktop-Systeme ist und Kernel 2.6.31 verwendet. Die .config (x86_64 / x86) habe ich fast unverändert übernommen - nur die KMS (Kernel Mode Settings) im Staging-Bereich habe ich aktiviert und alles andere im Staging-Bereich ausgeschaltet, da die Android-Treiber bei mir das Kompilieren des Kernel verhindern (bricht mit Error ... ab).

Das ist prinzipiell eine feine Sache. Man hat hiermit praktisch auf der Console schon die volle Auflösung - in meinem Fall 1600x1050 - und wenn man zwischen X-Server und Konsole mit CTRL+ALT+F1 oder CTRL+ALT+F7 hin und her wechselt, flackert nix, da nicht mehr zwischen den Auflösungen umgeschaltet werden muss. Das Ganze funkt auch wunderbar - prinzipiell. Nur leider sieht der X-Server nach dem Start recht bunt aus und der Cursor ist ziemlich viereckig ;-) Aber gut, das ist ja auch alles noch ziemlich experimentell. Man kann KMS über einen Kernel-Bootparameter wieder ausschalten. Dazu fügt man in der /boot/grub/grub.conf den Parameter radeon.modeset=0 hinten an. Wenn es dann doch mal tut, kann man ja den Parameter wieder weglassen.

Nun aber zur 3D Unterstützung: Zunächst habe ich das X11-Overlay hinzugefügt:

layman -a x11
layman -S

Da man Mesa und die Xorg-Treiber in den neuesten Versionen braucht, habe ich die Pakete unmasked (mit Hilfe des Tools autounmask):

autounmask x11-base/xorg-drivers-9999
autounmask media-libs/mesa-9999

Dann installiert man Folgendes:

emerge -av xorg-server xorg-drivers mesa libdrm

Und schließlich sollte man noch einen

revdep-rebuild

hinterherschicken. Dann muss man eigentlich nur noch Durchstarten und in den System Settings die Desktop Effekte einschalten (soweit nicht schon passiert [waren bei mir bisher auf XRender eingestellt]) und auf OpenGL umstellen. Das war's eigentlich :-) Bei mir laufen fast alle Effekte sehr schnell.

Und fall es jemanden interessiert: glxgears läuft bei mir jetzt mit 2123 FPS ;-)

KVM Benchmark: Apachebench, IOzone, Graphics Magick

cetixx — Tue, 6 Oct 2009 21:32:37 +0000

Update 20100115: Bezügl. I/O-Performance und dem qcow2-Format, sollte man das hier noch lesen: Features/KVM qcow2 Performance . Seit Qemu/KVM 0.11.0 hat sich da einiges getan. Vorraussetzung für die bessere Performance ist aber, das man das qcow2-Image mit Qemu >= Version 0.11.0 erzeugt hat. Es kann also durchaus Sinn machen, ein altes Image in ein Neues zu konvertieren.

Ich habe in den letzten Tagen auf einem HP DL 380 G6 Server ein paar Benchmarks mit der Linux Kernel Virtual Maschine (KVM) gemacht. Ich persönlich nutze die KVM schon seit fast zwei Jahren und produktiv laufen aktuell über 40 VMs. Die Stabilität und die Performance hat sich in den letzten Releases sehr gut entwickelt und die Entwicklung geht sehr schnell voran.

Der Host und der Gast liefen mit Gentoo und Kernel 2.6.31.1. Der Host hat folgende Komponeten eingebaut:

2 x Intel Xeon CPU L5520 - 2 Quad-Processors (static performance, VT-d, Hyperthreading eingeschaltet in BIOS)
8 x 300 GB SAS 10k Festplatten (RAID 10)
24 GB RAM

(Einige) Host (kernel) Einstellungen:
I/O scheduler: deadline
Filesystem: xfs
CONFIG_HAVE_KVM=y
CONFIG_HAVE_KVM_IRQCHIP=y
CONFIG_KVM=m
CONFIG_KVM_INTEL=m
CONFIG_VIRTIO_BLK=m
CONFIG_VIRTIO_NET=m
CONFIG_VIRTIO_CONSOLE=m
CONFIG_HW_RANDOM_VIRTIO=m
CONFIG_VIRTIO=m
CONFIG_VIRTIO_RING=m
CONFIG_VIRTIO_PCI=m
CONFIG_VIRTIO_BALLOON=m

(Einige) Gast (Kernel) Einstellungen:
I/O scheduler: deadline/cfq (siehe unten)
Filesystem: ext3 (datamode=ordered/writeback [siehe unten])
VIRTIO Network (VIRTIO_NET) und Block (VIRTIO_BLK) Treiber verwendet.
Der Gast ist ein qcow2-Image, welches ich vorher mit "dd" erweitert habe, damit es für den IO Test groß genug ist und nicht erst während des Tests erweitert wird (was die Werte total verfälscht hätte).
CONFIG_KVM_CLOCK=y
CONFIG_KVM_GUEST=y
CONFIG_HAVE_KVM=y
CONFIG_HAVE_KVM_IRQCHIP=y
CONFIG_VIRTIO_BLK=y
CONFIG_VIRTIO_NET=m
CONFIG_VIRTIO_CONSOLE=y
CONFIG_HW_RANDOM_VIRTIO=y
CONFIG_VIRTIO=y
CONFIG_VIRTIO_RING=y
CONFIG_VIRTIO_PCI=y
CONFIG_VIRTIO_BALLOON=y
CONFIG_PARAVIRT_SPINLOCKS=y

KVM Startup Optionen (die Wichtigsten):
-m "variabel-siehe unten"
-smp "variabel-siehe unten"
-cpu host
-daemonize
-drive file=/data/kvm/kvmimages/gfs1.qcow2,if=virtio,boot=on
-net nic,vlan=104,model=virtio,macaddr=00:ff:48:23:45:4b
-net tap,vlan=104,ifname=tap.b.gfs1,script=no
-net nic,vlan=96,model=virtio,macaddr=00:ff:48:23:45:4d
-net tap,vlan=96,ifname=tap.f.gfs1,script=no

Da wir KVM hauptsächlich für Webserver benötigen, habe ich Benchmarks mit Apachebench, Graphics Magick und IOzone erstellt:

Apachebench mit 4 GB RAM, CFQ Scheduler, 1/2/4/8 vProcs verglichen mit dem Host (der hp380g6 Graph):
http://www.tauceti.net/kvm-benchmarks/merge-3428/
Apachebench mit 2 GB RAM, CFQ Scheduler, 1/2/4/8 vProcs verglichen mit dem Host:
http://www.tauceti.net/kvm-benchmarks/merge-6053/

Mich hat hier u.a. interessiert, ob mehr RAM mehr Durchsatz bringt und ob mehrere virtuelle Prozessoren skalieren. Wenn man die 2xQuadCore + Hyperthreading mit den 8 virtuellen Prozessoren (vProcs) vergleicht, dann kann die KVM hier mithalten. Die Speichergröße spielt keine Rolle.

Graphics Magick resize mit 4 GB RAM, CFQ scheduler, 1/2/4/8 vProcs verglichen mit dem Host (der hp380g6 Graph):
http://www.tauceti.net/kvm-benchmarks/merge-5214/
Graphics Magick resize mit 2 GB RAM, CFQ scheduler, 1/2/4/8 vProcs verglichen mit dem Host (the hp380g6 graph):
http://www.tauceti.net/kvm-benchmarks/merge-7186/

Mit 8 vProcs ist die KVM ungefähr 10% langsamer. Mehr Speicher scheint auch hier nicht zu helfen.

Der folgende IOzone Test lief mit der KVM-Option cache=none. In diesem Fall ist alleine der Host für's Wegschreiben der Daten verantwortlich. Das erscheint mir aktuell immer noch die sicherste Option zu sein, um die Datenintegrität des KVM-Images und der Filesysteme in der KVM sicher zu stellen. Allerdings bremst das die Performance:

IOzone Schreibtest (write) mit 2 GB RAM, CFQ scheduler, ext3 Filesystem und datamode=ordered, 1/2/4/8 vProcs verglichen mit dem Host (der hp380g6 Graph):
http://www.tauceti.net/kvm-benchmarks/merge-3564/
IOzone Schreibtest (write) mit 2 GB RAM, deadline scheduler, ext3 Filesystem und datamode=ordered, 1/2/4/8 vProcs:
http://www.tauceti.net/kvm-benchmarks/merge-4533/

Wie man sieht, bringt das Austauschen des Schedulers ungefähr 10-15 MByte/s mehr an Durchsatz. Die CPU-Auslastung habe ich aber nicht überprüft während des Tests.

Die folgenden IOzone Tests liefen ohne cache-Option und somit mit dem Defaultwert writethrough:

IOzone Schreibtest (write) mit 2 GB RAM, deadline scheduler, ext3-Filesystem und writeback (siehe Testseite), 8 vProcs verglichen mit dem Host (der hp380g6 Graph):
http://www.tauceti.net/kvm-benchmarks/merge-7526/

Die Zahlen sind relativ beeindruckend. Die KVM kann eigentlich fast immer - mit den entsprechenden Einstellungen - mit dem "echten" Host mithalten in diesen Tests. Den Netzdurchsatz müsste man jetzt noch messen, dann wäre der gesamte Benchmark schon fast vollständig.

Firefox und Thunderbird unter KDE 4

cetixx — Tue, 28 Jul 2009 02:03:17 +0000

Wer sich schon öfter mal darüber geärgert hat, das Firefox und Thunderbird nicht so wahnsinnig toll aussehen, wenn sie unter KDE laufen, dem kann geholfen werden. Grundsätzlich liegt das daran, das die beiden Apps GTK-Anwendungen sind und damit GUI-Elemente haben, die eben etwas anders aussehen, wie man das von einer KDE-Anwendung gewohnt ist.

Unter Gentoo installiert man das Paket gtk-engines-qt (heisst bei anderen Distributionen ähnlich). Dann KDE durchstarten. Anschließend kann man in KDE die System Settings aufrufen und dort dann den Button Apearance auswählen (sorry, kenne nur die englischen Bezeichnungen dafür...). In der linken Spalte sieht man dann jetzt GTK Styles and Fonts. Wenn man dort Use my KDE style in GTK applications auswählt, hat man das, was man braucht :-)

PostgreSQL-Replikation mit Londiste und SkyTools - Teil 1

cetixx — Mon, 6 Jul 2009 15:22:17 +0000

Warum SkyTools / Londiste? Ich war auf der Suche nach einer Replikationslösung, die mir einfach die Daten von einer Master-DB auf eine Slave-DB kopiert. Die Slave-DB ist read-only. Man muss grundsätzlich vorwegnehmen, das es unter Postgres leider keinen Replikationsmechanismus gibt, wie ihn die MySQL hat. Dort werden die Transaktionslogs auf dem Slave nachgefahren. D.h. das wirklich alle Statements auch auf dem Slave ausgeführt werden inkl. aller DDL-Statements (also sowas wie CREATE TABLE). Das ist bei (fast) keiner Replikationslösung, die es unter Postgres gibt, der Fall. Ich vermute mal, das das PGCluster macht, welcher auch Multimaster-Replikation unterstützt. Zu dieser Lösung habe ich aber kein Vertrauen, da im Supportforum keiner der Entwickler antwortet. Ausserdem ist der PGCluster oder auch PGCluster-II (wird wohl eh nie erscheinen) immer eine speziell angepasste Version von Postgres und hängt der Entwicklung immer hinterher (und aktuell schon ziemlich...). Ich mag keine so reingeschusterten Sachen. Dann gibt es noch den CyberCluster, der in eine ähnliche Kategorie fällt und auf PGCluster aufbaut, aber auch so seine Probleme hat, wie ich mal auf der Postgres-Mailingliste erfahren habe.

Dann gibt es noch Tools, die soz. Statements replizieren auf zwei oder mehrere Datenbanken und wie ein vorgeschalteter Proxy arbeiten, mit dem sich die Clients verbinden. pgpool-II gehört da dazu. Aber was mach ich, wenn eine Node ausfällt? Die Daten bei dieser Art Replikation müssen zwangsläufig auseinander laufen, wenn eine DB ausfällt. Eine Antwort darauf gibt Gerd Koenig in pgpool-II for beginners (PDF). Das ist an sich schon mal nicht schlecht, aber diese Methode benötigt eigentlich fast schon ein komplettes Recovery der DB, damit die Datenbanken wieder konistent werden.

Dann gibt's noch Bucardo. Da ist zwar der Entwickler sehr aktiv, aber mir gefällt das dahinterliegende Konzept gar nicht, mit rsync irgendwelche Daten durch die Gegend zu kopieren. Prinzipiell handelt es sich hierbei um eine Multi-Master-Replikation.

Weiterhin hätten wir noch den Mammoth Replicator. Der war mal kommerziell und ist jetzt OpenSource. Hier kann man auch Support von Enterprise DB kaufen. Bin ich aber auch nicht so wirklich überzeugt von dem Konzept.

Bleiben grob noch zwei Tools: Slony-I und Londiste.

Slony-I ist schon irgendwie das Schweizer Taschenmesser und Urgestein unter den Replikationslösungen - nur ungleich komplizierter zu bedienen. Und das war für mich dann auch der Grund, es mit Londiste/SkyTools zu versuchen, welches die Skype-Entwickler als OpenSource veröffentlich haben und das teilweise in Python geschrieben ist - was gleich noch viel mehr für die Lösung spricht ;-)

Hier mal eine Übersicht über die wichtigsten Links bezügl. Londiste/SkyTools:

SkyTools Download:
Londiste ist ein Teil der SkyTools. Version 2.1.9 ist gerade aktuell. Diese Version kann man sich auf pgFoundry downloaden. Da ich aber einen Teil der Funktionalität von Version 3 brauche, lade ich mir das Source-Paket (http://pgfoundry.org/pipermail/skytools-users/2009-April/001029.html) runter, welches Marko Kreen in einem Posting der SkyTools-Mailingliste erwähnt hat. Version 3 ist aktuell noch Alpha - wobei ich mir ziemlich sicher bin, das das Skye intern schon länger im Einsatz ist und sicherlich weit weniger Alpha ist, als so manches andere Prgramm ;-) Bei mir läuft das jetzt auf jeden Fall schon mal seit 3 Monaten ganz gut durch.

SkyTools @ PostgreSQL Wiki
http://wiki.postgresql.org/wiki/SkyTools

Londiste Tutorial (Version 2)
http://pgsql.tapoueh.org/site/html/londiste/londiste.html

SkyTools Users Archives Mailingliste
http://pgfoundry.org/pipermail/skytools-users/

Manpage für londiste (Version 2)
http://manpages.ubuntu.com/manpages/jaunty/man1/londiste.1.html

Whats you favourite PostgreSQL Replication Tool:
1. Slony-I
2. pgpool2
3. londiste
http://www.postgresql.org/community/survey.61

PostgreSQL Replication using Slony-I
http://jayant7k.blogspot.com/2008/11/postgresql-replication-using-slony-i.html

Database management tools from Skype: WAL shipping, queueing, replication. The tools are named walmgr, PgQ and Londiste, respectively
http://pgfoundry.org/projects/skytools/

Und in Teil 2 erklär ich dann, wie ich es eingerichtet habe...

Amiga MOD-Files per FUSE-FS abspielen mit uadefs

cetixx — Thu, 28 May 2009 22:00:00 +0000

Schon witzig, was es alles heutzutage als Filesystem gibt ;-) So kann man mit uadefs ein Verzeichnis mit Tracker-Dateien mounten und dann auf dieses Verzeichnis mit jedem beliebigen Player, der WAV-Dateien abspielen kann, diese Dateien abspielen. Das funktioniert ähnlich wie bei sshfs (ermöglicht ein Filesystem eines entfernten Rechners per SSH zu mounten):

1. mkdir -p ~/mnt/uadefs
2. uadefs /amiga/songs ~/mnt/uadefs
3. vlc ~/mnt/uadefs/mod.foo

Voraussetzung ist natürlich, das man das FuSE-Paket installiert hat. uadefs ist bei Gentoo ein Teil des uade-Pakets (Unix Amiga Delitracker Emulator).

MySQL Performance- und Diagnose-Tool Jet Profiler

cetixx — Wed, 6 May 2009 21:30:52 +0000

Normalerweise bin ich ja kein Fan von ClosedSource Programmen insbesondere im OpenSource Umfeld. Aber dieses Tool hier ist wirklich praktisch und ich habe bisher auch noch nicht wirklich was Besseres gefunden, wenn es um die Performanceanalyse einer MySQL-DB geht, insbesondere wenn man auf der Suche nach langsamen Queries, Locks, Cache-Hit-Ratio's, usw. geht. Man bekommt diese Infos zwar auch teilweise anderweitig, aber kaum so gut und übersichtlich aufbereitet, was letztendlich viel Arbeit spart.

Vom Jet Profiler kann man sich eine soweit ganz funktionale, freie Version downloaden, aber leider wird man relativ schnell feststellen, das man ohne die 499 Dollar teure Version nicht so arg weit kommt. Nicht ganz billig, aber das ist Oracle auch nicht ;-) Wenn man täglich hört "die Datenbank ist langsam...", dann ist dieses Programm die Antwort. Das Programm ist in Java geschrieben und ist allen Unkenrufen zum Trotz (was man immer noch von Java-Programmen hört) schnell und gut bedienbar. Es läuft unter Linux, Mac OS X und Windows.