Links 20100504 - Nutch, HBase, Tika, Traffic Server
Nutch ist eine Suchmaschine basierend auf Apache Lucene. Damit lässt sich relativ einfach und schnell eine eigene Suchmaschine aufbauen.
Apache Cassandra - Von Facebook 2008 als OpenSource-Projekt eingebracht, erhält man eine verteilte, hochverfügbare Datenbank die nach Google's BigTable Prinzip arbeitet.
HBase ist eine Hadoop Datenbank. Damit kann man sehr große Tabellen verwalten auf einfacher Hardware.
Apache Tika - Mit Hilfe von Tika kann man Metadaten erkennen und erzeugen. D.h. es gibt eine ganze Reihe von Parsern, die verschiedene Formate von Dateien (HTML, XML, PDF, DOC, usw.) erkennen und Metainformationen extrahieren können.
Traffic Server ist ein schneller, skalierbarer und erweiterbarer HTTP/1.1 Caching Proxy, der von Yahoo entwickelt wurde. Er kann durch eigene Plugins erweitert werden.
Erstellt am 12:16AM Mai 06, 2010 in Links | Permalink Kommentare[0]
Links 20090810 - PostgreSQL Replikation, Linux Games, Youtube
Sommertreffen der Demo-Scene - Ein Artikel bei heise über die Evoke 2009
Creating Convincing Images with Blender Internal Renderer - Part 1 / Part 2 - Ein kleines Blender Tutorial
live.linuX-gamers.net - Spielen unter Linux? Diese Live-DVD (8.5 GB) hat alles dabei.
Wen schon immer mal interessiert hat, wie die Serverfarm hinter Wikipedia aussieht, findet hier entsprechende Diagramme.
Testing PostgreSQL replication solutions: Slony-I - Ein gute Anleitung wie man Slony-I für Postgres installiert.
rubyrep - Wie der Name schon sagt, eine neue Möglichkeit MySQL- und PostgreSQL-Datenbanken zu replizieren. Hier liegt der Fokus auf einer möglichst einfachen Installation und einfacher Betrieb.
Basket Note Pads - Wer einen Notizblock für KDE sucht, der sollte mal BasKet anschauen. Man kann hier alle möglichen Texte, Bilder, usw speichern und das Ganze dann z.B. als HTML-Seite ausgeben.
clive is a command line video extraction utility for Youtube and other video-sharing websites - Wer Videos von Youtube & Co. von der Kommandozeile aus runterziehen will, kann das hiermit mal versuchen.
Erstellt am 10:00PM Aug 10, 2009 in Links | Permalink Kommentare[0]
Links 20090713 - Python, Django, MySQL, Pinax, CouchDB
Open Web Tools Directory - Eine Seite für Webentwickler auf der div. Entwicklungstools bzw. deren Webseiten etwas aussergewöhnlich dargestellt werden und ein Beweis, das man dafür nicht unbedingt Flash braucht.
mysqlreport - Ein wichtiges Tool für MySQL Admins. Es wertet div. Status Variablen aus und kann so z.B. Cache/Hit-Ratios für den Buffercache usw. berechnen. Damit bekommt man sehr schnell einen Überblick, ob Variablen event. falsch eingestellt sind.
CouchDB - CouchDB ist keine relationale DB sondern speicher einfach nur Dokumente auf die per RESTful HTTP API zugegriffen wird. Die DB kann auch über mehrere Rechner repliziert werden.
Pinax - Pinax baut auf dem Python Framework Django auf und stellt div. Applikationen zur Verfügung. Ursprünglich für eine Social Network Site entwickelt, enthält es entsprechend viele Apps aus dem Bereich. Siehe dazu auch: Create a new social networking site in few hours using pinax platform (django)
Ein Django Fan oder warum Django benutzen: One Laptop Battery Later And I'm A Django Fan
Erstellt am 10:00PM Jul 13, 2009 in Links | Permalink Kommentare[0]
Links 20090530 - PostgreSQL, Database Unit Tests und VCS, Trainingsvideos
Post Facto: Version Control System (VCS) for PostgreSQL: Nachdem CVS oder Subversion in der Programmierwelt ja schon lange existieren. Post Facto wiederum protokolliert Schemaänderungen in einer Datenbank in Form von SQL-Dateien.
Unit Test Your Database - Und wenn wir schon bei VCS bei Datenbanken sind, warum nicht auch noch Unit Tests für die DB schreiben? Dazu gab es auf der PostgreSQL Conference 09 eine Vortrag. Auf dieser Seite findet man div. Links zum Thema u.a. zu pgTAP und PGUnit. Das PDF-Dokument vom Vortrag gibt es hier.
PostgreSQL on Vimeo - Aktuell über 34 Videos über das Thema Postgres gibt es bei Vimeo anzuschauen. U.a. finden sich hier Vorträge der PgCon-Konferenz wie z.B. PostgreSQL HA mit Linux and DRBD.
PostgreSQL Experts - Hier findet man u.a. das Performance Whack-a-Mole Tutorial (pgCon 2009) PDF (download). Letzteres sollte man unbedingt gelesen haben. Dieses 109 seitige PDF ist wirklich interessant.
PostgreSQL Lightning Talks pgCon 2009 (ca. 2 Std. Video und Slideshow).
Erstellt am 10:00PM Mai 30, 2009 in Links | Permalink Kommentare[0]
Links 20090508 - Fraktale, Eclipse Plugin, Python Lib, Desktop, Linux BIOS, KDE4 Apps, KVM, freiesMagazin
qosmic - A cosmic recursive flame fractal editor - Damit kann man flam3-Fractal Bilder erstellen und rendern lassen. Machen schon was her die Dinger ;-)
New Eclipse Plugin Adds Cloud Hosting for Java, PHP and Rails Applications
itools - Eine Bibliothek für Python die eine ganze Reihe an Funktionen für Internationalisierung (i18n), XML, CSV, Virtual Filesystem und OpenDocument zur Verfügung stellt.
Firefox Extension Desktop - Dieses Plugin ist noch experimental - Aber ziemlich praktisch. Mit CTRL-T öffnet man wie gewohnt einen neuen Tab. Auf dieser - normalerweise leeren - Fläche kann man jetzt Webseiten bzw. Screenshots davon platzieren, die man oft braucht. Ein Klick drauf und schon ist die Seite da. Trotz Alpha-Status läuft das Plugin bei mir einwandfrei.
First Graphics Game Written On/For a 16-Bit Home PC
MapReduce vs. Parallel DBs
Flashing Your Motherboard BIOS From The Linux Desktop
Top 10 KDE4 Applikationen
freiesMagazin Mai 2009 erschienen - U.a. mit dem Thema: Virtualisierung im Allgemeinen und KVM unter Proxmox VE im Speziellen
Erstellt am 10:00PM Mai 08, 2009 in Links | Permalink Kommentare[0]
Links 20090409 - Radio CSS Posfix Courier DRBD MySQL Redundanz Backup Buecher Performancemessung HTTP
KRadio4 - Das Programm für KDE4 unterstützt Internet- und AM/FM-Stationen, die per V4L/V4L2 von einer Radio-Karte kommen. Weiterhin wird LIRC und RDS unterstützt.
cssutils - CSS Cascading Style Sheets parser and library for Python
Virtual Users und Domains mit Postfix, Courier, MySQL und SquirrelMail (Debian Lenny)
Use DRBD to Provide Rock-Solid MySQL Redundancy - Gut... MySQL jetzt "Rock-Solid" zu nennen, ist vielleicht etwas übertrieben ;-) Aber DRBD ist wirklich eine tolle und zuverlässige Sache. Ich hoffe, das die Jungs das mit 2.6.30 in den Kernel bekommen.
Provide Robust Clustered Storage with Linux and GFS
Install Bacula for Open Source Backups - Ich bin ja mehr ein Fan von Backuppc, aber Bacula hat sicherlich auch seine Berechtigung.
Configure Bacula for Open Source Backups
20 of the Best Free Linux Books
PostgreSQL Code Snippets - Hier findet man div. Skripte für Postgres im PostgreSQL Wiki, u.a. um raus zu finden, wieviel Speicher div. Tabellen auf der Platte belegen, Zeit- und Datumskonvertierung, EMail-Parsing, usw.
TikiWiki - TikiWiki ist so ziemlich alles, was man von einer Groupware/Content Management System (CMS) so erwartet. Es hat eigentlich alles, was man man für eine Social-Site braucht vom Wiki, Blogs, über Photoalben bis zu Foren.
Pylot: Web Performance Tool - Ein Tools ähnlich zu Apaches Jmeter mit dem man Last auf Webservern erzeugen kann. Jmeter ist allerdings wesenlich umfangreicher.
Xpra - Xpra ist screen für X. Man kann sich damit mit einem Host verbinden, ein X-Programm starten, die Verbindung unterbrechen und später die Verbindung wieder an der Stelle vorführen, wo man aufgehört hat.
Paver is a Python-based software project scripting tool - Ähnlich wie make oder rake.
Erstellt am 10:00PM Apr 09, 2009 in Links | Permalink Kommentare[0]
PostgreSQL - Warm-Standby Datenbank Recovery
Nachdem ich ja kürzlich beschrieben habe, wie man eine Warm-Standby Datenbank mit PostgreSQL einrichtet, hier nun der Teil wie man die Standby Datenbank in Betrieb nimmt, wenn die primäre Datenbank ausgefallen ist.
Gehen wir mal davon aus, das der Rechner mit der primären Datenbank ausgefallen ist und die Standby Datenbank soll übernehmen. Die Slave-DB (Standby) hängt der Master-DB 60 Sek. hinterher. Es fallen also auf jeden Fall alle Transaktionen unterm Tisch, die in den letzten 60 Sek. gelaufen und nicht abgeschlossen wurden!
Die Slave-DB befindet sich ja im Dauerrecoverymodus und spielt laufend die Transaktionslogs ein, die von der Master-DB rübergeschoben werden. Um die DB aus dem Recoverymodus zu bringen, wurde in /data/pgsql/data/$DBNAME/recovery.conf ein Trigger festgelegt im recovery_command und der sieht so aus: -t /tmp/pgsql.fin.$DBNAME ($DBNAME wie immer im vorhergehenden Artikel schon beschrieben durch den Instanznamen ersetzen).
D.h. wenn wir jetzt als User postgres(!) per touch /tmp/pgsql.fin.$DBNAME diesen Trigger anlegen, beendet das pg_standby Programm den Recovery-Modus und fährt die DB hoch. Das kann eine Weile dauern, bis die Transaktionslogs nachgefahren wurden. Am Besten beobachtet man dabei das Postgres-Logfile. Die Ausgabe sieht dann in etwa so aus:
LOG: could not open file "pg_xlog/000000010000003F000000A3"
(log file 63, segment 163): No such file or directory
LOG: redo done at 3F/A2007F80
LOG: last completed transaction was at log time 2009-03-03 14:23:30.134095+01
LOG: restored log file "000000010000003F000000A2" from archive
LOG: selected new timeline ID: 2
LOG: archive recovery complete
LOG: checkpoint starting: shutdown immediate
LOG: checkpoint complete: wrote 10 buffers (0.0%); 0 transaction log
file(s) added, 0 removed, 0 recycled; write=0.015 s, sync=0.001s, total=0.092 s
DEBUG: transaction ID wrap limit is 2147484026, limited by database "template1"
LOG: database system is ready to accept connections
LOG: autovacuum launcher started
Die Meldung could not open file ... ist ok. Die Slave-DB hätte jetzt eigentlich das nächste Transaktionslog erwartet. Aber da die Master-DB das noch nicht geliefert hat, ist auch keines da und die DB macht einen Rollback auf das letzte Log 000000010000003F000000A2. Das Recovery selbst kann auch nochmal etwas dauern (ca. 1-2 Min.). Wenn database system is ready to accept connections im Log erscheint, ist die DB oben - aber noch nicht erreichbar über eine IP-Adresse.
Da in der Slave-DB in der postgresql.conf die listen_addresses vermutlich nur auf localhost stehen, kann man die DB auch nur vom DB-Rechner selbst aus erreichen. Man muss also nun erstmal ein Interface hochziehen, das die gleiche IP hat wie die Master-DB hatte (aber auch nur wenn der Master-Rechner wirklich nicht mehr am Netz hängt) und dann den Eintrag in der postgresql.conf entsprechend abändern. Dann die DB durchstarten und das war's dann eigentlich.
Sollte die DB auf dem Rechner bleiben, muss natürlich das Backup-Skript nachgezogen werden und was man sonst noch so Adimistratives braucht.
Nicht unerwähnt bleiben soll, das man diese Standby-Sache hier natürlich auch automatisieren kann und mittels Heartbeat dafür sorgen kann, das der Failover automatisch stattfindet, wenn die Master-DB ausfallen sollte. Aber das ist ein anderes Kapitel ;-)
Erstellt am 07:51AM Mrz 10, 2009 in Tipps | Permalink Kommentare[0]
PostgreSQL: Query Logging
Um Queries nur von einer Datenbank zu loggen, kann man folgendes Kommando ausführen:
ALTER <databasename> SET log_statement = 'all';
Erstellt am 02:53PM Jan 23, 2009 in Tipps | Permalink Kommentare[0]
Today's Links
.kkapture is a small tool that produces video+audio captures of fullscreen apps (usually demos) - Nettes Tool um Videos von Demos zu erzeugen
BitJam - Neben Slayradio.org und Scenemusic.eu ein weiteres Sceneradio.
Anatomy of the Linux slab allocator
SchemaCrawler - Ein Kommandozeilentool für Datenbanken um das Datenbankschema und - daten lesbarer Form auszugeben und damit besser vergleichbar machen zu können
A history of the Amiga, part 1: Genesis
A history of the Amiga, part 2: The birth of Amiga
Orion Nebula Fly-Through - Diese Seite beinhaltet ein wunderschönes Video mit einem Flug durch den Orion-Nebel. Wirklich wunderschön!
Copy hard disk or partition image to another system using a network and netcat (nc) - Wie man eine ganze Festplatte oder Partition über ein Netzwerk kopiert
Blueprint is a CSS framework, which aims to cut down on your CSS development time.
Free Software Sticker Book - Jetzt kann man endlich die ganzen Microsoft-Aufkleber vom Computer entfernen ;-)
Hacking with PostgreSQL - Wie man sich über Postgres Zugriff auf die Shell verschafft, wenn man keinen Shell-Zugang hat...
Technorati Tags: kkapture, bitjam, scene, radio, linux, slab, schemacrawler, database, amiga, history, orion, astronomie, video, netcat, partition, harddisk, blueprint, css
Erstellt am 08:38PM Aug 28, 2007 in Links | Permalink Kommentare[0]