Links 20100619 - GoogleCL, Zetaback
GoogleCL - Google bringt mit GoogleCL seine Services auf die Kommandozeile. Damit lassen sich z.B. Videos auf Youtube hochladen, auf Blogger.com posten, usw.
Zetaback ZFS backup and recovery management system - Wer ein Backupprogramm für OpenSolaris und ZFS sucht, könnte hier fündig werden. Das Ganze arbeitet erheblich schneller als rsync.
Giggle - Eine GTK GUI für Git.
Erstellt am 12:05AM Jun 20, 2010 in Links | Permalink Kommentare[0]
Links 20100504 - Nutch, HBase, Tika, Traffic Server
Nutch ist eine Suchmaschine basierend auf Apache Lucene. Damit lässt sich relativ einfach und schnell eine eigene Suchmaschine aufbauen.
Apache Cassandra - Von Facebook 2008 als OpenSource-Projekt eingebracht, erhält man eine verteilte, hochverfügbare Datenbank die nach Google's BigTable Prinzip arbeitet.
HBase ist eine Hadoop Datenbank. Damit kann man sehr große Tabellen verwalten auf einfacher Hardware.
Apache Tika - Mit Hilfe von Tika kann man Metadaten erkennen und erzeugen. D.h. es gibt eine ganze Reihe von Parsern, die verschiedene Formate von Dateien (HTML, XML, PDF, DOC, usw.) erkennen und Metainformationen extrahieren können.
Traffic Server ist ein schneller, skalierbarer und erweiterbarer HTTP/1.1 Caching Proxy, der von Yahoo entwickelt wurde. Er kann durch eigene Plugins erweitert werden.
Erstellt am 12:16AM Mai 06, 2010 in Links | Permalink Kommentare[0]
Links 20091022 - Seiten übersetzen, Videovorschau, Linux und Retro Games
Google übersetzt komplette Webseiten online - Mit einem kleinen Skript, das mit der Sprache der Webseite parametrisiert wird, prüft Google, ob der ankommende Browser die gleiche Sprache "spricht". Wenn nicht, wird eine kleine Übersetzung eingeblendet.
SlickSlice - Dieses Bash-Skript erstellt mit Hilfe vom Mplayer und ImageMagick Thumbnails bzw. ein Vorschaubild eines Videos.
movie thumbnailer (mtn) - Wie SlickSlice erstellt mtm mit Hilfe vom ffmpeg Bildserien und Vorschauen von Videos.
Neverball - Wer Marble Madness noch vom Amiga kennt und geliebt hat, dem wird auch dieses Spiel gefallen. Es läuft unter Linux, Windows und Mac OS X.
Gebabbel - Ein Bubble Bobble Clon aus Schweden für den C64 bzw. einen C64 Emulator.
Erstellt am 09:40PM Okt 22, 2009 in Links | Permalink Kommentare[0]
Links 20091005 - NFSv4, ffmpeg GUI, Videoeditor, KDE, Eclipse
Linux NFS Overview, FAQ and HOWTO Documents
NFSv4 unter Linux - Version 4 des NFS in Linux-Distributionen einrichten
Kontinuierliche Code-Reviews mit Subversion und Eclipse
traGtor: GUI for ffmpeg - Wem die ffmpeg Optionen auf der Kommandozeile zu viel sind, der findet hier eine gute Benutzeroberfläche.
Introducing timechart - Arjan van de Ven hat hier ein Tool gebaut, das u.a. auch für Systemadmins interessant ist. Damit kann man gut sehen, was den im System so abgeht und wo Zeit und auch Engerie (für Laptops) verschwendet wird.
PiTiVi - Ein in Python geschriebener OpenSource Videoeditor für Linux basierend auf dem GStreamer multimedia framework, der sehr vielversprechend aussieht.
What I Did On My Summer Holiday - Lydia Pintscher berichtet über alle KDE Projekte, die im Laufe des Google Summer of Code in entstanden oder weiterentwickelt worden sind und das waren ziemlich viele :-) Vieles davon wird in KDE 4.4 Einzug halten.
Erstellt am 07:59AM Okt 05, 2009 in Links | Permalink Kommentare[0]
Links 20090923 - LiVES, Mixxx, PgFincore
It LiVES! Video Editing For FOSS Movie Makers - Ein Artikel über den Linux Videoeditor LiVES der kürzlich in Version 1.0 erschienen ist.
The LiVES Video Editor and VJ Tool Turns 1.0 - Ein weiterer Artikel über LiVES als VJ Tool.
Mixxx - OpenSource DJ Software für Linux.
PgFincore - Ein ganz interessantes PostgreSQL Modul mit dem man feststellen kann, ob eine Tabelle oder Index schon im Betriebssystemcache ist oder nicht.
Erstellt am 10:00PM Sep 23, 2009 in Links | Permalink Kommentare[0]
Links Special - Verteilte Dateisysteme, Distributed Filesystems
Ich habe mich jetzt schon seit Wochen und Monaten umgesehen, um mal rauszufinden, welche verteilten Filesysteme (FS) es so gibt, welche Erfahrungen die User damit so haben und wie einfach sie zu installieren bzw. zu betreiben sind. Diese FS haben alle teilweise völlig unterschiedliche Einsatzgebiete, für die sie geeignet sind. Meine Ansprüche an so ein System waren: Läuft unter Linux, einfache Installation/Update und Wartung, eventl. für FUSE (filesystem in user space) verfügbar (soweit überhaupt nötig) bzw. direkt als Filesystem mountbar und soll einfach nur Dateien auf 10-20 Rechnern möglichst schnell zur Verfügung stellen. Bisher habe ich zu dem Thema verteilte Filesysteme folgendes Filesystem bzw. Informationen gefunden (kleine Übersicht):
GlusterFS - Man nehme ein paar Server, behandle sie wie Festplatten, erstelle daraus ein Raid (über Rechner hinweg soz.) und schon hat man ein verteiltes Filesystem ;-) Egal was ich über dieses FS gelesen habe, es war immer nur Gutes. Es gibt auch einen Gentoo-Ebuild zum downloaden.
LustreFS - Wird von SUN weiterentwickelt. Gibt es als OpenSource und mit kommerzieller Lizenz.
IBM General Parallel File System - Gibt es nur kommerziell, soll aber ganz gut funktionieren, was man so hört.
Sector-Sphere - Vergleichbar am ehesten mit Google's GFS/MapReduce Stack. Ein noch junges Produkt. Kann per FUSE als Filesystem gemountet werden. Release 2.0 soll dann für den produktiven Einsatz sein und wird im 2 Halbjahr 2009 erwartet. Noch relativ jung.
ChironFS: A filesystem must go on, even if it is hurt - Ein gutes Motto und hört sich auch sonst alles vernünftig an, aber seit 2008 leider kein neuer Release mehr.
PVFS (Parallel Virtual File System) - PVFS brings state-of-the-art parallel I/O concepts to production parallel systems. It is designed to scale to petabytes of storage and provide access rates at 100s of GB/s.
GFS on Gentoo - Erklärt, wie man das Filesystem von Redhat unter Gentoo installiert. Von GFS liest man sehr gemischte Meinungen. Scheint von der Performance her nicht so der Hit zu sein.
Cassandra Project - Weniger ein Filesystem als mehr ein verteilter Key/Value Store. Wurde 2008 von Facebook als OpenSource veröffentlicht und ist jetzt bei der Apache Foundation beheimatet.
Hadoop Distributed File System - Da Hadoop als Backend dahinter hängt, ist es eigentlich mehr für's Verteilen von Daten und zur Anbindung an Sprachen wie Java & Co. gedacht. Kann aber auch per FUSE ins Filesystem eingebunden werden (ist allerdings noch nicht 100% fertig und ausgereift).
MoglieFS - Kommt von den Leuten, die auch memcached gebaut haben. Es ist auch mehr für's Verteilen von Daten/Dateien über Java/PHP/Perl/Python-API's gedacht. Wer also Dateien nicht unbedingt über's Filesystem zugreifbar braucht sondern nur von einer Applikation aus, der könnte hier sein Glück versuchen.
POHMELFS (Parallel Optimized Host Message Exchange Layered File System) - Ein paralleles Netzwerkfilesystem das gleichzeitig von mehreren Rechnern lesen kann und Daten in verschiedene Hosts schreiben kann.
CloudStore (früher Kosmos File System (KFS)) - Baut auf den Ideen von Google's Google Filesystem auf. Als Haupteinsatzgebiet wird hier das Speichern von Webserverlogs und Crawlerdaten gesehen.
Ceph - Für die Skalierbarkeit von Gigabytes bis zu Petabytes gebaut. Noch relativ jung.
Nach allem, was ich jetzt so gelesen habe, habe ich mich für GlusterFS entschieden und auch die ersten Testläufe gemacht. Was ich bisher sagen kann: Um die gleichen Dateien verschiedenen Hosts ohne Single Point of Failure zur Verfügung zustellen oder Daten auf div. Hosts zu replizieren, eignet sich GlusterFS sehr gut. Mehr dazu dann später...
Mehr zu dem Thema:
Wikipedia - List of file systems - Sehr gute Übersicht!
Distributed Parallel Fault Tolerant File System Wanted - Ein Blogeintrag von Jeremy Zawodny der seine Leser nach dem besten verteilten Dateisystem befragt.
Erstellt am 10:00PM Sep 13, 2009 in Links | Permalink Kommentare[0]
Links 20090831 - Bootloader, Systemadministraton, Apache, Verschlüsselung, Quelltext
gPXE - Ein Netzwerk-Bootloader. Dient als Ersatz der PXE ROMs und unterstützt u.a. DNS, HTTP, iSCSI, usw.
Linux Layer 8 Puppet - Kleine Übersicht zum Systemadmin-Tool Puppet. Das Teil ist echt genial, um Systemtasks zu automatisieren z.B. um SSH-Keys zu verteilen, User einzurichten, usw. - ähnlich wie CFEngine aber viel einfacher zu installieren und auch sehr mächtig.
Encryption with TrueCrypt - Ein kleine Einführung in TrueCrypt dem Festplattenverschlüsseler.
Real World Cases For Apache's mod_rewrite - Ein paar praktische mod_rewrite Beispiele.
Snipplr - Ein Quellcode Verzeichnis das viele kleine Codeschnipsel aus den Bereichen JavaScript, HTML, PHP, CSS, Ruby und Objective C bereithält.
Erstellt am 07:57AM Sep 01, 2009 in Links | Permalink Kommentare[0]
Links 20090812 - pgstat, Wikibooks, Videokonvertierung, Java Dump Analyzer, Linux IO
pgstat - Ein Tools wie sar oder vmstat aber eben nicht für's Betriebssystem sondern für PostgreSQL.
Wikibooks: Die freie Bibliothek - Wikibooks ist eine Bibliothek mit Lehr-, Sach- und Fachbüchern. Jeder kann und darf diese Bücher frei nutzen und bearbeiten. Unsere Lehrbücher spiegeln bereits gesichertes Wissen wider, das heißt die hier vermittelten Kenntnisse sind in ähnlicher Form in anderen tatsächlich publizierten Werken des jeweiligen Fachs bereits dargestellt.
Transmageddon and Arista pursue simple transcoding - Ein ganz guter Artikel über div. Möglichkeiten und Programme zur Videokonvertierung unter Linux.
Which I/O controller is the fairest of them all? - Manchmal in der Tat eine gute Frage... ;-)
How to Diagnose Java Resource Starvation? - Hier geht's um den IBM Thread & Monitor Dump Analyzer für Java.
Erstellt am 10:00PM Aug 12, 2009 in Links | Permalink Kommentare[0]
Links 20090810 - PostgreSQL Replikation, Linux Games, Youtube
Sommertreffen der Demo-Scene - Ein Artikel bei heise über die Evoke 2009
Creating Convincing Images with Blender Internal Renderer - Part 1 / Part 2 - Ein kleines Blender Tutorial
live.linuX-gamers.net - Spielen unter Linux? Diese Live-DVD (8.5 GB) hat alles dabei.
Wen schon immer mal interessiert hat, wie die Serverfarm hinter Wikipedia aussieht, findet hier entsprechende Diagramme.
Testing PostgreSQL replication solutions: Slony-I - Ein gute Anleitung wie man Slony-I für Postgres installiert.
rubyrep - Wie der Name schon sagt, eine neue Möglichkeit MySQL- und PostgreSQL-Datenbanken zu replizieren. Hier liegt der Fokus auf einer möglichst einfachen Installation und einfacher Betrieb.
Basket Note Pads - Wer einen Notizblock für KDE sucht, der sollte mal BasKet anschauen. Man kann hier alle möglichen Texte, Bilder, usw speichern und das Ganze dann z.B. als HTML-Seite ausgeben.
clive is a command line video extraction utility for Youtube and other video-sharing websites - Wer Videos von Youtube & Co. von der Kommandozeile aus runterziehen will, kann das hiermit mal versuchen.
Erstellt am 10:00PM Aug 10, 2009 in Links | Permalink Kommentare[0]
Links 20090809 - Amiga, Breakpoint
Recorded Amiga Games - Hier kann man sich Filme anguggen von Leuten, die Amiga Games durchspielen bzw. es versuchen ;-)
BitJam Podcast - Hardread und BitFellas bringen in ihrem Podcast den besten Sound und Remixes aus der guten, alten Amiga-Zeit zurück.
Lieber spät als nie ;-) Die Demoparty Breakpoint 2009 fand zwar schon im April statt, aber der Liveauftritt von Xerxes, Bendik und Romeo Knight kam erst recht spät als Download dazu. Darum hier downloaden.
Erstellt am 12:01AM Aug 10, 2009 in Links | Permalink Kommentare[0]
Links 20090713 - Python, Django, MySQL, Pinax, CouchDB
Open Web Tools Directory - Eine Seite für Webentwickler auf der div. Entwicklungstools bzw. deren Webseiten etwas aussergewöhnlich dargestellt werden und ein Beweis, das man dafür nicht unbedingt Flash braucht.
mysqlreport - Ein wichtiges Tool für MySQL Admins. Es wertet div. Status Variablen aus und kann so z.B. Cache/Hit-Ratios für den Buffercache usw. berechnen. Damit bekommt man sehr schnell einen Überblick, ob Variablen event. falsch eingestellt sind.
CouchDB - CouchDB ist keine relationale DB sondern speicher einfach nur Dokumente auf die per RESTful HTTP API zugegriffen wird. Die DB kann auch über mehrere Rechner repliziert werden.
Pinax - Pinax baut auf dem Python Framework Django auf und stellt div. Applikationen zur Verfügung. Ursprünglich für eine Social Network Site entwickelt, enthält es entsprechend viele Apps aus dem Bereich. Siehe dazu auch: Create a new social networking site in few hours using pinax platform (django)
Ein Django Fan oder warum Django benutzen: One Laptop Battery Later And I'm A Django Fan
Erstellt am 10:00PM Jul 13, 2009 in Links | Permalink Kommentare[0]
Links 20090607 - Amazon EC2 und S3, Karesansui
Karesansui Project - Eine OpenSource Virtualization Management Applikation basierend auf Xen und CentOS 5.3. Das Ganze kann man über den Webbrowser bedienen.
SkyNet Lives! (aka EC2 @ SmugMug) - Der Artikel ist noch vom letzten Jahr, aber trotzdem interessant. Das zeigt doch ganz gut, was mit Amazons Cloud (EC2 und S3 Storage) möglich ist.
Erstellt am 10:00PM Jun 07, 2009 in Links | Permalink Kommentare[0]
Links 20090606 - openID, Content Analysis, Bug Tracker, Netzstatistik
Identity Management: Authentifizierungsdienste mit OpenID
Einführung in die OpenID-Java-Bibliothek openid4java
Apache Tika: Content Analysis Toolkit - Das ist ein ganz interessantes Unterprojekt von Apache Lucene. Man kann damit aus vielen Formaten (z.B. die Microsoft Office Dokument, MP3, Wave, gz, zip, HTML, div. Bilderformate, OpenDocument, RTF, PDF, usw.) entweder Metainformationen extrahieren oder die Dokumente in strukturierte Formate wie XML, usw bringen. Ganz praktisch für eine eigene Suchmaschine ;-)
Roundup Issue Tracker - Bug Tracking und TODO Management inkl. Kommandozeilen-, Web- und EMail-Interfaces.
darkstat - Ein weiteres Stat-Utility mit dem man Netzwerktraffic und Statistiken messen kann und Reports dann über HTTP anguggen kann. Ähnlich ntop.
Erstellt am 10:18PM Jun 06, 2009 in Links | Permalink Kommentare[0]
Links 20090530 - PostgreSQL, Database Unit Tests und VCS, Trainingsvideos
Post Facto: Version Control System (VCS) for PostgreSQL: Nachdem CVS oder Subversion in der Programmierwelt ja schon lange existieren. Post Facto wiederum protokolliert Schemaänderungen in einer Datenbank in Form von SQL-Dateien.
Unit Test Your Database - Und wenn wir schon bei VCS bei Datenbanken sind, warum nicht auch noch Unit Tests für die DB schreiben? Dazu gab es auf der PostgreSQL Conference 09 eine Vortrag. Auf dieser Seite findet man div. Links zum Thema u.a. zu pgTAP und PGUnit. Das PDF-Dokument vom Vortrag gibt es hier.
PostgreSQL on Vimeo - Aktuell über 34 Videos über das Thema Postgres gibt es bei Vimeo anzuschauen. U.a. finden sich hier Vorträge der PgCon-Konferenz wie z.B. PostgreSQL HA mit Linux and DRBD.
PostgreSQL Experts - Hier findet man u.a. das Performance Whack-a-Mole Tutorial (pgCon 2009) PDF (download). Letzteres sollte man unbedingt gelesen haben. Dieses 109 seitige PDF ist wirklich interessant.
PostgreSQL Lightning Talks pgCon 2009 (ca. 2 Std. Video und Slideshow).
Erstellt am 10:00PM Mai 30, 2009 in Links | Permalink Kommentare[0]
Links 20090529 - Firefox, openresolv, postgresqlfs
Lifehacker: Top 10 Must-Have Firefox Extensions, 2009 Edition
openresolv: the DNS management framework - Das ist eine recht praktische Sache, wenn man verschiedene DNS-Server verwendet. Die /etc/resolv.conf ist ja normalerweise recht statisch. So kann es aber eventl. notwendig sein, das man für das VPN, Wireless, Ethernet oder andere Subnetze andere DNS-Server ansprechen möchte. Mit openresolv ist das machbar.
postgresqlfs: FUSE driver to access PostgreSQL databases as a file system - Peter Eisentraut hat ein etwas ungewöhnliches Filesystem entwickelt ;-)
Erstellt am 10:00PM Mai 29, 2009 in Links | Permalink Kommentare[0]