Links 20110106 - Ganeti KVM Cluster, ngene CI Patch
Ganeti - Cluster virtual server management software tool: Baut auf KVM oder XEN auf. Ganeti übernimmt das Management von viruellen Instanzen, Plattenmanagement (LVM, Files, DRBD), Betriebssysteminstallation der VMs, Startup, Shutdown und Failover inkl. Live-Migration.
Ganeti Cluster mit Gentoo installieren
ngene Treiber installieren incl. CI Patch - Der ngene-Treiber wird u.a. für die DVB-Karten Mystique SaTiX-S2 Dual, Digital Devices DuoFlex S2, usw. verwendet. Leider funktioniert das Ganze CAM-Zeug trotz CI Patch aber nicht mit VDR. Dazu müsste jemand den VDR anpassen. Ich fürchte, das wird wohl auch nicht so schnell passieren...
Posted at 01:18vorm. Jan. 08, 2011 by cetixx in Links | Kommentare [0]
Links 20101220 - Autokommentierung bei vim, rss2mail
Disable auto-comment when editing C/C++ files
rss2email - A free, open-source tool for Windows and UNIX for getting news from RSS feeds in email
Posted at 12:07nachm. Dez. 20, 2010 by cetixx in Links | Kommentare [0]
Links 20101124 - Links
HOWTO Find broken symbolic links - Div. Möglichkeiten, wie man Softlinks findet, deren Ziel nicht mehr existiert.
Posted at 10:19vorm. Nov. 24, 2010 by cetixx in Links | Kommentare [0]
Links 20101112 - Rygel, Neue PostgreSQL Buecher
Rygel - Eine Sammlung von DLNA (UPnP AV) Services. Damit kann man dann die ganzen DLNA bzw. UPnP Fernseher, Radios, usw. auch von Linux aus mit Multimedia versorgen.
Zwei neue, interessante PostgreSQL 9.0 Bücher sind erschienen von Simon Riggs und Hannu Krosing bzw. Gregory Smith:
PostgreSQL 9 Administration Cookbook
PostgreSQL 9.0 High Performance
Posted at 08:42vorm. Nov. 12, 2010 by cetixx in Links | Kommentare [0]
Links 20101019 - Ceph, Maatkit
Building a Small Ceph Cluster - Hier wird beschrieben, wie man das verteilte Dateisystem Ceph installiert, das ich kürzlich beschrieben hatte. Ist alles noch relativ neu und erstmal zum Testen gedacht.
Ceph: A Linux petabyte-scale distributed file system - Ein Artikel zum Ceph Filesystem bei IBM developerWorks.
Maatkit - Ein Toolkit hauptsächlich für MySQL. Hier finden sich sehr nützliche Helferskripte wie mk-table-sync, mk-query-advisor, usw.
Posted at 10:04vorm. Okt. 19, 2010 by cetixx in Links | Kommentare [0]
Links 20100930 - OpenFlow, vSwitch, Ceph/rdb, Sheepdog
Open vSwitch ist ein virtueller Multilayer Switch. Er ist also ein Stück Software. Er ist besonders für virtuelle Umgebungen gedacht im Umfeld von KVM, XEN, usw. Unterstützt wird u.a auch Netflow und Ethernet over GRE tunneling.
Ceph - Ceph ist ein verteiltes Filesystem, das noch in der Entwicklung ist, aber schon im Linux Kernel angelangt ist und über mehere Petabyte auf Commodity Hardware läuft. Interessant im KVM Umfeld ist insbesondere Ceph/rbd. Hiermit kann man ein VM Blockdevice im Ceph Objectstore anlegen und verteilen. Damit braucht man dann z.B. keinen NFS-Server mehr, um VMs einfach von Maschine zu Maschine migrieren zu können, da die Blöcke des Blockdevices ohnehin schon verteilt sind. Wie man das jetzt schon testen kann, kann man hier nachlesen. Einzug in Qemu/KVM wird das Ganze vermutlich in Version 0.13.0. Sheepdog ist ebenfalls ein Projekt, das verteilten Storage für KVM Images anbietet.
Posted at 11:17vorm. Sep. 30, 2010 by cetixx in Links | Kommentare [0]
Links 20100914
LogicMonitor - Wer sich nicht selbst mit Monitoring seiner Server, Datenbanken, usw. auseinandersetzen möchte, kann sich mal diese Seite anschauen.
Perlbal - Ein in Perl geschriebener Reverse Proxy ähnlich Varnish der z.B. bei LiveJournal.com eingesetzt wird.
PivotalTracker - Ein agiles Projekt Management Tool.
Scaling an AWS infrastructure: Tools and Patterns - Ein absolutes must read wer größere Installationen in der Amazon Cloud plant!
MySQL on Amazon benchmarks : RDS vs EC2 - Dieser Artikel vergleicht die Performance einer eigenen MySQL-Installation auf einer EC2 Instanz mit dem Relational Data Service, den Amazon auch anbietet. Das Ergebnis ist relativ beeindruckend - 270% mehr Performance, wenn man MySQL 5.1 selbst installiert...
Capistrano - Macht das Leben eines Sysadmins einfacher durch Automatisierung und spart einige Logins am Tag ;-) Wird oft auch für Ruby on Rails verwendet.
UNIX and Linux System Administration Handbook - Wenn es einen Klassiker der Unix Literatur gibt dann diesen. Jetzt in der vierten Auflage:
Posted at 10:18vorm. Sep. 14, 2010 by cetixx in Links | Kommentare [0]
Links 20100619 - GoogleCL, Zetaback
GoogleCL - Google bringt mit GoogleCL seine Services auf die Kommandozeile. Damit lassen sich z.B. Videos auf Youtube hochladen, auf Blogger.com posten, usw.
Zetaback ZFS backup and recovery management system - Wer ein Backupprogramm für OpenSolaris und ZFS sucht, könnte hier fündig werden. Das Ganze arbeitet erheblich schneller als rsync.
Giggle - Eine GTK GUI für Git.
Posted at 02:05vorm. Juni 20, 2010 by cetixx in Links | Kommentare [0]
Links 20100504 - Nutch, HBase, Tika, Traffic Server
Nutch ist eine Suchmaschine basierend auf Apache Solr (früher Lucene). Damit lässt sich relativ einfach und schnell eine eigene Suchmaschine aufbauen. Nutch fügt Solr noch webspezifische Eigenschaften wie Crawler, Link-Graph Datenbank und Interpretierung von div. Datenformaten (.doc, .xls, .html, .pdf, usw.) hinzu. Für Letzteres ist Apache Tika zuständig.
Apache Cassandra - Von Facebook 2008 als OpenSource-Projekt eingebracht, erhält man eine verteilte, hochverfügbare Datenbank die nach Google's BigTable Prinzip arbeitet.
HBase ist eine Hadoop Datenbank. Damit kann man sehr große Tabellen verwalten auf einfacher Hardware.
Apache Tika - Mit Hilfe von Tika kann man Metadaten erkennen und erzeugen. D.h. es gibt eine ganze Reihe von Parsern, die verschiedene Formate von Dateien (HTML, XML, PDF, DOC, usw.) erkennen und Metainformationen extrahieren können.
Traffic Server ist ein schneller, skalierbarer und erweiterbarer HTTP/1.1 Caching Proxy, der von Yahoo entwickelt wurde. Er kann durch eigene Plugins erweitert werden.
Posted at 02:16vorm. Mai 06, 2010 by cetixx in Links | Kommentare [0]
Links 20091022 - Seiten übersetzen, Videovorschau, Linux und Retro Games
Google übersetzt komplette Webseiten online - Mit einem kleinen Skript, das mit der Sprache der Webseite parametrisiert wird, prüft Google, ob der ankommende Browser die gleiche Sprache "spricht". Wenn nicht, wird eine kleine Übersetzung eingeblendet.
SlickSlice - Dieses Bash-Skript erstellt mit Hilfe vom Mplayer und ImageMagick Thumbnails bzw. ein Vorschaubild eines Videos.
movie thumbnailer (mtn) - Wie SlickSlice erstellt mtm mit Hilfe vom ffmpeg Bildserien und Vorschauen von Videos.
Neverball - Wer Marble Madness noch vom Amiga kennt und geliebt hat, dem wird auch dieses Spiel gefallen. Es läuft unter Linux, Windows und Mac OS X.
Gebabbel - Ein Bubble Bobble Clon aus Schweden für den C64 bzw. einen C64 Emulator.
Posted at 11:40nachm. Okt. 22, 2009 by cetixx in Links | Kommentare [0]
Links 20091005 - NFSv4, ffmpeg GUI, Videoeditor, KDE, Eclipse
Linux NFS Overview, FAQ and HOWTO Documents
NFSv4 unter Linux - Version 4 des NFS in Linux-Distributionen einrichten
Kontinuierliche Code-Reviews mit Subversion und Eclipse
Introducing timechart - Arjan van de Ven hat hier ein Tool gebaut, das u.a. auch für Systemadmins interessant ist. Damit kann man gut sehen, was den im System so abgeht und wo Zeit und auch Engerie (für Laptops) verschwendet wird.
PiTiVi - Ein in Python geschriebener OpenSource Videoeditor für Linux basierend auf dem GStreamer multimedia framework, der sehr vielversprechend aussieht.
What I Did On My Summer Holiday - Lydia Pintscher berichtet über alle KDE Projekte, die im Laufe des Google Summer of Code in entstanden oder weiterentwickelt worden sind und das waren ziemlich viele :-) Vieles davon wird in KDE 4.4 Einzug halten.
Posted at 09:59vorm. Okt. 05, 2009 by cetixx in Links | Kommentare [0]
Links 20090923 - LiVES, Mixxx, PgFincore
It LiVES! Video Editing For FOSS Movie Makers - Ein Artikel über den Linux Videoeditor LiVES der kürzlich in Version 1.0 erschienen ist.
The LiVES Video Editor and VJ Tool Turns 1.0 - Ein weiterer Artikel über LiVES als VJ Tool.
Mixxx - OpenSource DJ Software für Linux.
PgFincore - Ein ganz interessantes PostgreSQL Modul mit dem man feststellen kann, ob eine Tabelle oder Index schon im Betriebssystemcache ist oder nicht.
Posted at 12:00vorm. Sep. 24, 2009 by cetixx in Links | Kommentare [0]
Links Special - Verteilte Dateisysteme, Distributed Filesystems
Ich habe mich jetzt schon seit Wochen und Monaten umgesehen, um mal rauszufinden, welche verteilten Filesysteme (FS) es so gibt, welche Erfahrungen die User damit so haben und wie einfach sie zu installieren bzw. zu betreiben sind. Diese FS haben alle teilweise völlig unterschiedliche Einsatzgebiete, für die sie geeignet sind. Meine Ansprüche an so ein System waren: Läuft unter Linux, einfache Installation/Update und Wartung, eventl. für FUSE (filesystem in user space) verfügbar (soweit überhaupt nötig) bzw. direkt als Filesystem mountbar und soll einfach nur Dateien auf 10-20 Rechnern möglichst schnell zur Verfügung stellen. Bisher habe ich zu dem Thema verteilte Filesysteme folgendes Filesystem bzw. Informationen gefunden (kleine Übersicht):
GlusterFS - Man nehme ein paar Server, behandle sie wie Festplatten, erstelle daraus ein Raid (über Rechner hinweg soz.) und schon hat man ein verteiltes Filesystem ;-) Egal was ich über dieses FS gelesen habe, es war immer nur Gutes. Es gibt auch einen Gentoo-Ebuild zum downloaden.
LustreFS - Wird von SUN weiterentwickelt. Gibt es als OpenSource und mit kommerzieller Lizenz.
IBM General Parallel File System - Gibt es nur kommerziell, soll aber ganz gut funktionieren, was man so hört.
Sector-Sphere - Vergleichbar am ehesten mit Google's GFS/MapReduce Stack. Ein noch junges Produkt. Kann per FUSE als Filesystem gemountet werden. Release 2.0 soll dann für den produktiven Einsatz sein und wird im 2 Halbjahr 2009 erwartet. Noch relativ jung.
ChironFS: A filesystem must go on, even if it is hurt - Ein gutes Motto und hört sich auch sonst alles vernünftig an, aber seit 2008 leider kein neuer Release mehr.
PVFS (Parallel Virtual File System) - PVFS brings state-of-the-art parallel I/O concepts to production parallel systems. It is designed to scale to petabytes of storage and provide access rates at 100s of GB/s.
GFS on Gentoo - Erklärt, wie man das Filesystem von Redhat unter Gentoo installiert. Von GFS liest man sehr gemischte Meinungen. Scheint von der Performance her nicht so der Hit zu sein.
Cassandra Project - Weniger ein Filesystem als mehr ein verteilter Key/Value Store. Wurde 2008 von Facebook als OpenSource veröffentlicht und ist jetzt bei der Apache Foundation beheimatet.
Hadoop Distributed File System - Da Hadoop als Backend dahinter hängt, ist es eigentlich mehr für's Verteilen von Daten und zur Anbindung an Sprachen wie Java & Co. gedacht. Kann aber auch per FUSE ins Filesystem eingebunden werden (ist allerdings noch nicht 100% fertig und ausgereift).
MoglieFS - Kommt von den Leuten, die auch memcached gebaut haben. Es ist auch mehr für's Verteilen von Daten/Dateien über Java/PHP/Perl/Python-API's gedacht. Wer also Dateien nicht unbedingt über's Filesystem zugreifbar braucht sondern nur von einer Applikation aus, der könnte hier sein Glück versuchen.
POHMELFS (Parallel Optimized Host Message Exchange Layered File System) - Ein paralleles Netzwerkfilesystem das gleichzeitig von mehreren Rechnern lesen kann und Daten in verschiedene Hosts schreiben kann.
CloudStore (früher Kosmos File System (KFS)) - Baut auf den Ideen von Google's Google Filesystem auf. Als Haupteinsatzgebiet wird hier das Speichern von Webserverlogs und Crawlerdaten gesehen.
Ceph - Für die Skalierbarkeit von Gigabytes bis zu Petabytes gebaut. Noch relativ jung.
Nach allem, was ich jetzt so gelesen habe, habe ich mich für GlusterFS entschieden und auch die ersten Testläufe gemacht. Was ich bisher sagen kann: Um die gleichen Dateien verschiedenen Hosts ohne Single Point of Failure zur Verfügung zustellen oder Daten auf div. Hosts zu replizieren, eignet sich GlusterFS sehr gut. Mehr dazu dann später...
Mehr zu dem Thema:
Wikipedia - List of file systems - Sehr gute Übersicht!
Distributed Parallel Fault Tolerant File System Wanted - Ein Blogeintrag von Jeremy Zawodny der seine Leser nach dem besten verteilten Dateisystem befragt.
Posted at 12:00vorm. Sep. 14, 2009 by cetixx in Links | Kommentare [0]
Links 20090831 - Bootloader, Systemadministraton, Apache, Verschlüsselung, Quelltext
gPXE - Ein Netzwerk-Bootloader. Dient als Ersatz der PXE ROMs und unterstützt u.a. DNS, HTTP, iSCSI, usw.
Linux Layer 8 Puppet - Kleine Übersicht zum Systemadmin-Tool Puppet. Das Teil ist echt genial, um Systemtasks zu automatisieren z.B. um SSH-Keys zu verteilen, User einzurichten, usw. - ähnlich wie CFEngine aber viel einfacher zu installieren und auch sehr mächtig.
Encryption with TrueCrypt - Ein kleine Einführung in TrueCrypt dem Festplattenverschlüsseler.
Real World Cases For Apache's mod_rewrite - Ein paar praktische mod_rewrite Beispiele.
Snipplr - Ein Quellcode Verzeichnis das viele kleine Codeschnipsel aus den Bereichen JavaScript, HTML, PHP, CSS, Ruby und Objective C bereithält.
Posted at 09:57vorm. Sep. 01, 2009 by cetixx in Links | Kommentare [0]
Links 20090812 - pgstat, Wikibooks, Videokonvertierung, Java Dump Analyzer, Linux IO
pgstat - Ein Tools wie sar oder vmstat aber eben nicht für's Betriebssystem sondern für PostgreSQL.
Wikibooks: Die freie Bibliothek - Wikibooks ist eine Bibliothek mit Lehr-, Sach- und Fachbüchern. Jeder kann und darf diese Bücher frei nutzen und bearbeiten. Unsere Lehrbücher spiegeln bereits gesichertes Wissen wider, das heißt die hier vermittelten Kenntnisse sind in ähnlicher Form in anderen tatsächlich publizierten Werken des jeweiligen Fachs bereits dargestellt.
Transmageddon and Arista pursue simple transcoding - Ein ganz guter Artikel über div. Möglichkeiten und Programme zur Videokonvertierung unter Linux.
Which I/O controller is the fairest of them all? - Manchmal in der Tat eine gute Frage... ;-)
How to Diagnose Java Resource Starvation? - Hier geht's um den IBM Thread & Monitor Dump Analyzer für Java.
Posted at 12:00vorm. Aug. 13, 2009 by cetixx in Links | Kommentare [0]