Montag Nov. 05, 2012

Real-Time Delivery Architecture @ Twitter

In dieser Präsentation/Video erklärt Raffi Krikorian Twitter’s Timeline Architektur, den “write path” und “read path” und wie man damit 300k Tweets/Sek. ausliefert.

ics/iCalender für Python

Mit der Internet Calendaring and Scheduling (iCalendar) for Python Lib kann man u.a. ics-Files (iCalender) erstellen und verwalten.

Kommandozeilentool für Cloud Storage - gsutil

Mit gsutil kann man Cloudstorage bei Google Storage und Amazon's Simple Storage Service (S3) verwalten. Für S3 gibt es daneben auch noch das sehr gute s3cmd.

Samstag Nov. 03, 2012

Scarlet - HTTP Frontend für Redis

Scarlet ist in Go geschrieben und bietet ein HTTP-Frontend für Redis. Könnte ganz praktisch sein, wenn man mal keine Redis-Lib zur Verfügung hat.

String mit der Bash zerlegen

IFS=';' read -ra X <<< "$IN"
for i in "${X[@]}"; do
    # process "$i"
done

HTML5 Experimente

hakim.se.jpg Ein paar sehr schöne HTML5 (GUI)Experimente / visuelle Effekte findet man auf der Seite von Hakim El Hattab.

Mittwoch Okt. 31, 2012

python-progressbar

Wenn ein Task mal länger läuft, dann hätte man ja gerne oft eine Fortschrittsanzeige. Mit der python-progressbar geht das sehr einfach. 17 Beispiele bzw. verschiedene Arten von Fortschrittsanzeigen sind schon dabei, weitere kann man selber hinzufügen.

Montag Okt. 22, 2012

Sentry Application Exception Tracking

Sentry ist ein Event Logging System, um das Handling von Fehlern und Exceptions, die in Applikationen auftreten, zu verbessern und zu zentralisieren. Sentry gibt es auf Github als Open Source oder auch als Hostinglösung. Konnektoren gibt es für div. Programmiersprachen wie Java, Python, PHP, Ruby, Go, Node.js, usw.

Freie Editoren für Programmierer

Hier mal eine Auflistung von freien Editoren, die mir in letzter Zeit über den Weg gelaufen sind. Eclipse ist mir inzwischen einfach zu groß und schwerfällig und man braucht das Zeug alles gar nicht, was da drin ist. Die folgenden Editoren haben - wie immer - alle ihre Stärken und Schwächen, aber jeder hat ja auch so seine Vorlieben ;-) 

Enki is a text editor for programmers
Ninja-IDE - Speziell (aber nicht nur) für Python-Entwickler mit Code Completion. Gefällt mir persönlich recht gut.
Sublime Text - Nicht OpenSource aber kann man so runterladen. Kostet 59$, wenn man ihn kauft, ansonsten kommt ab und an mal die Meldung, ob man das nicht tun will. Wenn man den Editor aufmacht, denkt man erstmal, was soll das denn sein? ;-) Ziemlich minimalistisch, aber wenn man eine Weile rum macht, sehr mächtig.
Geany - Basiert auf GTK2. Sehr klein und schnell, aber trotzdem schön damit zu arbeiten.
PyCharm - Kostet leider was ;-), aber das Teil ist schon recht gut und ziemlich flott (Python IDE in Java geschrieben - auch nicht schlecht ;-) ). Ist von JetBrains, die auch die Java IDE IDEA machen. Hier ist so ziemlich alles dabei, was das Herz begeehrt. 30 Tage kann man PyCharm kostenlos ausprobieren mit allen Features.
Aptana Studio - Eine ganz gute OpenSource IDE für HTML5, CSS3, JavaScript, Ruby, Rails, PHP and Python.
HTML5 Editoren - Eine Übersicht von 6 HTML5 Editoren.

OpenStreetMap in PostgreSQL

Wie man OpenStreetMap Daten in Postgres bekommt, beschreibt dieser Blog von Michal Migurski.

Freitag Okt. 19, 2012

Redis in my PostgreSQL

Netter Blog von Craig Kerstiens wie man Redis Datenbanken über die PostgreSQL Foreign Data Wrapper (FDW) abfragen kann. Das Schöne an diesen FDW's ist, das man damit Joins mit externen Datenquellen wie eben einer Redis, MongoDB, MySQL, einer weiteren PostgreSQL, LDAP, usw. machen kann. Gibt sogar einen FDW für Twitter... ;-) Und wenn man das noch weiter spinnt, kann man damit SQL Queries über mehrere NoSQL-DB's machen - man missbraucht also Postgres soz. als SQL-Layer für NoSQL-DBs. Naja, aber der echte Vorteil ist hier, das man Datenquellen verbinden kann. Das kann für einige Anwendungen durchaus sehr interessant sein.

VLAN trunking zu KVM VMs

Ein paar Infos zu dem Thema von Matthew Thode.

Donnerstag Okt. 18, 2012

Unit-Tests für Python mit nose

nose vereinfacht das Unit-Tests unter Python etwas und bietet noch etwas mehr. So sammelt nose Tests automatisch, die durchgeführt werden sollen, solange man sich an ein gewisses Schema hält, wie man seine Libs und Code organisiert. Außerdem kann es durch div. Plugins gleich noch Code Coverage, Doctests, Profiling, usw. durchführen.

Python Interface für Apache Solr

Wer's etwas komfortabler haben möchte, wenn er von Python aus Solr ansprechen will, der kann das über diese API tun. Macht die Sache viel einfacher und komfortabler und man kann weiterhin die gewohnte Python-Syntax verwenden.

Apache Solr Reference Guide PDF

Fast 400 Seite stark ist dieses frei verfügbare PDF von LucidWorks zum Solr Suchserver. Da steht so ziemlich alles drin, was man über Solr wissen muß - vermutlich schon zuviel ;-) Alternativ hier das Ganze in HTML.

Weiter Informationen:
Von Formatübersetzern, Textverstehern und Textsuchern - Lucene, Solr, Tika oder UIMA
Die Neuerungen von Apache Solr 4.0