Gestern Abend war das erste Treffen der Splunk User Group Hamburg, bei der Otto Group im Loft 06. Immerhin ~28 Besucher haben es zu dem Auftakt Event geschafft und den Präsentationen gelauscht. Neben meinen beiden Vorträgen zu dem Einsatzgebiet von Splunk bei der Otto Group sowie dem Rückblick zur User Konferenz in Las Vegas (.conf 2012), gab es auch einen Beitrag zu Hunk. Das Produkt Hunk wurde Vorgestern als Beta vorgestellt, die Information sowie die Präsentation dazu waren also wirklich brand neu!
Splunk Hunk ist eine Software die es ermöglicht Datenbergeb in einem Hadoop Clustern, genauso einfach zu durchsuchen wie Daten in Splunk. Das Problem bei Hadoop ist, das es nur wenige Experten gibt die gute Hadoop Jobs schreiben. Darüber hinaus ist es einfach Komplex und man sollte die Basis von Map&Reduce schon verstanden haben. Mit Hunk könnte das deutlich besser werden. Wer jetzt Interesse an weiteren Informationen hat, sollte sich direkt mal das Video zu Hunk ansehen:
Insgesamt war das erste Treffen der User Group ein Erfolg, es wurde viel über Splunk gesprochen und Erfahrungen ausgetauscht. Bei zukünftigen Events wird es dann bestimmt noch technischer, ich hätte da z.B. noch einen Vortrag zur Transaction ID auf der Festplatte.
Letzte Woche habe ich das Buch "Inside Apple: Das Erfolgsgeheimnis des wertvollsten, innovativsten und verschwiegensten Unternehmens der Welt" fertig gelesen. Mittlerweile habe ich mich auch zu einem Apple "Anhänger" oder besser Kunden (u.a. iPhone, iPad und Apple TV) gemausert. Durch einen Zufall habe ich das Buch in einer Buchhandlung entdeckt und mich für den Kauf entschieden.
Apple an sich ist eine faszinierende Company die allerdings auch sehr speziell ist. Das bestätigt auch der Inhalt des Buchs, das sich nicht wenig mit dem Tod von Steve Jobs, seinen Nachfolgern und der Zukunft von Apple beschäftigt. Es gibt allerdings auch einige interessante Einblicke, so werden die öffentlichen Keynotes bis zum Erbrechen geprobt und jeder Satz vom Marketing vorgegeben. Krass finde ich, dass die Mitarbeiter von Apple nicht über Apple und Ihren Job sprechen sollen/dürfen. Dafür scheint man innerhalb von Apple alles auf die für den einzelnen Mitarbeiter notwendigen Informationen zu reduzieren und mit Hilfe von kleinen Team auch einen gewissen Startup Modus zu fahren. Security scheint bei Apple so extrem umgesetzt zu sein, dass mancher Mitarbeiter von einem auf den nächsten Tag in einem Raum ohne Fenster sitzt, wo zuvor noch nicht mal ein Raum war.... so schön die Apple Produkte auch sind, dort zu Arbeiten hat sicherlich seine ganz eigene Herausforderung!
Einen sehr genialen Vortrag hat Urs Ganse auf der Gulaschprogrammiernacht 13 gehalten. Der Titel ist Programm, nebenbei wird dann auch direkt mit den ganzen Sci-Fi Filmen aufgeräumt. Sehr gelungen, auch für Leute die nicht viel mit IT zu tun haben:
am 27.06.2013 findet die erste Splunk User Group Hamburg bei Otto im Loft 06 statt. Alle Splunk Freunde, Anwender und Interessenten sind herzlich eingeladen. Details auf Meetup: http://www.meetup.com/Splunk-HHUG/
Bitte registriert euch über Meetup, damit der Event entsprechend geplant werden kann.
Bereits die Bücher "Daemon: Die Welt ist nur ein Spiel" und "Darknet" von Daniel Suarez habe ich gerne gelesen. Im ersten Quartal ist nun auch das neueste Buch in Deutschland erschienen: Kill Decision. Dabei handelt es sich nicht um eine Fortsetzung der ersten beiden Bücher, die Storyline dreht sich aber um ein vergleichbares Szenario und ist für ITler eine absolute Empfehlung. Über Google+ hat Daniel übrigens angekündigt, dass er bereits an einem weiteren Buch arbeitet.
Rajesh Nishtala von Facebook hat auf der NSDI '13 einen interessanten Vortrag über Skalierung von memcached bei Facebook gehalten. Neben einer Beschreibung zum Wachstum des Caches innerhalb des Application Stacks von Facebook ist er auch auf die notwendigen Weiterentwichlungen und Probleme eingegangen. Ein sehr interessanter Vortrag der zeigt, dass auch Memcache nicht perfekt ist (aber trotzdem eine sehr gute Wahl).
In der aktuellen businesss impact (Ausgabe 01/2013) gibt es einen Artikel mit einem Interview mit mir. Thema ist: "BIG DATA in der Praxis" bzw. die "Herausforderungen und Chancen der schnell waschsendne Datenflut". Ich hatte das Interview bzw. die Ausgabe schon fast vergessen, bis mich dann das Beleg Exemplar erreichte. Das Magazin business impact an sich ist neu am Markt und richtet sich an das Management.
Im aktuellen Heft dreht sich alles um IT-Security, BIG DATA sowie die Shareconomy. Die nächste Ausgabe erscheint Anfang Juni 2013 und wird sich den Themen: "Cloud Computing" und "Vernetzte Gesellschaft" widmen. Neben den Titelthemen gibt es natürlich auch viele weitere Interessant Berichte aus der Welt der IT.
Matthew Prince von cloudflare.com hat eine gute Zusammenfassung zum Thema Loadbalancing über Anycast veröffentlicht. Leider ist die Lösung nicht für alles nutzbar, er beschreibt aber sehr gut was möglich ist bzw. was beireits bei CloudFlare eingesetzt wird.
[...] Using Anycast, each server within each of CloudFlare's data centers is setup to receive traffic from any of our public IP addresses. The routes to these servers are announced via the border gateway protocol (BGP) from the servers themselves. To do this we use a piece of software called Bird. (You can tell it's an awesomely intense piece of networking software just by looking at one of its developers.) While all servers announce a route across the LAN for all the IPs, each server assigns its own weight to each IPs route. The router is then configured such that the route with the lowest weight is preferred.
If a server crashes, Bird stops announcing the BGP route to the router. The router then begins sending traffic to the server with the next-lowest weighted route. We also monitor critical processes on each server. If any of these critical processes fails then it can signal Bird to withdraw a route.[...]
Den vollständigen Beitrag gibt es im Blog von cloudflare.com
Move fast and break things.... or better: move fast and ship things!
Nice talk from Girish Patangay (from Facebook) on Velocity Europe 2012:
Some facts:
- Facebooks PHP "HipHopped" (compiled) binary is 1.2 GB big!
- 10,000 of servers
- Every day a new deployment
- 200-300 machines are compiling the c++ code which is generated by hiphop.
- One compile ~21 minutes (remeber the big cluster)
- Deployment with bit torrent to transfer the 1.2 GB deployment to the servers.
- Restarting the webservers is a bottleneck (~2 minutes per instance!)
- 3 steps in deployment:
Phase 1 with 6 hosts: ~15 minutes (withour compile)
Phase 2 with ~2% hosts: ~13 minutes
Phase 3 100% hosts: ~45 minutes
- InMemory configuration changes (Backends!)
- "Gatekeeper" to enable features for special user groups
amazon and Splunk published a case study about the usage of AWS for Splunk Storm, another nice Story for building products on the cloud: AWS Case Study: Splunk. Another interesting part of the story is the usage of Opscodes Chef as infrastructure automation solution. So bad, that we at otto group could not use AWS because Amazon is one of our competitors.
Alex gave an interesting statement regarding the AWS and how important a flexible and reliable plattform is:
“Here at Splunk, what we’ve traditionally been good at is managing big data. AWS has made it possible to build and manage a large service,” Munk says.
&
“We track uptime and service availability, and AWS has surpassed our expectations,”
Alex, if you read this: I love Storm, get on with it (and keep track on my suggestion list)!
Facebook erweitert sein Rechenzentrum in Prineville (Oregon) um nicht so häufig angefragte Bilder günstiger speichern zu können. Der Grund ist klar: viele Bilder werden nur noch selten bis gar nicht abgerufen (82% des Traffics wird von nur 8% der Bilder erzeugt!). Löschen kann man diese aber auch nicht, schließlich bricht man dann mit den Anwendern. Das führt dazu, dass pro Monat über 7 Petabyte Speicherplatz hinzugefügt werden müssen.
Die günstigere Ablage der Bilder wird via Tiered Storage Strategie umgesetzt, die Splunker unter euch kennen diese bereits. Die Daten werden nach bestimmten Parametern gruppiert und so auf hot, warm and cold aufgeteilt. Dabei ist hot besonders schnell, warm etwas langsamer und cold dann so ziemlich die langsamste Variante. In der Praxis bedeutet das natürlich Einsparungen, wenn man langsamen Storage verwenden kann und nicht alles absolut schnell ausliefern muss. Bei den Dimensionen von Facebook (über 350 Millionen neue Fotos pro Tag!) rechnet sich das neue Rechenzentrum sicherlich ziemlich schnell, besonders weil Platz auf hot und warm frei wird. Dieser hätte gegebenenfalls teuer erweitert werden müssen. Außerdem wird an der Notstromversorgung gespart (keine USVs oder Generatoren), diese Komponenten sind in der Regel besonders Wartungsintensiv. Die eingesetzte Hardware wurde ebenfalls verschlangt, so wird für ein Cold Storage Rack nur 2 anstatt 8 kW benötigt, Faktor 4 lässt sich gut rechnen! Übrigens werden die Bilder in häppchen aufgeteilt und über verschiedene Server verteilt, fällt also die Stromversorgung bzw. eine Maschine aus, so kann man trotzdem auf die Daten zugreifen.
Übrigens werden bei der Erweiterung 500 Racks mit jeweils 2 Petabye aufgebaut, daraus ergibt sich dann 1 Exabyte je Rechenzentrum, den Facebook möchte das auch an drei weiteren Standorten umsetzen. Das zeigt eigentlich nur, in welcher Liga Facebook eigentlich spiel... immer wieder faszinierend!
Gestern Abend war das erste Treffen der 
Letzte Woche habe ich das Buch "Inside Apple: Das Erfolgsgeheimnis des wertvollsten, innovativsten und verschwiegensten Unternehmens der Welt" fertig gelesen. Mittlerweile habe ich mich auch zu einem Apple "Anhänger" oder besser Kunden (u.a. iPhone, iPad und Apple TV) gemausert. Durch einen Zufall habe ich das Buch in einer Buchhandlung entdeckt und mich für den Kauf entschieden. 
Bereits die Bücher 
In der aktuellen businesss impact (Ausgabe 01/2013) gibt es einen Artikel mit einem Interview mit mir. Thema ist: "BIG DATA in der Praxis" bzw. die "Herausforderungen und Chancen der schnell waschsendne Datenflut". Ich hatte das Interview bzw. die Ausgabe schon fast vergessen, bis mich dann das Beleg Exemplar erreichte. Das Magazin business impact an sich ist neu am Markt und richtet sich an das Management.
