Gestern Abend war das erste Treffen der Splunk User Group Hamburg, bei der Otto Group im Loft 06. Immerhin ~28 Besucher haben es zu dem Auftakt Event geschafft und den Präsentationen gelauscht. Neben meinen beiden Vorträgen zu dem Einsatzgebiet von Splunk bei der Otto Group sowie dem Rückblick zur User Konferenz in Las Vegas (.conf 2012), gab es auch einen Beitrag zu Hunk. Das Produkt Hunk wurde Vorgestern als Beta vorgestellt, die Information sowie die Präsentation dazu waren also wirklich brand neu!
Splunk Hunk ist eine Software die es ermöglicht Datenbergeb in einem Hadoop Clustern, genauso einfach zu durchsuchen wie Daten in Splunk. Das Problem bei Hadoop ist, das es nur wenige Experten gibt die gute Hadoop Jobs schreiben. Darüber hinaus ist es einfach Komplex und man sollte die Basis von Map&Reduce schon verstanden haben. Mit Hunk könnte das deutlich besser werden. Wer jetzt Interesse an weiteren Informationen hat, sollte sich direkt mal das Video zu Hunk ansehen:
Insgesamt war das erste Treffen der User Group ein Erfolg, es wurde viel über Splunk gesprochen und Erfahrungen ausgetauscht. Bei zukünftigen Events wird es dann bestimmt noch technischer, ich hätte da z.B. noch einen Vortrag zur Transaction ID auf der Festplatte.
am 27.06.2013 findet die erste Splunk User Group Hamburg bei Otto im Loft 06 statt. Alle Splunk Freunde, Anwender und Interessenten sind herzlich eingeladen. Details auf Meetup: http://www.meetup.com/Splunk-HHUG/
Bitte registriert euch über Meetup, damit der Event entsprechend geplant werden kann.
Last week I got a letter from Splunk Inc., San Francisco. I wondered what it could be, because I didn't got postal letters from Splunk until now. After opnening the letter, everything was clear:
In der aktuellen businesss impact (Ausgabe 01/2013) gibt es einen Artikel mit einem Interview mit mir. Thema ist: "BIG DATA in der Praxis" bzw. die "Herausforderungen und Chancen der schnell waschsendne Datenflut". Ich hatte das Interview bzw. die Ausgabe schon fast vergessen, bis mich dann das Beleg Exemplar erreichte. Das Magazin business impact an sich ist neu am Markt und richtet sich an das Management.
Im aktuellen Heft dreht sich alles um IT-Security, BIG DATA sowie die Shareconomy. Die nächste Ausgabe erscheint Anfang Juni 2013 und wird sich den Themen: "Cloud Computing" und "Vernetzte Gesellschaft" widmen. Neben den Titelthemen gibt es natürlich auch viele weitere Interessant Berichte aus der Welt der IT.
amazon and Splunk published a case study about the usage of AWS for Splunk Storm, another nice Story for building products on the cloud: AWS Case Study: Splunk. Another interesting part of the story is the usage of Opscodes Chef as infrastructure automation solution. So bad, that we at otto group could not use AWS because Amazon is one of our competitors.
Alex gave an interesting statement regarding the AWS and how important a flexible and reliable plattform is:
“Here at Splunk, what we’ve traditionally been good at is managing big data. AWS has made it possible to build and manage a large service,” Munk says.
&
“We track uptime and service availability, and AWS has surpassed our expectations,”
Alex, if you read this: I love Storm, get on with it (and keep track on my suggestion list)!
For all of you, who needs to convert timestamps into epoch time an back, watch out the Epoch Converter on www.epochconverter.com. There are many usefull tips for converting in different languages for exmple Oracle PL/SQL (get current epoch time):
Splunk Enterprise 5 is available for download, now! Watch out the "What's new" page. The most important things from the long list:
- report acceleration (one klick to faster reports)
- dynamic drilldowns (go from "the what" to "the why")
- integrated PDF generation (yes!)
- index replication (for high availability on commodity hardware)
- modular inputs (App developers -> wake up!)
- Splunk Hadoop Connect
- Splunk App for HadoopOps
- Full SDK integration (every endpoint allows replies woth json data)
Regarding the report acceleration, there is an statement from me, online on computerwoche.de:
Schnellere Reports sind unglaublich viel wert, aber wirklich beeindruckend ist die Einfachheit, mit der wir sie in Splunk Enterprise 5 aufsetzen können!
In english:
Faster reports are incredibly valuable, but what's really amazing is the ease in which we can set them up in Splunk Enterprise 5.
This posting is my opinion and did not represent the positions, strategies or opinions from otto or the otto group.
Die Postings auf dieser Site sind meine persönliche Meinung und repräsentieren nicht die Positionen, Strategien oder Meinung von OTTO oder der Otto Group.
How it looks like, if a backend system is flooded with requests from another system?
With Splunk it cool look like that (one day normal traffic and one day with this "little" error):
What happended?
We are operating an orchestrated SOA environment and one request type from the frondends forced the middleware to run in something like a loop. Those errornous Requests spreads out into thousands of backend requests (everytime the same one).
How we find it?
We are logging the duration and a custom Transaction ID in our application server access logs. As showed on .conf in Las Vegas ("Where did that order go? Real World Tales of Purchase and Transaction Tracing") our Transaction ID help us finding erros like this one. We saw that many thousand requests with the same transaction ID was send out for only one frontend request. Without the Transaction ID, we could not find such errors. In that case we would see the big amount of traffic for this domain/services, but not the connection to the causer.
Return of Investment
Calculating the ROI is hard, because this backend scaled perfectly and no request was lost (which is a good value with a factor 9 higher traffic). But finding the error was under 15 minutes. We saw long running request from the frontend, searching for backend requests regarding this frontend request shows the problem directly. Next step was the chart above for showing the increasing traffic for this domain. Fixing this error took a bit longer, due some shakedown tests... but Splunk really helps, and that counts!
This posting is my opinion and did not represent the positions, strategies or opinions from otto or the otto group.
Die Postings auf dieser Site sind meine persönliche Meinung und repräsentieren nicht die Positionen, Strategien oder Meinung von OTTO oder der Otto Group.
After my first attempt I got some negative feedback before my way to use the (undocumented) API. Now I followed the same usage of the Apps to read the data for my system and it works great:
The data I got from the system for this sunshine intensity sensor looks like that:
<?xml version="1.0" encoding="UTF-8"?>
<eventPollResponse xmlns="urn:overkiz:externalapi"><events><event name="DeviceStateChangedEvent"><setupOID>xxx</setupOID><deviceURL>io://yyy</deviceURL><deviceStates><state name="core:LuminanceState" type="2" value="50.0"/></deviceStates></event></events></eventPollResponse>
This dataset is delivered only if the value had changed, which is much better as my first version which ask's itself every minute. Using the intelligence of the backend system saves much storage in Splunk Storm.
At the moment the Splunk commands xpath and xmlkv are not supported in Splunk Storm, but that isn't a problem because the important "value" is a key value pair. But my logger is listening to all the data, so I get much more details about whats going on with my roller shutters and so on. For example a message for roller shutter state change:
<?xml version="1.0" encoding="UTF-8"?>
<eventPollResponse xmlns="urn:overkiz:externalapi">
<events>
<event name="DeviceStateChangedEvent">
<setupOID>xxx</setupOID>
<deviceURL>io://yyy</deviceURL>
<deviceStates>
<state name="core:ClosureState" type="1" value="78"/>
<state name="core:OpenClosedState" type="3" value="open"/>
</deviceStates>
</event>
<event name="DeviceStateChangedEvent">
<setupOID>xxx</setupOID>
<deviceURL>io://yyy</deviceURL>
<deviceStates>
<state name="core:ClosureState" type="1" value="73"/>
<state name="core:OpenClosedState" type="3" value="open"/>
</deviceStates>
</event>
</events>
</eventPollResponse>
Now I could follow the movements of my roller shutters with Splunk! But that is also a function of the system itself. The interesting point is to combine the sunshine intensity, room temperature and the roller shutter state to optimize the usage. At the moment the temperature (and humidity) sensors in the rooms are missing....
Sorry for the delayed entry, but I am busy at the moment. I would like to thank all the Splunkers I met in Las Vegas at the .conf 2012. It was a pleasure to meet you and talk with you about. Furthermore there where many many interesting presentations with so many inputs for our business, thanks to all the speakers for this great job. The intro video from the keynote is available only:
I am not allowed to publish the presentation from Dan and me online, but if you have any questions about the content, send me an email.
Im September (10-13ter) ist es soweit, die Splunk User Conference findet statt. Diesmal in Las Vegas und mit einem Vortrag von mir! Im offiziellen Session Kalender ist der Vortrag im Using Splunk Track zu finden. Im Moment wird die Session am 12.09. von 10:30 bis 11:30 Uhr noch mit einem Arbeitstitel geführt, die Beschreibung wird aber noch auf folgende geändert:
Where did that order go?
Real World Tales of Purchase and Transaction Tracing
Otto Group, one of Europe's largest retailers, will show how Splunk makes it easier for their operations staff and business analysts to do root cause analysis on order tracking issues. This session will detail how Otto has built apps and views on Splunk to more easily follow the sequence of events in a transaction. Otto will also share logging best practices that trace transactions across application boundaries, and a primer on Splunk's transaction search.
Amir has written a blog post about "How to create very reliable web services" and I think he is definitely right with his tips. Every WebOps, DevOps or Admin should read this post to get an idea of whats possible and much better: Whants needed!
I would solve some of the tasks with Splunk, but that is up to you!
Gestern Abend war das erste Treffen der 
In der aktuellen businesss impact (Ausgabe 01/2013) gibt es einen Artikel mit einem Interview mit mir. Thema ist: "BIG DATA in der Praxis" bzw. die "Herausforderungen und Chancen der schnell waschsendne Datenflut". Ich hatte das Interview bzw. die Ausgabe schon fast vergessen, bis mich dann das Beleg Exemplar erreichte. Das Magazin business impact an sich ist neu am Markt und richtet sich an das Management.
