Um rtmp:// Streams mitzuschneiden kann man auf diverse Tools zurückgreifen – ich werde die mächtige Software RTMPDump benutzen, die es für Linux, Windows und Android gibt. Ich benutze in diesem Tutorial die Windows-Version, wobei die Parameter unter Linux und Windows die gleichen sind.

Beispiel 1: WDR Mediathek – Rockpalast

Rockpalast Logo

In der Sendung Rockpalast werden Konzerte von beliebten Künstlern ausgestrahlt, allerdings sehr spät in der Nacht und ohne Wiederholung. Darum könnte es interessant sein eine Sendung noch einmal abzurufen. Man sucht sich also ein Konzert und geht zur Videowiedergabe. Ein Flash-Player macht sich bereit, jedoch wollen wir die Inhalte ja speichern und nicht direkt gucken. Wir gucken uns den Quelltext an und suchen die Zeile, die in etwa so aussieht:

value="startPicture=/tv/rockpalast/codebase/img/audioplayerbild_512x288.jpg&dslSrc=rtmp://gffstream.fcod.llnwd.net/a792/e2/tv/rockpalast/live/2010/morcheeba.mp4&offset=&autoPlay=false&useFLVPlayback=1

Davon interessiert uns nur die Stelle, in der der direkte Stream beschrieben wird:

rtmp://gffstream.fcod.llnwd.net/a792/e2/tv/rockpalast/live/2010/morcheeba.mp4

Mit dieser URL geht es alles ganz einfach. Unter Windows wird RTMPDump für das Beispiel so aufgerufen:

C:\rtmpdump-2.3\rtmpdump.exe -r rtmp://gffstream.fcod.llnwd.net/a792/e2/tv/rockpalast/live/2010/morcheeba.mp4 -o "C:\Downloads\morcheeba.mp4"

Die hier genutzten Optionen sind diese:

-r url           URL (e.g. rtmp://host[:port]/path)

-o string         FLV output file name, if the file name is – print stream to stdout

Beispiel 2: RBB – Brandenburg Aktuell

Brandenburg Aktuell

Bei einigen Stream geht es nicht ganz so einfach wie im 1. Beispiel. Es kann ein Fehler auftreten, der so lautet: “WARNING: Received FLV packet before play()! Ignoring.” Das bedeutet der Stream wurde zwar gefunden, kann aber nicht korrekt aufgenommen werden. Wir brauchen dafür diesen Parameter:

-y path      Overrides the playpath parsed from rtmp url

Der Quellcode vom 2. Beispiel sieht wie folgt aus:

streamer=rtmp://stream5.rbb-online.de/rbb;videotitle=BRANDENBURG AKTUELL [...] href="/aktuell/aktuell_20100901_sdg_MP4H264_m_16_9_512x288.mp4"

Es muss wohl eine Art Umleitung sein, die man mit -y direkt auflöst. Außerdem muss man die Endung bei dieser Option vor dem Dateipfad angeben. Der Befehl um diese Datei zu speichern lautet in diesem Fall also:

C:\rtmpdump-2.3\rtmpdump.exe -r rtmp://stream5.rbb-online.de/rbb -y mp4:aktuell/aktuell_20100901_sdg_MP4H264_m_16_9_512x288 -o "C:\Downloads\Stream-Download.mp4"

Und schon gehts los und alle Inhalte landen auf der Festplatte. Das ist natürlich auf andere Streams auch anwendbar. Wenn es dann losgeht sieht das ganze so aus:

Downloaden eines rtmp-Streams

RTMPDump – Projektseite

apt-get install console-data

Und konfiguriert dann das Tastatatur-Layout neu.

dpkg-reconfigure locales

Ich hoffe so sehr, dass Squeeze bald released wird (Frozen seit 06.08.2010). Bei Lenny wurde leider auch gnadenlos der 1. Termin überzogen, daher hoffe ich Squeeze kommt wirklich pünktlich. Endlich aktuelle Packete im Repository ;D

Allgemein

Carrot ist ein vServer (sie nennen es DICE) Anbieter, der kein Webhosting und keine Domains vertreibt. Es gibt nur 4 unterschiedliche Größen an vServern (von D2-D8), die sich in der zugeteilten Leistung auf der Hardware-Node unterscheiden. Grobe Unterschiede ergeben sich im RAM, CPU Leistung (was I/O betrifft) und Größe der virtuellen Festplatte. Die Hostsysteme der DICEs werden im Falkensteiner Rechenzentrum von Hetzner betrieben.

Support

Der Support ist zügig und informiert den Kunden im Detail über aktuelle Probleme und wie sie gelöst werden. Ein aktuelles Beispiel: Es gab Performance-Probleme, die wohl durch eine hohe I/O Belastung einzelner Kunden hervorgerufen wurden. Carrot hat darauf hingewiesen und nach internen Tests Änderungen am Kernel der Hostsysteme vorgenommen. Es gab einen festen Termin, der auf eine halbe Stunde angesetzt war und gerade mal 18 Minuten gedauert hat. Solche Wartungsvorgänge finden ausschließlich Nachts statt und werden einige Tage vorher angekündigt. Bei Fragen reagiert der Support jederzeit schnell und freundlich. Im Schnitt liegt die Reaktionszeit bei einer halben Stunde je nach Komplexität des Problems. Einige Nachfragen hatte ich bisher, daher hier eine kurze Dokumentation mit Angabe der Zeiten, des Problems und der Lösung.

02.03.2010 8:13 – 8:30 Uhr Dice nicht erreichbar [Problem: Hardwareraidcontroller - Upgrade von Hetzner durchgeführt]
04.03.2010 6:48 – 10:38 Uhr Performance-Schwankungen [Grund: IO-Peaks - mein Hardware-Node lief ab Mittag wieder perfekt]
11.03.2010 21:09 – 23:18 Uhr Reverse DNS Eintrag setzen [Problem: Eintrag setzen war im Dice Manager nicht möglich -> manuell gesetzt]
29.03.2010 18:37 – 19:12 Uhr Etwa 15GB über den Erlaubten Traffic, nachgefragt, musste keinen Mehrtraffic bezahlen
29.03.2010 21:23 – 22:03 Uhr Anfrage zur Teilnahme am Beta Lab -> Authentifizierungsdaten erhalten
18.05.2010 8:48 – 9:00 Uhr Frage, ob neue Trafficregelung auch Altkunden betrifft -> Antwort: ja

Leistung/Benchmarks

Die Leistung ist für einen vServer herausragend. Ich habe zwei Benchmarks erstellt, die einigen vielleicht weiter helfen. Die Benchmarks wurden auf einem frisch installierten D4 erstellt.

Zuerst der WHT2-Benchmark, der jetzt nicht alles aussagt, aber erstmal ein Eckpunkt ist. Knappe 700 Punkte in diesem Test sind definitiv eine sehr gute Region, besseres habe ich selten gesehen. Es gibt hier einen (relativ veralteten) Thread zu WHT-Werten.

Ein Stress-Test nach folgenden Parametern lief erfolgreich in 10 Sekunden durch:

stress –cpu 256 –io 4 –vm 2 –vm-bytes 512M –timeout 10s –verbose

Weitere Benchmarks sind mir nicht eingefallen, kann aber gern auch auf Wunsch weiteres testen. Demnächst teste ich TS und verschiedene Gameserver und werde berichten. Ich habe allerdings schon im Forum gelesen, dass mehrere TS2-Server und ein Gameserver (CSS mit 32 Slots) perfekt und komplett flüssig laufen.

Verwaltung

Es gibt im Grunde zwei Verwaltungsbereiche. Das Service Panel und den Dice Manager. Im Service Panel können Rechnungen bezahlt und eingesehen werden, Server bestellt und geküdigt werden. Außerdem ist ein Support-Ticket System dort integriert. Der Dice Manager wickelt die komplette vServer Verwaltung ab, das heißt man kann neu installieren, stoppen, starten, restarten, Hostnamen wählen. Es gibt auch eine Traffic, Uptime und Speichernutzungs-Anzeige, Betriebssystem Auswahl und ein Rescue-System. Desweiteren kann ein Reverse DNS  Eintrag (unter anderem für Mailserver) gesetzt werden.

Kritik

Da das hier weder im Auftrag von Carrot geschrieben wurde noch ein Werbeartikel sein soll möchte ich auch auf eventuelle Kritikpunkte verweisen. Im Forum werden aktuelle Kritikpunkte offen besprochen, wobei aktuell alle Probleme, die in der Vergangenheit (Paulchens Blog berichtete) auftauchten, gelöst wurden. Ich persönlich habe nur zu bemängeln, dass es keine Funktion gibt, die bei erreichen eines bestimmten Traffic-Kontingentes eine Aktion auslöst. Das kann man natürlich genauso softwareseitig lösen und bei ein paar Gigabyte Übertraffic ist der Support auch nicht so streng, aber bequem wäre es. Der Support sagte mir man testet ein entsprechendes System schon im Beta Lab. Abschließend möchte ich noch sagen, dass ich vorher schon bei 2 anderen Anbietern war und es “normal” ist, dass hin und wieder Fehler auftreten. Die Frage ist nur wie transparent damit umgegangen wird..

Carrot-Server.com

Ernüchternd ist am Ende jedoch die Erkenntnis, dass die gleiche Leistung mit EINER GeForce 295 GTX erreicht werden kann. 4 dieser Karten sollen wohl 90.000 PMKs/s erreichen. Da kann man sich natürlich berechtigterweise fragen, ob WPA sicher vor Bruteforce-Attacken ist. Daher möchte ich die Zeit einmal in der Theorie durchrechnen.

Gegeben sei ein WLAN-Router mit einem 16-stelligen Code nur aus Zahlen. Das würde bedeuten 10 Möglichkeiten (0-9) hoch 16 Stellen also in einer Zahl 10.000.000.000.000.000 verschiedene Möglichkeiten für den werksgesetzten WLAN-Schlüssel. Wenn ich mit dem kleinen zusammengeschusterten Cluster  hier 20000 PMKs/s erreiche sind das 500000000000 Sekunden oder 833333333 Minuten oder 138888888 Stunden oder 5787037 Tage..das wären also ca 16000 Jahre in etwa..wenn man die Entwicklung neuer Internetstandarts bedenkt, wofür man neue Router benötigt ist das also ein ziemlich sinnloses Unterfangen. Hat man 10 Systeme mit jeweils 4xGeForce 295 GTX kann man es auch schon in knapp einem Jahr schaffen, aber das setzt voraus man weiß, dass der Schlüssel tatsächlich nur aus Zahlen besteht und 16-stellig ist. Wählt man für sein WPA-verschlüsseltes WLAN also ein mindestens 10-stelliges Passwort aus Zahlen, Klein- und Großbuchstaben, so ist es mit “normalen”  Mitteln nicht knackbar.

Benchmark erfolgte mit diesen Parametern

ab -n 1000 -c 10 http://SheevaPlug/index.php

Benchmark #1 (ohne Cache)

Server Software:        nginx/0.8.31
Server Hostname:        SheevaPlug
Server Port:            80
 
Document Path:          /index.php
Document Length:        7668 bytes
 
Concurrency Level:      10
Time taken for tests:   390.297 seconds
Complete requests:      1000
Failed requests:        0
Write errors:           0
Total transferred:      8008000 bytes
HTML transferred:       7668000 bytes
Requests per second:    2.56 [#/sec] (mean)
Time per request:       3902.969 [ms] (mean)
Time per request:       390.297 [ms] (mean, across all concurrent requests)
Transfer rate:          20.04 [Kbytes/sec] received

Benchmark #2 (mit Cache)

Server Software:        nginx/0.8.31
Server Hostname:        SheevaPlug
Server Port:            80
 
Document Path:          /index.php
Document Length:        7668 bytes
 
Concurrency Level:      10
Time taken for tests:   90.844 seconds
Complete requests:      1000
Failed requests:        0
Write errors:           0
Total transferred:      8238254 bytes
HTML transferred:       7668000 bytes
Requests per second:    11.01 [#/sec] (mean)
Time per request:       908.438 [ms] (mean)
Time per request:       90.844 [ms] (mean, across all concurrent requests)
Transfer rate:          88.56 [Kbytes/sec] received

Natürlich ist die Betrachtung aller Werte wichtig für das Ergebnis, doch ich nehme für einen ungefähren Performancevergleich die “Time taken for tests” heran, die ohne Cache bei 390 Sekunden und mit Cache bei 91 Sekunden lag. Daraus folgt, dass durch den Einsatz eines Cache-Systems wie hier asy_jpcache etwa Faktor 390/91=4,3 mehr Seiten ausgeliefert werden können.

//Nachtrag: Ich habe (ohne mir noch viel mehr zu Versprechen) zu der oben genannten Konfiguration noch XCache hinzugefügt und es hat mich fast aus den Socken gerissen. Ich hätte ja mit einer winzigen Verbesserung gerechnet, aber seht selbst:

Benchmark #3 (mit Textpattern Cache und XCache)

Server Software:        nginx/0.8.31
Server Hostname:        SheevaPlug
Server Port:            80
 
Document Path:          /index.php
Document Length:        7667 bytes
 
Concurrency Level:      10
Time taken for tests:   26.063 seconds
Complete requests:      1000
Failed requests:        0
Write errors:           0
Total transferred:      8238247 bytes
HTML transferred:       7667000 bytes
Requests per second:    38.37 [#/sec] (mean)
Time per request:       260.625 [ms] (mean)
Time per request:       26.063 [ms] (mean, across all concurrent requests)
Transfer rate:          308.69 [Kbytes/sec] received

Noch einmal konnten die 1000 Abfragen um fast Faktor 4 schneller ausgegeben werden, was am Ende bedeutet, dass ein optimiertes System mit einem Cache für das CMS kombiniert mit einem opcode Cache wie XCache in meinem Beispiel Faktor 390/26=15 schneller arbeiten kann. Mit weiteren Optimierungen ist da sicherlich noch etwas mehr drin, allerdings reicht dieser Wert für mich erstmal locker aus

autoindex on;

Das Ganze sieht dann also z.B. so aus

server {
        listen   80;
        server_name  domain.de;
        autoindex on;
        access_log  off;
        ..weitere Optionen

Um Dhyana einsetzen zu können benötigt man einige Abhängigkeiten, die aber schnell installiert sind.

apt-get install perl mplayer imagemagick ffmpeg libfile-chdir-perl libgetopt-argvfile-perl bzip2

Man benötigt noch ein Tool des Mplayers, was aber nicht im Mplayer-Packet enthalten ist. Man läd sich also mal den aktuellen Mplayer-Snapshot:

wget http://www.mplayerhq.hu/MPlayer/releases/mplayer-checkout-snapshot.tar.bz2

was dann entpackt wird..

tar xf mplayer-checkout-snapshot.tar.bz2

Man geht mal in den Tools-Ordner

cd mplayer-checkout-*/TOOLS

und guckt ob die midentify.sh drin ist. Wenn sie es ist kopieren wir sie in unseren Binary-Ordner, in dem Dhyana beim Ausführen nachguckt.

cp midentify.sh /usr/bin/midentify && chmod +x /usr/bin/midentify

Wir besorgen uns nun, da wir die Vorbereitungen abgeschlossen haben, das Perl-Script Dhyana von hier und machen es ausführbar:
http://tobyinkster.co.uk/blog/2008/01/06/dhyana/

wget http://tobyinkster.co.uk/blog/2008/01/06/dhyana/files/dhyana.pl && chmod +x dhyana.pl

Das war es auch schon. Wir können nun das Script ausführen zb. mit:

./dhyana.pl big_buck_bunny_1080p_surround.avi

Und fertig, unsere Vorschau liegt im gleichen Ordner wie das Ausgangsmaterial und sieht dann so aus:

Dhyana bietet noch die Möglichkeit einige Einstellungen anzupassen. Die Parameter könnt ihr  euch hier angucken. Es ist auch sehr einfach im Script selbst ein bisschen rumzuschrauben.

Usage:
      dhyana.pl [options] file [cols [rows [geometry [title]]]]
      dhyana.pl --multi [options] file [file ...]
 
      Options:
        --help                   brief help message
        --man                    full documentation
        --version                print version number
        --verbose, -v            increase verbosity
        --quiet                  no status output
        --path TOOL=PATH         set path for external tool
 
  Capture options:
        --cols=X, -c X           columns of images to capture (default 4)
        --rows=Y, -r Y           rows of images to capture (default 6)
        --geometry=G, -g G       geometry of thumbnails (default 'auto')
        --title=T, -t T          title for thumbnails (filename default)
        --capture-mode=M, -C M   capture technique (default 'auto')
 
  Style options:
        --background             background colour (e.g. 'green', '#00ff00')
        --font-family            path to TTF file for text
        --font-size              size of text in pixels
        --colour, --color        colour for text
        --heading-font-family    path to TTF file for heading
        --heading-font-size      size of heading in pixels
        --heading-colour         colour for heading

Preis: Kostenlos | Webseite

Ruft man den Downloadlink auf sollte sich jeder erstmal wundern, warum man nur eine einzige PHP-Datei herunterlädt um sich dann direkt danach zu freuen, dass Adminer tatsächlich nur eine Datei schlank ist. Die Datei auf den Webserver geladen ist er auch schon installiert, es ist kein weiterer Schritt notwendig. Man kann sich mit seinen Zugangsdaten am MySQL anmelden und gewohnte Operationen ausführen wie Datenbanken erstellen, ändern löschen, Tabellen einsehen und diese ändern..naja so ziemlich alles, was man im Grunde braucht in einer Datei!

Preis: Kostenlos | Webseite | Demo

 mysql -h localhost -u Username -p Datenbankname < /link/zur/datei.sql

Viel Spaß

Nachdem man aus den Binaries per “apt-get install mkvtoolnix” das MKVTool installiert hat kann man auch MKVExtract verwenden. Auf der Kommandozeile guckt man erst einmal was für Spuren in der MKV enthalten sind mit:

mkvmerge -i container.mkv

Ausgegeben wird dann etwas wie:

Track ID 1: video (V_MPEG4/ISO/AVC)
Track ID 2: audio (A_AC3)
Track ID 3: subtitles (S_TEXT/UTF8)

Man weiß also nun, dass der Container 3 Elemente aufbewahrt. Um nun ein Element aus dem Container zu extrahieren benutzt man nun mkvextract, die 2 steht für die ID, die wir ja vorher abgelesen haben:

mkvextract tracks container.mkv 2:tonspur.ac3

Das kann nun ein wenig dauern und ihr habt die extrahierte Tonspur. Um Untertitel zu extrahieren benutzt man dementsprechend folgenden Befehl:

mkvextract tracks container.mkv 3:untertitel.srt

Viel Spaß beim basteln, inspiriert hat mich Geekology