Auslastung des eigenen Segments ansehen (reloaded)

[bliblablubbe]

Habe dvbtune unter raspbian auf einem PI 1 neu kompiliert (den Hinweis von Mr. Goodcat " in der dvbtune.c ein "#include <stdint.h>" ergänzen" kam zur Anwendung).
Läuft nun mit 6 XBOX tunern. Der Scan von 31 Kanälen dauert ca. 40s inkl graph update. Aber ich würde nun wirklich auf eine performantere Hardware wechseln.

 

[Mr.Goodcat]

Habe dvbtune unter raspbian auf einem PI 1 neu kompiliert (den Hinweis von Mr. Goodcat " in der dvbtune.c ein "#include <stdint.h>" ergänzen" kam zur Anwendung).
Läuft nun mit 6 XBOX tunern. Der Scan von 31 Kanälen dauert ca. 40s inkl graph update. Aber ich würde nun wirklich auf eine performantere Hardware wechseln.

Mit 6 Tunern sollte der scan deutlich weniger als 40s dauern, eher ~15s.

Der Linux Kernel hat ein Limit von 8 Tunern (MAX_DVB_ADAPTER in der Kernel Config), wohingegen DVBsnoop ein Limit bei 10 hat (ca. bei dvbsnoop-1.4.50/src/misc/cmdline.c:434). Limit erhöhen -> ./configure -> make -> dvbsnoop nach /usr/bin packen, läuft.

 

[bliblablubbe]

Habe eine VirtualBox mit Ubuntu Server aufgesetzt und nun Probleme mit dem Kompilieren von dvbtune. Es scheint an einer neueren Version von libxml2 zu liegen mit der xml2vdr nicht klar kommt. Hat jemand ähnliche Prbleme schon gelöst? Sonst schaue ich da die Tage mal weiter rein.

 

[Mr.Goodcat]

Habe eine VirtualBox mit Ubuntu Server aufgesetzt und nun Probleme mit dem Kompilieren von dvbtune. Es scheint an einer neueren Version von libxml2 zu liegen mit der xml2vdr nicht klar kommt. Hat jemand ähnliche Prbleme schon gelöst? Sonst schaue ich da die Tage mal weiter rein.

Glaube man musste nur die passenden build-dependencies haben. Sonst kann ich auch später die fertige Datei raussuchen.

 

[boba]

Du brauchst nur dvbtune zu kompilieren. Du brauchst kein xml2vdr. "make dvbtune" statt nur "make" sollte ausreichen.

 

[bliblablubbe]

d'oh, ja funktioniert, danke! Läuft nun mit 6 in der VM und braucht pro Durchlauf ca 18s. Noch zwei tuner und es sollte nochmal von 6 auf 4 Schritte pro Durchgang runtergehen

 

[Mr.Goodcat]

@sparkie: Bisher werden Tuner die über den aktuellen Durchlauf hinausgehend (scheinbar?) nicht genutzt. Wenn man z.B. fünf Tuner nutzt und 30 von 31 Kanälen gescannt wurden, wird im nächsten "Takt" nur der Kanal 31 gescannt. Hier wäre es super wenn die "überzähligen" Tuner schon Kanal 1 bis 4 des nächsten Taktes scannen würden.

 

[Holzlenkrad]

So wie der Code aufgebaut ist, dürfte das relativ aufwendig werden. Am Ende eines kompletten Durchlaufes steht ja auch das Berechnen der Gesamtgeschwindigkeit und das Erstellen der Grafiken.

Ist halt echt blöd, dass die Anzahl der Kanäle im Kabelnetz ausgerechnet eine Primzahl ist, ansonsten könnte man die Zahl der Tuner darauf irgendwie optimieren. Aber ganz ehrlich:
Hast du irgendwie eine relevante Veränderung der Genauigkeit mit den vielen Tunern feststellen können? Ich denke, dass schon vier Stück echt Spielerei sind. Wäre bei 2 Stück geblieben, wenn die bei Amazon nicht so mega günstig gewesen wären. Werde aus der Bestellung aber Tuner jetzt auch mal an Freunde in anderen Segmenten abgeben.

Schade, dass ohnehin bald (vielleicht) mehr DOCSIS 3.1 im Netz ansteht, aber eigentlich hätte man da auch gut mal ein Crowdsourcing-Projekt machen können, damit man vor Vertragsabschluss sehen kann wie ausgelastet sein Segment sein wird.

 

[mulder77]

So, heute habe ich den Stick bekommen.
Ich habe den mit einem gewöhnlichen Antennenkabel am TV-Port der Dose angeschlossen. Bisher ist weder Internet noch TV gebucht. Sollte dort ein Signal anliegen?
Nachdem ich die FW runtergeladen habe, wird die auch geladen.

[Wed Mar 17 17:37:31 2021] usb 1-1.3: new high-speed USB device number 4 using xhci_hcd
[Wed Mar 17 17:37:31 2021] usb 1-1.3: New USB device found, idVendor=045e, idProduct=02d5, bcdDevice= 1.10
[Wed Mar 17 17:37:31 2021] usb 1-1.3: New USB device strings: Mfr=1, Product=2, SerialNumber=3
[Wed Mar 17 17:37:31 2021] usb 1-1.3: Product: Xbox USB Tuner
[Wed Mar 17 17:37:31 2021] usb 1-1.3: Manufacturer: Microsoft Corp.
[Wed Mar 17 17:37:31 2021] usb 1-1.3: SerialNumber: 001146180515
[Wed Mar 17 17:37:32 2021] dvb-usb: found a 'Microsoft Xbox One Digital TV Tuner' in cold state, will try to load a firmware
[Wed Mar 17 17:37:32 2021] dvb-usb: downloading firmware from file 'dvb-usb-dib0700-1.20.fw'
[Wed Mar 17 17:37:32 2021] dib0700: firmware started successfully.
[Wed Mar 17 17:37:32 2021] dvb-usb: found a 'Microsoft Xbox One Digital TV Tuner' in warm state.
[Wed Mar 17 17:37:32 2021] dvb-usb: will pass the complete MPEG2 transport stream to the software demuxer.
[Wed Mar 17 17:37:32 2021] dvbdev: DVB: registering new adapter (Microsoft Xbox One Digital TV Tuner)
[Wed Mar 17 17:37:32 2021] usb 1-1.3: media controller created
[Wed Mar 17 17:37:32 2021] dvbdev: dvb_create_media_entity: media entity 'dvb-demux' registered.
[Wed Mar 17 17:37:33 2021] mn88472 11-0018: Panasonic MN88472 successfully identified
[Wed Mar 17 17:37:33 2021] tda18250 11-0060: NXP TDA18250BHN/M successfully identified
[Wed Mar 17 17:37:33 2021] usb 1-1.3: DVB: registering adapter 0 frontend 0 (Panasonic MN88472)...
[Wed Mar 17 17:37:33 2021] dvbdev: dvb_create_media_entity: media entity 'Panasonic MN88472' registered.
[Wed Mar 17 17:37:33 2021] dvb-usb: Microsoft Xbox One Digital TV Tuner successfully initialized and connected.
[Wed Mar 17 17:37:33 2021] usbcore: registered new interface driver dvb_usb_dib0700
[Wed Mar 17 17:52:55 2021] mn88472 11-0018: Direct firmware load for dvb-demod-mn88472-02.fw failed with error -2
[Wed Mar 17 17:52:55 2021] mn88472 11-0018: firmware file 'dvb-demod-mn88472-02.fw' not found
[Wed Mar 17 17:52:55 2021] mn88472 11-0018: Direct firmware load for dvb-demod-mn88472-02.fw failed with error -2
[Wed Mar 17 17:52:55 2021] mn88472 11-0018: firmware file 'dvb-demod-mn88472-02.fw' not found
[Wed Mar 17 17:53:26 2021] mn88472 11-0018: Direct firmware load for dvb-demod-mn88472-02.fw failed with error -2
[Wed Mar 17 17:53:26 2021] mn88472 11-0018: firmware file 'dvb-demod-mn88472-02.fw' not found
[Wed Mar 17 18:06:07 2021] mn88472 11-0018: Direct firmware load for dvb-demod-mn88472-02.fw failed with error -2
[Wed Mar 17 18:06:07 2021] mn88472 11-0018: firmware file 'dvb-demod-mn88472-02.fw' not found
[Wed Mar 17 18:06:07 2021] mn88472 11-0018: Direct firmware load for dvb-demod-mn88472-02.fw failed with error -2
[Wed Mar 17 18:06:07 2021] mn88472 11-0018: firmware file 'dvb-demod-mn88472-02.fw' not found
[Wed Mar 17 18:08:56 2021] mn88472 11-0018: Direct firmware load for dvb-demod-mn88472-02.fw failed with error -2
[Wed Mar 17 18:08:56 2021] mn88472 11-0018: firmware file 'dvb-demod-mn88472-02.fw' not found
[Wed Mar 17 18:08:56 2021] mn88472 11-0018: Direct firmware load for dvb-demod-mn88472-02.fw failed with error -2
[Wed Mar 17 18:08:56 2021] mn88472 11-0018: firmware file 'dvb-demod-mn88472-02.fw' not found
[Wed Mar 17 18:09:21 2021] mn88472 11-0018: Direct firmware load for dvb-demod-mn88472-02.fw failed with error -2
[Wed Mar 17 18:09:21 2021] mn88472 11-0018: firmware file 'dvb-demod-mn88472-02.fw' not found
[Wed Mar 17 18:09:21 2021] mn88472 11-0018: Direct firmware load for dvb-demod-mn88472-02.fw failed with error -2
[Wed Mar 17 18:09:21 2021] mn88472 11-0018: firmware file 'dvb-demod-mn88472-02.fw' not found
[Wed Mar 17 18:10:15 2021] mn88472 11-0018: Direct firmware load for dvb-demod-mn88472-02.fw failed with error -2
[Wed Mar 17 18:10:15 2021] mn88472 11-0018: firmware file 'dvb-demod-mn88472-02.fw' not found
[Wed Mar 17 18:10:15 2021] mn88472 11-0018: Direct firmware load for dvb-demod-mn88472-02.fw failed with error -2
[Wed Mar 17 18:10:15 2021] mn88472 11-0018: firmware file 'dvb-demod-mn88472-02.fw' not found
[Wed Mar 17 18:14:21 2021] mn88472 11-0018: downloading firmware from file 'dvb-demod-mn88472-02.fw'

 

[mulder77]

Hahaha, und wenn man den Verstärker mit Strom versorgt, geht es sogar.

 

[Holzlenkrad]

Habe über einen zweiten Account nochmal 3 XBOX Tuner inkl Versand für ca 15€ geschossen und einen 8-fach Verteiler.

Sag mal, ist die Seriennummer bei dir auch auf allen Tunern (Kartons) gleich?
Ich hoffe mal, das ist einfach nur eine erweiterte Produktnummer/Charge und soll nicht wirklich unique sein. Oder sind das China-Fakes, die wir bekommen haben?

 

[bliblablubbe]

Oh, da habe ich nicht drauf geachtet. Möglich wäre das bei diesem Preis natürlich. Dachte eher an einen Preisfehler oder Abverkauf. Wenn Du die Verpackung noch hast, kannst Du evtl im Internet Vergleichsbilder finden. Fakes werden ja oft dokumentiert.

 

[sparkie]

@sparkie: Hier wäre es super wenn die "überzähligen" Tuner schon Kanal 1 bis 4 des nächsten Taktes scannen würden.

sorry, dass ich erst jetzt antworte. Ich habe den Post nur zufällig gesehen, da ich schon länger keine Benachrichtigungen mehr von diesem Forum erhalte.
Wie bereits meine Vorredner gesagt haben, ist das etwas aufwändig zu lösen. Man müsste den Scanner komplett von der Auswertung abkoppeln für permanenten Parallelbetrieb. Im Moment erfolgt halt immer eine Synchronisation wenn die Werte ausgelesen werden.
Es wäre aber sicher ein netter Rewrite des Tools...

 

[Mr.Goodcat]

sorry, dass ich erst jetzt antworte. Ich habe den Post nur zufällig gesehen, da ich schon länger keine Benachrichtigungen mehr von diesem Forum erhalte.
Wie bereits meine Vorredner gesagt haben, ist das etwas aufwändig zu lösen. Man müsste den Scanner komplett von der Auswertung abkoppeln für permanenten Parallelbetrieb. Im Moment erfolgt halt immer eine Synchronisation wenn die Werte ausgelesen werden.
Es wäre aber sicher ein netter Rewrite des Tools...

Kein Problem und vielen Dank für die Rückmeldung! Ich bin ja nur zu faul das selber zu machen

 

[MartinP_Do]

Interessant wäre es auch, die Auswertung gar nicht auf dem Pi zu machen, sondern einen PC nur sporadisch in die RRD schauen zu lassen. Der kann viel besser auswerten ...

 

[sparkie]

PC?? Ich denke heute muss alles mit einer aepp funktionieren

 

[sparkie]

Aber es stimmt schon. Die Aufzeichnung müsste von der Auswertung völlig entkoppelt werden. Dann wäre die Performance gleich noch etwas besser...

 

[MartinP_Do]

PC?? Ich denke heute muss alles mit einer aepp funktionieren

Dafür bin ich zu alt - sowohl auf dem Smartphone die Mäusekino-Grafiken anzuschauen, als auch die "aufgeräumten" Menuführungen moderner Apps zu durchblicken ...

 

[boba]

Die Aufzeichnung müsste von der Auswertung völlig entkoppelt werden.

Ich arbeite daran, das für mein cacti Monitoring umzubauen. Cacti ist auch ein *.rrd basierendes Monitoringsystem. Es besteht darin, zum einen eine Umgebung für ein periodisches Abfragen zu bieten und zum anderen das on-the-fly Generieren von vordefinierten Grafiken.
Cacti allerdings erwartet, dass jeder Datenwert instant ermittelt wird. Also nur das Auslesen von vorhandenen Daten geht. Sekundenlange Messdauer geht nicht.

Also bin ich dabei, einen kleinen Dienst zu schreiben (shellskript), der in Schleife ständig alle konfigurierten Kanäle durchläuft. Pro Kanal misst er eine vorgegebene Anzahl von Sekunden und schreibt das Ergebnis (Zeitstempel : Datendurchsatz) in eine Textdatei mit der Kanalnummer. Nach dem ersten Komplettdurchlauf aller Kanäle gibts für jeden Kanal eine Textdatei, in der der Durchsatz zum letzten gemessenen Zeitstempel steht. Die Textdateien werden ständig neu erstellt, weil der Dienst ja reihum ständig neu misst und neue Werte erhält. Es stehen also immer die jeweils zuletzt gelesenen Daten drin.

Cacti hat nun seinerseits alle Kanäle konfiguriert und fragt innerhalb seines integrierten Schedulers nach und nach sämtliche Kanäle durch. Ich muss noch ein simples cacti Abfragemodul schreiben, das als Input die von cacti gelieferte Kanalnummer entgegennimmt, die dazugehörige Textdatei ausliest, und Zeitstempel : Datendurchsatz an cacti zurückliefert.

Cacti erkennt automatisch, ob es diesen Zeitstempel schonmal bekommen hat, und trägt bei neuem Zeitstempel den Durchsatzwert in das *.rrd seines Kanals ein. Das Konzept von *.rrd kommt hier gut zum tragen: man benötigt keine Synchronisierung zwischen ermitteln der Daten und wegschreiben ins *.rrd. Stattdessen füttert man die *.rrd mit irgendeinem Timestamp, und innerhalb des *.rrd wird das in das vordefinierte Zeitschema mit dem tick-Intervall gepresst und hineingeschrieben. Dabei wird gewichtet und gemittelt, je nach Position des Zeitstempel eher vorne oder eher hinten im Intervall bei mehreren Datenwerten innerhalb desselben Intervalls. Damit muss man sich also gar nicht rumschlagen.

Mehr ist das dann nicht.
Aufsummierung, Aggregierung und Grafik-Erstellung macht dann cacti, kein selbstgeschriebenes Skript.

Mein Problem mit der Umsetzung liegt eigentlich an was anderem: Der TV-Tuner hängt nicht an der Maschine, auf der Cacti läuft. Ich muss die Daten also rüber auf den Cacti Server schaffen. Die generische Lösung für Netzzugriff in cacti ist snmp, also bin ich statt des cacti Abfragemodul dabei, die Inhalte der Durchsatz-Textdateien in einem snmp-Tree im snmp Daemon abzubilden, damit ich das dann in cacti dann einfach mit Bordmitteln einlesen kann. Da habe ich bisher noch keinen Bock gehabt, diese Fummelarbeit zu machen. Eigentlich geht das super leicht mit dem "extend" oder "exec" Keyword in der snmpd.conf - nur ein Einzeiler - nur habe ich bisher noch keine Zeit gehabt das exakt auszutüfteln.

 

[MartinP_Do]

Könnte man nicht einfach die Textdateien mit den Messdaten über die Rechnergrenze schieben? (FTP, SMB ....)
Ist natürlich wieder ein gewisses Problem bzgl. Zeitstempeln, wenn da zwei Uhren laufen ...

 

[boba]

Ftp oder Fileshare ist ein Ungetüm was die (Benutzer-)Sicherheit angeht und den Ressourcenverbrauch. Da wäre ja die ganze Userverwaltung zu automatisieren. Nee. Das ist was für Hand-Frickeleien, aber nicht so wie ich mir das vorstelle. Ich stelle mir immer vor, dass das, was ich hier zuhause bastle, auch in meiner Firma zum Einsatz kommen könnte mit den dort angesetzten Qualitäts- und Sicherheitskritieren. Das hat mit beruflicher Weiterbildung zuhause zu tun.
Da snmp bereits läuft und damit die dort beinhaltete Zugriffsverwaltung, werde ich das nutzen. Wie gesagt: das ist ne Lösung für das snmp-basierte cacti, nicht standalone.
In der Firma wäre alleine die Beantragung eines technischen Users für so nen popeligen Datentransfer 1-2 Wochen Zettelwirtschaft und halbjährliches Auditing als dauerhaftes Generve, ob man den noch braucht. Sowas macht man nicht, außer es ist alternativlos.

 

[Joerg]

Ftp oder Fileshare ist ein Ungetüm was die (Benutzer-)Sicherheit angeht und den Ressourcenverbrauch.

Bei mir läuft (lief) ein kleines Perlscript auf dem Pi, dass von Telegraf regelmässig aufgerufen wird; Telegraf schiebt die Daten dann in eine InfluxDB in meiner VPS. Dort landen auch schon die Daten aus der FritzBox (zT ebenfalls mit einem Perlscript und Telegraf zB für die SNRs, Powerlevel, Memory und zT mit collectd/fritzcollectd). Auf der gleichen VPS läuft dann auch ein Grafana zur Visualisierung der Daten. Ich hatte die Auslastungsmessung allerdings mit nur einem XBox-DVB-C-Stick gebaut, also noch nicht parallelisiert.

Lief, weil ich nach dem Eintreffen der beiden weiteren DVB-C-Sticks dem Pi eine HDD spendiert und ihn testweise mit VDR zu einem 3-Kanal-Videorecorder umstaltet hab. Das hat in der Familie spontan so viel Anklang gefunden dass ich das nun nicht mehr rückgängig machen kann , folglich kein Messequipment mehr habe und somit die Auslastungsdaten entfallen.

Jörg

 

[Holzlenkrad]

Bei mir läuft (lief) ein kleines Perlscript auf dem Pi, dass von Telegraf regelmässig aufgerufen wird;

Das sieht wirklich super aus. Magst du uns vielleicht das Script für Telegraf zur Verfügung stellen? Vielleicht hat ja sogar noch jemand einen XBox Stick übrig
Ich würde dann auch gucken, ob ich vielleicht eine Unterstützung fürs TC4400 hinzufügen kann

 

[boba]

Das erinnert mich daran, dass ich eigentlich von cacti weg wollte zu moderneren Systemen mit Grafana. So viel zu tun, so wenig Zeit.

 

[Joerg]

Bisher war ich zu faul, die Scripte hübsch und zu machen und eine Anleitung zu schreiben (welche Perl-Module man installieren muss usw). Kriegt man mit CPAN aber sicher hin Ich häng die mal in der aktuellen Fassung hier an den Beitrag.

Wenn man das Script in /usr/local/bin ablegt passt folgende Telegraf-Config (zB in /etc/telegraf/telegraf.d/fritzcollect.conf):

[[inputs.exec]] commands = ['/usr/local/bin/fritzcollect.pl 192.168.x.y fritzUser fritzUserPassword'] data_format = 'influx' interval = '10s' timeout = '10s'

Funktioniert mit einer FritzBox 6591, FW 7.22. Die 3.1-Downstream-Channels sind ungetestet, weil unser Segment im Downstream noch auf 24/0 läuft.

Das Script schreibt eine cache-Datei mit den Ergebnissen nach /tmp, die es aber nicht wirklich braucht ($renew steht immer auf 1); das ist ein Relikt aus einem Versuch, die Daten nur alle 5 Minuten neu zu ermitteln - was eher wenig sinnvoll ist - mit dem ich herausfinden wollte, ob der Speicher in der FB schneller "vollläuft" durch die 10sekündlichen Aufrufe. Das war übrigens nicht der Fall Hab das trotzdem dringelassen.

Das CableLoad-Script ist noch "simpler" und unfertiger, weil ich ja meine Experimente relativ schnell wieder abgebrochen habe (s.o.). Da steht zB die Channelliste "hart" drin. Ich pack es trotzdem mal mit dazu.

Jörg