Firmware 0.6.3 Experimental

In den nächsten Stunden werde ich eine neue Version unserer Firmware im Experimental Branch veröffentlichen.
Diese enthält folgende Änderungen:

  • Update von Gluon 2016.2.1 auf Gluon 2016.2.2
  • Änderung des IPv6 Prefix (Nachzug zum neuen IPv6 Gateway)
  • Entfernen der Pakete ffrn-lowmem-patches und ffrn-remove-old-vlan

Mögliche Probleme:

  • Probleme mit bestimmten IPv6 Diensten (sehr unwarscheinlich)
  • Probleme mit der Stabilität (Aufgrund der entfernten Pakete)

Weitere Hinweise:
Ab sofort gib es keinen sauberen Upgrade Pfad mehr für Knoten mit einer Firmware Version < 0.5.12. Da dies jedoch nur 5 Geräte betrifft ist das verkraftbar. Geräte mit diesen Versionen sollten unbedingt komplett neu geflasht werden ohne die alten Einstellungen beizubehalten.

Außerdem bitte ich alle Nutzer des Experimental Branch die Stabilität der Knoten zu beobachten. Dies ist wichtig, weil ich den Workarround für die Load/Stabilität entfernt habe um zu sehen wie sich die Knoten mit der neueren Gluon Version dort verhalten. Feedback ist also sehr wichtig.

3 „Gefällt mir“

Das Update hat bei meinen 3 Knoten geklappt.

Die WLAN-Kanäle standen alle auf 6, da ich vergessen hatte, preserve_channels zu setzen. Bin jetzt wieder auf 1-6-11 und habe mesh-on-wifi nur auf dem 6er an. Ich werde berichten, wenn es Probleme gibt.

Ich beobachte aktuell, dass auf meinen und anderen 841ern mit experimental seit ca. 7:30 Uhr die Load sehr hoch ist. Das war mit der alten Firmware nicht so. Das Update haben die betroffenen Knoten bereits mehrere Stunden vorher eingespielt. D.h., die alte Firmware lief erstmal eine zeitlang mit normaler Last.

http://s.ffrn.de/dashboard/db/nodes?panelId=3&fullscreen&var-Node=Lorsch-002&from=1484002735206&to=1484045095896

Außerdem sehe ich Lücken im Grafana, die waren vorher auch nicht da. Könnte eine Folge der hohen Last sein:

http://s.ffrn.de/dashboard/db/nodes?panelId=4&fullscreen&var-Node=Bensheim-002&var-Node=Bensheim-006&var-Node=Bensheim-014&var-Node=Bensheim-015&from=1484024400000&to=1484035200000

Zum Vergleich vor dem Update:

http://s.ffrn.de/dashboard/db/nodes?panelId=4&fullscreen&var-Node=Bensheim-002&var-Node=Bensheim-006&var-Node=Bensheim-014&var-Node=Bensheim-015&from=1484002800000&to=1484013600000

Im Grafana in der Spielwiese ist mir folgendes aufgefallen:

TG Size und TG Entries sind leer. OldIPv6 und NewIPv6 scheinen vertauscht zu sein. Das IPv6-Traffic-Verhältnis scheint noch mit den alten IPv6-Werten berechnet zu werden.

Jain. Wie gesagt, das ist die Spielwiese. Keine Garantie für Werte die dort stehen. IPv6 ist aktuell vertauscht, da ich das alte Netz aktivieren musste um die Updates einzuspielen. Die Knoten wollen explizit leider das alte Netz dafür. Die TG Werte fehlen weil ich aktuell an dem System das die Erfasst was geändert habe und noch keine Zeit hatte da etwas zu fixen.

Die hohen Load Werte kann ich auch beobachten. Das ist äußerst spannend, da diese wirklich extrem viel höher sind als mit unserem Workarround.

Ich weiß dass da ruhig mal was kaputt sein kann, wollte nur Bescheid geben dass da noch was umgestellt werden muss.

Ansonsten kann ich von der 0.6.3 nichts positives berichten. Meine Knoten hatten vorher fast 4 Wochen uptime, gestern ist einer der Knoten aber spontan neu gestartet. Auch der Durchsatz ist manchmal unterirdisch schlecht, vermutlich wegen der hohen Systemauslastung.

Die Lücken im Grafana sind jetzt auch Nachts da; die ersten Stunden nach dem Upgrade waren allerdings ohne Lücken. Wird das ganze vielleicht instabiler, je mehr Knoten auf Experimental wechseln?

Kannst du die Knoten mal richtig neu starten? Das hat bei einigen die Situation verbessert.

„richtig“ im Sinne von Strom raus und wieder rein? Oder sollte ein reboot über die Kommandozeile reichen?

Weitestgehend egal.Was besser geht.

Kollektiv-Reboot um 16:40 Uhr hat wirklich was gebracht, warum auch immer…

http://s.ffrn.de/dashboard/db/nodes?panelId=3&fullscreen&var-Node=Bensheim-002&var-Node=Bensheim-006&var-Node=Bensheim-014&var-Node=Bensheim-015&from=1484139699623&to=1484160556412

Gleiche Problematik vermutlich wie damals als wir den Patch eingeführt haben. Es brauchte einen ordentlichen, nicht upgrade induzierten Reboot damit es sauber geht.

Seit dem Update habe ich wieder das Problem, dass mein einer Uplink-Knoten das WLAN wegwirft. Sind die cron-jobs bei dem Update rausgeflogen?

Sollten sie nicht, ausschließen kann ich es aber nicht.

Meine aktuellen Beobachtungen zur Firmware: sie ist schlecher als die alte. Ich habe alle paar Tage reboots, die mit der alten Firmware nicht aufgetaucht sind (zugegeben alls 841er). Sollten wir evtl. einen neue Build machen mit aktuellem Prefix, aktuellem Gluon aber zusätzlich den lowmem-patches?

Ja, das deckt sich weitestgehend auch mit meinen Beobachtungen. Das es noch keine neue Firmware gibt liegt daran, dass ich die Entwicklung dieser Knoten über ein paar Tage beobachten wollte, um eventuell weitere oder andere Anomalien festzustellen. Da sich die Probleme aber relativ stabil zeigen, wird es im Laufe der Woche eine Version 0.6.4 geben, die den lowmem-Patch wieder enthält.

0.6.4 ist verfügbar, bitte dort weiter testen und diskutieren.