Wartung 12.01.2018

Aufgrund einer groß angelgten Wartung kann es bis in die Abendstunden zu Ausfällen im Freifunk Netz kommen.
Dies betrifft unter anderem die Gateways sowie die Karte.

In diesem Zuge werden die Gateways mit den Meltdown/Spectre Patches ausgestattet und generell Updates installiert.

Wir informieren euch sobald die Wartung abgeschlossen ist.

2 „Gefällt mir“

Da bei Upgrades von Debian Jessie zu Stretch nicht einkalkulierte Fehler auftreten dauert die Wartung weitherhin an.

Technische Details

Wir haben einige Race-Conditions im DHCP Server, bei Netzwerk Interfaces sowie beim Start von B.A.T.M.A.N.-ADV.
Diese müssen nach und nach gefunden und behoben werden.

Die Wartung wurde soeben komplett abgeschlossen.
Eine kurze Zusammenfassung was getan wurde:

  • Upgrade aller Gateways und Hypervisor auf Debian Stretch
    • Damit wurden auch die Kernel auf einen neuen Stand gebracht, wodurch sowohl die Sicherheitslücken Meltdown und Spectre eingedämmt wurden.
    • Ausserdem hat das Kernel Update eine neue batman-adv Version mitgebracht, durch welche wir uns mehr Stabilität erhoffen.
  • Analyse von bisher aufgetretenen Fehlern welche beim Upgrade aufgefallen sind
    • Uns sind einige “Race Conditions” aufgefallen, die bei einem Neustart der Gateways zu fehlenden Abhängigkeiten führen
  • Außerdem haben wir die Kommunikation zwischen den Gateways verändert. Vorher wurde dort die Software “tinc” eingesetzt, welche allem Anschein nach zu erhöhtem Traffic geführt hat und ausserdem maximal 250Mbit/s Bandbreite zwischen den GWs ermöglicht hat. Dies betraf auch die IPv6 Anbindung
    • Jetzt haben wir die Verbindung auf den Hypervisor ausgelagert, und dort “gretap” Verbindungen aufgebaut welche zu den VMs gebrückt werden.

Kommentare und Fragen zur Wartung und den hierbei durchgeführten Änderungen an unserer Infrastruktur können gerne in diesen Thread geschrieben werden.

2 „Gefällt mir“

Ich bin gerade mit HD-Hendesse-06 / HD-Hendesse-05 und dort mit Gateway 05 verbunden und wollte einen neuen Knoten registrieren und aufs Forum zurgeifen. Bei beiden Seiten bekomme ich eine Zeitüberschreitung. Beim Laden steht unten in der Statuszeile “TLS-Handshake mit register.freifunk-rhein-neckar.de wird durchgeführt”.

Hatten wir dieses Problem nicht schon einmal?
Soll ich dafür einen eigenen Post aufmachen oder passt das zu den Updates?

@NurticVibe ich habe seit einigen Tagen Probleme die Verbindung zu Freifunk steht verbunden, ins Internet komme ich von vielen Versuchen meist nicht oder nicht lange. Knoten Gaiberg 007 Mac ec:08:6b:56:b5:ce wird versorgt über Ringstr 14 up .kein Gateway angezeigt. Ausschalten, Neustart etc wie Blinker geht nicht …geht.

Dieser Dienst wurde vor kurzem auf eine andere IP umgezogen. Bitte erneut prüfen. Außerdem brauche ich mehr Informationen wie bspw Verbindungstyp (IPv4, IPv6) und ob es bei bswp Ping auch zu Problemen kommt.

Hallo Karsten,

beideutet “Seit einigen Tagen” in dem Fall auch nach der Wartung?
Wie sieht die TQ deines Knoten aus?
Zu welchem Gateway war der Knoten zu diesem Zeitpunkt verbunden?
Was heißt “nicht ins Internet verbunden” - keine IP, kein DNS, Webseiten gehen nicht?
Hat ein Ping zur selben Zeit funktioniert?

ja kämpfe an einigen Fronten. Vor ca 10 Tagen hatte unity Media technische Probleme. Mein Spender Ringstr 14 up war Telefon Internet tot. Wurde am Freitag den12.1. gefixt. Ich habe seit drei Monaten kein Internet da Unity den beantragten Umzug bisher nicht gelöst hat. Also nur mit Smartphone . Wird erst am Dienstag neu aufgeladen. Im Augenblick läuft Freifunk.
Ring 14 up ber Gateway 9 TQ 53-88 %
Ring 007 TQ 53 - 87 %
Karsten

Also das was ich auf der Karte in Gaiberg sehe schreit mir ziemlich nach kaputten Mesh-Verbindungen.
Die TQ zum GW bei Gaiberg-Ringstr-014-up ist soweit okay, allerdings sind sämtliche Meshverbindungen mit schlechter bis sehr schlechter TQ angebunden. Bei 2% Packet Loss ist TCP schon nicht mehr gut nutzbar.
Unter 90% TQ ist die Verbindung für mich als schlecht anzusehen. Unter 75% als sehr schlecht.

die sind sicher nicht gut über die Straße in den abgeschirmten Baustromverteiler und von dort aus in die Einliegerwohnung ohne Kabelmöglichkeit.

Ich bin mit HD-Hendesse-05 und dieser mit Gateway 08 verbunden.
map.ffrn.de register.freifunk-rhein-neckar.de und forum.ffrn.de laufen beim Aufruf auf einen Timeout.
In der Statusleiste steht TLS-Handshake mit … wird durchgeführt.
Anpingen kann ich alle Adressen.
IPv4

Gleiches Spiel bei HD-Hendesse-06 verbunden mit Gateway 04

Also mal kurz noch was von mir, ging vor den Wartungsarbeiten noch:
ich komme an meinen Node ffrn-msu (gw09) wunderbar via ssh und IPv6 dran, bei den Nodes ffrn-aufaucon-offloader (gw04) und ffrn-fewo-heinzelmann (gw02) erhalte ich immer ein:

$ ssh ffrn-aufaucon-offloader
Connection to 2a01:4f8:171:fcff:219:99ff:fe7a:722a timed out while waiting to read

Könnte da etwas mit dem Routing nicht passen? Ping geht komischerweise die ganze Zeit wunderbar…

MTR sieht eigentlich identisch aus, ffrn-aufaucon-offloader:

server (::)                                                             Mon Jan 15 21:53:34 2018
Keys:  Help   Display mode   Restart statistics   Order of fields   quit
                                Packets               Pings
 Host                                                 Loss%   Snt   Last   Avg  Best  Wrst StDev
 1. fritz.box                                          0.0%   248    6.7  73.6   0.4 1805. 267.4
2001:1438::62:214:63:94
 2. 2001:1438::62:214:63:94                            0.0%   248   83.8  68.3   5.6 1705. 256.2
 3. 2001:1438:0:1::5:1e1                               0.0%   248    5.7   6.1   5.3  26.3   2.3
 4. 2001:1438:0:1::4:2302                              0.0%   248   10.8  11.5  10.4  51.7   3.8
 5. decix-gw.hetzner.de                                0.0%   248   11.6  11.4  10.6  20.1   0.7
 6. core23.fsn1.hetzner.com                            0.0%   247   22.2  16.4  15.3  49.2   2.5
 7. ex9k1.dc8.fsn1.hetzner.com                         0.0%   247   15.7  16.0  15.3  21.8   0.6
 8. vm01.rz17.fks.de.ffrn.de                           0.0%   247   19.4  17.8  17.0  23.1   0.8
 9. ext.v6upstream.rz17.fks.de.noc.ffrn.de            45.9%   247   19.0  17.9  16.9  21.5   0.9
10. 2a01:4f8:171:fcff:219:99ff:fe7a:722a               0.4%   247   43.1  47.5  41.7 572.1  34.2

ffrn-msu:

server (::)                                                             Mon Jan 15 21:55:07 2018
Keys:  Help   Display mode   Restart statistics   Order of fields   quit
                                                        Packets               Pings
 Host                                                 Loss%   Snt   Last   Avg  Best  Wrst StDev
 1. fritz.box                                          0.3%   314   21.8 129.0   0.5 6443. 621.5
    2001:1438::62:214:63:94
 2. 2001:1438::62:214:63:94                            0.3%   314    6.9 138.3   5.7 6343. 634.9
 3. 2001:1438:0:1::5:1e1                               0.0%   314    6.1   6.2   5.3  31.7   2.5
 4. 2001:1438:0:1::4:2302                              0.0%   314   10.6  11.7  10.2 121.2   7.1
 5. decix-gw.hetzner.de                                0.0%   313   13.4  11.2  10.5  16.2   0.6
 6. core23.fsn1.hetzner.com                            0.0%   313   15.6  16.0  15.2  32.9   1.4
 7. ex9k1.dc8.fsn1.hetzner.com                         0.0%   313   16.1  16.1  15.4  28.2   1.3
 8. vm01.rz17.fks.de.ffrn.de                           0.0%   313   17.4  17.6  16.8  29.1   1.1
 9. ext.v6upstream.rz17.fks.de.noc.ffrn.de            49.2%   313   17.3  17.6  16.9  24.7   0.8
10. 2a01:4f8:171:fcff:ea94:f6ff:fe68:bc32              0.0%   313   15.9  17.4  15.5 137.6   7.0

EDIT: Von meinem Node aus komme ich dann direkt weiter und an die anderen Nodes dran…

Danke für den Report @Mitsch das hilft wirklich weiter bei der Fehlersuche.

1 „Gefällt mir“

Haben einen Fehler in der MTU des neuen Mapbone gefunden und behoben. Könnt ihr bitte nochmal testen?

3 „Gefällt mir“

Die ffrn Seiten funktionieren. Sie werden sofort geladen.
Danke Dir!

@NurticVibe vielen Dank! ssh läuft auch wieder zu allen Nodes ohne Probleme! Daumen nach oben von mir… MTU ist echt ein Mist…