Emulation Smartshunt um Junctek Batteriemonitor nutzen zu können

[88markus88]

Ich habe mir für meinen JuncTek Batteriemonitor (KG-F110) auf einem ESP32 eine Software gebastelt, die dessen Daten via RS485 einliest und per MQTT weiterleitet. Klappt ganz gut, hilft mir aber nicht dabei die Batteriedaten an die openDTU-on Battery weiterzugeben.

Deshalb habe ich mir eine funktion gebastelt die ve.direct messages zusammenbau und an einen seriellen Port schickt, um der openDTU einen Victron Smartshunt vorzugaukeln. Das klappt auch soweit ganz gut, daß die Messages in der Konsole angezeigt werden - nur der Weg ins Webinterface klappt noch nicht. Die Daten werden also aus irgendeinem Grund abgewiesen.

Kann mir jemand mal ein Konsolen-Log von den Daten eines echten Smartshunts geben, damit ich rausfinden kann wo meine Messages noch ein Problem haben?

[swingstate]

Bitte - Ein Smartshunt der über das von mir entwickelte PCB angebunden ist.

DTU log.txt

[88markus88]

@swingstate ein PCB für onBattery? Ich habe mir mal eins für openDTU gemacht, aber bin im Moment etwas zu faul das für ein einziges Exemplar von onBattery zu erweitern. Dabei sieht meine Platine dafür jetzt etwas grausam aus, mit zusätzlich drangefrickelten Strippen für die beiden ve.Direct Ports und externe Stromversorgung. Langfristig wäre CAN für Pylontech auch interessant, und ein oder zwei Relaisausgänge.
Hast du die KiCad Files dafür in Github oder sonstwo eingestellt?

[swingstate]

Details in diesem (schon langen) thread; aktuell stehe ich bei der Evaluierung des CAN Bus.

#477 (comment)

[88markus88]

log short.txt
Hier ein Protkollauszug von heute (sorry, ich kriege den nicht vernünftig formatiert). Mein SmartSolar und meine Emulation senden beide:
` 17:22:13.258 > [VE.Direct] Resetting state machine (was 3) after timeout
17:22:13.338 > [VE.Direct] serial input (223 Bytes):
17:22:13.400 > [VE.Direct] 0d 0a 50 49 44 09 30 78 41 33 38 39 0d 0a 56 09
17:22:13.450 > [VE.Direct] 32 36 33 38 30 0d 0a 49 09 2d 39 39 0d 0a 50 09
17:22:13.511 > [VE.Direct] 2d 32 0d 0a 54 09 32 33 0d 0a 53 4f 43 09 34 38
17:22:13.580 > [VE.Direct] 31 0d 0a 43 45 09 35 31 38 37 39 0d 0a 54 54 47
17:22:13.657 > [VE.Direct] 09 32 38 35 31 36 0d 0a 41 4c 41 52 4d 09 4f 46
17:22:13.721 > [VE.Direct] 46 0d 0a 52 45 4c 41 59 09 4f 46 46 0d 0a 41 52
17:22:13.773 > [VE.Direct] 09 30 0d 0a 48 31 09 31 30 30 30 0d 0a 48 32 09
17:22:13.842 > [VE.Direct] 35 30 30 0d 0a 48 33 09 37 30 30 0d 0a 48 34 09
17:22:13.898 > [VE.Direct] 31 0d 0a 48 35 09 31 0d 0a 48 36 09 39 31 37 31
17:22:13.973 > [VE.Direct] 30 0d 0a 48 37 09 32 34 30 30 30 0d 0a 48 38 09
17:22:14.192 > [VE.Direct] 32 37 30 30 30 0d 0a 48 39 09 31 30 30 30 0d 0a
17:22:14.264 > [VE.Direct] 48 31 37 09 32 34 32 0d 0a 48 31 38 09 31 38 30
17:22:14.313 > [VE.Direct] 0d 0a 42 4d 56 09 4b 47 46 31 31 30 0d 0a 46 57
17:22:14.603 > [VE.Direct] 09 32 30 38 0d 0a 43 48 45 43 4b 53 55 4d 95
17:22:14.664 > [Victron SmartShunt] Text Event PID: Value: 0XA389
17:22:14.719 > [Victron SmartShunt] Text Event V: Value: 26380
17:22:15.009 > [Victron SmartShunt] Text Event I: Value: -99
17:22:15.107 > [Victron SmartShunt] Text Event P: Value: -2
17:22:15.173 > [Victron SmartShunt] Text Event T: Value: 23
17:22:15.230 > [Victron SmartShunt] Text Event SOC: Value: 481
17:22:15.424 > [Victron SmartShunt] Text Event CE: Value: 51879
17:22:15.500 > [Victron SmartShunt] Text Event TTG: Value: 28516
17:22:15.553 > [Victron SmartShunt] Text Event ALARM: Value: OFF
17:22:15.617 > [Victron SmartShunt] Text Event RELAY: Value: OFF
17:22:15.831 > [Victron SmartShunt] Text Event AR: Value: 0
17:22:16.138 > [Victron SmartShunt] Text Event H1: Value: 1000
17:22:16.196 > [Victron SmartShunt] Text Event H2: Value: 500
17:22:16.254 > [Victron SmartShunt] Text Event H3: Value: 700
17:22:16.311 > [Victron SmartShunt] Text Event H4: Value: 1
17:22:16.376 > [Victron SmartShunt] Text Event H5: Value: 1
17:22:16.436 > [Victron SmartShunt] Text Event H6: Value: 91710
17:22:16.659 > [Victron SmartShunt] Text Event H7: Value: 24000
17:22:16.714 > [Victron SmartShunt] Text Event H8: Value: 27000
17:22:16.773 > [Victron SmartShunt] Text Event H9: Value: 1000
17:22:16.837 > [Victron SmartShunt] Text Event H17: Value: 242
17:22:16.916 > [Victron SmartShunt] Text Event H18: Value: 180
17:22:16.977 > [Victron SmartShunt] Text Event BMV: Value: KGF110
17:22:17.036 > [Victron SmartShunt] Text Event FW: Value: 208
17:22:17.107 > [Victron MPPT] Text Event PID: Value: 0XA060
17:22:17.166 > [Victron MPPT] Text Event FW: Value: 161
17:22:17.229 > [Victron MPPT] Text Event SER: Value: HQ2309D6VVR
17:22:17.281 > [Victron MPPT] Text Event V: Value: 26420
17:22:17.376 > [Victron MPPT] Text Event I: Value: -30
17:22:17.464 > [Victron MPPT] Text Event VPV: Value: 3540
17:22:17.881 > [Victron MPPT] Text Event PPV: Value: 0
17:22:17.947 > [Victron MPPT] Text Event CS: Value: 0
17:22:18.012 > [Victron MPPT] Text Event MPPT: Value: 0
17:22:18.076 > [Victron MPPT] Text Event OR: Value: 0X00000001
17:22:18.131 > [Victron MPPT] Text Event ERR: Value: 0
17:22:18.194 > [Victron MPPT] Text Event LOAD: Value: ON
17:22:18.486 > [Victron MPPT] Text Event IL: Value: 0
17:22:18.795 > [Victron MPPT] Text Event H19: Value: 122
17:22:18.900 > [Victron MPPT] Text Event H20: Value: 23
17:22:18.961 > [Victron MPPT] Text Event H21: Value: 238
17:22:19.015 > [Victron MPPT] Text Event H22: Value: 3
17:22:19.103 > [Victron MPPT] Text Event H23: Value: 14
17:22:19.189 > [Victron MPPT] Text Event HSDS: Value: 8
17:22:19.244 > [VE.Direct] serial input (183 Bytes):
17:22:19.310 > [VE.Direct] 0d 0a 50 49 44 09 30 78 41 30 36 30 0d 0a 46 57
17:22:19.383 > [VE.Direct] 09 31 36 31 0d 0a 53 45 52 23 09 48 51 32 33 30
17:22:19.452 > [VE.Direct] 39 44 36 56 56 52 0d 0a 56 09 32 36 34 32 30 0d
17:22:19.531 > [VE.Direct] 0a 49 09 2d 33 30 0d 0a 56 50 56 09 33 35 34 30
17:22:19.590 > [VE.Direct] 0d 0a 50 50 56 09 30 0d 0a 43 53 09 30 0d 0a 4d
17:22:19.658 > [VE.Direct] 50 50 54 09 30 0d 0a 4f 52 09 30 78 30 30 30 30
17:22:19.726 > [VE.Direct] 30 30 30 31 0d 0a 45 52 52 09 30 0d 0a 4c 4f 41
17:22:19.797 > [VE.Direct] 44 09 4f 4e 0d 0a 49 4c 09 30 0d 0a 48 31 39 09
17:22:19.862 > [VE.Direct] 31 32 32 0d 0a 48 32 30 09 32 33 0d 0a 48 32 31
17:22:19.926 > [VE.Direct] 09 32 33 38 0d 0a 48 32 32 09 33 0d 0a 48 32 33
17:22:20.014 > [VE.Direct] 09 31 34 0d 0a 48 53 44 53 09 38 0d 0a 43 68 65
17:22:20.158 > [VE.Direct] 63 6b 73 75 6d 09 20
17:22:20.248 > [VE.Direct] Resetting state machine (was 3) after timeout
17:22:20.637 > [VE.Direct] serial input (223 Bytes):
17:22:20.689 > [VE.Direct] 0d 0a 50 49 44 09 30 78 41 33 38 39 0d 0a 56 09
17:22:20.753 > [VE.Direct] 32 36 33 38 30 0d 0a 49 09 2d 39 39 0d 0a 50 09
17:22:20.862 > [VE.Direct] 2d 32 0d 0a 54 09 32 33 0d 0a 53 4f 43 09 34 38
17:22:20.921 > [VE.Direct] 31 0d 0a 43 45 09 35 31 38 37 39 0d 0a 54 54 47
17:22:20.985 > [VE.Direct] 09 32 38 35 31 36 0d 0a 41 4c 41 52 4d 09 4f 46
17:22:21.048 > [VE.Direct] 46 0d 0a 52 45 4c 41 59 09 4f 46 46 0d 0a 41 52
17:22:22.374 > [VE.Direct] 09 30 0d 0a 48 31 09 31 30 30 30 0d 0a 48 32 09
17:22:32.691 > [Victron MPPT] Text Event PID: Value: 0XA060
17:22:32.745 > [Victron MPPT] Text Event FW: Value: 161
17:22:32.817 > [Victron MPPT] Text Event SER: Value: HQ2309D6VVR
17:22:32.868 > [Victron MPPT] Text Event V: Value: 26420
17:22:32.934 > [Victron MPPT] Text Event I: Value: -30
17:22:32.987 > [Victron MPPT] Text Event VPV: Value: 3470
17:22:33.049 > [Victron MPPT] Text Event PPV: Value: 0
17:22:33.125 > [Victron MPPT] Text Event CS: Value: 0
17:22:33.194 > [Victron MPPT] Text Event MPPT: Value: 0
17:22:33.251 > [Victron MPPT] Text Event OR: Value: 0X00000001
17:22:33.314 > [Victron MPPT] Text Event ERR: Value: 0
17:22:33.370 > [Victron MPPT] Text Event LOAD: Value: ON
17:22:33.418 > [Victron MPPT] Text Event IL: Value: 0
17:22:33.481 > [Victron MPPT] Text Event H19: Value: 122
17:22:33.642 > [Victron MPPT] Text Event H20: Value: 23
17:22:33.707 > [Victron MPPT] Text Event H21: Value: 238
17:22:33.759 > [Victron MPPT] Text Event H22: Value: 3
17:22:33.844 > [VE.Direct] Resetting state machine (was 3) after timeout
17:22:33.903 > [VE.Direct] serial input (223 Bytes):
17:22:33.967 > [VE.Direct] 0d 0a 50 49 44 09 30 78 41 33 38 39 0d 0a 56 09
17:22:34.019 > [VE.Direct] 32 36 33 38 30 0d 0a 49 09 2d 39 39 0d 0a 50 09
17:22:34.073 > [VE.Direct] 2d 32 0d 0a 54 09 32 33 0d 0a 53 4f 43 09 34 38
17:22:34.125 > [VE.Direct] 31 0d 0a 43 45 09 35 31 38 37 39 0d 0a 54 54 47
17:22:34.173 > [VE.Direct] 09 32 39 30 35 34 0d 0a 41 4c 41 52 4d 09 4f 46
17:22:34.234 > [VE.Direct] 46 0d 0a 52 45 4c 41 59 09 4f 46 46 0d 0a 41 52
17:22:34.298 > [VE.Direct] 09 30 0d 0a 48 31 09 31 30 30 30 0d 0a 48 32 09
17:22:34.410 > [VE.Direct] 35 30 30 0d 0a 48 33 09 37 30 30 0d 0a 48 34 09
17:22:34.479 > [VE.Direct] 31 0d 0a 48 35 09 31 0d 0a 48 36 09 39 31 37 31
17:22:34.534 > [VE.Direct] 30 0d 0a 48 37 09 32 34 30 30 30 0d 0a 48 38 09
17:22:34.591 > [VE.Direct] 32 37 30 30 30 0d 0a 48 39 09 31 30 30 30 0d 0a
17:22:34.763 > [VE.Direct] 48 31 37 09 32 34 32 0d 0a 48 31 38 09 31 38 30
17:22:34.818 > [VE.Direct] 0d 0a 42 4d 56 09 4b 47 46 31 31 30 0d 0a 46 57
17:22:34.869 > [VE.Direct] 09 32 30 38 0d 0a 43 48 45 43 4b 53 55 4d 97
17:22:34.935 > [Victron MPPT] Text Event H23: Value: 14
17:22:34.995 > [Victron MPPT] Text Event HSDS: Value: 8
17:22:35.059 > [VE.Direct] serial input (183 Bytes):
17:22:35.114 > [VE.Direct] 0d 0a 50 49 44 09 30 78 41 30 36 30 0d 0a 46 57
17:22:35.388 > [VE.Direct] 09 31 36 31 0d 0a 53 45 52 23 09 48 51 32 33 30
17:22:35.456 > [VE.Direct] 39 44 36 56 56 52 0d 0a 56 09 32 36 34 32 30 0d
17:22:35.512 > [VE.Direct] 0a 49 09 2d 33 30 0d 0a 56 50 56 09 33 34 37 30
17:22:35.682 > [VE.Direct] 0d 0a 50 50 56 09 30 0d 0a 43 53 09 30 0d 0a 4d
17:22:35.729 > [VE.Direct] 50 50 54 09 30 0d 0a 4f 52 09 30 78 30 30 30 30
17:22:35.791 > [VE.Direct] 30 30 30 31 0d 0a 45 52 52 09 30 0d 0a 4c 4f 41
17:22:35.855 > [VE.Direct] 44 09 4f 4e 0d 0a 49 4c 09 30 0d 0a 48 31 39 09
17:22:35.916 > [VE.Direct] 31 32 32 0d 0a 48 32 30 09 32 33 0d 0a 48 32 31
17:22:35.993 > [VE.Direct] 09 32 33 38 0d 0a 48 32 32 09 33 0d 0a 48 32 33
17:22:36.053 > [VE.Direct] 09 31 34 0d 0a 48 53 44 53 09 38 0d 0a 43 68 65
17:22:36.119 > [VE.Direct] 63 6b 73 75 6d 09 1e
17:22:36.173 > [Victron SmartShunt] Text Event PID: Value: 0XA389
17:22:36.220 > [Victron SmartShunt] Text Event V: Value: 26380
17:22:36.300 > [Victron SmartShunt] Text Event I: Value: -99
17:22:36.367 > [Victron SmartShunt] Text Event P: Value: -2
17:22:36.427 > [Victron SmartShunt] Text Event T: Value: 23
17:22:36.483 > [Victron SmartShunt] Text Event SOC: Value: 481
17:22:36.544 > [Victron SmartShunt] Text Event CE: Value: 51879
17:22:36.708 > [Victron SmartShunt] Text Event TTG: Value: 29054
17:22:36.756 > [Victron SmartShunt] Text Event ALARM: Value: OFF
17:22:36.804 > [Victron SmartShunt] Text Event RELAY: Value: OFF
17:22:36.866 > [Victron SmartShunt] Text Event AR: Value: 0
17:22:37.016 > [Victron SmartShunt] Text Event H1: Value: 1000
17:22:37.063 > [Victron SmartShunt] Text Event H2: Value: 500
17:22:37.128 > [Victron SmartShunt] Text Event H3: Value: 700
17:22:37.196 > [Victron SmartShunt] Text Event H4: Value: 1
17:22:37.248 > [Victron SmartShunt] Text Event H5: Value: 1
17:22:37.323 > [Victron SmartShunt] Text Event H6: Value: 91710
17:22:37.371 > [Victron SmartShunt] Text Event H7: Value: 24000
17:22:37.527 > [Victron SmartShunt] Text Event H8: Value: 27000
17:22:37.587 > [Victron SmartShunt] Text Event H9: Value: 1000
17:22:37.636 > [Victron SmartShunt] Text Event H17: Value: 242
17:22:37.699 > [Victron SmartShunt] Text Event H18: Value: 180
17:22:37.756 > [Victron SmartShunt] Text Event BMV: Value: KGF110
17:22:37.820 > [Victron SmartShunt] Text Event FW: Value: 208

[88markus88]

@swingstate : super, danke!

[schlimmchen]

[VE.Direct] Resetting state machine (was 3) after timeout

Demnach hast du die Länge falsch berechnet bzw. übermittelt oder die Prüfsumme vergessen oder einen Wert nicht serialisiert, den du vorher zur Länge dazugerechnet hast oder Ähnliches. Jedenfalls werden mehr Bytes erwartet.

[88markus88]

Im ve.direct Protokoll gibt es keine Längeninformation, zumindest nicht nach der Spec - Version die ich habe. Eine Message besteht aus einer Folge von:
0xd 0xa Bezeichner 0x9 Wert

und wird abgeschlossen mit:
0xd 0xa Checksum 0x9 Checksumvalue

[schlimmchen]

Ich wunder mich wohl, dass du diesen Aufwand betreibst, statt den MQTT basierten BatteryProvider in OpenDTU-OnBattery selbst zu implementieren. Das ist nicht so kompliziert, da kann man viel copy'n'pasten 😉

[88markus88]

Hmmm .. meine eigene Software kenne ich, und Einarbeitung in ein grösseres Projekt ist meist nicht so einfach.
Morgen knacke ich erstmal diese Nuss, und dann sehen wir weiter.
Aber Sinn macht das schon, die Lösung via MQTT ist wesentlich flexibler.

[88markus88]

So, es läuft. Ich kann jetzt die Daten vom JuncTek KG-F110 Batteriemonitor via RS485 auslesen und über MQTT an Mosquitto, und über die serielle Batterieschnittstelle (PIN BATTERY.RX / BATTERY.TX) an openDTU übergeben, wie werden in der WebUI als Batteriedaten angezeigt und für die Regelung des Dynamic Power Limiter verwendet.

Ich habe dabei ein paar Dinge gelernt:

• Der Smartshunt sendet seine Daten in zwei separaten Paketen (Danke an @swingstate für die Beispiel-Logfiles und @schlimmchen für die Infos!)
• openDTU-onBattery ist ziemlich empfindlich was die Korrektheit der Messages angeht. Scheinbar findet nach der Checksumme keine Input Validation statt, ich habe es heute ein paarmal mit unerwarteten Daten abgeschossen.
• Die Darstellung der Batteriedaten in der Web-UI könnte eine leichte Überarbeitung vertragen: Die Gerätebezeichnung im Feld BMV wird nicht ausgewertet, aus gemeldeten 499 Promille macht es 49% etc.. Da könnte man doch runden ;-). Aber da kann ich ja durchaus selber etwas dran ändern - mal sehen wann ich Zeit und Lust dafür habe, mich etwas tiefer einzuarbeiten...

[schlimmchen]

Scheinbar findet nach der Checksumme keine Input Validation statt, ich habe es heute ein paarmal mit unerwarteten Daten abgeschossen.

Das ist schlecht. Hast du Beispiele?

[88markus88]

Ich habe während des Debuggens keinen "Kandidaten" mit Sicherheit festmachen können.
Das Symptom war dass die Konsole immer langsamer wurde, bis schliesslich nach wenigen Minuten die WebUI openDTU sehr langsam wurde bzw. gar nicht mehr reagierte. In einem Fall muste ich sie komplett neu flashen. Buffer bzw. Memory overflow, war meine Vermutung. Merkwürdig dass in dem einen Fall auch kein Neustart mehr geholfen hat - kann man sich so einfach den Flash Speicher zerschiessen?

Verbesserungen habe ich gesehen

• beim Aufteilen der Message in 2 Teile
• Vermeiden von negativen Werten für TTG
• CHECKSUM statt Checksum

[88markus88]

Ich habe meine Bridge Junctek KGF-110 => onBattery mal in Github eingestellt, evtl. interessiert sich ja jemand dafür. Hier der Link.
"Hauptberuflich" stelle sie die KGF-110 Daten per MQTT zur Verfügung, und bindet DS18B20 Temperatursensoren ein.

[OW10001]

Hallo zusammen, ich hänge mich hier Mal dran. Ich Versuche ebenfalls aus dem Gerät per RS485 Daten auszulesen.

Momentan habe ich das Problem, dass es nach dem Verbinden des Junctek (Kanäle A und B) zu einem Ausfall der kompletten RS485 Kommunikation kommt. D.h. andere Geräte, die auf demselben Bus hängen melden einen Fehler.

Wäre für Hinweise dankbar.

Besten Dank