PVdiary op raspberry pi

Kijk hier voor datalog programma's en handleidingen.
Plaats reactie
Gebruikersavatar
jorispepijn
lid
Berichten: 74
Lid geworden op: 22 mei 2013, 14:01
Installatie Land: Nederland
Locatie: Haarlem

Re: PVdiary op raspberry pi

Bericht door jorispepijn » 17 jan 2019, 12:47

Omdat de installatie van de nieuwe image op mijn oude raspberry niet lekker liep een Raspberry 3 gekocht. Lekker snel door de installatie alleen loop ik nog steeds tegen het probleem aan dat bij uploaden naar de website er een fout op treed door het niet kunnen ophalen van het laatste synchronisatiemoment. Alles wat dat betreft geprobeerd. Passief en actieve modus etc etc. Vervelend bij de raspberry 3 is dat hij mijn USB dongle ook niet kan aansturen ( SENA's Parani UD100). Ik ben er nog niet helemaal uit hoe ik het stuurprogramma voor de dongle kan laden in het image.

Ik heb nu twee omvormers 100 meter uit elkaar die ik uitlees en upload naar 1 website via 1 strategisch geplaatste raspberry. Ik vraag me af of ik ook twee raspberry's kan inzetten dichter bij de omvormers waarvan de data wordt samengevoegd in 1 overzicht?

Ga verder met stoeien maar tips zijn welkom

Jan

Gebruikersavatar
leslie
Senior lid
Berichten: 332
Lid geworden op: 18 mei 2013, 08:56
Installatie Land: België
Locatie: Puurs
Contacteer:

Re: PVdiary op raspberry pi

Bericht door leslie » 18 jan 2019, 11:38

jorispepijn schreef:
17 jan 2019, 12:47
Omdat de installatie van de nieuwe image op mijn oude raspberry niet lekker liep een Raspberry 3 gekocht. Lekker snel door de installatie alleen loop ik nog steeds tegen het probleem aan dat bij uploaden naar de website er een fout op treed door het niet kunnen ophalen van het laatste synchronisatiemoment. Alles wat dat betreft geprobeerd. Passief en actieve modus etc etc. Vervelend bij de raspberry 3 is dat hij mijn USB dongle ook niet kan aansturen ( SENA's Parani UD100). Ik ben er nog niet helemaal uit hoe ik het stuurprogramma voor de dongle kan laden in het image.

Ik heb nu twee omvormers 100 meter uit elkaar die ik uitlees en upload naar 1 website via 1 strategisch geplaatste raspberry. Ik vraag me af of ik ook twee raspberry's kan inzetten dichter bij de omvormers waarvan de data wordt samengevoegd in 1 overzicht?
Jan,
Het ftp-probleem bij het uploaden naar de website zit dan misschien niet in de raspi.
Kun je een ftp verbinding maken met je provider? Bv met filezilla of met het ftp commando.

Is het mogelijk om een van de omvormers "wired" uit te lezen, dus niet met bluetooth?
Het samenvoegen van de data van 2 of meer raspis is geen probleem als de raspis met elkaar kunnen praten.
Je kan de csvfile copieren naar de "master" raspi of de data folder sharen met NFS.
De master raspi kan dan de csvfile verwerken mat de dummy of download plugin.

Groetjes
Leslie
24 x S-Energy SM 200, 4800 Wp
SMA SB5000TL-20
Dakhelling 35°
Orientatie 185°

Gebruikersavatar
jorispepijn
lid
Berichten: 74
Lid geworden op: 22 mei 2013, 14:01
Installatie Land: Nederland
Locatie: Haarlem

Re: PVdiary op raspberry pi

Bericht door jorispepijn » 25 jan 2019, 16:12

Dank Leslie voor het meedenken.

Sitatie is als volgt de omvormers zijn alleen met bluetooth uit te lezen. Wifi is bij beide omvormers beschikbaar. Ik heb nu een raspeberry 1 en een raspberry 3 de laatste is via wifi te benaderen. Ik ad een degenlijke bluetooth dongle SENA's Parani UD100 met enorm bereik en antenne die op de rapberry 1 werkte maar op de raspberry 3 niet aan de praat te krijgen is. Ik heb een nieuwe dongele gekocht maar het bereik is simpelweg te ver om beide omvormers van een locatie te benaderen. Volgens mij heb ik twee opties

1 terug naar de raspberry 1 met de oude dongle (niet altijd heel betrouwbaar doordat het bereik het maar net haalde)
2 nog een raspberry 3 kopen en beide laten uitlezen een als slaaf een als master. Zal nog flink puzzelen worden leuk maar kost wel weer een raspberry 3

Wat zouden jullie doen?

Wat betreft mijn andere probleem het uploaden naar internet.... Mijn internet server is prima te benaderen via filezilla etc dus daar zit het hem niet in.

Jan

Gebruikersavatar
jorispepijn
lid
Berichten: 74
Lid geworden op: 22 mei 2013, 14:01
Installatie Land: Nederland
Locatie: Haarlem

Re: PVdiary op raspberry pi

Bericht door jorispepijn » 29 jan 2019, 12:55

Dag Zonaanbidders

het is me gelukt mijn lange afstand dongle werkend te krijgen in de PI3. Ik moest daartoe de interne dongle uitschakelen. Met "sudo systemctl disable hciuart.service" is dat gelukt. Ik kan nu weer de CSV files binnenhalen. :D

Ik ben er inmiddels ook achter waarom het uploaden naar het web niet meer lukt. FTP wordt weliswaar nog ondersteund door mijn webprovider (DDS.nl) maar ik krijg een melding dat mijn wachtwoord en gebruikersnaam open en bloot over het web gaan. Log in in met SFTP heb ik daar geen last van maar dat wordt niet ondersteund in pvdian. Ik vermoed dat de waarschuwing het uploaden dwarsboomt.

Is er een mogelijkheid om toch via SFTP te uploaden?

Jan

Gebruikersavatar
leslie
Senior lid
Berichten: 332
Lid geworden op: 18 mei 2013, 08:56
Installatie Land: België
Locatie: Puurs
Contacteer:

Re: PVdiary op raspberry pi

Bericht door leslie » 29 jan 2019, 13:49

jorispepijn schreef:
29 jan 2019, 12:55


Is er een mogelijkheid om toch via SFTP te uploaden?

Jan
De code voor SFTP is nog niet voorzien in pvdiary. Ik bekijk dit even...

Je kan ook werken met sshfs. Dit gebruikt SFTP.
Je maakt met sshfs een mountpoint aan, bv /home/pvdiary2/myprovider
De pvdiary config wordt dan
static_ftrans = "file:///home/pvdiary2/myprovider/"

Groetjes
Leslie
24 x S-Energy SM 200, 4800 Wp
SMA SB5000TL-20
Dakhelling 35°
Orientatie 185°

Gebruikersavatar
jdco123
lid
Berichten: 45
Lid geworden op: 23 apr 2018, 13:32
Installatie Land: België
Contacteer:

Re: PVdiary op raspberry pi

Bericht door jdco123 » 07 feb 2019, 14:15

bij het initialiseren van de databases voor pvdiary krijg ik volgende foutboodschap

$ pvdiary --db --make-tables --init
Initializing database /home/pvdiary2/data/pvdiary_ballaar.sqlite
PHP Warning: SQLite3::query(): near "-" : syntax error in /home/pvdiary2/incl/pvdiary.php on line 834

enig idee wat er misloopt?


php runt wel, maar met errors
toegang via browser bvb http://192.168.1.127:8081/pvdiary_dashboard.php
dan bij het klikken op de "welkom" knop
krijg je:
Fatal_error in jquery.toolbin plugin ajax call
text_status: error
htp_error: Internal Server Error
http_status:500


ik heb de raspberry pi reeds geinstalleerd om de data te uploaden naar pvoutput.org, en dat werkt prima.
maar ik zou graag de pvcalc met upload naar een dropbox willen werkend krijgen

SBFspot werkt dus wel (maar enkel voor user "pi", niet voor user "pvdiary2")

[email protected]:~ $ /usr/local/bin/sbfspot.3/SBFspot -finq -nosql
SBFspot V3.5.0
Yet another tool to read power production of SMA solar inverters
(c) 2012-2018, SBF (https://github.com/SBFspot/SBFspot)
Compiled for Linux (LE) 32 bit with SQLite support
Commandline Args: -finq -nosql
Inverter IP address: 192.168.1.231 from SBFspot.cfg
Thu Feb 7 13:58:43 2019: ERROR: Unable to open output file /home/pi/smadata/2019/ballaar-Spot-20190207.csv
Thu Feb 7 13:58:43 2019: ERROR: Unable to open output file /home/pi/smadata/2019/ballaar-20190207.csv
Thu Feb 7 13:58:43 2019: ERROR: Unable to open output file /home/pi/smadata/2019/ballaar-201902.csv
Thu Feb 7 13:58:43 2019: ERROR: Unable to open output file /home/pi/smadata/2019/Events/ballaar-User-Events-201902-201902.csv

Gebruikersavatar
leslie
Senior lid
Berichten: 332
Lid geworden op: 18 mei 2013, 08:56
Installatie Land: België
Locatie: Puurs
Contacteer:

Re: PVdiary op raspberry pi

Bericht door leslie » 07 feb 2019, 21:33

jdco123 schreef:
07 feb 2019, 14:15
bij het initialiseren van de databases voor pvdiary krijg ik volgende foutboodschap

$ pvdiary --db --make-tables --init
Initializing database /home/pvdiary2/data/pvdiary_ballaar.sqlite
PHP Warning: SQLite3::query(): near "-" : syntax error in /home/pvdiary2/incl/pvdiary.php on line 834

enig idee wat er misloopt?

ik heb de raspberry pi reeds geinstalleerd om de data te uploaden naar pvoutput.org, en dat werkt prima.
maar ik zou graag de pvcalc met upload naar een dropbox willen werkend krijgen

SBFspot werkt dus wel (maar enkel voor user "pi", niet voor user "pvdiary2")

[email protected]:~ $ /usr/local/bin/sbfspot.3/SBFspot -finq -nosql
SBFspot V3.5.0
Yet another tool to read power production of SMA solar inverters
(c) 2012-2018, SBF (https://github.com/SBFspot/SBFspot)
Compiled for Linux (LE) 32 bit with SQLite support
Commandline Args: -finq -nosql
Inverter IP address: 192.168.1.231 from SBFspot.cfg
Thu Feb 7 13:58:43 2019: ERROR: Unable to open output file /home/pi/smadata/2019/ballaar-Spot-20190207.csv
Thu Feb 7 13:58:43 2019: ERROR: Unable to open output file /home/pi/smadata/2019/ballaar-20190207.csv
Thu Feb 7 13:58:43 2019: ERROR: Unable to open output file /home/pi/smadata/2019/ballaar-201902.csv
Thu Feb 7 13:58:43 2019: ERROR: Unable to open output file /home/pi/smadata/2019/Events/ballaar-User-Events-201902-201902.csv
Waarschijnlijk staat er iets fout in de config van pvdiary.
De naam van de database wordt bepaald door de plant_id en ik vermoed dat die een min-teken bevat.

Code: Selecteer alles

;
;   plant_id: unieke naam voor bepalen van Pvdiary database naam
;	- om problemen te vermijden, geen spaties of speciale letters gebruiken in je plantnaam
;       - liefst minder dan 15 karakters
;       - heeft niets te maken met de plant gebruikt in Sunny Explorer
;
 plant_id = "demo"
;
Voor het tweede probleem ... pvdiary2 kan niet schrijven in de homefolder van de pi user.
Je moet de sbfspot config aanpassen om te schrijven in de folders van pvdiary.
Als SBFspot reeds upload naar pvoutput.org kun je beter de CSV-files in de
/home/pi/smadata/2019/ laten staan en deze verwerken door pvdiary met de "Dummy" plugin.
Deze plugin doet niets, maar zal de bestaande csv-file inlezen.
import_params = "CSV 0 /home/pi/smadata/@year/[email protected] 0 Dummy"

Groetjes
Leslie
24 x S-Energy SM 200, 4800 Wp
SMA SB5000TL-20
Dakhelling 35°
Orientatie 185°

Gebruikersavatar
jdco123
lid
Berichten: 45
Lid geworden op: 23 apr 2018, 13:32
Installatie Land: België
Contacteer:

Re: PVdiary op raspberry pi

Bericht door jdco123 » 07 feb 2019, 22:35

hallo Leslie,
bedankt voor de snelle reaktie

mijn plant_id bevat toch geen min-teken hoor.

in de file
/home/pvdiary2/pvdiary.cfg
staat wel degelijk
plant_id = "ballaar"

maar om de een of andere reden krijg ik niet meer die error

door jouw suggestie rond
import_params = "CSV 0 /home/pi/smadata/@year/[email protected] 0 Dummy"

lukt het wel om de database te initialiseren !
[email protected]:~ $ pvdiary --db --make-tables --init
Initializing database /home/pvdiary2/data/pvdiary_ballaar.sqlite
en ook om de andere commandos te doorlopen. dit lukt nu.. (niet echt gelukt om er dit te doen via de knoppen op mijn pc op http://192.168.1.127:8081/pvdiary_dashboard.php)

Database vullen met alle tot nu toe beschikbare data:
pvdiary --import --db --start-date=day1

Alle data exporteren naar de website:
pvdiary --export --all-data

Systeem info, verwachte opbrengsten en maximum opbrengst toptien exporteren naar de website.
pvdiary --export --info --expected --top

en de grafiek komt tevoorschijn!


een bijkomend vraagje: ivm de CSV files....
=======================================
ik heb onlangs een hele nieuwe installatie gedaan van de raspberry pi, op een nieuwe SDcard. met de vorige SDcard is er iets misgelopen (wou niet meer data naar pvoutput.org opsturen na een stroompanne).

ik vond in de /home/pi/smadata maar een paar csv files terug, terwijl ik toch al sinds mei2018 aan het loggen was. ik had gedacht dat er per dag 1 csv file zou staan, en 1 per maand. maar dat was niet zo.
is die data nog terug uit de SMA omvormer te halen, om alsnog terug te laten csv files te genereren?

alvast bedankt

Gebruikersavatar
leslie
Senior lid
Berichten: 332
Lid geworden op: 18 mei 2013, 08:56
Installatie Land: België
Locatie: Puurs
Contacteer:

Re: PVdiary op raspberry pi

Bericht door leslie » 08 feb 2019, 10:07

jdco123 schreef:
07 feb 2019, 22:35
ik vond in de /home/pi/smadata maar een paar csv files terug, terwijl ik toch al sinds mei2018 aan het loggen was. ik had gedacht dat er per dag 1 csv file zou staan, en 1 per maand. maar dat was niet zo.
is die data nog terug uit de SMA omvormer te halen, om alsnog terug te laten csv files te genereren?
Misschien dat de "moderne" sma omvormers meer bewaren, maar de "klassieke" sma omvormers (bv SB5000-TL) bewaren maximum een 60-tal dagen. Ik vermoed dat alle maand csv files ( dus met dag-totalen) nog kunnen aangemaakt worden.

In principe zal pvdiary naar de maand-csv file kijken als de dag-csv ontbreekt en de dag-grafiek wordt dan een rechthoek.

Voor je dropbox vraag ... Spijtig, maar bij dropbox is het niet meer mogelijk om een website te hosten. :-(

Groetjes
Leslie
24 x S-Energy SM 200, 4800 Wp
SMA SB5000TL-20
Dakhelling 35°
Orientatie 185°

Gebruikersavatar
leslie
Senior lid
Berichten: 332
Lid geworden op: 18 mei 2013, 08:56
Installatie Land: België
Locatie: Puurs
Contacteer:

Re: PVdiary op raspberry pi

Bericht door leslie » 08 feb 2019, 10:07

jdco123 schreef:
07 feb 2019, 22:35
ik vond in de /home/pi/smadata maar een paar csv files terug, terwijl ik toch al sinds mei2018 aan het loggen was. ik had gedacht dat er per dag 1 csv file zou staan, en 1 per maand. maar dat was niet zo.
is die data nog terug uit de SMA omvormer te halen, om alsnog terug te laten csv files te genereren?
Misschien dat de "moderne" sma omvormers meer bewaren, maar de "klassieke" sma omvormers (bv SB5000-TL) bewaren maximum een 60-tal dagen. Ik vermoed dat alle maand csv files ( dus met dag-totalen) nog kunnen aangemaakt worden.

In principe zal pvdiary naar de maand-csv file kijken als de dag-csv ontbreekt en de dag-grafiek wordt dan een rechthoek.

Voor je dropbox vraag ... Spijtig, maar bij dropbox is het niet meer mogelijk om een website te hosten. :-(

Groetjes
Leslie
24 x S-Energy SM 200, 4800 Wp
SMA SB5000TL-20
Dakhelling 35°
Orientatie 185°

Gebruikersavatar
jdco123
lid
Berichten: 45
Lid geworden op: 23 apr 2018, 13:32
Installatie Land: België
Contacteer:

Re: PVdiary op raspberry pi

Bericht door jdco123 » 08 feb 2019, 12:25

dank je leslie

ik ben net eens gaan kijken met sunny explorer software, en daar kan ik inderdaad de hele dataset terug opvragen/ downloaden/exporteren.

maar
uit sunny explorer:
Version CSV1|Tool SE|Linebreaks CR/LF|Delimiter semicolon|Decimalpoint dot|Precision 3

uit SBFspot
Version CSV1|Tool SBFspot3.4.0 (Linux)|Linebreaks LF|Delimiter semicolon|Decimalpoint comma|Precision 3

dus die files zien er echt wel verschillend uit. is daar een mouw aan te passen?

ivm de PVCALC software. is er dan een andere manier om de (live) opbrengsten te kunnen vergelijken met de clean-sky vermogens? de manier van het browsen door je datasets in PVCalc is iets wat ik nog nergens anders heb teruggevonden, en ik zou dit dus graag aan de praat krijgen...

Gebruikersavatar
jdco123
lid
Berichten: 45
Lid geworden op: 23 apr 2018, 13:32
Installatie Land: België
Contacteer:

Re: PVdiary op raspberry pi

Bericht door jdco123 » 08 feb 2019, 12:33

kleine correctie

de hele dataset is idd maar maandelijkse datasets
de dagelijkse datasets worden idd maar voor max 2maanden bijgehouden

Gebruikersavatar
jdco123
lid
Berichten: 45
Lid geworden op: 23 apr 2018, 13:32
Installatie Land: België
Contacteer:

Re: PVdiary op raspberry pi

Bericht door jdco123 » 10 feb 2019, 13:04

hallo

ik heb net een download gedaan van alle data in mijn SMA omvormer

$ sudo /usr/local/bin/sbfspot.3/SBFspot -vg -ad300 -am300 -ae300

ik zie effectief de CSV files verschijnen in
/home/pi/smadata/2018
en
/home/pi/smadata/2019

data die ouder is dan 2maanden wordt gewoon als 1 waarde ipv een dagcurve opgeslagen in csv.
(mijn systeem is van eind mei 2018)

dan doe ik vervolgens de commando's databases te updaten.
als pvdiary2 user:
$ pvdiary --db --make-tables --init
$ pvdiary --import --db --start-date=day1
$ pvdiary --export --all-data
$ pvdiary --export --info --expected --top


blijkt dat toch enkel data tot 60dagen terug goed in de pvdiary software komt
en ook de top-dagen

maar alle andere dagen staan op 0kWhr opbrengst. ook de maand en dus jaartotalen kloppen niet meer

wat doe ik verkeerd?

Gebruikersavatar
leslie
Senior lid
Berichten: 332
Lid geworden op: 18 mei 2013, 08:56
Installatie Land: België
Locatie: Puurs
Contacteer:

Re: PVdiary op raspberry pi

Bericht door leslie » 10 feb 2019, 15:12

jdco123 schreef:
10 feb 2019, 13:04

data die ouder is dan 2maanden wordt gewoon als 1 waarde ipv een dagcurve opgeslagen in csv.
(mijn systeem is van eind mei 2018)

dan doe ik vervolgens de commando's databases te updaten.
als pvdiary2 user:
$ pvdiary --db --make-tables --init
$ pvdiary --import --db --start-date=day1
$ pvdiary --export --all-data
$ pvdiary --export --info --expected --top


blijkt dat toch enkel data tot 60dagen terug goed in de pvdiary software komt
en ook de top-dagen

maar alle andere dagen staan op 0kWhr opbrengst. ook de maand en dus jaartotalen kloppen niet meer

wat doe ik verkeerd?
je doet niets verkeerd...
ik heb de code nog eens nagekeken voor verwerking van maand-csv files en merk dat er enkel in de pvdiary folder wordt gekeken (/home/pvdiary2/data ...)
Ik corrigeer dit nog vandaag en stuur je een pm als de update klaar staat.

Groetjes
Leslie
24 x S-Energy SM 200, 4800 Wp
SMA SB5000TL-20
Dakhelling 35°
Orientatie 185°

Gebruikersavatar
jdco123
lid
Berichten: 45
Lid geworden op: 23 apr 2018, 13:32
Installatie Land: België
Contacteer:

Re: PVdiary op raspberry pi

Bericht door jdco123 » 10 feb 2019, 17:46

ok bedankt Leslie!

ik kreeg idd alleen maar de dagopbrengsten ingelezen

weet je of het doenbaar is om de oudere dagdata vanuit PVoutput.org terug te exporteren, om die dan te importeren in PVdiary? (PVoutput.org laat wel niet toe om zonder te betalen dagdata ouder dan 6maanden te bekijken)

Plaats reactie