Utiliser les fichiers CSV

Forum dédié à la mise en ligne de vos données météos relevées avec WsWin.
Répondre
chrismargab
Participation 2
Participation 2
Messages : 104
Enregistré le : 15 déc. 2007, 20:42
Localisation : Kogenheim (67)
Contact :

Utiliser les fichiers CSV

Message par chrismargab » 22 janv. 2010, 17:29

Bonjour,

Je désire utiliser la base sql de mon hébergeur pour stocker toutes les données accumulées depuis 2 ans.
Ainsi, je pourrai, sur mon site, faire afficher les graphiques de la période choisie par le visiteur.

J'ai bien trouvé comment générer les fichiers csv, par contre, je ne vois pas trop comment en importer le contenu dans ma base.
En effet, wswin ajoute à ce fichier csv une ligne à chaque enregistrement. Comment faire pour qu'il n'y ai pas de doublons dans la base ?
Automatiser l'effacement du fichier csv sur le pc ? Mais comment être sûr qu'il a bien été transféré sur le site avant de l'effacer ?

Merci d'avance à tous ceux qui pourront m'apporter une aide. Je sais que certains d'entre vous utilise une base sql, alors ce serai sympa de m'expliquer comment ils font.

Christian

mm91
Participation 6
Participation 6
Messages : 2581
Enregistré le : 31 mars 2007, 07:46
Localisation : 25 Km au sud-ouest de Paris FRANCE
Contact :

Re: Utiliser les fichiers CSV

Message par mm91 » 22 janv. 2010, 18:05

chrismargab a écrit : .......................
Ainsi, je pourrai, sur mon site, faire afficher les graphiques de la période choisie par le visiteur.
........................
Christian
Wswin32 sait créer des images des graphiques de différentes périodes (*) de ton choix et on peut les envoyer sur un site.

Au lieu d’envoyer des images, tu veux que les graphiques soient crées chez ton hébergeur à la demande du visiteur.
C’est bien ça ?

Je comprends que ce soit plus souple pour les visiteurs (et surtout bien plus compliqué), mais le résultat est le même ?

A la limite tu mets Wswin32 chez ton hébergeur et c’est le visiteur qui l’utilise directement, toi tu envois juste les fichiers W…DAT !
Je crois que c’est possible chez certains hébergeur de faire fonctionner des programme. Ca ouvre des tas de possibilités.

(*) curieusement le menu de gauche de la page « meteo.html » ne prévoit pas l’accès aux graphiques journaliers, mais on peut le faire soi même sur une autre page. Voir ma méthode "très originale": http://icare.cinq.free.fr/meteo/choixdunedate.htm
Michel
La Crosse WS2300 modifiée (pluvio, abri ventilé, mesure d'ensoleillement), Wswin32, Watchdog.
mon site météo

chrismargab
Participation 2
Participation 2
Messages : 104
Enregistré le : 15 déc. 2007, 20:42
Localisation : Kogenheim (67)
Contact :

Re: Utiliser les fichiers CSV

Message par chrismargab » 22 janv. 2010, 18:33

Oui, je sais que wswin sait faire des graphiques de périodes définies, mais pour des périodes fixes. Si mon visiteur veut afficher les courbes du 16 au 19 d'un mois précis, je fais comment ?
Et puis, partager un logiciel payant, n'est pas vraiment respectueux envers son auteur.
Je suis en train d'écrire un script php qui permet l'écriture des données dans la base. J'ai déjà écrit un script php qui permet la création des graphiques. Je ne suis donc pas très loin du résultat...

Christian

jackT
Participation 4
Participation 4
Messages : 641
Enregistré le : 29 mars 2007, 11:24
Localisation : Sciez (74)
Contact :

Re: Utiliser les fichiers CSV

Message par jackT » 23 janv. 2010, 12:32

chrismargab a écrit :...Je sais que certains d'entre vous utilise une base sql, alors ce serai sympa de m'expliquer comment ils font.
Pour mettre à jour ma base MySQL, j'importe toute les 10 minutes le fichier "aktuell.txt" . Ce fichier csv contient les données des dernières 24h. Pour éviter les doublons, les données sont importées avec la commande SQL "REPLACE INTO"

Exemple de code php, où la variable $line contient une ligne du fichier "aktuell.txt" :

Code : Tout sélectionner

$requete = 'REPLACE INTO '.$tableName.' VALUES ( \''.$line.'\' ) ';
if ( ! mysql_query( $requete, $db ) )
     echo 'Erreur Ligne '.$k.' : '.mysql_error().'<br>'.$requete.'<br>';

chrismargab
Participation 2
Participation 2
Messages : 104
Enregistré le : 15 déc. 2007, 20:42
Localisation : Kogenheim (67)
Contact :

Re: Utiliser les fichiers CSV

Message par chrismargab » 23 janv. 2010, 13:03

Merci pour ces infos. Personnellement, j'avance sur mon projet, et je procède différemment : je lis la date et l'heure du dernier enregistrement dans la base. Je lis le fichier "ws_newdata.csv" (que j'envoi sur le serveur toutes les 5 minutes). A chaque ligne, je regarde la date et l'heure et je les compare avec celles du dernier enregistrement de la base. Si c'est plus récent, j'écris les données dans la base.
Maintenant, j'ai les données depuis le 01/01/2008 dans la base, et j'ai quelques 520800 lignes !! Ca fait du monde.

Je suis en train de modifier la classe PHP que j'ai fait pour dessiner les graphiques en fonction du capteur, de la taille du graphique, de la date de début, de la période. Je peux afficher deux sondes différentes sur la même période, ou la même sonde sur deux périodes différentes. Je peux également, sur de grandes périodes, afficher une courbe de mini et maxi pour le ou les deux capteurs.

J'arrive, tout doucement, à ce que je veux, mais que de travail !...

Christian

jackT
Participation 4
Participation 4
Messages : 641
Enregistré le : 29 mars 2007, 11:24
Localisation : Sciez (74)
Contact :

Re: Utiliser les fichiers CSV

Message par jackT » 23 janv. 2010, 13:17

chrismargab a écrit : J'arrive, tout doucement, à ce que je veux, mais que de travail !...
Oui... c'est du travail, mais une fois mis au point, cela offre une très grande flexibilité d'utilisation. Sur mon site, tous les graphiques présentés sont dérivés des données de ma base mySQL.

Indépendamment des graphiques, cela permet aussi d'extraire diverses statistiques qu'il n'est pas possible d'extraire avec wswin.

Voir par exemple mes pages:
Extrêmes (les tableaux) - http://www.meteo-sciez.com/wxrecords.php
Statistiques personnalisables pour la température : http://www.meteo-sciez.com/wxtempstat.php et pour la pluie: http://www.meteo-sciez.com/wxrainstat.php

chrismargab
Participation 2
Participation 2
Messages : 104
Enregistré le : 15 déc. 2007, 20:42
Localisation : Kogenheim (67)
Contact :

Re: Utiliser les fichiers CSV

Message par chrismargab » 23 janv. 2010, 17:52

Oui, je sais que tu as un site suberbe et très complet, puisque c'est ce qui m'a motivé pour changer le mien !
Par contre, pour tes records, par exemple, fais tu une requête à chaque appel de la page, ou alors tu fais une requête automatiquement à un intervalle donné et tes données sont sauvegardées ?

Christian

jackT
Participation 4
Participation 4
Messages : 641
Enregistré le : 29 mars 2007, 11:24
Localisation : Sciez (74)
Contact :

Re: Utiliser les fichiers CSV

Message par jackT » 23 janv. 2010, 18:12

chrismargab a écrit : Par contre, pour tes records, par exemple, fais tu une requête à chaque appel de la page, ou alors tu fais une requête automatiquement à un intervalle donné et tes données sont sauvegardées ?
Pour tous les graphiques et les autres pages, les requêtes sont faites à chaque appel de la page.

chrismargab
Participation 2
Participation 2
Messages : 104
Enregistré le : 15 déc. 2007, 20:42
Localisation : Kogenheim (67)
Contact :

Re: Utiliser les fichiers CSV

Message par chrismargab » 23 janv. 2010, 18:44

Ok, merci beaucoup.
J'avance tout doucement, mais je me rend compte que malgré le nombre très important de lignes sur la base, c'est tout de même relativement rapide.

Christian

Répondre