GotScraper - Scraping spaziale!!

Problemi e soluzioni su configurazioni software, firmware
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 4847
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 17 volte
Grazie Ricevuti: 272 volte

GotScraper - Scraping spaziale!!

Messaggio da Gothrek »

http://www.gotscraper.com/

Buongiorno a tutti,
qui e li ne ho parlato diverse volte e provo ad aprire un topic ufficiale nell'unica sezione che sembra corretta circa il software che sto concludendo, e che spero mettere a vostra disposizione.

Niente di meglio che presentarlo con delle FAQ.

Cosa è GotScraper?
GotScraper è un software di scraping che raccoglie immagini, video e metadati da tutte quelle sorgenti che ne permettono l'estrazione. Per scraping intendiamo quel processo mediante il quale a fronte di una collezione di giochi/rom, è possibile recuperare informazioni, immagini del gioco o della copertina delo stesso o addirittura video affinchè nei nostri frontend alla sua selezione possano apparirci accanto alla selezione stessa per rendere il tutto piu' accattivante.

Perchè GotScraper è diverso dagli altri?
In giro non ce ne sono moltissimi, ma i limiti che ho sempre incontrati sono stati spesso legati soprattutto alla monofonte dei dati da cui facevano scraping. In questo GotScraper è diverso, permette l'aggiunta praticamente infinita di fonti affinchè laddove un metadato una immagine o un video non venga trovato lo si possa andare a cercare in cascata su tutte le fonti impostate, cosi da poter completare il più possibile il processo.
Un'altra differenza sta nella ingua dei metadati, l'inglese è sempre la lingua più diffusa, ma se volessimo prima cercare se ne esiste una traduzione in italiano e lasciare l'inglese come seconda scelta? Beh, GotScraper lo fa.

Ci sono altre differenze tra GotScraper e gli altri software di scraping?
Assolutamente si, una grandissima differenza è data dalla gestione di un server media locale, ogni volta che raccoglierete metadati, immagini, video, se impostato salverà i dati stessi e potrà essere usato come una delle fonti di ricerca, magari la primaria, affinchè quando ne avrete bisogno il tutto sarà più rapido senza dover iniziare ogni volta il processo verso internet come fanno gli altri software di scraping. Insomma un vero rom manager.

Quali sono le potenzialità del server media locale?
Il server media locale può mettervi in condizione di aggiustare/sistemare/integrare metadati a vostro piacimento affinchè ogni volta che vi servirà per la vostra collezione, i dati corrispondano a quanto volete vedere accanto al vostro gioco preferito evitando tutto il lavoro manuale che un risultato del genere oggi potrebbe portare.

Quali front-end sono supportati?
Partendo dai più diffusi già inclusi con emulstation, è teoricamente possibile integrare tutti quelli che si vogliono.

Parliamo di costi e licenze?
Costi, naturalmente l'uso del software non prevede costi ma il codice resta proprietario e ne è assolutamente proibita la vendita e la modifica senza autorizzazione dell'autore. C'è la possibilità di una donazione o per accedere a funzioni avanzate, ma anche gratuitamente permette di fare tutto quanto.

[OLD] Quando sarà disponibile?
Il software in questo momento è in test chiuso al pubblico per eliminare gli ultimi bug e conto di pubblicare una alfa utilizzabile entro il mio compleanno (22 aprile nda).

E' possibile vedere già qualcosa?
Di seguito posto del materiale che integrerò nei prossimi giorni.

Dove posso scaricarlo?
Di seguito il lunk:
GotScraperBeta1.05
mentre le versioni precedenti non sono più scaricabili.

Avvio
Annotazione 2020-03-26 074306.jpg
Gestione sistemi
Annotazione 2020-04-06 202500.jpg
Gestione dei metadati
Annotazione 2020-04-06 202500_2.jpg
Gestione media server immagini/video
Annotazione 2020-04-06 202500_3.jpg
Annotazione 2020-04-06 202500_4.jpg
Bene, lo ho scaricato, e ora? cosa posso fare?
Questa versione (alfa1) è un'embrione del programma e va visto in un'ottica costruttiva e funziona solo per RECALBOX/Batocera (ovvero crea una gamelist standard solo per quei sistemi - la versione finale prevederà tutti quelli esistenti).
una volta installato la prima volta chiederà la cartella dei server media (eventualmente è possibile crearla contestualmente), quella cartella conterrà l'ogni cosa, roms, media, logs, e zio solo sa che cos'altro.
per possibile con pochissimi click essere immediatamente operativi con lo scraping, basta :
1) selezionare 1 o piu' sistemi dalla tab "sistema" (quella che vedete aperta all'avvio) facendo DOPPIO CLICK.
cosi facendo il sistema entrerà nella lista dei sistemi per cui fare lo scraping (lato sinistro). Potete selezionarne quanti ne volete (ma solo 1 volta per sistema)
2) selezionate (1 click) il sistema sul lato sinistro e si aprirà la finestra per selezionare la relativa cartella delle rom di quel sistema
far cosi per ogni sistema
3) premere avvia scraping.

la barra sotto, un avviso sonoro e un popup vi avvertiranno appena terminato (tra i 2 e i 4 sec a rom). verrà generato un report csv dettagliato.

Ho fatto scraping, che altro posso fare?
Di seguito un mini elenco delle attuali funzionalità:
- nella tab media potete creare per ogni sistema il layout finale della vostra immagine decidendo posizioni proporzioni e tipo di media coinvolto
-nella tab extra potete decidere i siti di scraping (attualmente 2 + server locale , versione finale una decina), impostare eventuali credenziali e l'ordine con cui il sistema di scraping deve cercare decidendo se una volta trovato il media può evitare di approfondire per la stessa rom su tutti i siti della lista o meno
- selezionando il sistema in alto a sx nella tab server/roms sarà possibile visualizzare metadati del gioco e media
- nella tab sistema/cartelle potete gestire le cartelle del vostro server media
-nella tab sistema/sistemi potete visualizzare info (non ora) e media di ogni sistema (potete abilitare il download di tutti i media esistenti per ogni sistema, OCCHIO al prossimo avvi opotrebbe portarvi via 30 minuti per alcuni giga di dati, ma una volta fatto faran parte permanente del vostro server media)

OLD Quali sono i limiti dell'attuale versione?
La versione Alfa1 è la prima distribuita e di limiti e bug ne ha ancora tanti, partendo dalla mancanza di alcuni dati e dal mancoto funzionamento di alcune funzionalità (nella tab scraping sarebbe possibile fare un filtro sulle rom attualmente non attivo)
Sarebbe utilissimo in questa fase evidenziare:
- mancanze di programma (assenza di funzionalità)
- bug (e come riprodurli)
- suggerimenti
- altro

Nuova versione Alfa, cosa cambia?
In questa versione:
Corretti i seguenti bug:
- ora dopo lo scraping i mediagame sono imemdiatamente visibili
- campi nel db ordine media vengono registrati correttamente
- risolto bug per cui non si riusciava a selezionare imemdiatamente il sistema su cui si era fatto lo scraping
- risolto bug per cui lo scraping andava in errore se non tutti i sistemi avevano il folder delle rom
- risolto bug per cui se si trascinava un elemento di una listview per ultimo generava una eccezione

Nuove funzionalità:
- selezione dell'ordinamento per lingua nella sezione metadati (questo permetterà di avere un ordinamento di preferenze nella generazione del file nelle descrizioni dei game)
- selezione dell'ordinamento per regione nella sezione metadati (questo permetterà di avere un ordinamento nella selezione dei titoli nella generazione del file)

Alfa2.1, fix vari
In questa versione:
Corretti i seguenti bug:
- risolto bug per cui se su screenscraper.fr le note erano vuote non effettuava lo scraping
- risolto bug per cui se su screenscraper.fr editore e/o sviluppatore erano vuote non effettuava lo scraping, per ora sostituito con "sconosciuto" in futuro varierà a seconda della lingua scelta
- risolto bug per cui la rom non esisteva su nessun sito di scraping rimaneva in loop
- risolto bug per cui se il db non è presente non usciva dal gioco
- risolto bug per cui se il programma andava in crash e il db restava "sporco" la tabella dei report andava in errore
- risolto bug per cui in alcune condizioni un nome media server con lo spazio generava errore

Alfa2.2, fix vari
In questa versione:
Corretti i seguenti bug:
- risolto bug per cui se screenscraper.fr non rispondeva correttamente non venivano gestiti i messaggi d'errore
- risolto bug per cui anche se si inserivano le credenziali di screenscraper non venivano prese in considerazione, per le opportune priorità.
- risolto bug per cui se una rom non la trova su nessun sito produceva un errore durante la creazione del gamelist.xml
- risolto bug per cui se contemporaneamente editore e sviluppatore erano uguali ed inesistenti generava eccezione

Alfa2.3, fix vari
In questa versione:
Corretti i seguenti bug:
- aggiunta textbox per evidenziare il percorso del media selezionato
- risolto bug per cui erano assenti diversi dati nel file gamelist.xml
- risolto bug per cui se una rom non veniva trovata mancano i dati all'interno del report finale
- risolto bug per cui se sviluppatore o editore avevano degli spazzi alla fine produceva un errore

Alfa3.0
In questa versione:
Implementazioni:
- Estensioni rom, ora si può fare lo scraping di tutte le estensioni supportate dal sistema e non solo il .zip
Alfa3_estensioni.jpg
- Scraping, se la rom non viene trovata è possibile far cercare per titolo cosi da scaricare comunque i media anche se di una versione leggermente differente
- Scraping, ora è possibile impostare per ogni sito il numero di tentativi e l'intervallo tra un tentativo e l'altro
Alfa3_Scrapingtitolo.jpg
- Layout, modificato layout barra avanzamento scraping
- Layout, aggiunti messaggi di status durante lo scraping
- Applicativo, aggiornate librerie

Corretti i seguenti bug:
- Layout, corretto bug sul calcolo dei secondi medi per rom durante lo scraping
- Layout, eliminata presenza scrollbar nei tilepanel
- Applicativo, corretto bug per cui gli ultimi sistemi non si riusciva a selezionarli
- Applicativo, corretto bug per cui veniva generata eccezione se si provava a selezionare la cartella di un sistema non selezionato (@adolfo69)
- Gestionemedia, corretto bug per cui non veniva correttamente tenuto conto del valore z nella composizione media per lo scraping

Alfa4.0
In questa versione:
Implementazioni:
- aggiunto filtro alla tabella gestione media
Alfa4_filtro.jpg
- aggiunto nomefile nel report
amstrad_scraping6.jpg
- aggiunta icona al programma
Alfa4_icona.jpg
- aggiunta gestione media video delle rom
Alfa4_mediavideo.jpg
Corretti i seguenti bug:
- cambiando sistema ora vengono correttamente resettati i media
- sistemato il percorso evidenziato per la cartella dei media e corretto la sua label
- corretto bug per il quale a volte scrivendo un gioco non esistente veniva generata eccezione
- corretto bug per il quale togliendo la spunta a gestione media tutti i sistemi sparivano tutti gli oggetti dalla griglia (segnalato anche da @adolfo69 )
- corretto bug per il quale veniva generata eccezione se aveva dei video tra i media
- corretto bug per il quale i pulsanti dei media prev e next diventavano attivi anche se era presente un solo media
- corretto bug per cui nel report finale veniva troncato l'ultimo carattere del nome rom
- corretto bug per cui in taluni casi facendo scraping di una sola rom si generava una eccezione

Alfa5.0
Con grande orgoglio vi rilascio l'alfa 5, frutto di un paio di mesi di lavoro
In questa versione:
Implementazioni:
- Cambiato il lettore multimediale (da windows media player a vlc) con miglioramento delle prestazioni
- Integrate statistiche personali e globali (tks @dR.pRoDiGy )
- aggiunto tooltip sul sistema selezionato per evidenziare se è impostata la cartella delle rom (in rosso la sua assenza)
- è ora possibile scegliere la risoluzione finale del "collage" media (prima risoluzione fissa)
- è ora possibile impostare configurazioni personalizzate per singolo sistema (prima solo globali)
- migliorata la gestione della griglia dei sistemi (ancora non è perfetta dopo il primo click)
- aggiunti diversi templatemedia visualizzabili nell'anteprima della composizione (ne mancano ancora alcuni)
- aggiunta la possibilità di ordinare i sistemi in maniera alfabetica
- aggiunto check di versione (ora se presente una nuova versione viene chiesto all'avvio di aggiornare)
- ora non è possibile rieseguire lo scraping se non ha finito la prima sessione
- aggiunta voce info sul salvataggio dell'ordine di scraping
- aggiunto bottone di restore delle impostazioni del gestione media
- aggiunto check per decidere se dopo lo scraping la rom deve essere spostata nella cartella di default del server media (richiesta di @adolfo69 )
- aggiunto user e psw al server locale
- cambiato framework di destinazione da 4.72 a 4.8 (@federicoc09 )

Corretti i seguenti bug:
- se si seleziona un video nei media del proprio server e si premono le frecce ora correttamente visualizza i video precedenti/successivi
- corretto il carosello di visualizzazione delle immagini del proprio server
- eliminato refuso ID selezionando la regione
- sistemata la coerenza grafica delle scrollbar
- corretta la visualizzazione delle frecce nelle scrollbar delle combobox
- corretto bug per cui una ricerca testuale con troppi caratteri generava eccezione
- corretto bug per cui se si faceva uno scraping di più sistemi non veniva resettato il conteggio delle rom
- corretto bug per cui se si rieseguiva immediatamente lo scraping generava eccezione
- corretto bug per cui se le estensioni delle rom erano in maiuscolo venivano scartate (ora non si tiene conto di maiuscole/minuscole presenti nella rom)
- corretto bug per cui se non era selezionato un odine di scraping non effettuava lo scraping stesso
- corretto bug per cui nel report finale i dati aggiuntivi avevano sempre si come risposta anche quando erano già presenti nel db
- corretto bug per cui alcuni caratteri all'interno del nome rom generavano eccezioni (potrebbero essercene altri ancora non scoperti, segnalateli)

Alfa5.1
Implementazioni:
- specificato che utente e password devono essere di almeno 6 caratteri
- ora quando si preme invio sull'utente si passa automaticamente al campo password, e dalla password il focus è sul bottone avanti

Corretti i seguenti bug:
- eliminata la richiesta di eseguire l'applicazione come amministratore
- ora al primo avvio sono immediatamente visibili le statistiche globali

Alfa5.3/5.4 fix
Implementazioni:
- ora se il nome file è troppo corto per siti di scraping come screenscraper ad esempio, la ricerca viene effettauta sull'MD5 del file escludendo il nome file
- ottimizzata riproduzione video con supporto hw per vlc

Corretti i seguenti bug:
- corretto bug per cui il sistema andava in loop o usciva dallo scraping con nomi file troppo corti


Alfa6.1
In questa versione:
Implementazioni:
- Trasformata completamente la UI (grazie @dR.pRoDiGy )
NuovaUI.png
- Ora è possibile accedere alle singole opzioni del sistema di cui fare scraping clickando sulla cella corrispondente
NuovaUI3.png
- Ora se non ci sono dati presenti nelle rom del sistema del server media la pagina viene disabilitata
- Aggiunta possibilità di accedere alla rom visionata nel server media con doppio click sulla riga corrispondente della griglia
- Aggiunta la possibilità di selezionare il file immagine/video che si sta visionando in sistema e nelle info del gioco nel server media
NuovaUI4.png
- Aumentato il font delle specifiche dell'immagine/video del sistema e del gioco di cui si stanno visionando le info
NuovaUI6.png
- Aggiunto nuovo monitor/log di scraping per avere in tempo reale informazione circa il sistema la rom e il media in downloaded
- Aggiunto messaggio di caricamento/transizione duranti le fasi piu' lunghe dei processi
- Implementato l'uso delle frecce nella sezione dei tile dei sistemi (richiesta @dR.pRoDiGy)
NuovaUI2.png
- Aggiunto bottone per iconizzare il programma (richiesta @dR.pRoDiGy)
NuovaUI5.png
Corretti i seguenti bug:
- corretto bug per cui le statistiche non venivano calcolate correttamente
- corretto bug per cui alcuni titoli con l'apostrofono generavano eccezione (@adolfo69 )
- corretto bug per cui il primo scraping al primo avvio non generava il file gamelist e i media
- corretto bug per cui in alcuni casi veniva generata una eccezione se il sito di scraping non era raggiungibile/down
- corretto bug per cui se un sistema non aveva delle estensioni veniva generata una eccezione

Alfa7.2
In questa versione:
Implementazioni:
- modificati i protocolli di sicurezza verso screenscraper per cui su sistemi operativi troppo vecchi si veniva rifiutati (segnalato da @dR.pRoDiGy)
- aggiornata applicazione con le ultime api di screenscraper
- aggiornate le librerie del vlc per cui si produceva un errore (segnalato da @Macho72 )
- aggiunta tabellina per lo status dei server
Alfa72_server_status.jpeg
- aggiunto bottone stop scraping
- eliminate le checkbox per l'edit delle opzioni

Corretti i seguenti bug:
- corretto bug per cui se si guardavano media di un sistema in scraping l'app si bloccava
- corretto errore di digitazione nella creazione del file gamelist
- corretto bug per cui clickacndo sulel opzioni di un sistema in griglia non risultavano aggiornati nella corrispondente tab
- corretto bug per il quale su ricerca di rom per nome su screenscraper non venivano trovati risultati
- eliminato bug per cui veniva automaticamente messo in play il video di una rom alla selezione di un sistema (@adolfo69 )
- corretto bug per la navigazione con le freccie attraverso i tile
- tornata visibile la possibilità di NON copiare le rom nel server media
Alfa72_No_copy_roms.jpeg
Alfa7.4
In questa versione:
Implementazioni:
- ora all'uscita di nuovi sistemi verrà aggirnata la tabella
- modificato campo datarelease nella creazione del file gamelist per coerenza con gli emulstation

Corretti i seguenti bug:
- corretto bug per cui il file gamelist presentava iraggiungibilità nel file immagine
- corretto bug per cui se venivano scraperate rom con estensioni minori di 3 il nome immagine non risultava corretto
- corretto bug per cui a volte veniva generata eccezione nella regisrtazione delle statistiche
- corretto bug per cui in ricerche testuali non sempre veniva trovato il genere del gioco

Alfa8.2
In questa versione:
Implementazioni:
- aggiunta nuova classe di messaggi
- aggiunta banner paypal per donazioni

- aggiunta la possibilità di deselezionare tutti i siti per effettuare solo il mix senza scraping

- eliminati popup statistici
- aggiunto un log di scraping
- modificati i nomi ai log

- aggiunto check credenziali siti di scraping
- ora premendo invio si aggiunge il sistema alla griglia dalla combo
- implementato backup del db e il suo restore
- migliorato il caricamento di info/media per gioco
- implementato aggiornamento di db e tabelle
- migliorato lo scorrimento dei tile dei sistemi
- aggiunto tooltip sullo status dei server
- aggiunta possibilità al raggiungimento del limite giornaliero di poter aspettare o proseguire con altri siti
- modificato nome al report
- aggiunto controllo di versione del db
- aggiunto avviso se si tenta di eseguire scraping senza credenziali
- implementata esportazione video

- aggiunta di watermark sul mix

- rinominate le rom con il loro md5
- ora nei media server le immagini uguali non vengono riproposte
- migliorata la ricerca su risposte 404 da parte dei siti di scraping
- spostato il db dalla cartella dell'app a quella del server media
- implementato recupero del db esistente
- implementata criptazione dei media

Corretti i seguenti bug:
- corretto bug per cui non veniva visualizzato il path del server media nella sezione cartelle
- corretto bug per cui selezionando i siti di scraping alcuni presentavano uno sfondo rosso
- corretta leggibilità versione su form iniziale
- corretto bug per cui la griglia non veniva aggiornata corretamente al variare dei siti selezionati
- corretto bug per cui annullando la creazione della dir veniva generata eccezione
- corretto bug per cui se si variava il frontend durante lo scraping il file generato non era corretto
- corretto bug per cui su alcuni sistemi il mix nella sezione media si vedeva male
- corretto il salvataggio di testi da html
- corretto bug per cui il campo year nel gamelist a volte generava eccezione @dR.pRoDiGy
- corretto bug per cui quando si interrompeva lo scraping l'app si bloccava per alcuni secondi
- corretto bug per cui lo scraping su adb non generava un gamelist corretto @Cacy82
- corretto bug per cui su scraping lunghi veniva generata eccezione
- corretto bug per cui il percorso mame usava una convenzione windows invece che linux

Alfa9.0
In questa versione:
Implementazioni:
- aggiunte info nel log in real time circa time x rom
- aggiunte info nel log in real time a cappello circa sistema e media selezionati
- ora è possibile spostare la cartella del server media e recuperare tutto riselezionando la cartella nuova
- ora lo scraping di cloni di rom di cui già si è fatto scraping avviene localemtne e non su internet
- nella combobox dei titoli i giochi cloni vengono accorpati in una unica voce
- spostati i tasti salva in basso a destra per coerenza con gli standard
- modificata la segnalazione di un salvataggio o di un alert, ora lampeggia per un certo lasso di tempo per poi sparire
- aggiunte funzionalità di backup e restore automatico del db
- ora è possibile cambiare l'ordine dei tab (filtri, metadati media ecc) trascinandoli affinchè ognuno possa predisporli nell'ordine che preferisce
- aggiunta la possibilità di modificare successivamente la descrizione di una lingua custom
- nascoste le colonne non utilizzate dalla griglia delle rom

Corretti i seguenti bug:
- corretto bug per cui i file rom presentavano un punto in più nell'estensione
- corretto bug per cui non tutti i media venivano registrati a db
- corretto bug per cui nel log in real time presentavasempre solo un server da cui aveva scaricato i dati anche in presenza di più siti
- corretto bug per cui la finestra dei log in real time non scorreva in fondo correttamente in presenza di tanti elementi
- corretto bug per cui a volte la finestra dei messaggi era troppo piccola e il testo veniva tagliato
- corretto bug per cui la parte dei mix non appariva nel log in real time
- corretto bug per cui nella ricerca di info per titolo in assenza di corrispondenza specifica non si verificava il sistema di scraping
- corretto bug per cui se il server locale non era il primo generava eccezione
- corretto bug per cui se veniva creata una descrizione custom non veniva salvata
- corretto bug per cui a risoluzioni più basse del minimo consentito alcuni oggetti non tmantenevano la posizione

Beta1.02
In questa versione:
Implementazioni:
- gestione eng/ita su scraping adb
- miglirata gestione tabelle su scraping screenscraper
- migliorata gestione della lista dei titoli nel media browser
- portata risoluzione verticale a 768px
- modificata UI di scraping
- migliorata gestione della selezione dei sistemi di scraping
- migliorata la gestione delle descrizioni delle rom clone
- spostata la creazione del solo gamelist come funzionalità a pagamento
- implementate api 5 di @motoschifo
- aggiunto messaggio di interruzione e conferma alla presisone dello stop durante lo scraping

Corretti i seguenti bug:
- corretto bug per cui i dati statistici non venivano aggiornati a fine scraping
- corretto bug per cui la griglia rom nel media browser non veniva resettata al cambio gioco
- eliminata la barra di scorrimento nella griglia della coda che talvolta appariva
- corretto bug per cui a volte veniva generata eccezione al download di nuovi media di sistemi
- corretto bug di memoria nella gstione dei titoli
- corretto bug per cui alla rimozione di nuovi sistemi veniva provocata eccezione
- corretto bug per cui veniva genrata eccezione se la cartella delle rom era vuota
- corretto bug per cui il tooltip di screenscraoper non veniva aggiornato durante lo scraping
- corretto bug per cui non tutte le info di ADB venivano riportate nel media browser

Beta1.03
In questa versione:
Implementazioni:
- acceletara la creazione del gamelist (tks @dR.pRoDiGy )

Corretti i seguenti bug:
- corretto bug per cui quando si usavano info di un clone non venivano piu scaricati i media corretti

Beta1.05
In questa versione:
Implementazioni:
- accelerata la creazione dei file mix
- modificata la rappresentazione oraria durante lo scraping, ora la data appare solo se la data di inizio e fine scraping differiscono, altrimenti sarà presente solo l'ora
- modificata la rappresentazione oraria nella finestra console, ora è pubblicato uno short time (@dR.pRoDiGy)
- ora la finestra console resta aperta anche a fine scraping per consultazione e va chiusa manualmente
- ottimizzato codice di scraping (@dR.pRoDiGy)
- implementate api per giochi simili (@motoschifo)
Beta104_giochiSimili.png
- ora quando si salvano le impostazioni di scraping si torna automaticamente alla griglia dei sistemi
- implementata la donazione tramite paypal
- implementata la gestione dei file 7z
- ora non si possono piu' modificare i valori dello scraping se il selettore non è in custom

Corretti i seguenti bug:
- corretto bug per cui in caso di rom nor found il contatore non avanzava
- corretto bug per cui in taluni casi lo scraping risultava lento anche con dati in locale
- corretto bug er cui quando una rom era mancante veniva scritto piu' volte nella finestra console
- corretto bug per cui a volte veniva generata eccezione quando il sito di screenscraper dava response null
- corretto bug per cui non veniva calcolata correttamente la % di scraping (@dR.pRoDiGy)
- corretto bug per cui digitando un sistema inesistente veniva generata un'eccezione
- corretto bug per cui se si aggiungeva un sistema che aveva piu' siti di scraping del precedente, quando si tornava sul primo l'elenco non era correttamente visualizzato
- corretto bug per cui i video non erano piu' visibili
Buon divertimento.
Non hai i permessi necessari per visualizzare i file allegati in questo messaggio.
Avatar utente
CONSOLEMAN
God of Arcade
God of Arcade
Messaggi: 3348
Iscritto il: 26/08/2015, 0:01
Città: ARCADIA
Grazie Inviati: 108 volte
Grazie Ricevuti: 88 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da CONSOLEMAN »

Grazie
Avatar utente
SparrowJ

Donatore
Moderatore F.E.E.L.
Moderatore F.E.E.L.
Messaggi: 1475
Iscritto il: 03/05/2017, 10:22
Medaglie: 1
Città: Napoli
Grazie Inviati: 15 volte
Grazie Ricevuti: 29 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da SparrowJ »

:)
Avatar utente
morenobruni

Donatore
Nostalgico
Nostalgico
Messaggi: 322
Iscritto il: 12/01/2015, 18:48
Medaglie: 1
Città: rovereto
Grazie Inviati: 6 volte
Grazie Ricevuti: 8 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da morenobruni »

Da provare assolutamente
Avatar utente
dR.pRoDiGy

Donatore
Moderatore F.E.E.L.
Moderatore F.E.E.L.
Messaggi: 3069
Iscritto il: 17/11/2009, 15:55
Medaglie: 1
Città: Prov_Milano_zona_Sempione
Grazie Inviati: 10 volte
Grazie Ricevuti: 17 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da dR.pRoDiGy »

.. Grafica da paura! 8-) 8-)
"Non si smette di giocare perché si diventa vecchi, ma si diventa vecchi perché si smette di giocare"

Immagine F.E.E.L. - FrontEnd (Emulator Launcher)
http://feelfrontend.altervista.org
https://github.com/dr-prodigy/feel-frontend/
Avatar utente
TheBaro
Amministratore
Amministratore
Messaggi: 6836
Iscritto il: 22/07/2005, 21:52
Località: Brescia
Grazie Inviati: 5 volte
Grazie Ricevuti: 3 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da TheBaro »

grazieee...sei sempre il numero uno Goth!
Arcade Cab : Crazy Taxi, 18 Wheeler, Virtua Golf, 3 Naomi, Videogame, Magnum, Astrowar, Zaccaria, Operation Bear, Point Blank 2 e 3, Taito ZuZuBlock, Racing Hero, Badlands, Generico Guida Upright
Flipper : Creature from Black Lagoon, Road Show, Dracula, World Cup '94, Theatre of Magic, Tales from the Arabian Nights, Medieval Madness, Cactus Canyon, The Getaway HSII, Star Trek Next Generation, Monster Bash, Attack from Mars, Terminator 2, Revenge From Mars, ScaredStiff, Indiana Jones, The Addam's Family, Twilight Zone, Card King
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 4847
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 17 volte
Grazie Ricevuti: 272 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Gothrek »

Non per eccitare il maestro @TheBaro ma forse più per le sferzate di @Tox Nox Fox

Ho aggiornato il post iniziale con altri screenshot, che mi avvicinano alla oramai prossima release, affinchè facciate da alpha tester (neanche beta :D)

Nel frattempo se a parte il mitico arcadedb e i franzosi, avete altri siti da segnalare per fare scraping li integro al volo.
metalchef
Newbie
Newbie
Messaggi: 66
Iscritto il: 13/02/2015, 16:44
Città: Prato
Grazie Inviati: 1 volta

Re: GotScraper - Scraping spaziale!!

Messaggio da metalchef »

Grande lavoro!! Bravo!
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 4847
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 17 volte
Grazie Ricevuti: 272 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Gothrek »

metalchef ha scritto: 09/04/2020, 12:12 Grande lavoro!! Bravo!
quasi pronto per una alfa che vi darò in pasto ;)
Avatar utente
pucci
Moderatore
Moderatore
Messaggi: 4747
Iscritto il: 19/07/2005, 18:52
Città: San Clemente (RN)
Località: Rimini
Grazie Ricevuti: 62 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da pucci »

@Gothrek puoi pubblicare una lista di tutti i siti dai quali è possibile fare scraping di dati?
Rispondi

Torna a “Miscellanea software”