GotScraper - Scraping spaziale!!

Problemi e soluzioni su configurazioni software, firmware
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 1477
Iscritto il: 13/07/2017, 13:30
Reputatione: 3
Città: Roma
Grazie Inviati: 7 volte
Grazie Ricevuti: 55 volte

GotScraper - Scraping spaziale!!

Messaggio da Gothrek »

Buongiorno a tutti,
qui e li ne ho parlato diverse volte e provo ad aprire un topic ufficiale nell'unica sezione che sembra corretta circa il software che sto concludendo, e che spero mettere a vostra disposizione.

Niente di meglio che presentarlo con delle FAQ.

Cosa è GotScraper?
GotScraper è un software di scraping che raccoglie immagini, video e metadati da tutte quelle sorgenti che ne permettono l'estrazione. Per scraping intendiamo quel processo mediante il quale a fronte di una collezione di giochi/rom, è possibile recuperare informazioni, immagini del gioco o della copertina delo stesso o addirittura video affinchè nei nostri frontend alla sua selezione possano apparirci accanto alla selezione stessa per rendere il tutto piu' accattivante.

Perchè GotScraper è diverso dagli altri?
In giro non ce ne sono moltissimi, ma i limiti che ho sempre incontrati sono stati spesso legati soprattutto alla monofonte dei dati da cui facevano scraping. In questo GotScraper è diverso, permette l'aggiunta praticamente infinita di fonti affinchè laddove un metadato una immagine o un video non venga trovato lo si possa andare a cercare in cascata su tutte le fonti impostate, cosi da poter completare il più possibile il processo.
Un'altra differenza sta nella ingua dei metadati, l'inglese è sempre la lingua più diffusa, ma se volessimo prima cercare se ne esiste una traduzione in italiano e lasciare l'inglese come seconda scelta? Beh, GotScraper lo fa.

Ci sono altre differenze tra GotScraper e gli altri software di scraping?
Assolutamente si, una grandissima differenza è data dalla gestione di un server media locale, ogni volta che raccoglierete metadati, immagini, video, se impostato salverà i dati stessi e potrà essere usato come una delle fonti di ricerca, magari la primaria, affinchè quando ne avrete bisogno il tutto sarà più rapido senza dover iniziare ogni volta il processo verso internet come fanno gli altri software di scraping.

Quali sono le potenzialità del server media locale?
Il server media locale può mettervi in condizione di aggiustare/sistemare/integrare metadati a vostro piacimento affinchè ogni volta che vi servirà per la vostra collezione, i dati corrispondano a quanto volete vedere accanto al vostro gioco preferito evitando tutto il lavoro manuale che un risultato del genere oggi potrebbe portare.

Quali front-end sono supportati?
Partendo dai più diffusi già inclusi, è teoricamente possibile integrare tutti quelli che si vogliono.

Parliamo di costi e licenze?
Costi, naturalmente l'uso del software non prevede costi ma il codice resta proprietario e ne è assolutamente proibita la vendita e la modifica senza autorizzazione dell'autore.

Quando sarà disponibile?
Il software in questo momento è in test chiuso al pubblico per eliminare gli ultimi bug e conto di pubblicare una alfa utilizzabile entro il mio compleanno (22 aprile nda).

E' possibile vedere già qualcosa?
Di seguito posto del materiale che integrerò nei prossimi giorni.

Dove posso scaricarlo?
Di seguito il lunk:
GotScraperAlfa5.4
mentre le versioni precedenti non sono più scaricabili.

Avvio
Annotazione 2020-03-26 074306.jpg
Gestione sistemi
Annotazione 2020-04-06 202500.jpg
Gestione dei metadati
Annotazione 2020-04-06 202500_2.jpg
Gestione media server immagini/video
Annotazione 2020-04-06 202500_3.jpg
Annotazione 2020-04-06 202500_4.jpg
Bene, lo ho scaricato, e ora? cosa posso fare?
Questa versione (alfa1) è un'embrione del programma e va visto in un'ottica costruttiva e funziona solo per RECALBOX/Batocera (ovvero crea una gamelist standard solo per quei sistemi - la versione finale prevederà tutti quelli esistenti).
una volta installato la prima volta chiederà la cartella dei server media (eventualmente è possibile crearla contestualmente), quella cartella conterrà l'ogni cosa, roms, media, logs, e zio solo sa che cos'altro.
per possibile con pochissimi click essere immediatamente operativi con lo scraping, basta :
1) selezionare 1 o piu' sistemi dalla tab "sistema" (quella che vedete aperta all'avvio) facendo DOPPIO CLICK.
cosi facendo il sistema entrerà nella lista dei sistemi per cui fare lo scraping (lato sinistro). Potete selezionarne quanti ne volete (ma solo 1 volta per sistema)
2) selezionate (1 click) il sistema sul lato sinistro e si aprirà la finestra per selezionare la relativa cartella delle rom di quel sistema
far cosi per ogni sistema
3) premere avvia scraping.

la barra sotto, un avviso sonoro e un popup vi avvertiranno appena terminato (tra i 2 e i 4 sec a rom). verrà generato un report csv dettagliato.

Ho fatto scraping, che altro posso fare?
Di seguito un mini elenco delle attuali funzionalità:
- nella tab media potete creare per ogni sistema il layout finale della vostra immagine decidendo posizioni proporzioni e tipo di media coinvolto
-nella tab extra potete decidere i siti di scraping (attualmente 2 + server locale , versione finale una decina), impostare eventuali credenziali e l'ordine con cui il sistema di scraping deve cercare decidendo se una volta trovato il media può evitare di approfondire per la stessa rom su tutti i siti della lista o meno
- selezionando il sistema in alto a sx nella tab server/roms sarà possibile visualizzare metadati del gioco e media
- nella tab sistema/cartelle potete gestire le cartelle del vostro server media
-nella tab sistema/sistemi potete visualizzare info (non ora) e media di ogni sistema (potete abilitare il download di tutti i media esistenti per ogni sistema, OCCHIO al prossimo avvi opotrebbe portarvi via 30 minuti per alcuni giga di dati, ma una volta fatto faran parte permanente del vostro server media)

Quali sono i limiti dell'attuale versione?
La versione Alfa1 è la prima distribuita e di limiti e bug ne ha ancora tanti, partendo dalla mancanza di alcuni dati e dal mancoto funzionamento di alcune funzionalità (nella tab scraping sarebbe possibile fare un filtro sulle rom attualmente non attivo)
Sarebbe utilissimo in questa fase evidenziare:
- mancanze di programma (assenza di funzionalità)
- bug (e come riprodurli)
- suggerimenti
- altro

Nuova versione, cosa cambia?
In questa versione:
Corretti i seguenti bug:
- ora dopo lo scraping i mediagame sono imemdiatamente visibili
- campi nel db ordine media vengono registrati correttamente
- risolto bug per cui non si riusciava a selezionare imemdiatamente il sistema su cui si era fatto lo scraping
- risolto bug per cui lo scraping andava in errore se non tutti i sistemi avevano il folder delle rom
- risolto bug per cui se si trascinava un elemento di una listview per ultimo generava una eccezione

Nuove funzionalità:
- selezione dell'ordinamento per lingua nella sezione metadati (questo permetterà di avere un ordinamento di preferenze nella generazione del file nelle descrizioni dei game)
- selezione dell'ordinamento per regione nella sezione metadati (questo permetterà di avere un ordinamento nella selezione dei titoli nella generazione del file)

Alfa2.1, fix vari
In questa versione:
Corretti i seguenti bug:
- risolto bug per cui se su screenscraper.fr le note erano vuote non effettuava lo scraping
- risolto bug per cui se su screenscraper.fr editore e/o sviluppatore erano vuote non effettuava lo scraping, per ora sostituito con "sconosciuto" in futuro varierà a seconda della lingua scelta
- risolto bug per cui la rom non esisteva su nessun sito di scraping rimaneva in loop
- risolto bug per cui se il db non è presente non usciva dal gioco
- risolto bug per cui se il programma andava in crash e il db restava "sporco" la tabella dei report andava in errore
- risolto bug per cui in alcune condizioni un nome media server con lo spazio generava errore

Alfa2.2, fix vari
In questa versione:
Corretti i seguenti bug:
- risolto bug per cui se screenscraper.fr non rispondeva correttamente non venivano gestiti i messaggi d'errore
- risolto bug per cui anche se si inserivano le credenziali di screenscraper non venivano prese in considerazione, per le opportune priorità.
- risolto bug per cui se una rom non la trova su nessun sito produceva un errore durante la creazione del gamelist.xml
- risolto bug per cui se contemporaneamente editore e sviluppatore erano uguali ed inesistenti generava eccezione

Alfa2.3, fix vari
In questa versione:
Corretti i seguenti bug:
- aggiunta textbox per evidenziare il percorso del media selezionato
- risolto bug per cui erano assenti diversi dati nel file gamelist.xml
- risolto bug per cui se una rom non veniva trovata mancano i dati all'interno del report finale
- risolto bug per cui se sviluppatore o editore avevano degli spazzi alla fine produceva un errore

Alfa3.0
In questa versione:
Implementazioni:
- Estensioni rom, ora si può fare lo scraping di tutte le estensioni supportate dal sistema e non solo il .zip
Alfa3_estensioni.jpg
- Scraping, se la rom non viene trovata è possibile far cercare per titolo cosi da scaricare comunque i media anche se di una versione leggermente differente
- Scraping, ora è possibile impostare per ogni sito il numero di tentativi e l'intervallo tra un tentativo e l'altro
Alfa3_Scrapingtitolo.jpg
- Layout, modificato layout barra avanzamento scraping
- Layout, aggiunti messaggi di status durante lo scraping
- Applicativo, aggiornate librerie

Corretti i seguenti bug:
- Layout, corretto bug sul calcolo dei secondi medi per rom durante lo scraping
- Layout, eliminata presenza scrollbar nei tilepanel
- Applicativo, corretto bug per cui gli ultimi sistemi non si riusciva a selezionarli
- Applicativo, corretto bug per cui veniva generata eccezione se si provava a selezionare la cartella di un sistema non selezionato (@adolfo69)
- Gestionemedia, corretto bug per cui non veniva correttamente tenuto conto del valore z nella composizione media per lo scraping

Alfa4.0
In questa versione:
Implementazioni:
- aggiunto filtro alla tabella gestione media
Alfa4_filtro.jpg
- aggiunto nomefile nel report
amstrad_scraping6.jpg
- aggiunta icona al programma
Alfa4_icona.jpg
- aggiunta gestione media video delle rom
Alfa4_mediavideo.jpg
Corretti i seguenti bug:
- cambiando sistema ora vengono correttamente resettati i media
- sistemato il percorso evidenziato per la cartella dei media e corretto la sua label
- corretto bug per il quale a volte scrivendo un gioco non esistente veniva generata eccezione
- corretto bug per il quale togliendo la spunta a gestione media tutti i sistemi sparivano tutti gli oggetti dalla griglia (segnalato anche da @adolfo69 )
- corretto bug per il quale veniva generata eccezione se aveva dei video tra i media
- corretto bug per il quale i pulsanti dei media prev e next diventavano attivi anche se era presente un solo media
- corretto bug per cui nel report finale veniva troncato l'ultimo carattere del nome rom
- corretto bug per cui in taluni casi facendo scraping di una sola rom si generava una eccezione

Alfa5.0
Con grande orgoglio vi rilascio l'alfa 5, frutto di un paio di mesi di lavoro
In questa versione:
Implementazioni:
- Cambiato il lettore multimediale (da windows media player a vlc) con miglioramento delle prestazioni
- Integrate statistiche personali e globali (tks @dR.pRoDiGy )
- aggiunto tooltip sul sistema selezionato per evidenziare se è impostata la cartella delle rom (in rosso la sua assenza)
- è ora possibile scegliere la risoluzione finale del "collage" media (prima risoluzione fissa)
- è ora possibile impostare configurazioni personalizzate per singolo sistema (prima solo globali)
- migliorata la gestione della griglia dei sistemi (ancora non è perfetta dopo il primo click)
- aggiunti diversi templatemedia visualizzabili nell'anteprima della composizione (ne mancano ancora alcuni)
- aggiunta la possibilità di ordinare i sistemi in maniera alfabetica
- aggiunto check di versione (ora se presente una nuova versione viene chiesto all'avvio di aggiornare)
- ora non è possibile rieseguire lo scraping se non ha finito la prima sessione
- aggiunta voce info sul salvataggio dell'ordine di scraping
- aggiunto bottone di restore delle impostazioni del gestione media
- aggiunto check per decidere se dopo lo scraping la rom deve essere spostata nella cartella di default del server media (richiesta di @adolfo69 )
- aggiunto user e psw al server locale
- cambiato framework di destinazione da 4.72 a 4.8 (@federicoc09 )

Corretti i seguenti bug:
- se si seleziona un video nei media del proprio server e si premono le frecce ora correttamente visualizza i video precedenti/successivi
- corretto il carosello di visualizzazione delle immagini del proprio server
- eliminato refuso ID selezionando la regione
- sistemata la coerenza grafica delle scrollbar
- corretta la visualizzazione delle frecce nelle scrollbar delle combobox
- corretto bug per cui una ricerca testuale con troppi caratteri generava eccezione
- corretto bug per cui se si faceva uno scraping di più sistemi non veniva resettato il conteggio delle rom
- corretto bug per cui se si rieseguiva immediatamente lo scraping generava eccezione
- corretto bug per cui se le estensioni delle rom erano in maiuscolo venivano scartate (ora non si tiene conto di maiuscole/minuscole presenti nella rom)
- corretto bug per cui se non era selezionato un odine di scraping non effettuava lo scraping stesso
- corretto bug per cui nel report finale i dati aggiuntivi avevano sempre si come risposta anche quando erano già presenti nel db
- corretto bug per cui alcuni caratteri all'interno del nome rom generavano eccezioni (potrebbero essercene altri ancora non scoperti, segnalateli)

Alfa5.1
Implementazioni:
- specificato che utente e password devono essere di almeno 6 caratteri
- ora quando si preme invio sull'utente si passa automaticamente al campo password, e dalla password il focus è sul bottone avanti

Corretti i seguenti bug:
- eliminata la richiesta di eseguire l'applicazione come amministratore
- ora al primo avvio sono immediatamente visibili le statistiche globali

Alfa5.3/5.4 fix
Implementazioni:
- ora se il nome file è troppo corto per siti di scraping come screenscraper ad esempio, la ricerca viene effettauta sull'MD5 del file escludendo il nome file
- ottimizzata riproduzione video con supporto hw per vlc

Corretti i seguenti bug:
- corretto bug per cui il sistema andava in loop o usciva dallo scraping con nomi file troppo corti
Buon divertimento.
Non hai i permessi necessari per visualizzare i file allegati in questo messaggio.


Avatar utente
CONSOLEMAN
God of Arcade
God of Arcade
Messaggi: 2214
Iscritto il: 26/08/2015, 0:01
Reputatione: 9
Città: ARCADIA
Grazie Inviati: 27 volte
Grazie Ricevuti: 28 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da CONSOLEMAN »

Grazie


Avatar utente
SparrowJ
Moderatore F.E.E.L.
Moderatore F.E.E.L.
Messaggi: 1420
Iscritto il: 03/05/2017, 10:22
Medaglie: 1
Reputatione: 8
Città: Napoli
:
Donatore
Grazie Inviati: 14 volte
Grazie Ricevuti: 25 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da SparrowJ »

:)


Avatar utente
morenobruni
Affezionato
Affezionato
Messaggi: 255
Iscritto il: 12/01/2015, 18:48
Medaglie: 1
Reputatione: 0
Città: rovereto
:
Donatore
Grazie Inviati: 5 volte
Grazie Ricevuti: 7 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da morenobruni »

Da provare assolutamente


Avatar utente
dR.pRoDiGy
Moderatore F.E.E.L.
Moderatore F.E.E.L.
Messaggi: 2978
Iscritto il: 17/11/2009, 15:55
Medaglie: 1
Reputatione: 39
Città: Prov_Milano_zona_Sempione
:
Donatore
Grazie Ricevuti: 7 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da dR.pRoDiGy »

.. Grafica da paura! 8-) 8-)
"Non si smette di giocare perché si diventa vecchi, ma si diventa vecchi perché si smette di giocare"

Immagine F.E.E.L. - FrontEnd (Emulator Launcher)
http://feelfrontend.altervista.org
https://github.com/dr-prodigy/feel-frontend/


Avatar utente
TheBaro
Amministratore
Amministratore
Messaggi: 6812
Iscritto il: 22/07/2005, 21:52
Reputatione: 18
Località: Brescia
Grazie Inviati: 3 volte
Grazie Ricevuti: 2 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da TheBaro »

grazieee...sei sempre il numero uno Goth!
Arcade Cab : Crazy Taxi, 18 Wheeler, Virtua Golf, 3 Naomi, Videogame, Magnum, Astrowar, Zaccaria, Operation Bear, Point Blank 2 e 3, Taito ZuZuBlock, Racing Hero, Badlands, Generico Guida Upright
Flipper : Creature from Black Lagoon, Road Show, Dracula, World Cup '94, Theatre of Magic, Tales from the Arabian Nights, Medieval Madness, Cactus Canyon, The Getaway HSII, Star Trek Next Generation, Monster Bash, Attack from Mars, Terminator 2, Revenge From Mars, ScaredStiff, Indiana Jones, The Addam's Family, Twilight Zone, Card King


Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 1477
Iscritto il: 13/07/2017, 13:30
Reputatione: 3
Città: Roma
Grazie Inviati: 7 volte
Grazie Ricevuti: 55 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Gothrek »

Non per eccitare il maestro @TheBaro ma forse più per le sferzate di @Tox Nox Fox

Ho aggiornato il post iniziale con altri screenshot, che mi avvicinano alla oramai prossima release, affinchè facciate da alpha tester (neanche beta :D)

Nel frattempo se a parte il mitico arcadedb e i franzosi, avete altri siti da segnalare per fare scraping li integro al volo.


metalchef
Newbie
Newbie
Messaggi: 66
Iscritto il: 13/02/2015, 16:44
Reputatione: 0
Città: Prato
Grazie Inviati: 1 volta

Re: GotScraper - Scraping spaziale!!

Messaggio da metalchef »

Grande lavoro!! Bravo!


Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 1477
Iscritto il: 13/07/2017, 13:30
Reputatione: 3
Città: Roma
Grazie Inviati: 7 volte
Grazie Ricevuti: 55 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Gothrek »

metalchef ha scritto:
09/04/2020, 12:12
Grande lavoro!! Bravo!
quasi pronto per una alfa che vi darò in pasto ;)


Avatar utente
pucci
Moderatore
Moderatore
Messaggi: 4285
Iscritto il: 19/07/2005, 18:52
Reputatione: 14
Città: San Clemente (RN)
Località: Rimini
Grazie Ricevuti: 18 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da pucci »

@Gothrek puoi pubblicare una lista di tutti i siti dai quali è possibile fare scraping di dati?


Rispondi

Torna a “Miscellanea software”