GotScraper - Scraping spaziale!!
- Gothrek
- Moderatore
- Messaggi: 5171
- Iscritto il: 13/07/2017, 13:30
- Città: Roma
- Grazie Inviati: 17 volte
- Grazie Ricevuti: 290 volte
Re: GotScraper - Scraping spaziale!!
http://www.gotscraper.com/
VERSIONE COMPLETAMENTE NUOVA!!
(Seguirà topic ad hoc)
Beta1.05
In questa versione:
Implementazioni:
- accelerata la creazione dei file mix
- modificata la rappresentazione oraria durante lo scraping, ora la data appare solo se la data di inizio e fine scraping differiscono, altrimenti sarà presente solo l'ora
- modificata la rappresentazione oraria nella finestra console, ora è pubblicato uno short time (@Dr. prodigy)
- ora la finestra console resta aperta anche a fine scraping per consultazione e va chiusa manualmente
- ottimizzato codice di scraping (@Dr.Prodigy)
- implementate api per giochi simili (@motoschifo)
- ora quando si salvano le impostazioni di scraping si torna automaticamente alla griglia dei sistemi
- implementata la donazione tramite paypal
- implementata la gestione dei file 7z
- ora non si possono piu' modificare i valori dello scraping se il selettore non è in custom
Corretti i seguenti bug:
- corretto bug per cui in caso di rom nor found il contatore non avanzava
- corretto bug per cui in taluni casi lo scraping risultava lento anche con dati in locale
- corretto bug er cui quando una rom era mancante veniva scritto piu' volte nella finestra console
- corretto bug per cui a volte veniva generata eccezione quando il sito di screenscraper dava response null
- corretto bug per cui non veniva calcolata correttamente la % di scraping (@Dr.prodigy)
- corretto bug per cui digitando un sistema inesistente veniva generata un'eccezione
- corretto bug per cui se si aggiungeva un sistema che aveva piu' siti di scraping del precedente, quando si tornava sul primo l'elenco non era correttamente visualizzato
- corretto bug per cui i video non erano piu' visibili
VERSIONE COMPLETAMENTE NUOVA!!
(Seguirà topic ad hoc)
Beta1.05
In questa versione:
Implementazioni:
- accelerata la creazione dei file mix
- modificata la rappresentazione oraria durante lo scraping, ora la data appare solo se la data di inizio e fine scraping differiscono, altrimenti sarà presente solo l'ora
- modificata la rappresentazione oraria nella finestra console, ora è pubblicato uno short time (@Dr. prodigy)
- ora la finestra console resta aperta anche a fine scraping per consultazione e va chiusa manualmente
- ottimizzato codice di scraping (@Dr.Prodigy)
- implementate api per giochi simili (@motoschifo)
- ora quando si salvano le impostazioni di scraping si torna automaticamente alla griglia dei sistemi
- implementata la donazione tramite paypal
- implementata la gestione dei file 7z
- ora non si possono piu' modificare i valori dello scraping se il selettore non è in custom
Corretti i seguenti bug:
- corretto bug per cui in caso di rom nor found il contatore non avanzava
- corretto bug per cui in taluni casi lo scraping risultava lento anche con dati in locale
- corretto bug er cui quando una rom era mancante veniva scritto piu' volte nella finestra console
- corretto bug per cui a volte veniva generata eccezione quando il sito di screenscraper dava response null
- corretto bug per cui non veniva calcolata correttamente la % di scraping (@Dr.prodigy)
- corretto bug per cui digitando un sistema inesistente veniva generata un'eccezione
- corretto bug per cui se si aggiungeva un sistema che aveva piu' siti di scraping del precedente, quando si tornava sul primo l'elenco non era correttamente visualizzato
- corretto bug per cui i video non erano piu' visibili
Re: GotScraper - Scraping spaziale!!
Grazie, stò provando proprio ora, non capisco però dove salva le immagini... non lo trovo ne sul perscorso dove stà facendo lo scraping ne sulla sua cartella..
Flipper: Indiana Jones - Road Show - Popeye - Star Trek The next Generation - Judge Dredd - Terminator 2
Cabinati: Outrun Mini - Monaco GP Mini - SuperMonacoGP - Super HangON - Atari Pole Position I e II - Magum 28' Hyperspin - Saturn 25' Jamma - Space Invaders - JukeBox AmiRowe - Fruit Machine Indiana Jones e l'ultima crociata
Cabinati: Outrun Mini - Monaco GP Mini - SuperMonacoGP - Super HangON - Atari Pole Position I e II - Magum 28' Hyperspin - Saturn 25' Jamma - Space Invaders - JukeBox AmiRowe - Fruit Machine Indiana Jones e l'ultima crociata
- Gothrek
- Moderatore
- Messaggi: 5171
- Iscritto il: 13/07/2017, 13:30
- Città: Roma
- Grazie Inviati: 17 volte
- Grazie Ricevuti: 290 volte
Re: GotScraper - Scraping spaziale!!
uan volta selezionato la cartella delle rom, lui crea una sottocartella media\images in cui le salva. Viene creato automaticamente anche il gamelist.xml quindi quando le copi sul sistema puoi semplicemente prendere tutto e mettere li cosi come è.
Re: GotScraper - Scraping spaziale!!
visto Grazie
Flipper: Indiana Jones - Road Show - Popeye - Star Trek The next Generation - Judge Dredd - Terminator 2
Cabinati: Outrun Mini - Monaco GP Mini - SuperMonacoGP - Super HangON - Atari Pole Position I e II - Magum 28' Hyperspin - Saturn 25' Jamma - Space Invaders - JukeBox AmiRowe - Fruit Machine Indiana Jones e l'ultima crociata
Cabinati: Outrun Mini - Monaco GP Mini - SuperMonacoGP - Super HangON - Atari Pole Position I e II - Magum 28' Hyperspin - Saturn 25' Jamma - Space Invaders - JukeBox AmiRowe - Fruit Machine Indiana Jones e l'ultima crociata
Re: GotScraper - Scraping spaziale!!
buongiorno, stavo provando per la prima volta GotScraper, ma sul mio surface con Windows11 la finestra si ridimensiona a misure minuscole e non riesco ad usarlo...
ver. 1.0.0.10
ver. 1.0.0.10
- Gothrek
- Moderatore
- Messaggi: 5171
- Iscritto il: 13/07/2017, 13:30
- Città: Roma
- Grazie Inviati: 17 volte
- Grazie Ricevuti: 290 volte
Re: GotScraper - Scraping spaziale!!
un ottimo spunto, che risoluzione stai usando sul surface? l'app era pensata per essere usata da pc nei cab quind ia risoluzioni relativametne basse potrebbe essere quello.
Re: GotScraper - Scraping spaziale!!
che strano, ho riprovato e questa volta non si è ridimensionata come prima.
(nonostante tutto i testi di alcuni menù vengono ancora tagliati)
(nonostante tutto i testi di alcuni menù vengono ancora tagliati)
- Gothrek
- Moderatore
- Messaggi: 5171
- Iscritto il: 13/07/2017, 13:30
- Città: Roma
- Grazie Inviati: 17 volte
- Grazie Ricevuti: 290 volte
- pucci
- Moderatore
- Messaggi: 4840
- Iscritto il: 19/07/2005, 18:52
- Città: San Clemente (RN)
- Località: Rimini
- Grazie Ricevuti: 64 volte
Re: GotScraper - Scraping spaziale!!
in effetti @Gothrek non ho mai capito perchè in tutti i tuoi software hai scelto di lavorare a risoluzione fissa (ES: anche quello che estrae i dat del Teknoparrot ha questo problema e non posso farlo andare a schermo intero come qualunque altro software
- Gothrek
- Moderatore
- Messaggi: 5171
- Iscritto il: 13/07/2017, 13:30
- Città: Roma
- Grazie Inviati: 17 volte
- Grazie Ricevuti: 290 volte
Re: GotScraper - Scraping spaziale!!
Piu' una questione di tempo da dedicare all'assistenza. L'uso di componenti particolari per la gestione del multi thread per lo scraping e tutta la parte di rom manager ha preferito avere una situazione piu' stabile possibile che una in cui dover capire cosa non vede piu' o non funziona come dovrebbe.
Ringraziando il cielo, il software ha un trend di una decina di nuovi utenti settimana e non dubito post trasloco e post completamente attività per AntoPisa e il traduttore dell'history di tornare a metterci le mani aggiungendo anche questo.
Avrei voluto avere piu' feedback circa eventuali modifiche/aggiunte ma da questo punto di vista ho ricevuto poco.
- pucci
- Moderatore
- Messaggi: 4840
- Iscritto il: 19/07/2005, 18:52
- Città: San Clemente (RN)
- Località: Rimini
- Grazie Ricevuti: 64 volte
Re: GotScraper - Scraping spaziale!!
Personalmente ho provato ad usarlo ma non ti nego che l'ho trovato (per me) difficile da usare e poco user friendly. In più sembrerà una cazzata ma l'aspetto grafico un po' 'giocoso' ai miei occhi gli fa perdere professionalità.
Detto questo conoscendoti probabilmente è un software potentissimo e superfunzionale, ma per poterlo apprezzare bisogna entrare nel tuo paradigma di pensiero.
Ti racconto un episodio concreto recente.
Ho sempre usato come rom manager ClrMAME Pro, fin dai tempi in cui era un applicativo a linea di comando o la prima versione ad interfaccia grafica (ClrMAME senza la dicitura Pro). Ero addirittura citato nel readme come 'il puntiglioso che mi fa notare tanti piccoli difetti'.
L'ho usato per decenni e continuo a farlo.
Seguivo ultimamente in modo molto scettico la crescita di RomVault così ho deciso di provarlo. Risultato? Un disastro. Poco intuitivo, illogico nell'operatività, insomma: qualcosa che mi sembrava creata da un alieno che pensa in modo completamente antiintuitivo.
Poi per necessità (il dat di TeknoParrot funziona solo con RomVault) ho dovuto obbligarmi ad usarlo. Un casino mostruoso. Inizio a chiedere aiuto su Discord e qualcuno mi prende a male parole perché ovviamente io ragiona secondo le logiche di ClrMAME Pro e non riuscivo ad entrare in modalità RomVault.
Alla fine dopo tanti sforzi, prove, ore di scansioni buttate nel cesso e tanti vaffanculo su Discord ho cominciato a capirci qualcosa e sapete cosa? È un software fantastico, moderno e anni luce avanti a ClrMAME Pro. È un software gamechanger come lo sono stati gli schermi LCD, le macchine fotografiche digitali, le auto elettriche e così via.
La cosa che mi aiutato di più a capirlo sono stati il suo wikimanuale e i video tutorial.
Penso che GotScraper sarebbe molto più valorizzato con queste 2 cose (soprattutto la seconda)
Detto questo conoscendoti probabilmente è un software potentissimo e superfunzionale, ma per poterlo apprezzare bisogna entrare nel tuo paradigma di pensiero.
Ti racconto un episodio concreto recente.
Ho sempre usato come rom manager ClrMAME Pro, fin dai tempi in cui era un applicativo a linea di comando o la prima versione ad interfaccia grafica (ClrMAME senza la dicitura Pro). Ero addirittura citato nel readme come 'il puntiglioso che mi fa notare tanti piccoli difetti'.
L'ho usato per decenni e continuo a farlo.
Seguivo ultimamente in modo molto scettico la crescita di RomVault così ho deciso di provarlo. Risultato? Un disastro. Poco intuitivo, illogico nell'operatività, insomma: qualcosa che mi sembrava creata da un alieno che pensa in modo completamente antiintuitivo.
Poi per necessità (il dat di TeknoParrot funziona solo con RomVault) ho dovuto obbligarmi ad usarlo. Un casino mostruoso. Inizio a chiedere aiuto su Discord e qualcuno mi prende a male parole perché ovviamente io ragiona secondo le logiche di ClrMAME Pro e non riuscivo ad entrare in modalità RomVault.
Alla fine dopo tanti sforzi, prove, ore di scansioni buttate nel cesso e tanti vaffanculo su Discord ho cominciato a capirci qualcosa e sapete cosa? È un software fantastico, moderno e anni luce avanti a ClrMAME Pro. È un software gamechanger come lo sono stati gli schermi LCD, le macchine fotografiche digitali, le auto elettriche e così via.
La cosa che mi aiutato di più a capirlo sono stati il suo wikimanuale e i video tutorial.
Penso che GotScraper sarebbe molto più valorizzato con queste 2 cose (soprattutto la seconda)
Pucci - The Bastard Son of Arcade Italia
"MODerrare humanum est"
tutte le copertine di The Games Machine
non combatto guerre di intelligenza con gente disarmata
"MODerrare humanum est"
tutte le copertine di The Games Machine
non combatto guerre di intelligenza con gente disarmata
- Gothrek
- Moderatore
- Messaggi: 5171
- Iscritto il: 13/07/2017, 13:30
- Città: Roma
- Grazie Inviati: 17 volte
- Grazie Ricevuti: 290 volte
Re: GotScraper - Scraping spaziale!!
@pucci
concordo con quello che dici, diciamo che chi ha dimestichezza con gli scraper usa screenscraper e se usi screenscraper, l'unico decente, usare gotscraper ti risulterà piu' familiare.
In generale oltre alla wiki, volevo aggiungere dei balooon per farti fare i 3 step che servono ad usarlo:
1) scegli il sistema
2) scegli la tua cartella di rom
3) avvio
abbiamo cercando di semplificarlo il piu' possibile lasciando tante opzioni/opzionali, cosi da essere immediatamente operativi con 3 click
poi il sistema lato scraping si apre a scenari notevolmente migliori a quelli di screenscraper, primo fra tutti è multicanale, quindi non pesca solo dal sito francese ma anche da adb per dirne una, cosi come la possibilità di scegliere quali media scaricare, che formato deve avere l'output e altre 1000 cose.
Detto questo, cosi è come nasce il software (come scraper), ma nei 2 anni di sviluppo ho aggiunto tutta una parte per me molto importante, il rom manager.
Il rom manager gestisce tutte le tue rom, ti da la possibilità di visionare le descrizioni, di poterle modificare e personalizzare per il tuo sistema, ti permette di cercare giochi simili anche se non in tuo possesso (e non parlo di categoria, ma proprio di simili). Il rom manager ti permette di aggiungere media anche pescati dalla rete o personalizzati, infine ti permette di generare dat filtrando le tue rom, per lingua piuttosto che per tipo ecc.
Insomma lo scraping è una parte, ma il rom manager è un po il cuore per il quale viene creato un server media con tuti gli originali delle tue rom e i suoi media e dal quale estrarre alla bisogna sottoinsiemi senza paura di perdere nulla e in maniera piu' friendly (tutte cose che potresti fare a mano ovviamente, ma diventando matto).
concordo con quello che dici, diciamo che chi ha dimestichezza con gli scraper usa screenscraper e se usi screenscraper, l'unico decente, usare gotscraper ti risulterà piu' familiare.
In generale oltre alla wiki, volevo aggiungere dei balooon per farti fare i 3 step che servono ad usarlo:
1) scegli il sistema
2) scegli la tua cartella di rom
3) avvio
abbiamo cercando di semplificarlo il piu' possibile lasciando tante opzioni/opzionali, cosi da essere immediatamente operativi con 3 click
poi il sistema lato scraping si apre a scenari notevolmente migliori a quelli di screenscraper, primo fra tutti è multicanale, quindi non pesca solo dal sito francese ma anche da adb per dirne una, cosi come la possibilità di scegliere quali media scaricare, che formato deve avere l'output e altre 1000 cose.
Detto questo, cosi è come nasce il software (come scraper), ma nei 2 anni di sviluppo ho aggiunto tutta una parte per me molto importante, il rom manager.
Il rom manager gestisce tutte le tue rom, ti da la possibilità di visionare le descrizioni, di poterle modificare e personalizzare per il tuo sistema, ti permette di cercare giochi simili anche se non in tuo possesso (e non parlo di categoria, ma proprio di simili). Il rom manager ti permette di aggiungere media anche pescati dalla rete o personalizzati, infine ti permette di generare dat filtrando le tue rom, per lingua piuttosto che per tipo ecc.
Insomma lo scraping è una parte, ma il rom manager è un po il cuore per il quale viene creato un server media con tuti gli originali delle tue rom e i suoi media e dal quale estrarre alla bisogna sottoinsiemi senza paura di perdere nulla e in maniera piu' friendly (tutte cose che potresti fare a mano ovviamente, ma diventando matto).
-
Rockman84
- Moderatore
- Messaggi: 1282
- Iscritto il: 23/10/2015, 18:00
- Medaglie: 1
- Città: Mondovi
- Località: Mondovì (Cuneo)
- Grazie Inviati: 126 volte
- Grazie Ricevuti: 86 volte
Re: GotScraper - Scraping spaziale!!
Ciao a tutti e specialmente ciao @Gothrek
Faccio una domanda molto probabilmente banale... ma tant'è...
Mi trovo con un romset in formato .HDF per Amiga 500 che funziona egregiamente con Batocera.
Il problema sta nello scraping, nel senso che nei nomi dei giochi è indicata la versione (es. Alfred Chicken v1.3 / Altered Beat v1.1 EN ecc.); per tale motivo, se uso lo scraping interno di Batocera la maggior parte delle immagini non viene trovata: dovrei cambiare l'input di ricerca togliendo ogni volta v1.3, v1.1 ecc. oppure dovrei rinominare i files prima di fare lo scraping...lavori che per ovvi motivi non farei mai
Con Gotscraper è possibile fare lo scraping senza avere questi problemi di ricerca delle cover? E se si, mi verebbe anche fuori un file gamelist da inserire nella carterlla roms/amiga500 di Batocera in modo da poter poi visualizzare le immagini all'interno del frontend?
Grazie ed abbiate pazienza, è solo che non ho mai usato GotScraper.
Buona giornata
Faccio una domanda molto probabilmente banale... ma tant'è...
Mi trovo con un romset in formato .HDF per Amiga 500 che funziona egregiamente con Batocera.
Il problema sta nello scraping, nel senso che nei nomi dei giochi è indicata la versione (es. Alfred Chicken v1.3 / Altered Beat v1.1 EN ecc.); per tale motivo, se uso lo scraping interno di Batocera la maggior parte delle immagini non viene trovata: dovrei cambiare l'input di ricerca togliendo ogni volta v1.3, v1.1 ecc. oppure dovrei rinominare i files prima di fare lo scraping...lavori che per ovvi motivi non farei mai
Con Gotscraper è possibile fare lo scraping senza avere questi problemi di ricerca delle cover? E se si, mi verebbe anche fuori un file gamelist da inserire nella carterlla roms/amiga500 di Batocera in modo da poter poi visualizzare le immagini all'interno del frontend?
Grazie ed abbiate pazienza, è solo che non ho mai usato GotScraper.
Buona giornata
- Gothrek
- Moderatore
- Messaggi: 5171
- Iscritto il: 13/07/2017, 13:30
- Città: Roma
- Grazie Inviati: 17 volte
- Grazie Ricevuti: 290 volte
Re: GotScraper - Scraping spaziale!!
Ciao caro,
gotscraper per come lo ho pensato io non si basa sul nome del file, per intenderci, goldenaxe potresti rinominarlo pacman e cmq lo riconoscerebbe perchè si basa sull'md5 del file che è "unico" (o praticamente lo è).
Pertanto potrebbe tranquillamente trovarli. Per l'amiga attinge soprattutto da screenscraper, cmq provalo è gratuito:
selezioni amiga 500, selezioni la cartella e dai il via, guarda cosa trova.
gotscraper per come lo ho pensato io non si basa sul nome del file, per intenderci, goldenaxe potresti rinominarlo pacman e cmq lo riconoscerebbe perchè si basa sull'md5 del file che è "unico" (o praticamente lo è).
Pertanto potrebbe tranquillamente trovarli. Per l'amiga attinge soprattutto da screenscraper, cmq provalo è gratuito:
selezioni amiga 500, selezioni la cartella e dai il via, guarda cosa trova.
-
Rockman84
- Moderatore
- Messaggi: 1282
- Iscritto il: 23/10/2015, 18:00
- Medaglie: 1
- Città: Mondovi
- Località: Mondovì (Cuneo)
- Grazie Inviati: 126 volte
- Grazie Ricevuti: 86 volte
Re: GotScraper - Scraping spaziale!!
Rieccomi
Dunque, seleziono la cartella contenente le roms per lo scraping, però non mi trova nulla. Vedo che nelle estensioni "supportate" non c'è il .HDF (che è l'estensione dei miei giochi).
Sarà per questo?
Dunque, seleziono la cartella contenente le roms per lo scraping, però non mi trova nulla. Vedo che nelle estensioni "supportate" non c'è il .HDF (che è l'estensione dei miei giochi).
Sarà per questo?
- Gothrek
- Moderatore
- Messaggi: 5171
- Iscritto il: 13/07/2017, 13:30
- Città: Roma
- Grazie Inviati: 17 volte
- Grazie Ricevuti: 290 volte
Re: GotScraper - Scraping spaziale!!
si, vuol dire che screenscraper non sta cercando per quell'estensione.
puoi provare ad aggiungerla manualmente e vedere se trova qualcosa cmq.
un test lo farei ci metti 1 minuto.
puoi provare ad aggiungerla manualmente e vedere se trova qualcosa cmq.
un test lo farei ci metti 1 minuto.
-
Rockman84
- Moderatore
- Messaggi: 1282
- Iscritto il: 23/10/2015, 18:00
- Medaglie: 1
- Città: Mondovi
- Località: Mondovì (Cuneo)
- Grazie Inviati: 126 volte
- Grazie Ricevuti: 86 volte
Re: GotScraper - Scraping spaziale!!
Grazie come sempre Got.
Una domanda na niubbo...come posso aggiungere manualmente l'estensione .HDF? Non riesco proprio
Se faccio click o doppio click sulle estensioni non succede nulla
EDIT: fatto, risolto
Ha anche trovato diversi files, per i restanti mi aggiusto con un programmino abbastanza furbo che cito perchè magari può servire a qualcuno:
si chiama "Renamer" ed è assolutamente freeware. Come dice il nome, consente di rinominare files multipli (anche diverse centinaia in pochi secondi), permettendo di selezionare singole parole o addirittura sillabe per poi eliminarle
Una domanda na niubbo...come posso aggiungere manualmente l'estensione .HDF? Non riesco proprio
Se faccio click o doppio click sulle estensioni non succede nulla
EDIT: fatto, risolto
Ha anche trovato diversi files, per i restanti mi aggiusto con un programmino abbastanza furbo che cito perchè magari può servire a qualcuno:
si chiama "Renamer" ed è assolutamente freeware. Come dice il nome, consente di rinominare files multipli (anche diverse centinaia in pochi secondi), permettendo di selezionare singole parole o addirittura sillabe per poi eliminarle
- Gothrek
- Moderatore
- Messaggi: 5171
- Iscritto il: 13/07/2017, 13:30
- Città: Roma
- Grazie Inviati: 17 volte
- Grazie Ricevuti: 290 volte
Re: GotScraper - Scraping spaziale!!
quindi aggiungendo l'estensione sei riuscito a trovare qualcosa con lo scraper?Rockman84 ha scritto: ↑07/02/2024, 8:29 Grazie come sempre Got.
Una domanda na niubbo...come posso aggiungere manualmente l'estensione .HDF? Non riesco proprio
Se faccio click o doppio click sulle estensioni non succede nulla
EDIT: fatto, risolto
Ha anche trovato diversi files, per i restanti mi aggiusto con un programmino abbastanza furbo che cito perchè magari può servire a qualcuno:
si chiama "Renamer" ed è assolutamente freeware. Come dice il nome, consente di rinominare files multipli (anche diverse centinaia in pochi secondi), permettendo di selezionare singole parole o addirittura sillabe per poi eliminarle
-
Rockman84
- Moderatore
- Messaggi: 1282
- Iscritto il: 23/10/2015, 18:00
- Medaglie: 1
- Città: Mondovi
- Località: Mondovì (Cuneo)
- Grazie Inviati: 126 volte
- Grazie Ricevuti: 86 volte
Re: GotScraper - Scraping spaziale!!
SI, coonfermo.
Ho un romset di circa 3500 files in formato.HDF ed il programma è riuscito a "scraparne" poco più della metà
Ho un romset di circa 3500 files in formato.HDF ed il programma è riuscito a "scraparne" poco più della metà