GotScraper - Scraping spaziale!!

[adolfo69]

allora non servono a nulla così... ma perchè se fai lo scraping dal sito le prendi a grandezza naturale?

[Gothrek]

allora non servono a nulla così... ma perchè se fai lo scraping dal sito le prendi a grandezza naturale?

perchè il sito nasce per dare un servizio di scraping non per farle scaricare dal portale che è di consultazione,

quindi il sito ha 2 finalità, :
consultazione, dati e media standard
scraping, attraverso le API ed account di sviluppo

i programmi per contratto devono essere gratuiti, quindi il servizio a prescindere dal programma che usi ti permette di usufruirne
ci son osia programmi per windows che implementazioni direttamente da emulstation

ti allego la versione di gotscraper se può esserti utile:

savage.png

[adolfo69]

ho capito... mi stai tentando a reinstallare il tuo programma...
termino di inserire i miei dati e poi ti ricontatto x vedere x benino come cacchio funziona il tuo tool che lo trovo poco intuitivo (continuo a non capire la scelta dei media da scaricare dal tool , troppe voci e di non chiara identificazione, continuo a credere che nella finestra laterale debba inserirsi o meno un'immagine campione per la scelta fatta dal menu a tendina

[Gothrek]

ho capito... mi stai tentando a reinstallare il tuo programma...
termino di inserire i miei dati e poi ti ricontatto x vedere x benino come cacchio funziona il tuo tool che lo trovo poco intuitivo (continuo a non capire la scelta dei media da scaricare dal tool , troppe voci e di non chiara identificazione, continuo a credere che nella finestra laterale debba inserirsi o meno un'immagine campione per la scelta fatta dal menu a tendina

hahaha il tentativo era quello!!

a parte gli scherzi, provo a spiegarlo meglio.
diciamo che il programma è bello è configurato per default cosi con 3 click hai fatto tutto (selezioni il sistema, inserisci la directory con le rom e dai play), poi permette 1000 cose avanzate
vengo a quello che cerchi tu:
come tutti i programmi di scraping cosa fa, crea l'immagine finale nella cartella delle rom e genera il file xml
ora tu vuoi come imamgine finale solo un media senza l'accozzaglia composta e questo lo fai dalla sezione gestione media (a cui sto aggiungendo la tua segnalazione di mettere l'anteprima di cosa rappresenta) spuntando solo il media che ti serve (lo sconsiglio in generale perchè il risultato ha una dimensione "forzata" 400X300 che potrebbe essere sufficiente)

cosa fa in più gotscraper,
diciamo che anche quando selezioni l'accozzaglia composta a differenza degli altri programmi lui si tiene da parte tutti gli originali con cui ha creato l'immagine e le ha organizzate nella cartella dei servermedia creata inizialmente
I benefici sono innumerevoli (bhè diciamo tanti ):
1) hai gli originali a dimensione reale (e non dello standard generato per il gamelist)
2) se un domani vuoi utilizzarle per altri scopi le hai a disposizione
3) se domani vuoi fare scraping dello stesso gioco o di una sua versione, non va online ma li recupera localmente
4) dal menu server di gotscraper gestisci tutti i media scaricati a cui puoi aggiungere descrizioni personalizzate e/o altre lingue cosi che pogni volta che fai uno scraping lui userà la tua versione
5) puoi selezionare il media di default locale quando rifarai scraping (futuro) ovvero per ogni frontend tu potrai decide come saranno le info pubblicate
6) genera un report in csv col dettaglio di tutto quello che ha/non ha trovato
7) ultima release, cerca per titolo, se uan rom non esiste nei db, lui ne estrapola solo il titolo e non la versione e va a recuperare i media (tanto sono uguali a prescindere dalla versione)

bhè tutto questo non esiste negli altri programmi e lo sottolineo con orgoglio

poi il programma essendo anche un rom manager fa veramente 1000 cose, raccoglie sotto il cappello di un unico gioco tutte le versioni possibili, filtra le rom (futuro sezione scraping), puoi importare le tue liste personalizzate e lui automaticamente te le copia nel rasp o altro frontend includendo tutti i media personalizzati da te (futuro) e tanto altro.

il programma è grezzo, è un'alfa e in questa fase sono dedicato a far funzionare le cose.

[adolfo69]

Allora facciamo un esempio pratico, metto x prova 5 roms del sistema Amstrad (che ho quasi concluso... sto alla W ma impiego tantissimo tempo perchè sia le snap che i video li creo io poichè la qualità di quelle che si ottengono dai siti è inferiore, spesso penosa specialmente x i video).
Tornando all'esempio, di questi 5 giochi volgio ottenere SOLO:
Titles,
Video,
Cover 3D,
Wheel
Quali sono le opzioni da settare? ricordo che non mi erano chiare neanche allora e scaricavo tante 'fetenzia' che puntualmente cestinavo.
Fammi quest'esempio pratico ed io mi rimetto all'opera scovandoti altri bug

[Gothrek]

per titles che intendi?
ho visto ora il tuo post avevo già preparato uno screen col solo box, ma te ne faccio un altro appena mi rispondi

amstrad_scraping.jpg

[Gothrek]

@adolfo69

cmq se per title intendevi lo screenshot dovresti far cosi:

amstrad_scraping2.jpg

a quel punto (a parte il file composto, nel tuo server media ti troverai tutti i media che hai spuntato inclusi i video (che puoi visionare dalla sezione di gotscraper server)
qui ad esempio troverai i video:

amstrad_video.jpg

la spunta ti dice cosa scaricare, mentre sul lato destro crei l'immagine composta (che a te non serve ma è per spiegare), dove ognuno per ogni sistema potrebbe fare un collage dei media esistenti. Per il mame dei cab ad esempio o dei flipper, giusto per fare esempi

[adolfo69]

x titles intendo il titolo del gioco no l'immagine dello stesso. Va buò tra poco pranzo, dopo ci provo e ti faccio sapere

[Gothrek]

x titles intendo il titolo del gioco no l'immagine dello stesso. Va buò tra poco pranzo, dopo ci provo e ti faccio sapere

il titolo sarebbe wheels per quasi tutti i siti di scraping (da quella pagina dei media del sito li identifichi ma come hai suggerito sto aggiungendo l'anteprima del template del media quando lo selezioni cosi da averlo piu' chiaro)

[adolfo69]

neanche... intendo la schermata iniziale prima di avviare il gioco, di solito queste immagini sono chiamate titles, i loghi dei titoli wheels

[Gothrek]

neanche... intendo la schermata iniziale prima di avviare il gioco, di solito queste immagini sono chiamate titles, i loghi dei titoli wheels

allora l'opzione corretta ti confermo che è titles.

cmq alla fine viene generato un report in excel con l'elenco di tutte le rom e i media mancanti, tanto per darti una idea.

[adolfo69]

eccomi qua con colpevole ritardo... ma dopo il turno di notte dopo pranzo son crollato!
Allora ho disinstallato la vecchia versione pulendo tutto,
creato una cartella buffer PIPPO dove ho messo 13 giochi di cui non possedevo la cover 3d,
installato la 3.0 creando una cartella Scraper x contenere i dati,
scelto l'Amstrad come SISTEMA,
definita la cartella roms,
in SCRAPING ho selezionato i 4 campi Rating,
in METADATI scelto ita x entrambe le colonne,
in MEDIA ho scelto solo wheel, box 3D, video, sstitle
EXTRA invariato,
SERVER invariato.
Avviato lo scraper mi ha generato la cartella media contenente le immagini combo che cancellerò all'istante (anzi alcuni x giochi tipo Alien e Brox mi ha scaricato le immagine del MAME e non dell' Amstrad!).
Ora in ' D:\Scraper\Games\65\Media\Images\Box\3D' ho trovato solo 9 cover verificherò poi se sul sito ci siano quelle mancanti, nel caso cosa bisogna fare? e se x le cover multiple volessi sceglierne una diversa? tipo Savage ne ha 2 sul sito.
In 'D:\Scraper\Games\65\Media\Images\Title' NON ho trovato i titles che avevo scelto da menu.
In 'D:\Scraper\Games\65\Media\Videos' NON ho trovato i video che avevo scelto da menu.
Attendo tue info

ciao

[adolfo69]

Ho verificato Aliens sul sito Screenscraper che il tool non aveva trovato, ci sono sia la cover 3D che la wheels... come fare x recuperarle?

[Gothrek]

@adolfo69
dammi l'elenco delle 13rom che hai inserito, cosi post cena con @dR.pRoDiGy faccio test anche io e ti dico

[adolfo69]

Appunti17.png

nel frattempo ne ho inserite altre, eccoti una snap

[adolfo69]

Non mi hai fatto sapere più nulla...

[Gothrek]

Buongiorno @adolfo69,
cosi al volo che stamattina ho una riunione ho preso le prime 13 della tua lista (una in 2 versioni diverse):

amstrad_scraping3.jpg

la sezione scraping serve a fare un filtro sulle tue rom, quindi diciamo ininfluente quello che selezioni
La sezione metadati server a dare l'ordine di preferenza di lingua e regioni, se non trova la prima della lista va sulla seconda ecc
Media ok, ho fatto la tua selezione
Extra, ok, decidi l'ordine dei siti con cui viene fatto scraping
Server ok, gestisce il tuo media server locale, ai fini dello scraping non serve

risultati:
video 10/13
sstitle (nella sezione screenshot sotto cartella title) 11/13
box 3d 11/13
wheel 10/13

come mix, strano fine scraping dovrebbe averti creato un file excel (csv) nella cartella servermedia/scraping puoi darmi MD5 di quelle 2 ROM cosi verifico cosa risulta, a me ha creato questi 2 mix:

aliens.png

bronx.png

[adolfo69]

a me x questi 2 giochi ho una snap nera e basta...
se vado nella cartella 'D:\Scraper\Games\65\Media\Images\Screenshot'
trovo gli screenshot dei giochi compreso i 2 che hai postato ma NON TROVO i titles, cioè la schermata del titolo del gioco prima che si avvii.
in 'D:\Scraper\Games\65\Media\Videos' NON TROVO i video, forse sono in un'altra cartella?
Altra domanda, ma non sarebbe meglio fare come lo screenscraper di Batocera che ti crea una cartella media all'interno della cartella rooms dove ci sono tutti i media scelti invece di impazzire x la ricerca nella cartella prescelta come contenitore?!?
ps.- cmq a me le cover 3d dei 2 giochi non le ha create

[Gothrek]

a me x questi 2 giochi ho una snap nera e basta...
se vado nella cartella 'D:\Scraper\Games\65\Media\Images\Screenshot'
trovo gli screenshot dei giochi compreso i 2 che hai postato ma NON TROVO i titles, cioè la schermata del titolo del gioco prima che si avvii.
in 'D:\Scraper\Games\65\Media\Videos' NON TROVO i video, forse sono in un'altra cartella?
Altra domanda, ma non sarebbe meglio fare come lo screenscraper di Batocera che ti crea una cartella media all'interno della cartella rooms dove ci sono tutti i media scelti invece di impazzire x la ricerca nella cartella prescelta come contenitore?!?
ps.- cmq a me le cover 3d dei 2 giochi non le ha create

mandami il file excel, cosi vedo gli MD5 delle rom che hai fatto scraping e vediamo che risultato mi da il sito, perchè con le mie rom i media li trova.
i titles (voce sstitles) li trovi dentro D:\Scraper\Games\65\Media\Images\Screenshot\Title
i video (voce video) D:\Scraper\Games\65\Media\Videos il fatto che non ci siano, verifico sempre con i tuoi MD5 perchè a me li ha scaricati correttamente

perchè non li trovi nella cartella di batocera, perchè gotscraper è un rom manager quindi centralizza i dati affinchè tu possa attingere tutte le volte che vuoi, se vuoi fare 5 SD diverse di batocera, negli altri scarichi 5 volte i dati, nel mio li recupera dal server locale e te li copia nella cartella batocera cosi non solo non hai "doppioni", ma nella sezione server puoi personalizzare la descrizione (ad esempio traducendola in italiano) e far si che ogni volta che fai scraping lui recuperi quella tua e non quella generica.
Infine per una questione di backup, centralizzando media/roms e quant'altro, puoi fare un backup di tutto in un punto solo senza dover recuperare info e media sparsi.
Ultimo screenscraper, come tutti gli altri, danno dei limiti giornalieri di scraping e con un server locale centralizzato, bypassi il loro limite, usandoli solo per i mancanti (cosa anche qui che non fa nessuno).

mandami il file excel appena riesci anche per mail se preferisci gothrek(at)hotmail.com

[adolfo69]

Ti confermo che nelle cartelle titles e video non ho nulla

PS:- puoi dirmi come fare la ricerca x titolo su screenscraper, sto andando x lettera perchè non trovo più il modo x inserire il testo x la ricerca...
verificando sul sito anche la cover 3d di mythos è presente ma non l'ha presa...
Popeye
Punchy
Rocco