GotScraper - Scraping spaziale!!

[Gothrek]

@Gothrek Intendi il percorso file?

la schermata dove hai selezionato tutto e il percorso prima dell'avvi oscraping.

il programma deve aver prodotto anche nella cartella che hai definito la prima volta (server media), anche un file di log.txt (cartella gotstraper) e un file csv come risultato finale del tuo scraping.

se riesci a mandarmi anche quelli per favore.

mail gothrek(at)hotmail.com

[misterx76]

aver prodotto anche nella cartella che hai definito la prima volta (server media), anche un file di log.txt (cartella gotstraper) e un file csv come risultato finale del tuo scraping.

se riesci a mandarmi anche quelli per favore.

Quando stacco dal lavoro e torno a casa ti invio il tutto.

[Gothrek]

aver prodotto anche nella cartella che hai definito la prima volta (server media), anche un file di log.txt (cartella gotstraper) e un file csv come risultato finale del tuo scraping.

se riesci a mandarmi anche quelli per favore.

Quando stacco dal lavoro e torno a casa ti invio il tutto.

il sito di screenscraper è down, quindi non funziona ne da emulstation ne dagli altri programmi di scraping incluso il mio. Ma il mio si appoggia anche per i mame su ADB, quindi quelli dovrebbe tirarli cmq fuori.

[misterx76]

il sito di screenscraper è down, quindi non funziona ne da emulstation ne dagli altri programmi di scraping incluso il mio. Ma il mio si appoggia anche per i mame su ADB, quindi quelli dovrebbe tirarli cmq fuori.

Nel caso con il tuo programma non riuscissi, non è possibile, su recalbox, impostare un motore diverso?

[Gothrek]

il sito di screenscraper è down, quindi non funziona ne da emulstation ne dagli altri programmi di scraping incluso il mio. Ma il mio si appoggia anche per i mame su ADB, quindi quelli dovrebbe tirarli cmq fuori.

Nel caso con il tuo programma non riuscissi, non è possibile, su recalbox, impostare un motore diverso?

nel mondo sono 6 in tutto di cui screenscraper il più diffuso, e altri sono per sistemi specifici. Lui quando fai scraping da li prova con tutti quelli impostati, ma il grosso è li, cmq stanno ripristinando un server, questione di un paio di gg come massimo

[misterx76]

nel mondo sono 6 in tutto di cui screenscraper il più diffuso, e altri sono per sistemi specifici. Lui quando fai scraping da li prova con tutti quelli impostati, ma il grosso è li, cmq stanno ripristinando un server, questione di un paio di gg come massimo

Chiedevo perch quando avevo Batocera se ne potevfano selezionare 2, e siccome screenscraper non andava avevo usato l'altro e funzionava. Adesso sono a casa provo a verificare quello che mi hai chiesto.

Edit: Mi ridà l'errore di framenetwork, disinstallo e reinstallo.

[misterx76]

@Gothrek

Niente, non mi funziona più, soliti errori.

[Gothrek]

@Gothrek

Niente, non mi funziona più, soliti errori.

si, il sisto di screenscraper è completamente down, una situazione inattesa anche per il mio software, sto facendo fix per gestire situazioni di questo tipo.

[misterx76]

si, il sisto di screenscraper è completamente down, una situazione inattesa anche per il mio software, sto facendo fix per gestire situazioni di questo tipo.

Ok atte4ndo l'evolversi della situazione allora, grazie, per i pochi giochi che ho installato al mmento potrei optare per una soluzione manuale, ma serve comunque un file xml o si genera in automatico?

[Gothrek]

si, il sisto di screenscraper è completamente down, una situazione inattesa anche per il mio software, sto facendo fix per gestire situazioni di questo tipo.

Ok atte4ndo l'evolversi della situazione allora, grazie, per i pochi giochi che ho installato al mmento potrei optare per una soluzione manuale, ma serve comunque un file xml o si genera in automatico?

lancialo automatico, cosi crea il file anche senza media, poi puoi editare il file creato da lui anche dal tuo pc comodamente.

[misterx76]

lancialo automatico, cosi crea il file anche senza media, poi puoi editare il file creato da lui anche dal tuo pc comodamente.

Quindi può farlo in automatico, come lo imposto? e una volta impostato importo le immagini e fa tutto da solo? perdonami ma sono abituato con lauchbox che fa tutto da solo.

[misterx76]

@Gothrek @Tox Nox Fox

Non so se fattibile, ma non potremmo farlo qui su ArcadeItalia un server per lo scapring, con info in Italiano, ovviamente riservato agli utenti registrati e partecipanti al forum? sarebbe un servizio in più e probabilmente l'unico servizio scraper italiano.

[Gothrek]

lancialo automatico, cosi crea il file anche senza media, poi puoi editare il file creato da lui anche dal tuo pc comodamente.

Quindi può farlo in automatico, come lo imposto? e una volta impostato importo le immagini e fa tutto da solo? perdonami ma sono abituato con lauchbox che fa tutto da solo.

Basta che fai scraping di un sistema e nella cartella del sistema (a cui puoi accedere come ti suggerivo da un pc mettendo \\iprasp\share\roms\sistema\ )
una volta che accedi a quella cartelli ti trovi il famoso file gamelist.xml (che è identico a quello generato da gotscraper) modificabile.
cosa scriverci dentro, (opzionale)
senno per le immagini basta mettere la cartella media nella cartella del rom del sistema e al suo interno un'altra chiamata images dove andranno collocate le immagini
se hanno lo stesso nome (diversa estensione) della rom viene trovata automaticamente

[Gothrek]

@Gothrek @Tox Nox Fox

Non so se fattibile, ma non potremmo farlo qui su ArcadeItalia un server per lo scapring, con info in Italiano, ovviamente riservato agli utenti registrati e partecipanti al forum? sarebbe un servizio in più e probabilmente l'unico servizio scraper italiano.

già c'è, GotScraper si appoggia ad ADB per tutto quello che concerne il mame. Di default è selezionato come primo sito nel caso si selezionasse mame.
Tira giu le info in italiano (default) o inglese (se selezionato) e crea il file gamelist.xml con i dati raccolti

GotScraper, tra le altre cose, permette di inserire una tua descrizione di giochi in italiano che entreranno a far parte del tuo personale server media cosi che ogni volta tu cercherai di fare scraping di quella rom se l'italiano è la tua lingua preferita ti creerà automaticamente il file con la tua personale descrizione

[misterx76]

già c'è, GotScraper si appoggia ad ADB per tutto quello che concerne il mame. Di default è selezionato come primo sito nel caso si selezionasse mame.
Tira giu le info in italiano (default) o inglese (se selezionato) e crea il file gamelist.xml con i dati raccolti

GotScraper, tra le altre cose, permette di inserire una tua descrizione di giochi in italiano che entreranno a far parte del tuo personale server media cosi che ogni volta tu cercherai di fare scraping di quella rom se l'italiano è la tua lingua preferita ti creerà automaticamente il file con la tua personale descrizione

Ok, ma io intendevo un servizio web da poter usare direttamente da un frontend end senza dover aprire un programma. Non so se sono riuscito a spiegarmi.

[Gothrek]

già c'è, GotScraper si appoggia ad ADB per tutto quello che concerne il mame. Di default è selezionato come primo sito nel caso si selezionasse mame.
Tira giu le info in italiano (default) o inglese (se selezionato) e crea il file gamelist.xml con i dati raccolti

GotScraper, tra le altre cose, permette di inserire una tua descrizione di giochi in italiano che entreranno a far parte del tuo personale server media cosi che ogni volta tu cercherai di fare scraping di quella rom se l'italiano è la tua lingua preferita ti creerà automaticamente il file con la tua personale descrizione

Ok, ma io intendevo un servizio web da poter usare direttamente da un frontend end senza dover aprire un programma. Non so se sono riuscito a spiegarmi.

ADB è presente nelle ultime release, il frontend ne usufruisce già. Il problema dei frontend sono le personalizzazioni di ciò che raccogli.
Una cosa è crearti l'immagine risultante trascinando gli elementi sullo schermo, o decidendo cosa o non cosa debba far parte dell'immagine finale piuttosto che del video, altra è andare a smanettare sul file di configurazione delle emulstatio per cercare di ricavare qualcosa di non standard.
tra l'altro le rom le passi da pc mentre le immagini le recuperi dal frontend? ci metti una vita. ora hai rom sul pc, fai scraping e copi tutto insieme ci metti 1/10 (mi tengo stretto) del tempo.
ultimo, creare un db (non è che puoi copiare qullo degli altri e poi pubblicare il tuo) da 0 dello scibile. Su screenscraper lavorano decine di migliaia di utenti uppando materiale qui la vedo difficile. ADB immenso lavoro di Motoskifo (sito ed info) e Adolfo che non so per quanti mesi si è smazzato fare i mini video
chiudo con l'ultimo punto, che è uno dei tanti motivi per cui è stato creato gotscraper, perchè scaricare materiale da internet ogni volta che fai scraping quando dopo averlo fatto una volta lo potresti trovare in locale risparmiando una marea di tempo/traffico?

Ciò non toglie che si, certo sarebbe fattibile, ma un lavoro credo al di fuori di questa comunità

[misterx76]

ADB è presente nelle ultime release, il frontend ne usufruisce già. Il problema dei frontend sono le personalizzazioni di ciò che raccogli.

Il problema è che non posso, ad esempio da recalbox, selezionare ADB alla voce Scraper e scaricare da li.

tra l'altro le rom le passi da pc mentre le immagini le recuperi dal frontend? ci metti una vita. ora hai rom sul pc, fai scraping e copi tutto insieme ci metti 1/10 (mi tengo stretto) del tempo.

Il problema è che il tuo programma, purtroppo, non riesco a farlo a funzionare. Dovrei provare con lauchbox e selezionare i file da li.

ultimo, creare un db (non è che puoi copiare qullo degli altri e poi pubblicare il tuo) da 0 dello scibile. Su screenscraper lavorano decine di migliaia di utenti uppando materiale qui la vedo difficile. ADB immenso lavoro di Motoskifo (sito ed info) e Adolfo che non so per quanti mesi si è smazzato fare i mini video

Si, comprendo che il lavoro sarebbe immane.

chiudo con l'ultimo punto, che è uno dei tanti motivi per cui è stato creato gotscraper, perchè scaricare materiale da internet ogni volta che fai scraping quando dopo averlo fatto una volta lo potresti trovare in locale risparmiando una marea di tempo/traffico?

Sarei anche d'accordo su questo se solo ci riuscissi. Il problema è che con ScreenScraper down non si può fare nulla e quindi siamo legati tutti ad una sola community che se per qualche motivo chiude siamo a piedi.

Ciò non toglie che si, certo sarebbe fattibile, ma un lavoro credo al di fuori di questa comunità

Questo è l'ultimo forum arcadce rimasto, gli altri o hanno chiuso o si sono trasferiti sui social, più servizi si offrono meno possibilità ci sono che chiude.

P.S.
Un paio di curiosità, su quale motore di scraping si appoggia Launch box?
Ioi potrei anche scaricare tutte le immagini da altri siti e poi selezionare manualmente quelle che mi servono, ma il problema sarebbe poi creare il file gamelist xml, anche fossero solo 100 voci da inserire sarebbe un lavoraccio.

[Gothrek]

@misterx76
tutti i programmi di scraping oggi si appoggiano su screnscraper, dalla prossima release sarà operativo in gotscraper anche igdb per concludere quando andrà in beta con tutti i pochi esistenti, cosi da non essere condizionati da loro. Il programma è nato pochi mesi fa proprio per sopperire a questi problemi. lavorandoci il tempo libero serve ancora un pò di tempo.
lui, come gli altri, torneranno a funzionare immediatamente appena screenscraper tornerà up; hanno ancora problemi sui server.

launchbox esattametne come gli altri circa il motore di scraping
quei pochi siti che permettono questo servizio devono, oltre ad avere il materiale, avere delle "API" ossia prevedere delle funzioni che possano essere richiamate da dei programmi esterni, che sia il mio o le emulstation.

proprio perchè è un lavoraccio creare quel file che come dici tu anche fossero solo 100 voci a mano sarebbe complicato.

ancora qualche giorno di pazienza e si potrà tornare a godere del servizio di scraping a prescindere da dove esso provenga.

Questo è un foro e una comunità quasi totalente italiana, sicuramente non incentrata sullo scraping sepput motoskifo e gli altri con ADB abbiamo fatto un lavoro immane e magnifico di cui noi ogni giorno usufruiamo. Non so se aumenterebbero gli italiani sul foro sicuramente speriamo che si avvicinino a noi per il valore aggiunto di tutti quelli che aiutano, spiegano e mostrano agli altri questo fantastico mondo arcade che ha 1000 problematiche che vanno dalla costruzione dei cab all'invenzione di sistemi di gun passando per i software e i servizi che con fatica cerchiamo di mettere a disposizione di tutti.

con tempo e passione di tutti sicurametne si andrà sempre avanti.

buon divertimento.

[misterx76]

@Gothrek

Perfetto, adesso ho una visione più chiara dell'argomento. L'unica cosa che ancora non mi è chiara è come mai in Batocera puoi selezionare o ScreenScraper o idb mentre Recalbox soltanto screenscraper.

[Gothrek]

@Gothrek

Perfetto, adesso ho una visione più chiara dell'argomento. L'unica cosa che ancora non mi è chiara è come mai in Batocera puoi selezionare o ScreenScraper o idb mentre Recalbox soltanto screenscraper.

a partire dal core dell'emulstation ed essendo codice pubblico, ognuno ha un pò sviluppato per conto suo, batocera, retropie, recalbox ecc.

ognuno di loro ha piccole differenze.
in un altro topic avevo un pò cercato di raccogliere le differenze.
la forza di recalbox è la parte web
batocera ha di suo una comunità molto più grande e svilupa piu' in fretta con 2/3 rilasci l'anno al contrari odi recalbox dove è fermo ad 1