Benvenuto Ospite,
per utilizzare il Forum ed avere accesso a tutte le sezioni e poter aprire un tuo Topic, rispondere nelle varie discussioni, mandare o ricevere Messaggi Privati devi seguire pochi passaggi:


Leggi il nostro Regolamento -> PREMI QUI <-
Segui il link su come Iscriversi -> PREMI QUI <-


Ricordati di aggiornare l'Avatar usando una immagine che ti distingua nel Forum

GotScraper - Scraping spaziale!!

Problemi e soluzioni su configurazioni software, firmware
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 5501
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 20 volte
Grazie Ricevuti: 313 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Gothrek »

@Cacy82
se il pallino di screenscraper era rosso, effettivametne loro avevano giu come minimo il servizio delle api con cui recuperare le info, vuol dire che funziona (gotscraper) :D

per il mame, vediamo.
mandami per mail il file gamelist che hai generato per favore (magari in zip) dovrebbero essere qualche k vediamo cosa ha messo dentro.
Avatar utente
Macho72
Newbie
Newbie
Messaggi: 95
Iscritto il: 28/07/2020, 16:16
Città: vr
Grazie Inviati: 18 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Macho72 »

@Gothrek e @Cacy82 mi sembra di aver capito che lo scraping lo fate su un PC e poi riportate tutto in Batocera.... giusto?

io invece lo scraping lo faccio tutto tramite la rete direttamente nelle cartelle dei sistemi di Batocera, potrebbe essere questo il problema a livello di tempi lunghi?
uso un acces point e collegamenti etherner (no wifi)
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 5501
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 20 volte
Grazie Ricevuti: 313 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Gothrek »

Macho72 ha scritto: 22/12/2020, 10:36 @Gothrek e @Cacy82 mi sembra di aver capito che lo scraping lo fate su un PC e poi riportate tutto in Batocera.... giusto?

io invece lo scraping lo faccio tutto tramite la rete direttamente nelle cartelle dei sistemi di Batocera, potrebbe essere questo il problema a livello di tempi lunghi?
uso un acces point e collegamenti etherner (no wifi)
Ciao si, sempre consigliato farlo su pc e poi copiare (magari poi ti copi solo il file gamlist e la cartella media)
Avatar utente
larasa
God of Arcade
God of Arcade
Messaggi: 2198
Iscritto il: 29/12/2016, 18:24
Città: ParmaReggio
Grazie Inviati: 32 volte
Grazie Ricevuti: 143 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da larasa »

Macho72 ha scritto: 22/12/2020, 10:36 lo scraping lo faccio tutto tramite la rete direttamente nelle cartelle dei sistemi di Batocera, potrebbe essere questo il problema a livello di tempi lunghi?
dipende quanti ne "scrappi". anch'io uso batocera per scrappare e sono iscritto a screenscraper, ma ne scrappo poche alla volta,100/200,perche non ce la faccio ad aspettare cosi tanto,al massimo 20/30minuti.
non saprei dare un tempo allo scrapping...questo piu quello,diviso due,moltiplicato l'altro...provo ad abbozzare 500 in un ora? parlo solo di screenshot+video.
...é partita ufficialmente la "lotteria scraping di natale"...sentiamo i numeri degli altri utenti....
Avatar utente
Cacy82
Affezionato
Affezionato
Messaggi: 125
Iscritto il: 30/11/2020, 23:37
Città: Roma
Grazie Inviati: 15 volte
Grazie Ricevuti: 1 volta

Re: GotScraper - Scraping spaziale!!

Messaggio da Cacy82 »

Faccio tutto da pc e poi copio solo gamelist e cartella media.
Purtroppo non ho modo di collegarmi in lan al rasp, ho tutto in wifi.

Inoltre non penso che i tempi lunghi di scraping siano dettati da dove sono localizzate le rom anzi, credo che farlo da pc sia più veloce piuttosto che fargli fare troppi passaggi sulla rete:

gotscraper su pc --> va a prendere le rom che stanno in rete --> poi si sposta sul web per ricercarle --> poi salva i dati in locale --> poi ritorna in rete per creare media + gamelist.

A parer mio i tempi si allungherebbero di parecchio.

Il mio problema per i tempi lunghi probabilmente è dovuto alla rete internet che utilizzo, sono connesso in 4g con il cubo della tre <-whistling-> <-whistling->
Avatar utente
larasa
God of Arcade
God of Arcade
Messaggi: 2198
Iscritto il: 29/12/2016, 18:24
Città: ParmaReggio
Grazie Inviati: 32 volte
Grazie Ricevuti: 143 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da larasa »

Cacy82 ha scritto: 22/12/2020, 11:19 ono connesso in 4g con il cubo della tre
eh,seee, ciaone!
Avatar utente
Cacy82
Affezionato
Affezionato
Messaggi: 125
Iscritto il: 30/11/2020, 23:37
Città: Roma
Grazie Inviati: 15 volte
Grazie Ricevuti: 1 volta

Re: GotScraper - Scraping spaziale!!

Messaggio da Cacy82 »

Spè, ora viene il meglio...nel frattempo che scrappa stiamo pure su netflix :D

Il grosso del lavoro glielo faccio fare di notte e la mattina controllo 8-)
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 5501
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 20 volte
Grazie Ricevuti: 313 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Gothrek »

larasa ha scritto: 22/12/2020, 11:07
Macho72 ha scritto: 22/12/2020, 10:36 lo scraping lo faccio tutto tramite la rete direttamente nelle cartelle dei sistemi di Batocera, potrebbe essere questo il problema a livello di tempi lunghi?
dipende quanti ne "scrappi". anch'io uso batocera per scrappare e sono iscritto a screenscraper, ma ne scrappo poche alla volta,100/200,perche non ce la faccio ad aspettare cosi tanto,al massimo 20/30minuti.
non saprei dare un tempo allo scrapping...questo piu quello,diviso due,moltiplicato l'altro...provo ad abbozzare 500 in un ora? parlo solo di screenshot+video.
...é partita ufficialmente la "lotteria scraping di natale"...sentiamo i numeri degli altri utenti....
ti posso dare i numeri di gotscraper quelli li conosco bene, il collo di bottiglia cmq non è tanto la rete di casa, ma il sito.
Entro un pò nel tecnico, ma spero vi facciano piacere i dietro le quinte.
Screenscraper e lo scraping su screenscraper direttamente da batocera in generale sono lenti (volutamente lenti), introducono dei tempi che essendo prodotti ufficiali preferiscono avere (meno stress sul sito ecc)
GotScraper (e me ne vanto :D) se ne frega del loro sito per sfruttare al massimo quanto loro mettono a disposizione. il tempo di gotscraper, è poco sotto i 2 sec per rom (combo di 3 media, screenshot+title+box3d). Sotto questo oggi il sito stesso non da.
Il buon @dR.pRoDiGy che non ha mai una minkia da fare (i luv u) un giorno si è divertito a fare scraping contemporaneamente delle stesse rom (migliaia), sia con il prodotto ufficiale di screenscraper (skraper) che col mio. In gergo direi OWNED!! :D (dal rasp lo è ancora di più)

ora a parte le battute, con un tempo di 2 secondi a rom, se parliamo di rom di sistemi abbastanza vecchi che occupano praticamente nulla, ci sta dentro tutto anche da rete il problema resta la connessione verso il sito sicuramente di gran lunga piu' lento rispetto al wifi piuttosto che alle rom in locale.

il processo della creazione del mix invece è diverso skraper crea il mix mano mano che ha a disposizione il materiale per crearlo, io invece preferisco farlo alla fine per concentrare tutto sul download iniziale.

dopo di chè..."che per caso è uscito il 23? perchè se è uscito ho fatto ambo"
Avatar utente
Macho72
Newbie
Newbie
Messaggi: 95
Iscritto il: 28/07/2020, 16:16
Città: vr
Grazie Inviati: 18 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Macho72 »

larasa ha scritto: 22/12/2020, 11:07
Macho72 ha scritto: 22/12/2020, 10:36 lo scraping lo faccio tutto tramite la rete direttamente nelle cartelle dei sistemi di Batocera, potrebbe essere questo il problema a livello di tempi lunghi?
dipende quanti ne "scrappi". anch'io uso batocera per scrappare e sono iscritto a screenscraper, ma ne scrappo poche alla volta,100/200,perche non ce la faccio ad aspettare cosi tanto,al massimo 20/30minuti.
non saprei dare un tempo allo scrapping...questo piu quello,diviso due,moltiplicato l'altro...provo ad abbozzare 500 in un ora? parlo solo di screenshot+video.
...é partita ufficialmente la "lotteria scraping di natale"...sentiamo i numeri degli altri utenti....
<-think-> forse mi sono spiegato male, uso Gotscraper su notebook, ma come path gli do il percorso tramite rete rom>sistema in Batocera, che è su PC fisso, in modo che mi metta già tutto la dentro (ho sempre fatto così anche con win10 senza problemi, adesso uso win7 su un vecchio notebook)
in generale non ho mai esagerato con lo scraping, anzi solitamente provo un sistema alla volta con circa 10/20 roms e diciamo che anche se fossero lunghi i tempi come @Cacy82 lo faccio andare di notte <-sleep-> , ma se si impalla è un casino <-dash->

N.B.: anch' io sono iscritto a screenscrapper
Avatar utente
dR.pRoDiGy

Donatore
Moderatore F.E.E.L.
Moderatore F.E.E.L.
Messaggi: 3069
Iscritto il: 17/11/2009, 15:55
Medaglie: 1
Città: Prov_Milano_zona_Sempione
Grazie Inviati: 10 volte
Grazie Ricevuti: 17 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da dR.pRoDiGy »


Gothrek ha scritto:
Il buon [mention]dR.pRoDiGy[/mention] che non ha mai una minkia da fare (i luv u) un giorno si è divertito a fare scraping contemporaneamente delle stesse rom (migliaia), sia con il prodotto ufficiale di screenscraper (skraper) che col mio. In gergo direi OWNED!! :D (dal rasp lo è ancora di più)
Io che organizzo stress test comparativi, e tu che mi ripaghi così..
CAINO E VASTASU! Immagine

Inviato dal mio Mi A2 Lite utilizzando Tapatalk

"Non si smette di giocare perché si diventa vecchi, ma si diventa vecchi perché si smette di giocare"

Immagine F.E.E.L. - FrontEnd (Emulator Launcher)
http://feelfrontend.altervista.org
https://github.com/dr-prodigy/feel-frontend/
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 5501
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 20 volte
Grazie Ricevuti: 313 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Gothrek »

@dR.pRoDiGy
oggi un amico mi ha scritto questo:
Stay foolish, stay thirsty!!
Avatar utente
dR.pRoDiGy

Donatore
Moderatore F.E.E.L.
Moderatore F.E.E.L.
Messaggi: 3069
Iscritto il: 17/11/2009, 15:55
Medaglie: 1
Città: Prov_Milano_zona_Sempione
Grazie Inviati: 10 volte
Grazie Ricevuti: 17 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da dR.pRoDiGy »

E allora.. In alto i calici (e i boccali, e le ombrette, etc etc.)!!

Inviato dal mio Mi A2 Lite utilizzando Tapatalk

"Non si smette di giocare perché si diventa vecchi, ma si diventa vecchi perché si smette di giocare"

Immagine F.E.E.L. - FrontEnd (Emulator Launcher)
http://feelfrontend.altervista.org
https://github.com/dr-prodigy/feel-frontend/
Avatar utente
Cacy82
Affezionato
Affezionato
Messaggi: 125
Iscritto il: 30/11/2020, 23:37
Città: Roma
Grazie Inviati: 15 volte
Grazie Ricevuti: 1 volta

Re: GotScraper - Scraping spaziale!!

Messaggio da Cacy82 »

Gothrek ha scritto: 22/12/2020, 10:14 per il mame, vediamo.
mandami per mail il file gamelist che hai generato per favore (magari in zip) dovrebbero essere qualche k vediamo cosa ha messo dentro.
@Gothrek ti ho mandato la mail con il file zippato <-on_smile->
Avatar utente
Tox Nox Fox

BanHammer Silver Medal Helper Donatore
Moderatore
Moderatore
Messaggi: 12458
Iscritto il: 14/01/2007, 23:35
Medaglie: 4
Grazie Inviati: 205 volte
Grazie Ricevuti: 324 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Tox Nox Fox »

qualcuno paga da bere ?
WP.ARCADEITALIA.NET
La Guida al MameCab
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 5501
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 20 volte
Grazie Ricevuti: 313 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Gothrek »

Cacy82 ha scritto: 22/12/2020, 20:06
Gothrek ha scritto: 22/12/2020, 10:14 per il mame, vediamo.
mandami per mail il file gamelist che hai generato per favore (magari in zip) dovrebbero essere qualche k vediamo cosa ha messo dentro.
@Gothrek ti ho mandato la mail con il file zippato <-on_smile->
verifico e ti dico
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 5501
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 20 volte
Grazie Ricevuti: 313 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Gothrek »

@Cacy82
nel gamelist c'èconfusione nella parte genre, riporto un esempio:
<game id="578" source="GotScraper1.0.0.74">
<path>./vspsx.zip</path>
<name>Video System PSX</name>
<desc />
<image>./media/image/vspsx.png</image>
<rating>0</rating>
<releasedate>19960101T000000</releasedate>
<developer>Video System Co.</developer>
<publisher>Video System Co.</publisher>
<genreid>Sistema / BIOS</genreid>
<genre>
<genreid />
<genre>Sistema / BIOS</genre>

<players>4</players>
<region />
<romtype />
<nplay />
<hash>68ed917c</hash>
</genre> (nodo chiuso male perchè aperto un nuovo genre)

quel doppio genre evidenziato non permette la chiusura del nodo game iniziale.

La cosa strana che questo difetto lo hai solo sul mame.

Ho fatto dei test e hai trovato un bel bug, perchè effettivametne si manifesta solo se fai prima la scansione du ADB piuttosto che screenscraper, come hai sicuramente (e giustamente) fatto essendo le descrizioni in italiano.

Il baco lo ho anche nella 1.0.80 e quindi non posso che dirti grazie perchè lo hai trovato cosi lo ho corretto.

Ok, tu dirai chissenefrega io devo fare scraping :D
Purtroppo l'unica alternativa al momento è reinstallare avendo cura di deselezionare adb (mea culpa, mea culp,a mea grandissima culpa :( )
Avatar utente
Macho72
Newbie
Newbie
Messaggi: 95
Iscritto il: 28/07/2020, 16:16
Città: vr
Grazie Inviati: 18 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Macho72 »

ieri sera ho riprovato a fare lo scraping delle 29 roms del gamecube, ne ha trovate 21, però ho cambiato qualche impostazione per vedere anche se ho capito qualcosa oppure no.....
Immagine 12.png
ho spuntato solo screenscraper come server di ricerca (perciò non ha cercato in server media e in arcade DB)
ho spuntato sovrascrivi media ed info e forza su tutti i siti (non so se è corretto)

sulla riga in basso a sx mi indica che ha iniziato alle 22:12 e finiva alle 23:20, ma mi sono addormentato <-lazy-> (comunque alle 2:00 aveva finito) :D, se ha rispettato i tempi ha impiegato circa 4 minuti a rom, però non si è impallato <-gogogo->

@Gothrek per quel che riguarda le roms non trovate vuoi che ti mando qualche file?
Non hai i permessi necessari per visualizzare i file allegati in questo messaggio.
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 5501
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 20 volte
Grazie Ricevuti: 313 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Gothrek »

@Macho72
severmedia lascialo sempre spuntato è il controllo locale e lascialo sempre per primo
cosa sono quelle 2 spunte (per ora buttate li)
la prima dice che anche se ha delle info locali le deve cmq verificare se sono uguali online (altrimenti lui avendole localmente non le va neanche a guardare online per risparmiare tempo) (questa è utile se si gradisce che quando vengano aggiornate ad esempio le descrizioni onine si faccia altrettanto localmente)
la seconda dice che non si deve fermare al primo sito che trova quanto cercato, ma deve cmq andare anche su tutti gli altri per aggiungere ulteriori info (questa è utile per avere un bel db aggiornato sui giochi localmente)

detto questo 29 rom 1ora ingestibile :D
mandami 1 rom delle 8 non trovate

domanda, hai usato un set no.intro?
Avatar utente
Macho72
Newbie
Newbie
Messaggi: 95
Iscritto il: 28/07/2020, 16:16
Città: vr
Grazie Inviati: 18 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Macho72 »

Gothrek ha scritto: 23/12/2020, 19:14 @Macho72
severmedia lascialo sempre spuntato è il controllo locale e lascialo sempre per primo
cosa sono quelle 2 spunte (per ora buttate li)
la prima dice che anche se ha delle info locali le deve cmq verificare se sono uguali online (altrimenti lui avendole localmente non le va neanche a guardare online per risparmiare tempo) (questa è utile se si gradisce che quando vengano aggiornate ad esempio le descrizioni onine si faccia altrettanto localmente)
la seconda dice che non si deve fermare al primo sito che trova quanto cercato, ma deve cmq andare anche su tutti gli altri per aggiungere ulteriori info (questa è utile per avere un bel db aggiornato sui giochi localmente)

detto questo 29 rom 1ora ingestibile :D
mandami 1 rom delle 8 non trovate

domanda, hai usato un set no.intro?
... allora quelle 2 spunte meglio lasciarle o no? (visto che di default non ci sono)

scusa l' ingnoranza <-lol-> , ma set no.intro cosa vuol dire?

la rom la metto su MEGA e ti giro il link in privato?

grazie
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 5501
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 20 volte
Grazie Ricevuti: 313 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Gothrek »

@Macho72
le spunte dipende da cosa vuoi ottenere, in generla per velocizzare meglio non averle

no-intro, tirata di orecchi, vai a pagina 34 di questo topic ;)

mega va bene
Rispondi

Torna a “Miscellanea software”