GotScraper - Scraping spaziale!!

Problemi e soluzioni su configurazioni software, firmware
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 4847
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 17 volte
Grazie Ricevuti: 272 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Gothrek »

@Cacy82
se il pallino di screenscraper era rosso, effettivametne loro avevano giu come minimo il servizio delle api con cui recuperare le info, vuol dire che funziona (gotscraper) :D

per il mame, vediamo.
mandami per mail il file gamelist che hai generato per favore (magari in zip) dovrebbero essere qualche k vediamo cosa ha messo dentro.
Avatar utente
Macho72
Newbie
Newbie
Messaggi: 95
Iscritto il: 28/07/2020, 16:16
Città: vr
Grazie Inviati: 18 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Macho72 »

@Gothrek e @Cacy82 mi sembra di aver capito che lo scraping lo fate su un PC e poi riportate tutto in Batocera.... giusto?

io invece lo scraping lo faccio tutto tramite la rete direttamente nelle cartelle dei sistemi di Batocera, potrebbe essere questo il problema a livello di tempi lunghi?
uso un acces point e collegamenti etherner (no wifi)
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 4847
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 17 volte
Grazie Ricevuti: 272 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Gothrek »

Macho72 ha scritto: 22/12/2020, 10:36 @Gothrek e @Cacy82 mi sembra di aver capito che lo scraping lo fate su un PC e poi riportate tutto in Batocera.... giusto?

io invece lo scraping lo faccio tutto tramite la rete direttamente nelle cartelle dei sistemi di Batocera, potrebbe essere questo il problema a livello di tempi lunghi?
uso un acces point e collegamenti etherner (no wifi)
Ciao si, sempre consigliato farlo su pc e poi copiare (magari poi ti copi solo il file gamlist e la cartella media)
Avatar utente
larasa
Cab-maniaco
Cab-maniaco
Messaggi: 1792
Iscritto il: 29/12/2016, 18:24
Città: ParmaReggio
Grazie Inviati: 25 volte
Grazie Ricevuti: 109 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da larasa »

Macho72 ha scritto: 22/12/2020, 10:36 lo scraping lo faccio tutto tramite la rete direttamente nelle cartelle dei sistemi di Batocera, potrebbe essere questo il problema a livello di tempi lunghi?
dipende quanti ne "scrappi". anch'io uso batocera per scrappare e sono iscritto a screenscraper, ma ne scrappo poche alla volta,100/200,perche non ce la faccio ad aspettare cosi tanto,al massimo 20/30minuti.
non saprei dare un tempo allo scrapping...questo piu quello,diviso due,moltiplicato l'altro...provo ad abbozzare 500 in un ora? parlo solo di screenshot+video.
...é partita ufficialmente la "lotteria scraping di natale"...sentiamo i numeri degli altri utenti....
Avatar utente
Cacy82
Affezionato
Affezionato
Messaggi: 125
Iscritto il: 30/11/2020, 23:37
Città: Roma
Grazie Inviati: 15 volte
Grazie Ricevuti: 1 volta

Re: GotScraper - Scraping spaziale!!

Messaggio da Cacy82 »

Faccio tutto da pc e poi copio solo gamelist e cartella media.
Purtroppo non ho modo di collegarmi in lan al rasp, ho tutto in wifi.

Inoltre non penso che i tempi lunghi di scraping siano dettati da dove sono localizzate le rom anzi, credo che farlo da pc sia più veloce piuttosto che fargli fare troppi passaggi sulla rete:

gotscraper su pc --> va a prendere le rom che stanno in rete --> poi si sposta sul web per ricercarle --> poi salva i dati in locale --> poi ritorna in rete per creare media + gamelist.

A parer mio i tempi si allungherebbero di parecchio.

Il mio problema per i tempi lunghi probabilmente è dovuto alla rete internet che utilizzo, sono connesso in 4g con il cubo della tre <-whistling-> <-whistling->
Avatar utente
larasa
Cab-maniaco
Cab-maniaco
Messaggi: 1792
Iscritto il: 29/12/2016, 18:24
Città: ParmaReggio
Grazie Inviati: 25 volte
Grazie Ricevuti: 109 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da larasa »

Cacy82 ha scritto: 22/12/2020, 11:19 ono connesso in 4g con il cubo della tre
eh,seee, ciaone!
Avatar utente
Cacy82
Affezionato
Affezionato
Messaggi: 125
Iscritto il: 30/11/2020, 23:37
Città: Roma
Grazie Inviati: 15 volte
Grazie Ricevuti: 1 volta

Re: GotScraper - Scraping spaziale!!

Messaggio da Cacy82 »

Spè, ora viene il meglio...nel frattempo che scrappa stiamo pure su netflix :D

Il grosso del lavoro glielo faccio fare di notte e la mattina controllo 8-)
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 4847
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 17 volte
Grazie Ricevuti: 272 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Gothrek »

larasa ha scritto: 22/12/2020, 11:07
Macho72 ha scritto: 22/12/2020, 10:36 lo scraping lo faccio tutto tramite la rete direttamente nelle cartelle dei sistemi di Batocera, potrebbe essere questo il problema a livello di tempi lunghi?
dipende quanti ne "scrappi". anch'io uso batocera per scrappare e sono iscritto a screenscraper, ma ne scrappo poche alla volta,100/200,perche non ce la faccio ad aspettare cosi tanto,al massimo 20/30minuti.
non saprei dare un tempo allo scrapping...questo piu quello,diviso due,moltiplicato l'altro...provo ad abbozzare 500 in un ora? parlo solo di screenshot+video.
...é partita ufficialmente la "lotteria scraping di natale"...sentiamo i numeri degli altri utenti....
ti posso dare i numeri di gotscraper quelli li conosco bene, il collo di bottiglia cmq non è tanto la rete di casa, ma il sito.
Entro un pò nel tecnico, ma spero vi facciano piacere i dietro le quinte.
Screenscraper e lo scraping su screenscraper direttamente da batocera in generale sono lenti (volutamente lenti), introducono dei tempi che essendo prodotti ufficiali preferiscono avere (meno stress sul sito ecc)
GotScraper (e me ne vanto :D) se ne frega del loro sito per sfruttare al massimo quanto loro mettono a disposizione. il tempo di gotscraper, è poco sotto i 2 sec per rom (combo di 3 media, screenshot+title+box3d). Sotto questo oggi il sito stesso non da.
Il buon @dR.pRoDiGy che non ha mai una minkia da fare (i luv u) un giorno si è divertito a fare scraping contemporaneamente delle stesse rom (migliaia), sia con il prodotto ufficiale di screenscraper (skraper) che col mio. In gergo direi OWNED!! :D (dal rasp lo è ancora di più)

ora a parte le battute, con un tempo di 2 secondi a rom, se parliamo di rom di sistemi abbastanza vecchi che occupano praticamente nulla, ci sta dentro tutto anche da rete il problema resta la connessione verso il sito sicuramente di gran lunga piu' lento rispetto al wifi piuttosto che alle rom in locale.

il processo della creazione del mix invece è diverso skraper crea il mix mano mano che ha a disposizione il materiale per crearlo, io invece preferisco farlo alla fine per concentrare tutto sul download iniziale.

dopo di chè..."che per caso è uscito il 23? perchè se è uscito ho fatto ambo"
Avatar utente
Macho72
Newbie
Newbie
Messaggi: 95
Iscritto il: 28/07/2020, 16:16
Città: vr
Grazie Inviati: 18 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Macho72 »

larasa ha scritto: 22/12/2020, 11:07
Macho72 ha scritto: 22/12/2020, 10:36 lo scraping lo faccio tutto tramite la rete direttamente nelle cartelle dei sistemi di Batocera, potrebbe essere questo il problema a livello di tempi lunghi?
dipende quanti ne "scrappi". anch'io uso batocera per scrappare e sono iscritto a screenscraper, ma ne scrappo poche alla volta,100/200,perche non ce la faccio ad aspettare cosi tanto,al massimo 20/30minuti.
non saprei dare un tempo allo scrapping...questo piu quello,diviso due,moltiplicato l'altro...provo ad abbozzare 500 in un ora? parlo solo di screenshot+video.
...é partita ufficialmente la "lotteria scraping di natale"...sentiamo i numeri degli altri utenti....
<-think-> forse mi sono spiegato male, uso Gotscraper su notebook, ma come path gli do il percorso tramite rete rom>sistema in Batocera, che è su PC fisso, in modo che mi metta già tutto la dentro (ho sempre fatto così anche con win10 senza problemi, adesso uso win7 su un vecchio notebook)
in generale non ho mai esagerato con lo scraping, anzi solitamente provo un sistema alla volta con circa 10/20 roms e diciamo che anche se fossero lunghi i tempi come @Cacy82 lo faccio andare di notte <-sleep-> , ma se si impalla è un casino <-dash->

N.B.: anch' io sono iscritto a screenscrapper
Avatar utente
dR.pRoDiGy

Donatore
Moderatore F.E.E.L.
Moderatore F.E.E.L.
Messaggi: 3069
Iscritto il: 17/11/2009, 15:55
Medaglie: 1
Città: Prov_Milano_zona_Sempione
Grazie Inviati: 10 volte
Grazie Ricevuti: 17 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da dR.pRoDiGy »


Gothrek ha scritto:
Il buon [mention]dR.pRoDiGy[/mention] che non ha mai una minkia da fare (i luv u) un giorno si è divertito a fare scraping contemporaneamente delle stesse rom (migliaia), sia con il prodotto ufficiale di screenscraper (skraper) che col mio. In gergo direi OWNED!! :D (dal rasp lo è ancora di più)
Io che organizzo stress test comparativi, e tu che mi ripaghi così..
CAINO E VASTASU! Immagine

Inviato dal mio Mi A2 Lite utilizzando Tapatalk

"Non si smette di giocare perché si diventa vecchi, ma si diventa vecchi perché si smette di giocare"

Immagine F.E.E.L. - FrontEnd (Emulator Launcher)
http://feelfrontend.altervista.org
https://github.com/dr-prodigy/feel-frontend/
Rispondi

Torna a “Miscellanea software”