GotScraper - Scraping spaziale!!
- Gothrek
- Moderatore
- Messaggi: 4883
- Iscritto il: 13/07/2017, 13:30
- Città: Roma
- Grazie Inviati: 17 volte
- Grazie Ricevuti: 272 volte
Re: GotScraper - Scraping spaziale!!
@Cacy82
se il pallino di screenscraper era rosso, effettivametne loro avevano giu come minimo il servizio delle api con cui recuperare le info, vuol dire che funziona (gotscraper)
per il mame, vediamo.
mandami per mail il file gamelist che hai generato per favore (magari in zip) dovrebbero essere qualche k vediamo cosa ha messo dentro.
se il pallino di screenscraper era rosso, effettivametne loro avevano giu come minimo il servizio delle api con cui recuperare le info, vuol dire che funziona (gotscraper)
per il mame, vediamo.
mandami per mail il file gamelist che hai generato per favore (magari in zip) dovrebbero essere qualche k vediamo cosa ha messo dentro.
Re: GotScraper - Scraping spaziale!!
@Gothrek e @Cacy82 mi sembra di aver capito che lo scraping lo fate su un PC e poi riportate tutto in Batocera.... giusto?
io invece lo scraping lo faccio tutto tramite la rete direttamente nelle cartelle dei sistemi di Batocera, potrebbe essere questo il problema a livello di tempi lunghi?
uso un acces point e collegamenti etherner (no wifi)
io invece lo scraping lo faccio tutto tramite la rete direttamente nelle cartelle dei sistemi di Batocera, potrebbe essere questo il problema a livello di tempi lunghi?
uso un acces point e collegamenti etherner (no wifi)
- Gothrek
- Moderatore
- Messaggi: 4883
- Iscritto il: 13/07/2017, 13:30
- Città: Roma
- Grazie Inviati: 17 volte
- Grazie Ricevuti: 272 volte
Re: GotScraper - Scraping spaziale!!
Ciao si, sempre consigliato farlo su pc e poi copiare (magari poi ti copi solo il file gamlist e la cartella media)Macho72 ha scritto: ↑22/12/2020, 10:36 @Gothrek e @Cacy82 mi sembra di aver capito che lo scraping lo fate su un PC e poi riportate tutto in Batocera.... giusto?
io invece lo scraping lo faccio tutto tramite la rete direttamente nelle cartelle dei sistemi di Batocera, potrebbe essere questo il problema a livello di tempi lunghi?
uso un acces point e collegamenti etherner (no wifi)
- larasa
- Cab-maniaco
- Messaggi: 1886
- Iscritto il: 29/12/2016, 18:24
- Città: ParmaReggio
- Grazie Inviati: 26 volte
- Grazie Ricevuti: 113 volte
Re: GotScraper - Scraping spaziale!!
dipende quanti ne "scrappi". anch'io uso batocera per scrappare e sono iscritto a screenscraper, ma ne scrappo poche alla volta,100/200,perche non ce la faccio ad aspettare cosi tanto,al massimo 20/30minuti.
non saprei dare un tempo allo scrapping...questo piu quello,diviso due,moltiplicato l'altro...provo ad abbozzare 500 in un ora? parlo solo di screenshot+video.
...é partita ufficialmente la "lotteria scraping di natale"...sentiamo i numeri degli altri utenti....
- Cacy82
- Affezionato
- Messaggi: 125
- Iscritto il: 30/11/2020, 23:37
- Città: Roma
- Grazie Inviati: 15 volte
- Grazie Ricevuti: 1 volta
Re: GotScraper - Scraping spaziale!!
Faccio tutto da pc e poi copio solo gamelist e cartella media.
Purtroppo non ho modo di collegarmi in lan al rasp, ho tutto in wifi.
Inoltre non penso che i tempi lunghi di scraping siano dettati da dove sono localizzate le rom anzi, credo che farlo da pc sia più veloce piuttosto che fargli fare troppi passaggi sulla rete:
gotscraper su pc --> va a prendere le rom che stanno in rete --> poi si sposta sul web per ricercarle --> poi salva i dati in locale --> poi ritorna in rete per creare media + gamelist.
A parer mio i tempi si allungherebbero di parecchio.
Il mio problema per i tempi lunghi probabilmente è dovuto alla rete internet che utilizzo, sono connesso in 4g con il cubo della tre
Purtroppo non ho modo di collegarmi in lan al rasp, ho tutto in wifi.
Inoltre non penso che i tempi lunghi di scraping siano dettati da dove sono localizzate le rom anzi, credo che farlo da pc sia più veloce piuttosto che fargli fare troppi passaggi sulla rete:
gotscraper su pc --> va a prendere le rom che stanno in rete --> poi si sposta sul web per ricercarle --> poi salva i dati in locale --> poi ritorna in rete per creare media + gamelist.
A parer mio i tempi si allungherebbero di parecchio.
Il mio problema per i tempi lunghi probabilmente è dovuto alla rete internet che utilizzo, sono connesso in 4g con il cubo della tre
- Cacy82
- Affezionato
- Messaggi: 125
- Iscritto il: 30/11/2020, 23:37
- Città: Roma
- Grazie Inviati: 15 volte
- Grazie Ricevuti: 1 volta
Re: GotScraper - Scraping spaziale!!
Spè, ora viene il meglio...nel frattempo che scrappa stiamo pure su netflix
Il grosso del lavoro glielo faccio fare di notte e la mattina controllo
Il grosso del lavoro glielo faccio fare di notte e la mattina controllo
- Gothrek
- Moderatore
- Messaggi: 4883
- Iscritto il: 13/07/2017, 13:30
- Città: Roma
- Grazie Inviati: 17 volte
- Grazie Ricevuti: 272 volte
Re: GotScraper - Scraping spaziale!!
ti posso dare i numeri di gotscraper quelli li conosco bene, il collo di bottiglia cmq non è tanto la rete di casa, ma il sito.larasa ha scritto: ↑22/12/2020, 11:07dipende quanti ne "scrappi". anch'io uso batocera per scrappare e sono iscritto a screenscraper, ma ne scrappo poche alla volta,100/200,perche non ce la faccio ad aspettare cosi tanto,al massimo 20/30minuti.
non saprei dare un tempo allo scrapping...questo piu quello,diviso due,moltiplicato l'altro...provo ad abbozzare 500 in un ora? parlo solo di screenshot+video.
...é partita ufficialmente la "lotteria scraping di natale"...sentiamo i numeri degli altri utenti....
Entro un pò nel tecnico, ma spero vi facciano piacere i dietro le quinte.
Screenscraper e lo scraping su screenscraper direttamente da batocera in generale sono lenti (volutamente lenti), introducono dei tempi che essendo prodotti ufficiali preferiscono avere (meno stress sul sito ecc)
GotScraper (e me ne vanto ) se ne frega del loro sito per sfruttare al massimo quanto loro mettono a disposizione. il tempo di gotscraper, è poco sotto i 2 sec per rom (combo di 3 media, screenshot+title+box3d). Sotto questo oggi il sito stesso non da.
Il buon @dR.pRoDiGy che non ha mai una minkia da fare (i luv u) un giorno si è divertito a fare scraping contemporaneamente delle stesse rom (migliaia), sia con il prodotto ufficiale di screenscraper (skraper) che col mio. In gergo direi OWNED!! (dal rasp lo è ancora di più)
ora a parte le battute, con un tempo di 2 secondi a rom, se parliamo di rom di sistemi abbastanza vecchi che occupano praticamente nulla, ci sta dentro tutto anche da rete il problema resta la connessione verso il sito sicuramente di gran lunga piu' lento rispetto al wifi piuttosto che alle rom in locale.
il processo della creazione del mix invece è diverso skraper crea il mix mano mano che ha a disposizione il materiale per crearlo, io invece preferisco farlo alla fine per concentrare tutto sul download iniziale.
dopo di chè..."che per caso è uscito il 23? perchè se è uscito ho fatto ambo"
Re: GotScraper - Scraping spaziale!!
forse mi sono spiegato male, uso Gotscraper su notebook, ma come path gli do il percorso tramite rete rom>sistema in Batocera, che è su PC fisso, in modo che mi metta già tutto la dentro (ho sempre fatto così anche con win10 senza problemi, adesso uso win7 su un vecchio notebook)larasa ha scritto: ↑22/12/2020, 11:07dipende quanti ne "scrappi". anch'io uso batocera per scrappare e sono iscritto a screenscraper, ma ne scrappo poche alla volta,100/200,perche non ce la faccio ad aspettare cosi tanto,al massimo 20/30minuti.
non saprei dare un tempo allo scrapping...questo piu quello,diviso due,moltiplicato l'altro...provo ad abbozzare 500 in un ora? parlo solo di screenshot+video.
...é partita ufficialmente la "lotteria scraping di natale"...sentiamo i numeri degli altri utenti....
in generale non ho mai esagerato con lo scraping, anzi solitamente provo un sistema alla volta con circa 10/20 roms e diciamo che anche se fossero lunghi i tempi come @Cacy82 lo faccio andare di notte , ma se si impalla è un casino
N.B.: anch' io sono iscritto a screenscrapper
-
dR.pRoDiGy
- Moderatore F.E.E.L.
- Messaggi: 3069
- Iscritto il: 17/11/2009, 15:55
- Medaglie: 1
- Città: Prov_Milano_zona_Sempione
- Grazie Inviati: 10 volte
- Grazie Ricevuti: 17 volte
Re: GotScraper - Scraping spaziale!!
Io che organizzo stress test comparativi, e tu che mi ripaghi così..Gothrek ha scritto:
Il buon [mention]dR.pRoDiGy[/mention] che non ha mai una minkia da fare (i luv u) un giorno si è divertito a fare scraping contemporaneamente delle stesse rom (migliaia), sia con il prodotto ufficiale di screenscraper (skraper) che col mio. In gergo direi OWNED!! (dal rasp lo è ancora di più)
CAINO E VASTASU!
Inviato dal mio Mi A2 Lite utilizzando Tapatalk
"Non si smette di giocare perché si diventa vecchi, ma si diventa vecchi perché si smette di giocare"
F.E.E.L. - FrontEnd (Emulator Launcher)
http://feelfrontend.altervista.org
https://github.com/dr-prodigy/feel-frontend/
F.E.E.L. - FrontEnd (Emulator Launcher)
http://feelfrontend.altervista.org
https://github.com/dr-prodigy/feel-frontend/