GotScraper - Scraping spaziale!!

Problemi e soluzioni su configurazioni software, firmware
Avatar utente
Cacy82
Affezionato
Affezionato
Messaggi: 125
Iscritto il: 30/11/2020, 23:37
Città: Roma
Grazie Inviati: 15 volte
Grazie Ricevuti: 1 volta

Re: GotScraper - Scraping spaziale!!

Messaggio da Cacy82 »

Perfetto!
Quando pensi che sarà pronto?
Io nel frattempo sto scrappando nuovamente tutte le roms :D

Però ho scaricato il romset completo di Master Stiller, ma su 6000 e passa rom me ne scrappa solo 680, come mai? Problemi di screenscraper?
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 4845
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 17 volte
Grazie Ricevuti: 272 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Gothrek »

Cacy82 ha scritto: 22/01/2021, 23:21 Perfetto!
Quando pensi che sarà pronto?
Io nel frattempo sto scrappando nuovamente tutte le roms :D

Però ho scaricato il romset completo di Master Stiller, ma su 6000 e passa rom me ne scrappa solo 680, come mai? Problemi di screenscraper?
guarda ho chiuso quasi 40 issues di 60, il doc mi sta provando la 8.1, se da l'ok nel frattempo potrei rialsciare quella domani
Avatar utente
Cacy82
Affezionato
Affezionato
Messaggi: 125
Iscritto il: 30/11/2020, 23:37
Città: Roma
Grazie Inviati: 15 volte
Grazie Ricevuti: 1 volta

Re: GotScraper - Scraping spaziale!!

Messaggio da Cacy82 »

Grande!
Ma poi dovrò rifare lo scarping da capo?
Più che altro perchè a causa del bug ho dovuto mettere come prima scelta screenscraper e mi ha preso tutte le descrizioni in inglese :D

Per il discorso del MAME, come mai me ne ha trovati così pochi? Solo il 10% delle rom scrappate mi sembra poco, eppure la romset che ho preso, da quello che si dice in giro, è affidabile.
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 4845
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 17 volte
Grazie Ricevuti: 272 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Gothrek »

Cacy82 ha scritto: 23/01/2021, 11:52 Grande!
Ma poi dovrò rifare lo scarping da capo?
Più che altro perchè a causa del bug ho dovuto mettere come prima scelta screenscraper e mi ha preso tutte le descrizioni in inglese :D

Per il discorso del MAME, come mai me ne ha trovati così pochi? Solo il 10% delle rom scrappate mi sembra poco, eppure la romset che ho preso, da quello che si dice in giro, è affidabile.
qualche strascico la versione la ha ancora, (sento ancora le madonne del doc di ieri notte)...
lo scraping non dovrai rifarlo, nel senso che terrai il servermedia e quando lui le cercherà le troverà in locale, anche se con la nuova versione sarebbe meglio rifarle.

i romset gestiti da screenscraper sono fondamentalemnte solo i nointro, fai un check col il dat per verificare perchè 10% mi pare impossibile (se è un set no intro)
Avatar utente
dR.pRoDiGy

Donatore
Moderatore F.E.E.L.
Moderatore F.E.E.L.
Messaggi: 3069
Iscritto il: 17/11/2009, 15:55
Medaglie: 1
Città: Prov_Milano_zona_Sempione
Grazie Inviati: 10 volte
Grazie Ricevuti: 17 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da dR.pRoDiGy »

Gothrek ha scritto: qualche strascico la versione la ha ancora, (sento ancora le madonne del doc di ieri notte)...
Le mie bestemmie di mesi di test sul Gotscraper risuoneranno nello spazio siderale per qualche milione di anni.. Chissà se saranno captate da qualche civiltà più evoluta di noi.. ImmagineImmagineImmagine

Inviato dal mio Mi A2 Lite utilizzando Tapatalk



"Non si smette di giocare perché si diventa vecchi, ma si diventa vecchi perché si smette di giocare"

Immagine F.E.E.L. - FrontEnd (Emulator Launcher)
http://feelfrontend.altervista.org
https://github.com/dr-prodigy/feel-frontend/
Avatar utente
Cacy82
Affezionato
Affezionato
Messaggi: 125
Iscritto il: 30/11/2020, 23:37
Città: Roma
Grazie Inviati: 15 volte
Grazie Ricevuti: 1 volta

Re: GotScraper - Scraping spaziale!!

Messaggio da Cacy82 »

Gothrek ha scritto: 23/01/2021, 22:48 i romset gestiti da screenscraper sono fondamentalemnte solo i nointro, fai un check col il dat per verificare perchè 10% mi pare impossibile (se è un set no intro)
Come faccio a fare il check che dici?
Non so se sono no-intro sinceramente, però me lo hanno suggerito qui sul forum.

Inoltre mi sto accorgendo che non va lentissimo scrappare e spesso si blocca con un errore JSON. Se riappare lo copio qui sul forum. Lo scraping dopo un pò si interrompe ma senza generare ne gamelist ne cartella media.
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 4845
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 17 volte
Grazie Ricevuti: 272 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Gothrek »

Cacy82 ha scritto: 24/01/2021, 21:07
Gothrek ha scritto: 23/01/2021, 22:48 i romset gestiti da screenscraper sono fondamentalemnte solo i nointro, fai un check col il dat per verificare perchè 10% mi pare impossibile (se è un set no intro)
Come faccio a fare il check che dici?
Non so se sono no-intro sinceramente, però me lo hanno suggerito qui sul forum.

Inoltre mi sto accorgendo che non va lentissimo scrappare e spesso si blocca con un errore JSON. Se riappare lo copio qui sul forum. Lo scraping dopo un pò si interrompe ma senza generare ne gamelist ne cartella media.
per i no intro avevo fatto topic dedicato, va scaricato il dat dal sito e fatto check con clrmamepro @Tox Nox Fox ogni 3x2 pubblica il link alla sua guida.
per l'errore postalo appena riesci vediamo se è uno dei fix che ho già fatto o uno nuovo.
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 4845
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 17 volte
Grazie Ricevuti: 272 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Gothrek »

Alfa8.2
In questa versione:
Implementazioni:
- aggiunta nuova classe di messaggi
- aggiunta banner paypal per donazioni

- aggiunta la possibilità di deselezionare tutti i siti per effettuare solo il mix senza scraping

- eliminati popup statistici
- aggiunto un log di scraping
- modificati i nomi ai log

- aggiunto check credenziali siti di scraping
- ora premendo invio si aggiunge il sistema alla griglia dalla combo
- implementato backup del db e il suo restore
- migliorato il caricamento di info/media per gioco
- implementato aggiornamento di db e tabelle
- migliorato lo scorrimento dei tile dei sistemi
- aggiunto tooltip sullo status dei server
- aggiunta possibilità al raggiungimento del limite giornaliero di poter aspettare o proseguire con altri siti
- modificato nome al report
- aggiunto controllo di versione del db
- aggiunto avviso se si tenta di eseguire scraping senza credenziali
- implementata esportazione video

- aggiunta di watermark sul mix

- rinominate le rom con il loro md5
- ora nei media server le immagini uguali non vengono riproposte
- migliorata la ricerca su risposte 404 da parte dei siti di scraping
- spostato il db dalla cartella dell'app a quella del server media
- implementato recupero del db esistente
- implementata criptazione dei media

Corretti i seguenti bug:
- corretto bug per cui non veniva visualizzato il path del server media nella sezione cartelle
- corretto bug per cui selezionando i siti di scraping alcuni presentavano uno sfondo rosso
- corretta leggibilità versione su form iniziale
- corretto bug per cui la griglia non veniva aggiornata corretamente al variare dei siti selezionati
- corretto bug per cui annullando la creazione della dir veniva generata eccezione
- corretto bug per cui se si variava il frontend durante lo scraping il file generato non era corretto
- corretto bug per cui su alcuni sistemi il mix nella sezione media si vedeva male
- corretto il salvataggio di testi da html
- corretto bug per cui il campo year nel gamelist a volte generava eccezione @Dr.Prodigy
- corretto bug per cui quando si interrompeva lo scraping l'app si bloccava per alcuni secondi
- corretto bug per cui lo scraping su adb non generava un gamelist corretto @cacy82
- corretto bug per cui su scraping lunghi veniva generata eccezione
- corretto bug per cui il percorso mame usava una convenzione windows invece che linux
Avatar utente
dR.pRoDiGy

Donatore
Moderatore F.E.E.L.
Moderatore F.E.E.L.
Messaggi: 3069
Iscritto il: 17/11/2009, 15:55
Medaglie: 1
Città: Prov_Milano_zona_Sempione
Grazie Inviati: 10 volte
Grazie Ricevuti: 17 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da dR.pRoDiGy »

Mazza ma davvero hai fatto tutte queste cose?!?
Beh, molto in breve.. Questa versione è na svolta!

.. E ora vediamo in quanto tempo abbattiamo SS

Inviato dal mio Mi A2 Lite utilizzando Tapatalk

"Non si smette di giocare perché si diventa vecchi, ma si diventa vecchi perché si smette di giocare"

Immagine F.E.E.L. - FrontEnd (Emulator Launcher)
http://feelfrontend.altervista.org
https://github.com/dr-prodigy/feel-frontend/
Avatar utente
Tox Nox Fox

BanHammer Silver Medal Donatore
Moderatore
Moderatore
Messaggi: 11735
Iscritto il: 14/01/2007, 23:35
Medaglie: 3
Grazie Inviati: 159 volte
Grazie Ricevuti: 272 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Tox Nox Fox »

Mmmm quasi quasi lo riprovo
WP.ARCADEITALIA.NET
La Guida al MameCab
Rispondi

Torna a “Miscellanea software”