Pagina 21 di 24
Re: GotScraper - Scraping spaziale!!
Inviato: 17/01/2021, 14:31
da Cacy82
Beh, le cose nascono sempre così!
Una domanda tornanto in topic: ho visto che le cartelle delle rom all'interno del mediacenter hanno dei numeri piuttosto che i nomi dei sistemi a cui fanno riferimento, come mai? In caso hai una mappa che associa i numeri aisistemi? Perchè stavo pensando di cancellare le rom che ho sparse in giro e lasciarle tutte li nel mediacenter, per risparmiare spazio.
P.S. Se non erro sei anche tu di Roma, che zona?
Re: GotScraper - Scraping spaziale!!
Inviato: 17/01/2021, 14:40
da Gothrek
@Cacy82
in teoria il media center sarebbe consultabile da dentro il gotscraper stesso essendo un rom manager, quindi in generale non dovresti mai sentire la necessità di accedere alle cartelle (e ancora meno dalla prossima release).
i nomi dei sistemi cambiano da zona del mondo a zona del mondo quindi ho preferito lasciare gli id che associa screenscraper
li trovi esposti anche navigando in gotscraper sistemi, dovresti avere tutti i loro media e i numeri corrispondenti. Ogni tanto ne aggiungono qualcuno nuovo e li aggiorno. Lo vedi anche quando fai doppio click su un sistema per aggiungerlo allo scraping, subito dopo il logo hai il suo id
quello di lasciarle solo nel media center è proprio lo scopo per cui è nata tutta la sezione del rom manager.
Sono di Ostia lido, anche se gli ultimi 2 anni forzosamente trasferito a Brescia per richiesta dell'azienda per cui lavoro, quindi a parte aver affittato la casa, torno li 2 o 3 volte l'anno. Come dico sempre, Ostia non è la sardegna, ma la mancanza del mare quotidiano qui si sente parecchio hahahah
Re: GotScraper - Scraping spaziale!!
Inviato: 17/01/2021, 15:33
da Cacy82
Me li fa vedere solo se faccio il doppio click sul sistema per fare lo scraping, in server media non li vedo gli ID.
Però va bene così lo stesso.
Re: GotScraper - Scraping spaziale!!
Inviato: 17/01/2021, 15:52
da Gothrek
Cacy82 ha scritto: ↑17/01/2021, 15:33
Me li fa vedere solo se faccio il doppio click sul sistema per fare lo scraping, in server media non li vedo gli ID.
Però va bene così lo stesso.
controllo, forse lo avevo tolto perchè in verità dato poco interessante, e in quella pagina lo spazio è tiranno, sto cercando di aggiungerci grazie a Motoskifo anche l'elenco dei giochi simili con un pallino verde/rosso per evidenziare se presente, comincia ad essere complicato.
Re: GotScraper - Scraping spaziale!!
Inviato: 17/01/2021, 21:55
da Cacy82
Eh Eh, forse ingrandendo la finestra entra più roba

Re: GotScraper - Scraping spaziale!!
Inviato: 17/01/2021, 22:45
da Gothrek
Cacy82 ha scritto: ↑17/01/2021, 21:55
Eh Eh, forse ingrandendo la finestra entra più roba
già ciò tutta una serie di lamentele che la finestra è troppo grande!!
Re: GotScraper - Scraping spaziale!!
Inviato: 18/01/2021, 17:45
da Cacy82
Ah boh, forse perchè io ho uno schermo grande non me ne accorgo allora

Re: GotScraper - Scraping spaziale!!
Inviato: 18/01/2021, 18:25
da Gothrek
Cacy82 ha scritto: ↑18/01/2021, 17:45
Ah boh, forse perchè io ho uno schermo grande non me ne accorgo allora
tu rientri nella stragrande normalità, il problema è il rompiballs del Doc
@dR.pRoDiGy che usa mac e lavora con windows solo in desktop remoto sul cab

Re: GotScraper - Scraping spaziale!!
Inviato: 21/01/2021, 21:19
da Cacy82
Buondì,
ho appena notato un'altra cosa visto che ho cancellato tutto e rifatto girare per recuperare lo scraping del MAME.
Se il pc va in standby lo scraping si ferma.
Visto che era lungo il processo, stamattina ho lasciato il pc acceso alle 8 e alle 19, quando sono tornato, l'ho trovato allo stesso punto. C'è un modo per farlo continuare a lavorare in background?
EDIT:Credo di aver risolto, era un problema sulle impostazioni di win10
Re: GotScraper - Scraping spaziale!!
Inviato: 22/01/2021, 9:24
da Gothrek
Cacy82 ha scritto: ↑21/01/2021, 21:19
Buondì,
ho appena notato un'altra cosa visto che ho cancellato tutto e rifatto girare per recuperare lo scraping del MAME.
Se il pc va in standby lo scraping si ferma.
Visto che era lungo il processo, stamattina ho lasciato il pc acceso alle 8 e alle 19, quando sono tornato, l'ho trovato allo stesso punto. C'è un modo per farlo continuare a lavorare in background?
EDIT:Credo di aver risolto, era un problema sulle impostazioni di win10
confermo che il processo continua anche in stadby
nella versione 8 ho aggiunto anche la possibilità al raggiungimento del limite giornaliero di proseguire in maniera differente, esempio, screenscraper per i registrati da 20.000 scrapes giorno,
se hai messo in coda 50.000 roms, al raggiungimento dei 20.000 media scaricati lui chiede:
1) interrompere
2) continuare con gli altri siti omettendo screenscraper
3) salvare per continuare altro giorno
4) c'è un countdown fino alla mezzanotte automatico che se non si sceglie nulla al reset del giorno riprende in automatico.
Re: GotScraper - Scraping spaziale!!
Inviato: 22/01/2021, 23:21
da Cacy82
Perfetto!
Quando pensi che sarà pronto?
Io nel frattempo sto scrappando nuovamente tutte le roms
Però ho scaricato il romset completo di Master Stiller, ma su 6000 e passa rom me ne scrappa solo 680, come mai? Problemi di screenscraper?
Re: GotScraper - Scraping spaziale!!
Inviato: 23/01/2021, 0:38
da Gothrek
Cacy82 ha scritto: ↑22/01/2021, 23:21
Perfetto!
Quando pensi che sarà pronto?
Io nel frattempo sto scrappando nuovamente tutte le roms
Però ho scaricato il romset completo di Master Stiller, ma su 6000 e passa rom me ne scrappa solo 680, come mai? Problemi di screenscraper?
guarda ho chiuso quasi 40 issues di 60, il doc mi sta provando la 8.1, se da l'ok nel frattempo potrei rialsciare quella domani
Re: GotScraper - Scraping spaziale!!
Inviato: 23/01/2021, 11:52
da Cacy82
Grande!
Ma poi dovrò rifare lo scarping da capo?
Più che altro perchè a causa del bug ho dovuto mettere come prima scelta screenscraper e mi ha preso tutte le descrizioni in inglese
Per il discorso del MAME, come mai me ne ha trovati così pochi? Solo il 10% delle rom scrappate mi sembra poco, eppure la romset che ho preso, da quello che si dice in giro, è affidabile.
Re: GotScraper - Scraping spaziale!!
Inviato: 23/01/2021, 22:48
da Gothrek
Cacy82 ha scritto: ↑23/01/2021, 11:52
Grande!
Ma poi dovrò rifare lo scarping da capo?
Più che altro perchè a causa del bug ho dovuto mettere come prima scelta screenscraper e mi ha preso tutte le descrizioni in inglese
Per il discorso del MAME, come mai me ne ha trovati così pochi? Solo il 10% delle rom scrappate mi sembra poco, eppure la romset che ho preso, da quello che si dice in giro, è affidabile.
qualche strascico la versione la ha ancora, (sento ancora le madonne del doc di ieri notte)...
lo scraping non dovrai rifarlo, nel senso che terrai il servermedia e quando lui le cercherà le troverà in locale, anche se con la nuova versione sarebbe meglio rifarle.
i romset gestiti da screenscraper sono fondamentalemnte solo i nointro, fai un check col il dat per verificare perchè 10% mi pare impossibile (se è un set no intro)
Re: GotScraper - Scraping spaziale!!
Inviato: 24/01/2021, 7:40
da dR.pRoDiGy
Gothrek ha scritto:
qualche strascico la versione la ha ancora, (sento ancora le madonne del doc di ieri notte)...
Le mie bestemmie di mesi di test sul Gotscraper risuoneranno nello spazio siderale per qualche milione di anni.. Chissà se saranno captate da qualche civiltà più evoluta di noi..


Inviato dal mio Mi A2 Lite utilizzando Tapatalk
Re: GotScraper - Scraping spaziale!!
Inviato: 24/01/2021, 21:07
da Cacy82
Gothrek ha scritto: ↑23/01/2021, 22:48
i romset gestiti da screenscraper sono fondamentalemnte solo i nointro, fai un check col il dat per verificare perchè 10% mi pare impossibile (se è un set no intro)
Come faccio a fare il check che dici?
Non so se sono no-intro sinceramente, però me lo hanno suggerito qui sul forum.
Inoltre mi sto accorgendo che non va lentissimo scrappare e spesso si blocca con un errore JSON. Se riappare lo copio qui sul forum. Lo scraping dopo un pò si interrompe ma senza generare ne gamelist ne cartella media.
Re: GotScraper - Scraping spaziale!!
Inviato: 25/01/2021, 9:43
da Gothrek
Cacy82 ha scritto: ↑24/01/2021, 21:07
Gothrek ha scritto: ↑23/01/2021, 22:48
i romset gestiti da screenscraper sono fondamentalemnte solo i nointro, fai un check col il dat per verificare perchè 10% mi pare impossibile (se è un set no intro)
Come faccio a fare il check che dici?
Non so se sono no-intro sinceramente, però me lo hanno suggerito qui sul forum.
Inoltre mi sto accorgendo che non va lentissimo scrappare e spesso si blocca con un errore JSON. Se riappare lo copio qui sul forum. Lo scraping dopo un pò si interrompe ma senza generare ne gamelist ne cartella media.
per i no intro avevo fatto topic dedicato, va scaricato il dat dal sito e fatto check con clrmamepro
@Tox Nox Fox ogni 3x2 pubblica il link alla sua guida.
per l'errore postalo appena riesci vediamo se è uno dei fix che ho già fatto o uno nuovo.
Re: GotScraper - Scraping spaziale!!
Inviato: 19/02/2021, 15:51
da Gothrek
Alfa8.2
In questa versione:
Implementazioni:
- aggiunta nuova classe di messaggi
- aggiunta banner paypal per donazioni
- aggiunta la possibilità di deselezionare tutti i siti per effettuare solo il mix senza scraping
- eliminati popup statistici
- aggiunto un log di scraping
- modificati i nomi ai log
- aggiunto check credenziali siti di scraping
- ora premendo invio si aggiunge il sistema alla griglia dalla combo
- implementato backup del db e il suo restore
- migliorato il caricamento di info/media per gioco
- implementato aggiornamento di db e tabelle
- migliorato lo scorrimento dei tile dei sistemi
- aggiunto tooltip sullo status dei server
- aggiunta possibilità al raggiungimento del limite giornaliero di poter aspettare o proseguire con altri siti
- modificato nome al report
- aggiunto controllo di versione del db
- aggiunto avviso se si tenta di eseguire scraping senza credenziali
- implementata esportazione video
- aggiunta di watermark sul mix
- rinominate le rom con il loro md5
- ora nei media server le immagini uguali non vengono riproposte
- migliorata la ricerca su risposte 404 da parte dei siti di scraping
- spostato il db dalla cartella dell'app a quella del server media
- implementato recupero del db esistente
- implementata criptazione dei media
Corretti i seguenti bug:
- corretto bug per cui non veniva visualizzato il path del server media nella sezione cartelle
- corretto bug per cui selezionando i siti di scraping alcuni presentavano uno sfondo rosso
- corretta leggibilità versione su form iniziale
- corretto bug per cui la griglia non veniva aggiornata corretamente al variare dei siti selezionati
- corretto bug per cui annullando la creazione della dir veniva generata eccezione
- corretto bug per cui se si variava il frontend durante lo scraping il file generato non era corretto
- corretto bug per cui su alcuni sistemi il mix nella sezione media si vedeva male
- corretto il salvataggio di testi da html
- corretto bug per cui il campo year nel gamelist a volte generava eccezione @Dr.Prodigy
- corretto bug per cui quando si interrompeva lo scraping l'app si bloccava per alcuni secondi
- corretto bug per cui lo scraping su adb non generava un gamelist corretto @cacy82
- corretto bug per cui su scraping lunghi veniva generata eccezione
- corretto bug per cui il percorso mame usava una convenzione windows invece che linux
Re: GotScraper - Scraping spaziale!!
Inviato: 19/02/2021, 16:26
da dR.pRoDiGy
Mazza ma davvero hai fatto tutte queste cose?!?

Beh, molto in breve.. Questa versione è na svolta!
.. E ora vediamo in quanto tempo abbattiamo SS
Inviato dal mio Mi A2 Lite utilizzando Tapatalk
Re: GotScraper - Scraping spaziale!!
Inviato: 19/02/2021, 17:40
da Tox Nox Fox
Mmmm quasi quasi lo riprovo