Pagina 21 di 24

Re: GotScraper - Scraping spaziale!!

Inviato: 22/01/2021, 23:21
da Cacy82
Perfetto!
Quando pensi che sarà pronto?
Io nel frattempo sto scrappando nuovamente tutte le roms :D

Però ho scaricato il romset completo di Master Stiller, ma su 6000 e passa rom me ne scrappa solo 680, come mai? Problemi di screenscraper?

Re: GotScraper - Scraping spaziale!!

Inviato: 23/01/2021, 0:38
da Gothrek
Cacy82 ha scritto: 22/01/2021, 23:21 Perfetto!
Quando pensi che sarà pronto?
Io nel frattempo sto scrappando nuovamente tutte le roms :D

Però ho scaricato il romset completo di Master Stiller, ma su 6000 e passa rom me ne scrappa solo 680, come mai? Problemi di screenscraper?
guarda ho chiuso quasi 40 issues di 60, il doc mi sta provando la 8.1, se da l'ok nel frattempo potrei rialsciare quella domani

Re: GotScraper - Scraping spaziale!!

Inviato: 23/01/2021, 11:52
da Cacy82
Grande!
Ma poi dovrò rifare lo scarping da capo?
Più che altro perchè a causa del bug ho dovuto mettere come prima scelta screenscraper e mi ha preso tutte le descrizioni in inglese :D

Per il discorso del MAME, come mai me ne ha trovati così pochi? Solo il 10% delle rom scrappate mi sembra poco, eppure la romset che ho preso, da quello che si dice in giro, è affidabile.

Re: GotScraper - Scraping spaziale!!

Inviato: 23/01/2021, 22:48
da Gothrek
Cacy82 ha scritto: 23/01/2021, 11:52 Grande!
Ma poi dovrò rifare lo scarping da capo?
Più che altro perchè a causa del bug ho dovuto mettere come prima scelta screenscraper e mi ha preso tutte le descrizioni in inglese :D

Per il discorso del MAME, come mai me ne ha trovati così pochi? Solo il 10% delle rom scrappate mi sembra poco, eppure la romset che ho preso, da quello che si dice in giro, è affidabile.
qualche strascico la versione la ha ancora, (sento ancora le madonne del doc di ieri notte)...
lo scraping non dovrai rifarlo, nel senso che terrai il servermedia e quando lui le cercherà le troverà in locale, anche se con la nuova versione sarebbe meglio rifarle.

i romset gestiti da screenscraper sono fondamentalemnte solo i nointro, fai un check col il dat per verificare perchè 10% mi pare impossibile (se è un set no intro)

Re: GotScraper - Scraping spaziale!!

Inviato: 24/01/2021, 7:40
da dR.pRoDiGy
Gothrek ha scritto: qualche strascico la versione la ha ancora, (sento ancora le madonne del doc di ieri notte)...
Le mie bestemmie di mesi di test sul Gotscraper risuoneranno nello spazio siderale per qualche milione di anni.. Chissà se saranno captate da qualche civiltà più evoluta di noi.. ImmagineImmagineImmagine

Inviato dal mio Mi A2 Lite utilizzando Tapatalk




Re: GotScraper - Scraping spaziale!!

Inviato: 24/01/2021, 21:07
da Cacy82
Gothrek ha scritto: 23/01/2021, 22:48 i romset gestiti da screenscraper sono fondamentalemnte solo i nointro, fai un check col il dat per verificare perchè 10% mi pare impossibile (se è un set no intro)
Come faccio a fare il check che dici?
Non so se sono no-intro sinceramente, però me lo hanno suggerito qui sul forum.

Inoltre mi sto accorgendo che non va lentissimo scrappare e spesso si blocca con un errore JSON. Se riappare lo copio qui sul forum. Lo scraping dopo un pò si interrompe ma senza generare ne gamelist ne cartella media.

Re: GotScraper - Scraping spaziale!!

Inviato: 25/01/2021, 9:43
da Gothrek
Cacy82 ha scritto: 24/01/2021, 21:07
Gothrek ha scritto: 23/01/2021, 22:48 i romset gestiti da screenscraper sono fondamentalemnte solo i nointro, fai un check col il dat per verificare perchè 10% mi pare impossibile (se è un set no intro)
Come faccio a fare il check che dici?
Non so se sono no-intro sinceramente, però me lo hanno suggerito qui sul forum.

Inoltre mi sto accorgendo che non va lentissimo scrappare e spesso si blocca con un errore JSON. Se riappare lo copio qui sul forum. Lo scraping dopo un pò si interrompe ma senza generare ne gamelist ne cartella media.
per i no intro avevo fatto topic dedicato, va scaricato il dat dal sito e fatto check con clrmamepro @Tox Nox Fox ogni 3x2 pubblica il link alla sua guida.
per l'errore postalo appena riesci vediamo se è uno dei fix che ho già fatto o uno nuovo.

Re: GotScraper - Scraping spaziale!!

Inviato: 19/02/2021, 15:51
da Gothrek
Alfa8.2
In questa versione:
Implementazioni:
- aggiunta nuova classe di messaggi
- aggiunta banner paypal per donazioni

- aggiunta la possibilità di deselezionare tutti i siti per effettuare solo il mix senza scraping

- eliminati popup statistici
- aggiunto un log di scraping
- modificati i nomi ai log

- aggiunto check credenziali siti di scraping
- ora premendo invio si aggiunge il sistema alla griglia dalla combo
- implementato backup del db e il suo restore
- migliorato il caricamento di info/media per gioco
- implementato aggiornamento di db e tabelle
- migliorato lo scorrimento dei tile dei sistemi
- aggiunto tooltip sullo status dei server
- aggiunta possibilità al raggiungimento del limite giornaliero di poter aspettare o proseguire con altri siti
- modificato nome al report
- aggiunto controllo di versione del db
- aggiunto avviso se si tenta di eseguire scraping senza credenziali
- implementata esportazione video

- aggiunta di watermark sul mix

- rinominate le rom con il loro md5
- ora nei media server le immagini uguali non vengono riproposte
- migliorata la ricerca su risposte 404 da parte dei siti di scraping
- spostato il db dalla cartella dell'app a quella del server media
- implementato recupero del db esistente
- implementata criptazione dei media

Corretti i seguenti bug:
- corretto bug per cui non veniva visualizzato il path del server media nella sezione cartelle
- corretto bug per cui selezionando i siti di scraping alcuni presentavano uno sfondo rosso
- corretta leggibilità versione su form iniziale
- corretto bug per cui la griglia non veniva aggiornata corretamente al variare dei siti selezionati
- corretto bug per cui annullando la creazione della dir veniva generata eccezione
- corretto bug per cui se si variava il frontend durante lo scraping il file generato non era corretto
- corretto bug per cui su alcuni sistemi il mix nella sezione media si vedeva male
- corretto il salvataggio di testi da html
- corretto bug per cui il campo year nel gamelist a volte generava eccezione @Dr.Prodigy
- corretto bug per cui quando si interrompeva lo scraping l'app si bloccava per alcuni secondi
- corretto bug per cui lo scraping su adb non generava un gamelist corretto @cacy82
- corretto bug per cui su scraping lunghi veniva generata eccezione
- corretto bug per cui il percorso mame usava una convenzione windows invece che linux

Re: GotScraper - Scraping spaziale!!

Inviato: 19/02/2021, 16:26
da dR.pRoDiGy
Mazza ma davvero hai fatto tutte queste cose?!?
Beh, molto in breve.. Questa versione è na svolta!

.. E ora vediamo in quanto tempo abbattiamo SS

Inviato dal mio Mi A2 Lite utilizzando Tapatalk


Re: GotScraper - Scraping spaziale!!

Inviato: 19/02/2021, 17:40
da Tox Nox Fox
Mmmm quasi quasi lo riprovo

Re: GotScraper - Scraping spaziale!!

Inviato: 20/02/2021, 9:37
da Gothrek
dR.pRoDiGy ha scritto: 19/02/2021, 16:26 Mazza ma davvero hai fatto tutte queste cose?!? Immagine
Beh, molto in breve.. Questa versione è na svolta! Immagine

.. E ora vediamo in quanto tempo abbattiamo SS Immagine

Inviato dal mio Mi A2 Lite utilizzando Tapatalk
denghiu, sempre prezioso il tuo aiuto :D

Re: GotScraper - Scraping spaziale!!

Inviato: 14/04/2021, 22:07
da Gothrek
Alfa9.0
In questa versione:
Implementazioni:
- aggiunte info nel log in real time circa time x rom
- aggiunte info nel log in real time a cappello circa sistema e media selezionati
- ora è possibile spostare la cartella del server media e recuperare tutto riselezionando la cartella nuova
- ora lo scraping di cloni di rom di cui già si è fatto scraping avviene localemtne e non su internet
- nella combobox dei titoli i giochi cloni vengono accorpati in una unica voce
- spostati i tasti salva in basso a destra per coerenza con gli standard
- modificata la segnalazione di un salvataggio o di un alert, ora lampeggia per un certo lasso di tempo per poi sparire
- aggiunte funzionalità di backup e restore automatico del db
- ora è possibile cambiare l'ordine dei tab (filtri, metadati media ecc) trascinandoli affinchè ognuno possa predisporli nell'ordine che preferisce
- aggiunta la possibilità di modificare successivamente la descrizione di una lingua custom
- nascoste le colonne non utilizzate dalla griglia delle rom

Corretti i seguenti bug:
- corretto bug per cui i file rom presentavano un punto in più nell'estensione
- corretto bug per cui non tutti i media venivano registrati a db
- corretto bug per cui nel log in real time presentavasempre solo un server da cui aveva scaricato i dati anche in presenza di più siti
- corretto bug per cui la finestra dei log in real time non scorreva in fondo correttamente in presenza di tanti elementi
- corretto bug per cui a volte la finestra dei messaggi era troppo piccola e il testo veniva tagliato
- corretto bug per cui la parte dei mix non appariva nel log in real time
- corretto bug per cui nella ricerca di info per titolo in assenza di corrispondenza specifica non si verificava il sistema di scraping
- corretto bug per cui se il server locale non era il primo generava eccezione
- corretto bug per cui se veniva creata una descrizione custom non veniva salvata
- corretto bug per cui a risoluzioni più basse del minimo consentito alcuni oggetti non tmantenevano la posizione

Buon divertimento.

Re: GotScraper - Scraping spaziale!!

Inviato: 15/04/2021, 15:40
da dR.pRoDiGy
Ma insomma zio @Gothrek , neanche un'immaginina per mostrare le figate che hai fatto!??
Al solito tocca fare tutto a me.. 8-)
gotscraper9a.png

Re: GotScraper - Scraping spaziale!!

Inviato: 15/04/2021, 18:00
da Gothrek
ti ho detto che devi farmi un sito ad hoc, qui non mi si fila nessuno!!! poi @Tox Nox Fox mi fa sempre cattiva pubblicità :D

Re: GotScraper - Scraping spaziale!!

Inviato: 16/04/2021, 9:27
da Tox Nox Fox
Veramente io ci provo ma tu sei sempre caustico

Re: GotScraper - Scraping spaziale!!

Inviato: 16/04/2021, 10:34
da Gothrek
Tox Nox Fox ha scritto: 16/04/2021, 9:27 Veramente io ci provo ma tu sei sempre caustico
ehhh amore mio, mentre tu smanacci con la tua alfa io mi dimeno tra pannolini!!!! i risultati sono quelli che sono :D

Re: GotScraper - Scraping spaziale!!

Inviato: 13/11/2021, 14:51
da Gothrek
aggiornata beta 1.02

Re: GotScraper - Scraping spaziale!!

Inviato: 13/11/2021, 20:06
da nicoweecade
complimenti!!! gran lavorone! bravo!

Re: GotScraper - Scraping spaziale!!

Inviato: 13/02/2022, 10:26
da pucci
ma il link per il download non funziona più?

Re: GotScraper - Scraping spaziale!!

Inviato: 13/02/2022, 10:29
da pucci
come non detto. funziona ma devo copiare il link e inserirlo a mano in un download manager
strano