Benvenuto Ospite,
per utilizzare il Forum ed avere accesso a tutte le sezioni e poter aprire un tuo Topic, rispondere nelle varie discussioni, mandare o ricevere Messaggi Privati devi seguire pochi passaggi:


Leggi il nostro Regolamento -> PREMI QUI <-
Segui il link su come Iscriversi -> PREMI QUI <-


Ricordati di aggiornare l'Avatar usando una immagine che ti distingua nel Forum

GotScraper - Scraping spaziale!!

Problemi e soluzioni su configurazioni software, firmware
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 5501
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 20 volte
Grazie Ricevuti: 313 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Gothrek »

adolfo69 ha scritto: 13/08/2020, 10:53 Ti confermo che nelle cartelle titles e video non ho nulla

PS:- puoi dirmi come fare la ricerca x titolo su screenscraper, sto andando x lettera perchè non trovo più il modo x inserire il testo x la ricerca... :(
verificando sul sito anche la cover 3d di mythos è presente ma non l'ha presa...
sto per stupirti (in peggio), non c'è una ricerca per titolo sul sito

ho visto il tuo file, secondo me non erano spuntati perchè guarda:
amstrad_scraping4.jpg
se non avesse trovato i media nel file finale avrebbe aggiunto la loro mancanza, di seguito il mio file:
amstrad_scraping6.jpg
ho notato che abbiamo rom diverse dagli MD5, questo potrebbe contribuire al result su screenscraper, perchè skraper per esempio si basa solo su quello e se non presente risponde picche, io se il server mi ha risposto picche cerco di capire il titolo a prescindere dal MD5 e cerco con quello.

appena riesci a fare un'altra prova e verificare che tu abbia spuntato che il sistema NON deve usare le impsotazioni uguali per tutti e che siano spuntate le voce che chiedevi (nell'allegato sto già lavorando sulla tua richiesta di anteprima e sarà un pò diversa da quella che usi tu) e SALVARE dopo aver effettuato le modifiche:
amstrad_scraping5.jpg
Non hai i permessi necessari per visualizzare i file allegati in questo messaggio.
Avatar utente
adolfo69
Cab-dipendente
Cab-dipendente
Messaggi: 807
Iscritto il: 03/06/2013, 11:08
Città: Napoli
Grazie Ricevuti: 10 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da adolfo69 »

ciao, ho provato a seguire la tua procedura ma se tolgo la spunta 'stessa configurazione...' non ho più nulla nel menu a tendina x la scelta
Non hai i permessi necessari per visualizzare i file allegati in questo messaggio.
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 5501
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 20 volte
Grazie Ricevuti: 313 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Gothrek »

mmm azz un bug che ho chiuso già nella alfa4,
fammi chiudere 2 issue e pubblico la nuova versione
Avatar utente
adolfo69
Cab-dipendente
Cab-dipendente
Messaggi: 807
Iscritto il: 03/06/2013, 11:08
Città: Napoli
Grazie Ricevuti: 10 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da adolfo69 »

ti confermo che i seguenti giochi hanno la cover 3d sul sito ma il tool non riesce a scaricarli:
Mythos
Popeye
Punchy
Rocco
Satan
Tapper
Ulises
Vixen
Zorro
Zynaps
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 5501
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 20 volte
Grazie Ricevuti: 313 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Gothrek »

adolfo69 ha scritto: 13/08/2020, 13:34 ti confermo che i seguenti giochi hanno la cover 3d sul sito ma il tool non riesce a scaricarli:
Mythos
Popeye
Punchy
Rocco
Satan
Tapper
Ulises
Vixen
Zorro
Zynaps
sempre amstrad? provo anche io.

EDIT: trovo tutto.
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 5501
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 20 volte
Grazie Ricevuti: 313 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Gothrek »

Aggiornato ad alfa 4 download dal primo post.

Alfa4.0
In questa versione:
Implementazioni:
- aggiunto filtro alla tabella gestione media
Alfa4_filtro.jpg
- aggiunto nomefile nel report
amstrad_scraping6.jpg
- aggiunta icona al programma
Alfa4_icona.jpg
- aggiunta gestione media video delle rom
Alfa4_mediavideo.jpg
Corretti i seguenti bug:
- cambiando sistema ora vengono correttamente resettati i media
- sistemato il percorso evidenziato per la cartella dei media e corretto la sua label
- corretto bug per il quale a volte scrivendo un gioco non esistente veniva generata eccezione
- corretto bug per il quale togliendo la spunta a gestione media tutti i sistemi sparivano tutti gli oggetti dalla griglia (segnalato anche da @adolfo69 )
- corretto bug per il quale veniva generata eccezione se aveva dei video tra i media
- corretto bug per il quale i pulsanti dei media prev e next diventavano attivi anche se era presente un solo media
- corretto bug per cui nel report finale veniva troncato l'ultimo carattere del nome rom
- corretto bug per cui in taluni casi facendo scraping di una sola rom si generava una eccezione

Buon divertimento.
Non hai i permessi necessari per visualizzare i file allegati in questo messaggio.
Avatar utente
adolfo69
Cab-dipendente
Cab-dipendente
Messaggi: 807
Iscritto il: 03/06/2013, 11:08
Città: Napoli
Grazie Ricevuti: 10 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da adolfo69 »

Azz, provo al volo!

Allora siamo quasi alla perfezione...
VIdeo scaricati, titles scaricati e... cover scaricate. L'unico neo è che x alcune cover ha scaricato un gioco diverso anche se in archivio la cover esatta esiste. Faccio l'esempio di Popeye che ha scaricato invece Popeye 3, o Renegade che ha sostituito con Renegade Kuma ed altri. C'è la possibilità da tool di scaricare la giusta cover?
Avatar utente
adolfo69
Cab-dipendente
Cab-dipendente
Messaggi: 807
Iscritto il: 03/06/2013, 11:08
Città: Napoli
Grazie Ricevuti: 10 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da adolfo69 »

altra domanda, ma si possono aggiungere le estensioni dei vari sistemi? x molti di questi ho sostituito le classiche iso con i chd x recuperare spazio, stavo provando la psx e tra le estensioni leggibili mancava proprio questa

PS:- ho messo delle roms colecovision in una cartella ma il programma non ha trovato nulla, nenache è partito il contatore in basso, fermo x alcuni secondi a 0 e poi terminata la scansione con file xml candido e puro
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 5501
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 20 volte
Grazie Ricevuti: 313 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Gothrek »

adolfo69 ha scritto: 13/08/2020, 16:15 Azz, provo al volo!

Allora siamo quasi alla perfezione...
VIdeo scaricati, titles scaricati e... cover scaricate. L'unico neo è che x alcune cover ha scaricato un gioco diverso anche se in archivio la cover esatta esiste. Faccio l'esempio di Popeye che ha scaricato invece Popeye 3, o Renegade che ha sostituito con Renegade Kuma ed altri. C'è la possibilità da tool di scaricare la giusta cover?
quasi alla perfezione detto da te è un gran complimento!!!

veniamo a noi, per quello che segnali domani mattina lo provo e ti dico, ma hai la possibilità (in extra siti scraping) di togliere la spunta a cerca giochi simili, questa viene utilizzata quando l'MD5 della tua rom su screenscraper non esiste e lui la bypassa usando il titolo per recuperare cmq i media per evitare di darti un fail, cmq lasciami fare un test anche a me con quelle rom (allegami sempre il file csv finale cosi ho il tuo MD5 e vediamo se esiste in screenscraper)
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 5501
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 20 volte
Grazie Ricevuti: 313 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Gothrek »

adolfo69 ha scritto: 13/08/2020, 19:33 altra domanda, ma si possono aggiungere le estensioni dei vari sistemi? x molti di questi ho sostituito le classiche iso con i chd x recuperare spazio, stavo provando la psx e tra le estensioni leggibili mancava proprio questa

PS:- ho messo delle roms colecovision in una cartella ma il programma non ha trovato nulla, nenache è partito il contatore in basso, fermo x alcuni secondi a 0 e poi terminata la scansione con file xml candido e puro
si puoi aggiungere le estensioni quando selezioni la cartella

x colecovision mi pare strano è un altro di quelli che ho tutto quello che esiste e già scraperato, lo ripasso domani mattina e ti dico (come sopra, allegami sempre il csv che da li riesco a pilotare i test su screenscraper)

EDIT:
ss 160/169 (1 bios)
box 3d 155/168
wheel 154/168
video 153/168
Avatar utente
adolfo69
Cab-dipendente
Cab-dipendente
Messaggi: 807
Iscritto il: 03/06/2013, 11:08
Città: Napoli
Grazie Ricevuti: 10 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da adolfo69 »

Allora ho appena riprovato il coleco mettendo alcune roms anche famose ma non mi trova nulla.
Ti allego il file xml x il coleco


PS:- non mi hai poi detto se c'è la possibilità d'agire manualmente (ad esempio nella sezione server) su di un gioco x scaricare una differente versione della cover trovata
Non hai i permessi necessari per visualizzare i file allegati in questo messaggio.
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 5501
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 20 volte
Grazie Ricevuti: 313 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Gothrek »

adolfo69 ha scritto: 14/08/2020, 15:54 Allora ho appena riprovato il coleco mettendo alcune roms anche famose ma non mi trova nulla.
Ti allego il file xml x il coleco


PS:- non mi hai poi detto se c'è la possibilità d'agire manualmente (ad esempio nella sezione server) su di un gioco x scaricare una differente versione della cover trovata
dunque:
la sezione server non serve (scusa il gioco di parole) a scaricare, è la sezione che gestisce il media server locale, leggi le descrizioni, i titoli tutte le info dei giochi e sfogli media di sistemi giochi e rom

ti avevo scritto che puoi togleire la spunta nella sezione extra siti scraping per la ricerca di giochi simili, questo provocherà da un lato maggiori mancanti, ma dall'altro la certezza del media scaricato che sia proprio quello della tua rom, perchè con la spunta attiva quando lui non la trova cerca per quel sistema un gioco simile.

secondo me se invece degli zip fai scraping dei .dsk su amstrad vai meglio perschè screenscraper ha preferito registrare quelli

altra cosa, mi avevi segnalato che per alcuni ti aveva scaricato immagini del mame, li credo sia dovuto al fatto che hai lasciato spuntato anche arcadedb tra i siti per quel sistema. arcadedb funziona con ricerche solo di titolo (da per scontato che si cerchi solo mame), ma se lo hai selezionato e il titolo esiste lui lo usa (penso a popeye). sarebbe bene che arcadedb fosse spuntato solo per il sistema mame, o pochi altri
Avatar utente
adolfo69
Cab-dipendente
Cab-dipendente
Messaggi: 807
Iscritto il: 03/06/2013, 11:08
Città: Napoli
Grazie Ricevuti: 10 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da adolfo69 »

Ciao, confermo il buon esito x i titoli Amstrad in formato .dsk, mi ha beccato le giuste cover x Popeye e Renegade, adesso sto utilizzando il sistema PSX, anche qui alcune cover , presenti sul sito, non le ha trovate, sai se esiste un metodo x scaricarle?
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 5501
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 20 volte
Grazie Ricevuti: 313 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Gothrek »

adolfo69 ha scritto: 15/08/2020, 10:35 Ciao, confermo il buon esito x i titoli Amstrad in formato .dsk, mi ha beccato le giuste cover x Popeye e Renegade, adesso sto utilizzando il sistema PSX, anche qui alcune cover , presenti sul sito, non le ha trovate, sai se esiste un metodo x scaricarle?
anche qui dammi i titoli o il csv.

senza programmi non puoi scaricar nulla, questi siti funzionano tutti cosi

buon ferragosto
Avatar utente
adolfo69
Cab-dipendente
Cab-dipendente
Messaggi: 807
Iscritto il: 03/06/2013, 11:08
Città: Napoli
Grazie Ricevuti: 10 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da adolfo69 »

Buon Ferragosto anche a te... me n'ero dimenticato tant'è che tra poco vado a lavoro...
finisco di controllare tutti i 200 giochi in lista e poi ti dico i titoli che hanno problemi
Avatar utente
adolfo69
Cab-dipendente
Cab-dipendente
Messaggi: 807
Iscritto il: 03/06/2013, 11:08
Città: Napoli
Grazie Ricevuti: 10 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da adolfo69 »

ciao, ti allego le roms del Nes che il tool non è riuscito a trovare, nonostante siano giochi comuni non ha trovato assolutamente nulla pertanto era inutile allegarti anche il file xml. Provali tu e fammi sapere se ti riesce a scannerizzarli
Non hai i permessi necessari per visualizzare i file allegati in questo messaggio.
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 5501
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 20 volte
Grazie Ricevuti: 313 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Gothrek »

adolfo69 ha scritto: 18/08/2020, 19:21 ciao, ti allego le roms del Nes che il tool non è riuscito a trovare, nonostante siano giochi comuni non ha trovato assolutamente nulla pertanto era inutile allegarti anche il file xml. Provali tu e fammi sapere se ti riesce a scannerizzarli
stasera provo e ti dico tutto

EDIT:
ss 8/8
sstitle 8/8
wheel 8/8
video 8/8

ho trovato tutto.
ho fatto scraping con le rom .nes non zippate
l'ordine di scraping dei siti ho messo 1) locale 2) screenscraper
scrapingnes.png
l'unica spiegazione che mi viene in mente che hai superato i download quotidiani. Cmq nella cartella del server media cartella gotscraper (dove di solito recuperi i csv c'è anche quella dei log, un txt dettagliatissimo di tutto quello che ha fatto il programma e se ha trovato anomalie sui siti te li scrive li
Non hai i permessi necessari per visualizzare i file allegati in questo messaggio.
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 5501
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 20 volte
Grazie Ricevuti: 313 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Gothrek »

Alfa5.0
Con grande orgoglio vi rilascio l'alfa 5, frutto di un paio di mesi di lavoro
In questa versione:
Implementazioni:
- Cambiato il lettore multimediale (da windows media player a vlc) con miglioramento delle prestazioni
- Integrate statistiche personali e globali (tks @dR.pRoDiGy )
- aggiunto tooltip sul sistema selezionato per evidenziare se è impostata la cartella delle rom (in rosso la sua assenza)
- è ora possibile scegliere la risoluzione finale del "collage" media (prima risoluzione fissa)
- è ora possibile impostare configurazioni personalizzate per singolo sistema (prima solo globali)
- migliorata la gestione della griglia dei sistemi (ancora non è perfetta dopo il primo click)
- aggiunti diversi templatemedia visualizzabili nell'anteprima della composizione (ne mancano ancora alcuni)
- aggiunta la possibilità di ordinare i sistemi in maniera alfabetica
- aggiunto check di versione (ora se presente una nuova versione viene chiesto all'avvio di aggiornare)
- ora non è possibile rieseguire lo scraping se non ha finito la prima sessione
- aggiunta voce info sul salvataggio dell'ordine di scraping
- aggiunto bottone di restore delle impostazioni del gestione media
- aggiunto check per decidere se dopo lo scraping la rom deve essere spostata nella cartella di default del server media (richiesta di @adolfo69 )
- aggiunto user e psw al server locale
- cambiato framework di destinazione da 4.72 a 4.8 (@federicoc09 )

Corretti i seguenti bug:
- se si seleziona un video nei media del proprio server e si premono le frecce ora correttamente visualizza i video precedenti/successivi
- corretto il carosello di visualizzazione delle immagini del proprio server
- eliminato refuso ID selezionando la regione
- sistemata la coerenza grafica delle scrollbar
- corretta la visualizzazione delle frecce nelle scrollbar delle combobox
- corretto bug per cui una ricerca testuale con troppi caratteri generava eccezione
- corretto bug per cui se si faceva uno scraping di più sistemi non veniva resettato il conteggio delle rom
- corretto bug per cui se si rieseguiva immediatamente lo scraping generava eccezione
- corretto bug per cui se le estensioni delle rom erano in maiuscolo venivano scartate (ora non si tiene conto di maiuscole/minuscole presenti nella rom)
- corretto bug per cui se non era selezionato un odine di scraping non effettuava lo scraping stesso
- corretto bug per cui nel report finale i dati aggiuntivi avevano sempre si come risposta anche quando erano già presenti nel db
- corretto bug per cui alcuni caratteri all'interno del nome rom generavano eccezioni (potrebbero essercene altri ancora non scoperti, segnalateli)

Per istruzioni e download vedi primo post

Non mancate di segnalare eventuali bug/migliorie
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 5501
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 20 volte
Grazie Ricevuti: 313 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Gothrek »

Alfa5.1 fix
Implementazioni:
- specificato che utente e password devono essere di almeno 6 caratteri
- ora quando si preme invio sull'utente si passa automaticamente al campo password, e dalla password il focus è sul bottone avanti

Corretti i seguenti bug:
- eliminata la richiesta di eseguire l'applicazione come amministratore
- ora al primo avvio sono immediatamente visibili le statistiche globali
Avatar utente
dR.pRoDiGy

Donatore
Moderatore F.E.E.L.
Moderatore F.E.E.L.
Messaggi: 3069
Iscritto il: 17/11/2009, 15:55
Medaglie: 1
Città: Prov_Milano_zona_Sempione
Grazie Inviati: 10 volte
Grazie Ricevuti: 17 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da dR.pRoDiGy »

Grande Got.. Adesso che ho avviato anch'io i test la rovesciamo come un calzino la tua super-creatura!

Inviato dal mio Mi A2 Lite utilizzando Tapatalk

"Non si smette di giocare perché si diventa vecchi, ma si diventa vecchi perché si smette di giocare"

Immagine F.E.E.L. - FrontEnd (Emulator Launcher)
http://feelfrontend.altervista.org
https://github.com/dr-prodigy/feel-frontend/
Rispondi

Torna a “Miscellanea software”