GotScraper - Scraping spaziale!!

[Gothrek]

@Cacy82
cosi mi spaventi!!

puoi mandarmi il log la rom in questione e la successiva in ordine alfabetico per favore cosi provo.

gothrek(at)hotmail.com

[Cacy82]

Guarda, dopo vari tentativi di disintallazione/installazione aveva ripreso a funzionare ma ad una velocità veramente bassa; considera che 364 roms del pc engine ha iniziato a scrapparle alle 00:20 e alle 1:30 stava ancora alla 144, ho scelto solo screenshot, wheel e box3d.
Non so se dipenda dal mio pc, ma mi sembra strano viste le caratteristiche che ha. Forse la rete?

Ora però si è piantato di nuovo e non va più avanti. Allego l'ultimo log.

LogProgramma_20201220_71218.txt

Altro problema che ho riscontrato, ma non so se dipenda da gotscraper:

Ho iniziato a copiare le rom su batocera, inserendo anche la cartella "media" e i file gamelist, ma batocera sembra non riconscerli, mi da comunque l'immagine standard delle rom.

[Macho72]

Buongiorno,
è uscito un altro problema; da ieri sera il programma non funziona più


Una volta fatto partire lo scraping sembra che inizi senza problemi, ma ad un certo punto si pianta e non avanza più.
Ieri sera è stato fermo sulla stessa rom per più di un'ora, dopodichè ho spento.

Stamattina dava lo stesso problema e allora ho disinstallato e reinstallato, ma il problema è lo stesso. Ora sta piantato al 4%, oltretutto su una rom che aveva già scrappato precedentemente.

E' il caso di cancellare tutto quanto, anche il server media, le gamelist e i file media creati nelle cartelle delle rom?

EDIT:Ho provato a cancellare tutto quanto e rimettere, ma niente, non funziona più

Come ho già specificato in post precedenti anche a me è successo più di una volta lo stesso problema, provato a disinstallare e reinstallare, ma niente da fare

@Gothrek è possibile che rimangano file in giro delle versioni precedenti a rompere le scatole? Io ho disinstallato da pannello di controllo-programmi

[Gothrek]

@Macho72
l'unica cosa che può aiutarmi a capire sono i vostri log, li capisco se una rom da problemi e se me la girate (lei e la successiva) per mail posso tentare di capire da debug perchè i siti la stanno rifiutando.

[Gothrek]

@Macho72
l'unica cosa che può aiutarmi a capire sono i vostri log, li capisco se una rom da problemi e se me la girate (lei e la successiva) per mail posso tentare di capire da debug perchè i siti la stanno rifiutando.

in generale io con le no intro ho passato praticamente tutot lo scibile però mi interessa capire le vostre versioni per migliorare lo scraping.

[Macho72]

@Macho72
l'unica cosa che può aiutarmi a capire sono i vostri log, li capisco se una rom da problemi e se me la girate (lei e la successiva) per mail posso tentare di capire da debug perchè i siti la stanno rifiutando.

ci sono sia logAvvio e logProgramma (alcuni di questi ultimi da più di 1G.... è normale?), ti servono entrambi?

[Gothrek]

solo log programmi, 1g? ?!?!? zippato quanto viene, ig di log strano si

[Macho72]

solo log programmi, 1g? ?!?!? zippato quanto viene, ig di log strano si

Immagine 10.png

[Cacy82]

Io nel frattempo ho quasi finito di scrappare tutto, ce la sto facendo!!

L'unico problema che mi rimane (per quanto riguarda lo scraping, per l'avanzamento del progetto di nodi da scogliere ce ne sono ancora molti ) è che batocera non riconosce il file gamelist e la cartella media per il MAME.
Guardando la cartella dove vanno messe le rom del MAME ho visto che ci sono diverse cartelle rispetto agli altri emulatori. Per caso i file vanno inseriti diversamente rispetto agli altri?

[Gothrek]

@Macho72
azz 1g di log cancellali pure qualcosa non va bene

@Cacy82
in che senso non ti riconosce il gamelist? il gamelist prodotto da gotscraper è uguale per tutti i sistemi, lo deve vedere.
Circa il mame, dipende dal tuo romset, a seconda del romset che vuoi mettere va in una cartella diversa.

Cerca sul foro avevo pubblicato diverse volte (x batocera) l'elenco dei romset e delle cartelle corrispondenti

a conti fatti ok lo state usando, ma di cosa sentite la mancanza? cosa non va bene? in cosa vi siete trattenuti dall'insultarmi?

[Macho72]

a conti fatti ok lo state usando, ma di cosa sentite la mancanza? cosa non va bene? in cosa vi siete trattenuti dall'insultarmi?

per quanto mi riguarda, vorrei prima di tutto che funzionasse senza impallare, tempi brevi di scraping e che si potessero vedere i video nella anteprime dei giochi

niente insulti figurati, mi piace sperimentare, anche se non sono un informatico e seguo le indicazioni che trovo qui, ma penso che tutto possa servire allo sviluppo del programma, occhio però che non voglio complicare le cose, ma potrebbe essere anche un problema del mio PC che è un pò datato

[Cacy82]

@Cacy82
in che senso non ti riconosce il gamelist? il gamelist prodotto da gotscraper è uguale per tutti i sistemi, lo deve vedere.
Circa il mame, dipende dal tuo romset, a seconda del romset che vuoi mettere va in una cartella diversa.

Cerca sul foro avevo pubblicato diverse volte (x batocera) l'elenco dei romset e delle cartelle corrispondenti

a conti fatti ok lo state usando, ma di cosa sentite la mancanza? cosa non va bene? in cosa vi siete trattenuti dall'insultarmi?

Perfetto, immaginavo che nel caso specifico del MAME mi sarei dovuto muovere diversamente. Più tardi cerco la cartella giusta per il mio romset.

Al momento il programma lo sto usando parecchio, sinceramente io inserirei anche una modalità per creare manualmente l'immagine da inserire nella cartella media; nel senso che a volte il software scarica i file corretti inserendoli nel media center, ma poi, non riconoscendo la rom, non genera il file media. Sarebbe interessante poterlo creare manualmente e poi con un comando inserire le stringhe di codice nel gamelist.

Nel complesso forse il software è un pò troppo instabile, a volte mi genera errori, si blocca o va lentissimo, altre invece va una spada; Ma non è detto che dipenda dal mio pc e dalla mia connessione di rete molto scarsa.

Ha senso che durante lo scraping crei una copia della rom nel media center? A quel punto conviene eliminare la versione originale delle rom da cui è partito lo scraping?Più che altro perchè essendo tutto doppio alla lunga pesa sulla capienza dell'hd.

Insultarti? ma che scherzi, hai fatto un lavorone!!

[Gothrek]

@Cacy82 e @Macho72
grazie,
per il bloccarsi dal momento che a me non accade e capire dai vostri log, e mandarmi la rom incriminata e lasuccessiva cosi che possa provare in modalità debug e capire cosa ha bloccato il processo.

In generale lo scraping dovrebbe essere (con media standard - screenshot, title e box) di circa 2 sec a rom, il sitema ha la possibilità di far n tentativi (lo potete specificare nella sezine siti di scraping), di default per screenscraper è impostato a 5 tentativi con intervallo di 2 sec (anche questo potete deciderlo). questo porta a provare se il sito ha dei ritardi fino ad un max di 10 sec.

rispondo in ordine sparso:
il senso del server media è catalogare e archiviare rom e media, a prescindere da quale sarà il romset o l'insieme di rom che andrete a mettere sulla scheda o sul pc. Questo perchè potreste decidere di avere una scheda con una sola tipologia di giochi piuttosto che un sottoinsieme di tutte le rom che avete. Il fatto di avere una copia della rom è data dal fatto che nella versione finale voi ptrete dargli in pasto anche un file dat/txt con un elenco e lui nella destinazione della scheda copierà sia le rom che avete scelto che i suoi media. NOn so se sono stato chiaro nell'esposizione. Ma praticamente il server media avrà lo scibile e di volta in volta voi deciderete cosa portarvi nel cab, nel rasp ecc.

creazione immagine manualmente, strano quello che mi dici, l'applicazione se scarica i media, anche sia uno solo della combo prova a comporre l'immagine, il fatto che non ci riesca mi lascia perplesso. Rifacendo il processo, lui prova a fare la stessa cosa (ti invito a riprovare una volta che i media sono scaricati), se trova gli originali localmente crea immediatamente il mix (e la entry nel gamelist)

i video saranno pubblicati nella versione 8 sono più o meno a metà e conto rilasciarla entro fine anno

[Cacy82]

Perfetto, grazie per le delucidazioni; appena finisco di scaricare tutti i dati riprovo.
Considera che attualmente il problema delle immagini non create me lo sta facendo con la romset no-intro del megadrive; ho tutti i singoli file nelle cartelle giuste, ma alla fine del processo non crea ne il file gamelist ne la cartella media con all'interno le immagini. Stasera riprovo.

[Gothrek]

k rilancialo lasciando il materiale nel server media, per megadrive ho praticamente il 100%

[Macho72]

@Macho72
azz 1g di log cancellali pure qualcosa non va bene

visto che vorrei riprovare anch'io, per sicurezza e per non fare confusione posso cancellare tutta la cartella log? o forse è meglio cancellare tutto e reinstallare?

[Gothrek]

no direi che se volete liberare spazio cancellate pure i log (non lacartella) anche se la stesa dovrebbe essere ricreata al riavviano se non trovata.

[Cacy82]

k rilancialo lasciando il materiale nel server media, per megadrive ho praticamente il 100%

Nuovo aggiornamento: ho fatto girare nuovamente il programma e stavolta ha generato i file media con la gamelist. Purtroppo non tutte sono andate a buon fine, ma forse perchè stasera non si agganciava a Screenscraper. Domani riprovo a dargli una ripassata e vediamo se le completa.

Per il momento sono riuscito ad inserirle tutte su Batocera, ad eccezione dei media delle rom per il Mame. i giochi funzionano senza problemi, ma non ne vuole sapere di far vedere i media nel menu. Ho seguito varie guide in cui dicono di mettere le immagini nei posti più disparati, ma non ha funzionato in nessun modo

[Gothrek]

@Cacy82
per screenscraper non so se sei registrato.

Cmq in gotscraper in alto ci sono dei pallini accanto ai siti di scraping,
verde tutto ok
giallo (di solito screescraper quando chiude l'accesso agli utenti non registrati)
rosso sito in manutenzione (impossibile accedere allo scraping)

per screenscraper tieni presente che hai un linite di media a 20.000 giorno per i non abbonati (questo potrebbe essere uno dei motivi per cui se nei giorni scorsi gli hai dato in basta liste molto lunghe potebbe non averle completate). Nella versione 8 fa un controllo sul nmero di media da screenscraper e ti avvisa.

Per i media che non vengono visti non ho capito se riguarda il mame o tutti.
Il mame è identico agli altri e tutti le emulstation funzionano allo stesso modo- E' inutile guardare su intgernet dove mettere le imamgini, perchè il "dove" sono le immagini glielo dice il file gamelist.xml
Se lo apri con un notepad o altro troverai per ogni rom il percorso della sua immagine, se non è li (dove gotscraper la ha creata) non la vedi. Quindi l'importante è non variare la struttura di cartelle creata da gotscraper.

[Cacy82]

Ciao Goth,

su screenscraper mi sono registrato e sul gotscraper ho inserito le credenziali; ha sempre funzionato, ieri sera stava sul semaforo rosso, già era successo in passato, ho dato per scontato che fossero in manutenzione.
Non penso di aver superato le 20.000 richieste al giorno, considera che in totale non arrivo neanche a 2.000 rom.

Non ho problemi con gli altri emulatori, solo il Mame non riconosce i media; ho fatto come con gli altri: file gamelist e cartella media dentro alla cartella MAME, ma su batocera non li fa vedere, ne le immagini ne i dati di info che escono sotto; le rom del MAME invece funzionano senza problemi.
Anche i media sono perfetti e il file gamelist sembra a posto, non ho apportato nessuna modifica.
Non so perchè fa questo problema, per sicurezza ho fatto girare anche un paio di volte gotscraper nel dubbio che fosse saltato qualche passaggio, ma non è servito.