Snapvideo Scraper da Raspberry 3b+ con Recalbox 6.1.1 possibile ?

[Space81]

Ciao ragazzi, sono facilmente riuscito ad effettuare lo scraper di tutte le mie roms direttamente da Recalbox 6.1.1, comodo e pratico, ma non riesco a capire perchè scarica le immagini e non i video, da quanto ho letto è possibile anche inserire i bellissimi Snapvideo per ogni gioco, ma non trovo nessuna opzione per dirgli a Recalbox di scaricare i video invece delle immagini.

Grazie.

[Gothrek]

cosa usi per fare scraping?

[Space81]

cosa usi per fare scraping?

Ciao Gothrek, grazie della risposta in primis; ho sempre usato solo recalbox direttamente, considera che moltissimi screen li ho già trovati nel momento in cui scaricai interi roms set.
Ho visto che è consigliato usare Skraper, ma pur vedendo alcuni tutorial non mi sono chiare alcune cose :

- Se imposto la mia cartella "collezione roms" ( enorme, che ho su pc ) Skraper come lavora ? Sovrascrive le mie immagini già presenti e il mio gamelist.xml ?
- Volevo solamente scaricare qualche snapvideo e provarlo sul mio Rasp con RB 6.1.1 è possibile in modo meno massivo ?
- Direttamente da RB 6.1.1 mi pare di aver intuito che non è possibile scaricare snavideo come per gli screens.

Grazie.

[Gothrek]

ciao, ci sono diversi programmi di scraping che lavorano sia da pc che direttamente dal rasp.
personalmente prediligo quello da pc, perchè un pelino più flessibile e puoi "sistemarlo" prima di renderlo operativo trasferendo tutto sul rasp che io faccio tramite rete a casa.

ne conosco molto bene 3:
1) u-xml-scraper
2) skraper
3) GotScraper il mio

1) il primo amore non si scorda mai, seppur il progetto sia morto è perfettamente operativo e funzionante. E' il piu facile da usare, selezioni distro, selezioni piattaforma e selezioni come vuoi comporre l'immagine. Il sistema si appoggia su sito di screescraper francese
2) probabilmente il migliore, ancora in beta, moltissime opzioni che da una parte danno flessibilità e dall'altra complicano la vita. un grande difetto a cui non ho dato soluzione e che se torni a fare scraping a distanza di tanto tempo i fatto che tu abbia già i media in locale. Anche lui si appoggia esclusivamente su screenscraper francese
3) il mio, che spero presto pubblicare, il concetto su cui si basa è quello di creare un media server locale che possa essere la prima repository da controllare nello scraping e poi di aggiungere tutte le fonti possibili (in primis quella di arcadeitalia), per recuperare le info.

Tornando a bomba sulla tua richiesta, chiedi pure nello specifico.

[Space81]

ciao, ci sono diversi programmi di scraping che lavorano sia da pc che direttamente dal rasp.
personalmente prediligo quello da pc, perchè un pelino più flessibile e puoi "sistemarlo" prima di renderlo operativo trasferendo tutto sul rasp che io faccio tramite rete a casa.

ne conosco molto bene 3:
1) u-xml-scraper
2) skraper
3) GotScraper il mio

1) il primo amore non si scorda mai, seppur il progetto sia morto è perfettamente operativo e funzionante. E' il piu facile da usare, selezioni distro, selezioni piattaforma e selezioni come vuoi comporre l'immagine. Il sistema si appoggia su sito di screescraper francese
2) probabilmente il migliore, ancora in beta, moltissime opzioni che da una parte danno flessibilità e dall'altra complicano la vita. un grande difetto a cui non ho dato soluzione e che se torni a fare scraping a distanza di tanto tempo i fatto che tu abbia già i media in locale. Anche lui si appoggia esclusivamente su screenscraper francese
3) il mio, che spero presto pubblicare, il concetto su cui si basa è quello di creare un media server locale che possa essere la prima repository da controllare nello scraping e poi di aggiungere tutte le fonti possibili (in primis quella di arcadeitalia), per recuperare le info.

Tornando a bomba sulla tua richiesta, chiedi pure nello specifico.

Ciao, proverò sicuramente il tuo, ora sono però orientato al n.2, devo solo capire quali opzioni spuntare e come si comporta rispetto ai file immagini che ho gia su pc; in poche parole, le sovrascrive ? Inoltre il passaggio da Skraper a RB 6.1.1 è indolore ? ( spero ).

Grazie.

[Gothrek]

il passaggio è indolore, si perchè tu copi la cartella media all'interno delle singole cartelle dei sistemi
circa il li sovrascrive, dipende, dipende dai giorni che gli hai dato (mi pare il massimo sia 15 ma sto andando a memoria)

le rom che hai messo nei vari sistemi da dove le hai prese? formulo meglio la domanda, hai dei set di riferimento? no intro? usi clrmame e le liste di dat no matic? (se parlo arabo fermami )

[Space81]

il passaggio è indolore, si perchè tu copi la cartella media all'interno delle singole cartelle dei sistemi
circa il li sovrascrive, dipende, dipende dai giorni che gli hai dato (mi pare il massimo sia 15 ma sto andando a memoria)

le rom che hai messo nei vari sistemi da dove le hai prese? formulo meglio la domanda, hai dei set di riferimento? no intro? usi clrmame e le liste di dat no matic? (se parlo arabo fermami )

Vedo che hai un alto livello di preparazione , che ovviamente non è il mio, allora i romset gli ho scaricati da un noto canale YT ( Azvarel RetroGamer ) , per esempio da li ho preso mame 0.78 e FBA 0.2.94.44, cosi per tutti gli altri sistemi, megadrive, amiga, Daphne etc etc etc, all'interno oltre roms ho le sue cartelle media con le varie copertine, tutte perfette.
Solo per rarissimi casi ho dovuto fare lo scraper interno a Recalbox.
Quindi riformulo la domanda, ammesso che riesca a configurare correttamente Skraper, magari con qualche tua guida o dritta, queste cartelline media sul mio pc verranno sovrascritte ? Inoltre verrà sovrascritto anche il file gamelist.xml ? Per terminare, il mio unico obbiettivo di ora è scaricare qualche snapvideo e provarlo su qualche sistema con poche roms ( dato che ho una sd di soli 32 gb ).

PS. anzi se hai un consiglio su dove comprare una sd da 200gb ad un buon prezzo benvenga ( su amazon stanno ancora alte ).

Grazie della pazienza infinita.

[Gothrek]

nessun problema, anche qui provo a prendarla da più lontano se non ti spiace, ma è per completezza anche per chi dovesse leggere in futuro.
il file gamelist.xml è un file molto semplice ed editabile in 1000 modi che non fa altro che elencare per ogni rom, una serie di info legati alla rom stessa (di fatto quello che l'emulstation interpreta quando selezioni il gioco).
inutile dire che puoi aggiungere tutte le info che vuoi, anche personalizzabili, nonchè fa puntare ad immagini e video che hai scaricato (probabilmetne se lo apri vedi che per le immagini punta a media\nomerom.png o jpg), ci sarà una sezione per i video (che punta sempre alla cartella media) riporto un esempio del concorrente francese

<game id="3833" source="ScreenScraper">
<path>/home/pi/RetroPie/roms/gba/Boktai - The Sun Is in Your Hand (Europe) (En,Fr,De,Es,It).zip</path>
<name>Boktai - The Sun Is in Your Hand (Europe) (En,Fr,De,Es,It)</name>
<desc>Boktai : The Sun is in Your Hand est un jeu de rôle et d'action sur GBA. Le joueur contrôle un chasseur de vampires équipé d'une arme qui fonctionne à l'énergie solaire. Il est donc nécessaire de jouer sous la lumière du soleil pour charger le Solar Gun, seul objet efficace contre les monstres des donjons.</desc>
<image>/home/pi/RetroPie/medias/gba/box front/Boktai - The Sun Is in Your Hand (Europe) (En,Fr,De,Es,It).jpg</image>
<marquee>/home/pi/RetroPie/medias/gba/logos/Boktai - The Sun Is in Your Hand (Europe) (En,Fr,De,Es,It).png</marquee>
<video>/home/pi/RetroPie/medias/gba/videos/Boktai - The Sun Is in Your Hand (Europe) (En,Fr,De,Es,It).mp4</video>
<thumbnail/>
<rating>0.9</rating>
<releasedate>20040514T000000</releasedate>
<developer>Konami</developer>
<publisher>Konami</publisher>
<genre>Simulation</genre>
<players>1-4</players>
</game>

il file gamelist.xml verrà sovrascritto ogni volta che tu farai scraping, la differenza grande la fa il fatto di avere i media già scaricati o meno (fermo restando il problema per cui oltre i 15(?) gg li riscarica e questo è il problema vero (della nascita del mio), per cui se tu hai personalizzato delle imamgini aggiungendole "a mano" lui le sovrascrive.

venendo alle sd, io quelle da 200 le ho sempre prese durante le offerte, ma ultimamente per provare ne ho presa 1 da 1tera da 11euro, non velocissima, lma per tutti i sistemi che emulo non ha nessunissima differenza (quindi reputo l'acquisto eccezionale)

[Space81]

Grazie ! Ottima spiegazione, l'avevo in parte intuito; 1 tera 11 euro ? Feci un acquisto simile su Wish per poi scoprire che alcuni settori della sd erano danneggiati, dove consigli di acquistare ?

[Gothrek]

Grazie ! Ottima spiegazione, l'avevo in parte intuito; 1 tera 11 euro ? Feci un acquisto simile su Wish per poi scoprire che alcuni settori della sd erano danneggiati, dove consigli di acquistare ?

io presa su amazon, la ho praticamente riempita senza prob, a quel prezzo, ho pensato che se anche funzionasse la metà era una vittoria, invece 0 prob.

NOn sarà SD come quelle da 200, ma alla fine non ci emulo le ultimissime piattaforme che magari hanno bisogno di velocità (dubbi anche qui che possano essere lente per accesso al disco)

[Space81]

il file gamelist.xml verrà sovrascritto ogni volta che tu farai scraping, la differenza grande la fa il fatto di avere i media già scaricati o meno (fermo restando il problema per cui oltre i 15(?) gg li riscarica e questo è il problema vero (della nascita del mio), per cui se tu hai personalizzato delle imamgini aggiungendole "a mano" lui le sovrascrive.

Una cosa mi sfugge, ma Skraper se scarica le immagini e ha questo limite dei 15gg, non è possibile prendere i media dalla cartella roms di scarico e stoccarli da una parte in modo che non le sovrascriva ?

[Gothrek]

naturalmente si, hai mai provato a fare uno scraping di una cartella ad esempio snes da 2000 roms? ci mette una vita, e alla fine della quale tu sovrascrivi con quelli salvati.

Fattibile, in generale lo trovo poco pratico

[Space81]

Tornando al discorso Skraper, ieri ho fatto un po di prove, mi sono loggato tramite ScreenScraper.fr e utilizzato Skraper su pc seguendo la guida ufficiale su YT.
Sono rimasto piuttosto deluso :

1) con la mia utenza di default Skraper usa un solo motore di Scraper
2) volevo fare una prova con la mia cartella fba_libretro ( una selezione di 282 roms ) residente sul rasp 3b+ con Recalbox 6.1.1 : risultato zero scraper, bah
3) ho provato a questo punto con l'intera collezione che avevo su pc della cartella fba_libretro ( 24gb circa e migliaia di roms ), scraper riuscito al 58%, direi molto male
4) Provato con la cartella ScummVM, più piccola, su 11 giochi ne trova solo 5, ma se poi vado sul sito ScreenScraper.fr ci sono tutti i media, snapvideo compresi.

Tirando le prime somme, probabilmente qualche settaggio non l'ho impostato correttamente, pur seguento il tutorial, ma come interfaccia grafica mi sembra molto dispersiva.

PS. Ieri sera 23 circa lo scraper interno di Recalbox non funzionava più non vorrei che i miei risultati siano stati influenzati da qualche loro problema tecnico.

Un Saluto.

Space81.

[Gothrek]

ciao, provo a risponderti:
1) i thread che usi dipendono dalla tua contribuzione, più contribuisci più hai possibilità di far concorrere i thread. 1 è il base per chi non contribuisce che è uguale anche a chi non si registra
2) impossibile, secondo me li il problema è o la selezione delle estensioni o altro, sugli arcade direi che è estremamente affidabile, se prendo la mia ne ha circa 1600 trovati su 1900 circa (parlando di fba_libretro)
3) anche qui come percentuale sei basso, se escludo, il fatto che giornamente metto dentro rom di ultimi dump ancora da confermare, siamo ben oltre il 90%, rivederei il tema delle estensioni (io uso solo.zip)

Graficamente concordo sul po complicata.

tanto per darti una idea ti allego il mio personale file doc (nel caso @Tox Nox Fox ritenga che contenendo eventuali link e/o riferimenti non dovuti debba essere eliminato lo eliminiamo) affinchè possa essere eventualmente d'aiuto per altri.

Recalbox ed emulstation_6_1_1.docx

[Space81]

ciao, provo a risponderti:
1) i thread che usi dipendono dalla tua contribuzione, più contribuisci più hai possibilità di far concorrere i thread. 1 è il base per chi non contribuisce che è uguale anche a chi non si registra
2) impossibile, secondo me li il problema è o la selezione delle estensioni o altro, sugli arcade direi che è estremamente affidabile, se prendo la mia ne ha circa 1600 trovati su 1900 circa (parlando di fba_libretro)
3) anche qui come percentuale sei basso, se escludo, il fatto che giornamente metto dentro rom di ultimi dump ancora da confermare, siamo ben oltre il 90%, rivederei il tema delle estensioni (io uso solo.zip)

Graficamente concordo sul po complicata.

tanto per darti una idea ti allego il mio personale file doc (nel caso @Tox Nox Fox ritenga che contenendo eventuali link e/o riferimenti non dovuti debba essere eliminato lo eliminiamo) affinchè possa essere eventualmente d'aiuto per altri.
Recalbox ed emulstation_6_1_1.docx

Grazie, questo doc è come la sacra Bibbia ! Bravissimo !
Se hai tempo e modo posso chiederti qualche screenshot delle varie schermate che hai su Skraper così da confrontarla con il mio e vedere che abbia selezionato tutto correttamente ?

Un Saluto.

[Gothrek]

certamente si, ma come ti dicevo io uso il mio che a parte il sito francese per esempio prende tutte arcade dal nostro sito di arcadeitalia. cmq nessun prob. dammi qualche titolo.

nel doc cmq c'è scritto per ogni piattaforma quante rom mi mancano rispetto all'elenco di riferimento (quasi tutto nointro) e quante immagini mi mancano per ogni piattaforma.

[Space81]

certamente si, ma come ti dicevo io uso il mio che a parte il sito francese per esempio prende tutte arcade dal nostro sito di arcadeitalia. cmq nessun prob. dammi qualche titolo.

nel doc cmq c'è scritto per ogni piattaforma quante rom mi mancano rispetto all'elenco di riferimento (quasi tutto nointro) e quante immagini mi mancano per ogni piattaforma.

Guarda non ho problemi ad usare il tuo se più di semplice comprensione, come ti dicevo il mio obbiettivo è avere gli snapvideo per le mie "sole" 285 roms che ho selezionato su FBA ( è una scelta, dal momento che ho solo 3gb per i video liberi sui 32gb a disposizione ). Posso darti il mio gamelist.xml in serata, dentro emulo anche i neogeo, perchè adoro il fatto che mi chiedano i credits piuttosto che usare neogeo da emulare come console.

Se mi dai un link per scaricare il tuo software lo uso volentieri, meglio sostenere chi ha avuto pazienza nell'aiutarmi, sempre

PS. poi essendo entrambi di Roma mi farebbe piacere scambiare più in la due chiacchiere di persona, impareri molto ne sono certo.

Grazie.

[Gothrek]

il mio..in pubblicazione te lo metto a disposizione a beve.

x Roma...tasto dolente, per lavoro trasferito nella regione dei virus da 1 anno, scendo a casa ben volentieri con una certa frequenza, soprattutto quando convinco il boss che ci sono attività in sede a roma ti avviso alla prima fa sempre piacere.

sentiamoci cmq, appena passato il periodo di segregazione magari al prossimo evento spero riusciamo a mettere a disposizione anche un piccolo lab del pubblico per tutti quelli un pò più smart che si avvicinano al nostro mondo.

per tutto il resto son qui massima disponibilità. mandami zippato in pm la tua gamelist.

[Space81]

il mio..in pubblicazione te lo metto a disposizione a beve.

x Roma...tasto dolente, per lavoro trasferito nella regione dei virus da 1 anno, scendo a casa ben volentieri con una certa frequenza, soprattutto quando convinco il boss che ci sono attività in sede a roma ti avviso alla prima fa sempre piacere.

sentiamoci cmq, appena passato il periodo di segregazione magari al prossimo evento spero riusciamo a mettere a disposizione anche un piccolo lab del pubblico per tutti quelli un pò più smart che si avvicinano al nostro mondo.

per tutto il resto son qui massima disponibilità. mandami zippato in pm la tua gamelist.

Grande Gothrek, sarà fatto, stasera ti invio il mio gamelist di fba, per Roma, mi fa sempre piacere quando vuoi; avvicinare sempre più persone a questo mondo è un nobilissimo obiettivo.
Siamo ormai "razza" rara.

[Gothrek]

eccoci, visto il tuo gamelist.
domanda ma le rom che hai come le hai scelte?

ti spiego,
recalbox 6.x per gli arcade si basa su queste versioni arcade x recalbox
nello specifico fba_libretro fa riferimento al questo rom set:
FBA 0.2.97.44 which is based on MAME 0.189
quindi le rom che aggiungi devono essere per forza di cose di quel set li

ora se becchi pag 60 della mia bibbia hai tutte le info, son 1947 roms e tutte i tuoi media mancanti fanno riferimento a rom che non sono di quel set.

una volta inserite le rom corrette per lo scraping (da skraper):
1) sul lato sinistro aggiungi il sistema
2) seleziona la cartella delle rom
3) verifica la spunta sulle estensioni .zip e .chd
4) go

la mia ultima scansione (2019) riportava con skraper 353 mancanti su 1947 (sul sito francese ehhh), la ho rilanciata stasera per verificare quanto sia cambiato da alcuni mesi fa.

per qualsiasi cosa siam qui

edit:
ora è passato a 1868 trovati lasciandomi 79 mancanti, non è ancora ai livelli di arcadeitalia (logico ) ma si è avvicinato