ArcadeItalia.NET

Un aggiornamento circa l'uso dei formati AVI scaricabili dal sito.
Da sempre ho gestito anche i video in AVI, compatibili quindi con qualsiasi sistema a scapito della qualità finale (comunque accettabile per un cabinato).

Vorrei rimuovere questi file dal sito e lasciarli come opzione su ADB-Tools, tramite conversione automatica da pc Windows.
Così facendo avrò un risparmio di giga sul server che potrebbe essere sostituito dalle versioni mp4 compatibili con tutti i sistemi (in quello stesso spazio ci entrano i video normali e quelli in alta definizione).
Questo consentirebbe di avere comunque il video originale alla massima qualità possibile e poi eventualmente decidere di scaricare quello per il nostro front-end.

Per chi sfrutta già questa opzione di download AVI, in caso di aggiornamento, si vedrà un download ed una riconversione, completamente trasparenti (ovviamente con l'attesa mentre converte), o in alternativa se ha lasciato le opzioni di default di non sovrascrivere potrà continuare come sempre fatto.

La parte mp4 Hyperspin diventerebbe obsoleta e tenuta solo per evitare completi download. Al suo posto si aggiungerà appunto la nuova voce, con la differenza che questi video potrebbero diventare disponibile anche per gli scraper senza alcuna conversione. L'opzione rimarrebbe, ma con qualche nota a video di che cosa si tratta.

E' ancora presto per parlare di modifiche, ma tecnicamente i presupposti per questa miglioria ci sono tutti e a parità di giga avremmo tutti quanti un servizio migliore.

Sto riorganizzando alcune cartelle condivise, rimuovendo dati per far spazio ad altre cose.
In particolare rimarrà solo una sorgente per i Mame ricompilati da me (ovvero tutto su Google Drive ADB), mentre pulirò la cartella Programmi su Mega e quella sul disco personale.

Stamattina ho rimosso alcuni formati non più utilizzati o che non hanno avuto un seguito, come per es. speedrun, longplay e freeplay, oppure quei formati che non hanno un legame con il romset come background e sample.
Sono diventati invisibili al tool ma sul sito rimane intatta la loro gestione, così da poter essere reintegrati in caso di necessità.

Questo processo continuerà fino all'eliminazione dei formati AVI (disponibili solo tramite conversione locale, sempre dal tool) e dei video multi-schermo.

Questi ultimi sono presenti sul sito ma verranno integrati con i normali shortplay, ovvero il numero di display rispecchierà quelli del gioco originale.

Verrà rilasciata una nuova versione del tool con migliorie nel layout e nella gestione dei download, magari già questo week-end.
E' un'operazione che avevo in mente di fare da tempo e questa è stata l'occasione per metterlo in pratica (e trovare il tempo per riuscire a portarlo a termine...)

Aggiornamento 1.51 con diversi miglioramenti nella traduzione in inglese e in caso di ridimensionamento della finestra.
Il cambiamento più grosso è quello relativo al formato AVI, che di fatto termina oggi sul sito e rimane disponibile solo tramite tool. In questo caso la conversione avviene in locale, totalmente trasparente per l'utente.

Esattamente come la conversione per HyperSpin (che cambierà entro un mesetto pure lei), abbiamo la gestione di aggiornamenti, giochi e software list, possibilità di essere fermata e ripresa in un secondo momento, ecc.

Ho migliorato la gestione download dei file per renderla più veloce e precisa usando meno risorse rispetto a prima.

Come anticipato, sempre da oggi non saranno più disponibili i download di alcuni tipi di video come speedrun/freeplay ed anche quelli multi-schermo, che saranno comunque inglobati insieme agli altri come storico.

Quello che non si vede è che ho continuato lo sviluppo del successore di Mame Shrink, anche se prenderà molto tempo. Magari aggiorno il thread dedicato a questa parte. Nel menu si capisce dalla comparsa della voce ROMSET, che si dividerà in due: pulizia per rimuovere dei giochi, unione o merge per creare un set unico o un sottoinsieme di quello attuale partendo da più fonti.

Sempre da questa release ho separato in maniera netta le funzioni che prima erano sotto il menu UTILITY. In questo modo ogni funzione avrà tutto lo spazio a disposizione e soprattutto il codice sorgente sarà molto più controllabile. Pensiamo per es. all'avere 10 tipi di utility differenti tutte nella stessa pagina, praticamente sarebbe impossibile da gestire senza introdurre errori da parte mia.

Parte invece da oggi la nuova categoria di video compatibili con alcuni front-end e quindi poi di conseguenza saranno aggiornati anche gli scraper.

Sto caricando i nuovi video realizzati in queste settimane, che ammontano a ben 345!
Saranno disponibili da domani per i download tramite tool.

Inoltre abbiamo un nuovo arrivato nel gruppo che ha già realizzato diversi video: Amarant

http://adb.arcadeitalia.net/?page=videosnaps

Siccome sto creando un'immagine "pulita" e su misura di RetroPie partendo dall'ultima release 4.4, e proprio nei giorni scorsi ho perso un po' di tempo con lo scraping delle ROMs mi permetto di accodarmi alla discussione.
In effetti esiste un problema con i video che i vari scraper prelevano da ArcadeItalia: con OMXplayer i video non si vedono o girano veramente male. Disabilitando OMXplayer i video vengono letti invece da VLC che li visualizza senza problemi (testato sulla mia immagine un paio di giorni fa).
Ora, pare che VLC sul Raspberry utilizzi troppe risorse, facendo in molti casi surriscaldare la CPU, quindi ne viene sconsigliato l'uso, ergo molti utenti che si trovano alla fase di scraping degli snaps preferiscono ignorare o eliminare ArcadeItalia dalle fonti.
Capisco che è un falso problema quello del formato dei video, ma mi rendo anche conto che il 90% degli utenti non ha la minima idea di come funzioni il Raspberry con Retropie...figuriamoci riconvertire i video con ffmpeg!
Tutto qua
Per quanto mi riguarda, fate un lavoro egregio, sarebbe un peccato perdere "credibilità" per una piccolezza simile

(...anche perchè ne stanno giovando i "cugini" francesi di screenscraper.fr )

Il lavoro di conversione è molto rapido, ma sto aspettando l'ok dei test e soprattutto di avere spazio disco sul server.
Appena avrò entrambe le cose congelerò un attimo i video e poi caricherò il nuovo set, che sarà il default per gli scraper.

La conversione è facile, ci sono pezzi da aggiungere volendo per farlo in automatico, ma mi rendo conto che la maggior parte della gente non si preoccupa di questi dettagli (alcuni si stupiscono di non trovarli già dentro al mame...)

Appena ho notizie avviso, se vuoi provare con alcuni video posso postare i link ai due pack di test che avevo preparato.

Inviato dal mio cabinato utilizzando Tapatalk


EDIT
Ecco i due pack: Risoluzione nativa (80MB), Risoluzione HD (300MB)

C'era anche il dubbio se tenere la risoluzione nativa o se fare sempre qualcosa di fisso, es. 720p, ma poi ho optato per mantenere quella nativa ed aggiungere invece una 1080p.

E' passato un anno e non ho novità su questo aggiornamento, nel senso che il server è rimasto lo stesso e quindi non posso caricare la versione alternativa.

Ho invece aggiunto ieri i 130 video delle partite fatte da AntoPisa in questi giorni

motoschifo ha scritto: ↑22/09/2019, 7:23 E' passato un anno e non ho novità su questo aggiornamento, nel senso che il server è rimasto lo stesso e quindi non posso caricare la versione alternativa.

Ho invece aggiunto ieri i 130 video delle partite fatte da AntoPisa in questi giorni

ciao motoskifo come stai?
un paio d'anni fa ci siamo confrontati per il mio programma di skraper, che per motivi di trasferimento di lavoro (da roma a brescia) avevo sospeso e che con l'attuale maggiore serenità vorri riprendere.

Ho rimesso mano al codice qualche giorno fa verificando la stringa che mi avevi passato.

Se non è cambiato nulla dovrebbe ancora recuperare le info, ra cui a questo punto anche i video se presenti.

Tornerò a disturbarti nel cas oqualcosa mi fosse poco chiaro.

La repository del progetto continua ad essere pubblica e free naturalmente.

Ciao,
io di tempo libero non ne ho più quindi mi limito ad aggiornare il sito mensilmente con le decine di file xml/ini/png.

Non dovrebbe essere cambiato nulla, mentre per i video in futuro saranno modificati come contenuto in modo da essere più compatibili con i front-end. Comunque le chiamate rimangono quelle.

motoschifo ha scritto: ↑05/10/2019, 17:54 Ciao,
io di tempo libero non ne ho più quindi mi limito ad aggiornare il sito mensilmente con le decine di file xml/ini/png.

Non dovrebbe essere cambiato nulla, mentre per i video in futuro saranno modificati come contenuto in modo da essere più compatibili con i front-end. Comunque le chiamate rimangono quelle.

perfetto, faccio un test delle stringhe e ti do una voce se qualcosa non torna.

grazie come sempre

motoschifo ha scritto: ↑05/10/2019, 17:54 Ciao,
io di tempo libero non ne ho più quindi mi limito ad aggiornare il sito mensilmente con le decine di file xml/ini/png.

Non dovrebbe essere cambiato nulla, mentre per i video in futuro saranno modificati come contenuto in modo da essere più compatibili con i front-end. Comunque le chiamate rimangono quelle.

Ciao Motoskifo, come ti avevo anticipato ho rimesso un pò mano al codice e sto facendo in questi giorni un pò di chiamate, effettivamente tutto sembra rientrare in quanto avevamo concordato tempo fa.

Mi viene un dubbio su un campo che oggi non ho nel "result", ovvero l'id del game rispetto al db di arcadeitalia. Index se non ricordo male è il record rispetto alla query (nel caso ce ne fosse più di 1?). release invece, se onn ricordo male, era legato alla versione che avevi implementato (è rimasta 1).

Alla fine la domanda è banale, esiste un ID univoco rispetto al db di arcadeitalia? nel caso esistesse lo puoi aggiungere al result? Non so se ti/vi è capitato che qualcuno avesse necessità di info in più rispetto a quelle che attualmente pubblichi nella query.

Grazie come sempre.

Si ti confermo che index è un progressivo e non ha alcuna utilità, se non identificare il record di quella specifica query, mentre release serve per capire se la funzione ha subito modifiche rispetto all'ultima chiamata.
Infatti nella documentazione farò sempre riferimento a quel valore in caso di modifiche a funzioni esistenti:
http://adb.arcadeitalia.net/?page=scraper
L'utilità potrebbe essere: rispetto alla versione 1, cosa è cambiato? Oggi direi nulla, un domani per es. potrei fare la release 2 con le aggiunte che mi chiederanno altri.

Nessuno di questi però ti indica l'id univoco del gioco, che esiste solo per motivi di performance del sito.
In realtà l'id che uso internamente serve a poco perchè viaggia di pari passo con il romset, quindi mslug avrà sempre un certo valore (es. 1200) ma nel caso dovesse cambiare per esigenze interne dovrai sempre fare riferimento al nome, ovvero mslug, per trovare il gioco.

Se invece ti serve altro fammi sapere che cerco di aggiungerlo.

motoschifo ha scritto: ↑18/10/2019, 19:17 Si ti confermo che index è un progressivo e non ha alcuna utilità, se non identificare il record di quella specifica query, mentre release serve per capire se la funzione ha subito modifiche rispetto all'ultima chiamata.
Infatti nella documentazione farò sempre riferimento a quel valore in caso di modifiche a funzioni esistenti:
http://adb.arcadeitalia.net/?page=scraper
L'utilità potrebbe essere: rispetto alla versione 1, cosa è cambiato? Oggi direi nulla, un domani per es. potrei fare la release 2 con le aggiunte che mi chiederanno altri.

Nessuno di questi però ti indica l'id univoco del gioco, che esiste solo per motivi di performance del sito.
In realtà l'id che uso internamente serve a poco perchè viaggia di pari passo con il romset, quindi mslug avrà sempre un certo valore (es. 1200) ma nel caso dovesse cambiare per esigenze interne dovrai sempre fare riferimento al nome, ovvero mslug, per trovare il gioco.

Se invece ti serve altro fammi sapere che cerco di aggiungerlo.

tutto chiaro, guardando le info da browser direi che i dati che ritorni in result sono sufficienti, volevo capire se in questi 2 anni qualcuno aveva avuto altre esigenze, l'idea resta quella di fornire uno scraper gratuito che possa fornire a chiunque la possibilità di personalizzare tutta una serie di parametri che in altri non ho trovato, pagari apro un thread specifico, cosi chi è interessato a che aggiunga funzionalità, ha un riferimento.

Grazie ancora

Si ci sono state modifiche, infatti il numero di versione non lo avevo introdotto subito.
Anche il link al video Youtube, la possibilità di resize delle immagini, ecc. inizialmente non c'erano.
Diciamo però che ormai le info sono le solite e raramente qualcuno vuole fare altro, anche perchè ogni campo in più vuol dire lavoro per tenere aggiornati i dati (intendo da parte dello sviluppatore dello scraper).

Come thread avevo creato questo in cui indicavo le info per implementare le chiamate:
viewtopic.php?f=78&t=29282

Considera che quello che stai usando tu è la versione "per tutti" ma in realtà ci sono tanti punti di ingresso specifici per i vari front-end/programmi/siti. Chi aveva esigenze particolati ha la propria pagina di servizio da richiamare (Feel, ADB-Tools, Undumped Wiki, ecc.), altri si sono fatti personalizzare l'export (es. un'app per iPhone sfrutta quello), altri ancora sfruttano le liste di giochi.
Probabilmente chi sfrutta questa pagina lo fa per recuperare il video o lo snap, non sapendo magari che il tool lo può fare in maniera molto più pratica.

motoschifo ha scritto: ↑18/10/2019, 21:02 Si ci sono state modifiche, infatti il numero di versione non lo avevo introdotto subito.
Anche il link al video Youtube, la possibilità di resize delle immagini, ecc. inizialmente non c'erano.
Diciamo però che ormai le info sono le solite e raramente qualcuno vuole fare altro, anche perchè ogni campo in più vuol dire lavoro per tenere aggiornati i dati (intendo da parte dello sviluppatore dello scraper).

Come thread avevo creato questo in cui indicavo le info per implementare le chiamate:
viewtopic.php?f=78&t=29282

Considera che quello che stai usando tu è la versione "per tutti" ma in realtà ci sono tanti punti di ingresso specifici per i vari front-end/programmi/siti. Chi aveva esigenze particolati ha la propria pagina di servizio da richiamare (Feel, ADB-Tools, Undumped Wiki, ecc.), altri si sono fatti personalizzare l'export (es. un'app per iPhone sfrutta quello), altri ancora sfruttano le liste di giochi.
Probabilmente chi sfrutta questa pagina lo fa per recuperare il video o lo snap, non sapendo magari che il tool lo può fare in maniera molto più pratica.

Grande!! questo che ci fossero punti d'ingresso diversi non lo sapevo, è anche vero che in genre uso piattaforme multisistema, quindi una delle fonti principali è lo scraper francese che è abbastanza trasversale, ma che non mi ha mai soddisfatto pienamente.

Io volevo creare uno scraper che tenesse conto di N fonti dandogli una priorità cosi laddove non trova un media in una fonte va sull'altra per integrare e cosi via
un'altra caratteristica che non ho trovato è quello di aggiungere una fonte locale, nel corso degli anni si è accumulato molto materiale, perchè cercare su internet quando magari lo hai già salvato da qualche parte?
per dirne un'altra il fatto che si ricercassero sulle fonti con priorità di lingua, su ho agganciato 10 siti con servizi di scraper dare la preferenza a chi lo ha in italiano (per esempio)

motoschifo ha scritto: ↑18/10/2019, 21:02 Considera che quello che stai usando tu è la versione "per tutti" ma in realtà ci sono tanti punti di ingresso specifici per i vari front-end/programmi/siti. Chi aveva esigenze particolati ha la propria pagina di servizio da richiamare (Feel, ADB-Tools, Undumped Wiki, ecc.), altri si sono fatti personalizzare l'export (es. un'app per iPhone sfrutta quello), altri ancora sfruttano le liste di giochi.
Probabilmente chi sfrutta questa pagina lo fa per recuperare il video o lo snap, non sapendo magari che il tool lo può fare in maniera molto più pratica.

Ciao motoskifo, vorrei fare un test su un set da 2700 roms, è fattibile?
ultima cosa, in abse a quanto hai detto altri frontend effettuano le chiamate con funzioni a loro dedicate, questo in termini di performances cambia? in che modo? puoi aiutarmi a capirne i dettagli e le differenze?

Grazie

Si non vedo problemi, prova e poi vedi le risposte se arrivano o ci mettono troppo.
Le performance non cambiano con altre chiamate, dipende chi chiede cosa e di quale output ha bisogno. C'è chi vuole un solo campo, altri un check completo con testo formattato (es. un'intera pagina wiki creata in automatico da copia/incollare), ecc.
Tutto è pensato per essere sempre il più rapido e preciso possibile, incluse le pagine web o le conversioni video, non faccio differenze

motoschifo ha scritto: ↑20/10/2019, 10:32 Si non vedo problemi, prova e poi vedi le risposte se arrivano o ci mettono troppo.
Le performance non cambiano con altre chiamate, dipende chi chiede cosa e di quale output ha bisogno. C'è chi vuole un solo campo, altri un check completo con testo formattato (es. un'intera pagina wiki creata in automatico da copia/incollare), ecc.
Tutto è pensato per essere sempre il più rapido e preciso possibile, incluse le pagine web o le conversioni video, non faccio differenze

Perfetto,
alle 11,30 faccio partire il test dal lavoro (oggi diciamo si lavora). ti aggiorno sui risultati.

Grazie

update:
2681 rom tutti i dati sono stati recuperati in 219 sec, piu' di 12 al secondo.
download media (tutti quelli di cui passi i dati in result) - 2580 secondi, meno di 1 al secondo (inclusi i video per ul totale di quasi 20G di materiale).

Fossi in te collaborerei al codice di Skyscraper o di altri che già si connettono anche ad adb; magari con un nuovo adapter che tiri giù le info nella forma che vuoi.