Sito web Arcade Database

[AntoPISA]

[motoschifo]

Ieri sera stavo per aggiornare alla nuova release del Mame, quando nella fretta prima di uscire ho sovrascritto per errore qualche cartella delle immagini.
Purtroppo me ne sono accorto troppo tardi, al termine dell'upload.
Stamattina inizio il ripristino del backup del mese scorso, ci vorrà un pochino, parliamo di 500GB e di milioni di file, quindi prima di aggiornare alla 0.257 voglio essere sicuro di non aver rotto nulla.
Intanto che copio il backup su macchina virtuale faccio il download di quello che c'è ora così da confrontare tutte le cartelle, poi caricherò le differenze.

Per fortuna è successo prima del sync mensile del backup, altrimenti sarebbe stata dura ricostruire la storia.
Questo episodio però mi ricorda che i backup sono fondamentali...

Dei 6 milioni di file, sono meno di 500 mila quelli da controllare, quindi spero di non metterci troppo tempo.

[Rockman84]

Grazie per tutto il (grande) lavoro che fai

[motoschifo]

situazione ripristinata, dopo cena riprendo con l'aggiornamento alla 0.257

[cybermat]

@motoschifo

Quando io esporto una lista, dopo aver applicato i miei filtri, c'è quel menu a tendina "Versione" dopo puoi selezionare la versione del mame. Posso lasciarlo su "Seleziona" e in quel caso cosa fa ? Se la ricerca è eseguita sull'ultimo mame (al momento che scrivo 259) , che senso avrebbero tutte quelle entry che vedo ?

[motoschifo]

In quel caso non altera il romset che ha ottenuto dalla ricerca, quindi rimarrà 0.259 e puoi evitare di indicarlo.
La versione decide anche alcuni dettagli sul formato di file.
Es. con xml usa nomi di nodi diversi prima della release 0.162, o attributi non validi su vecchie release intermedie.

Inviato dal mio cabinato utilizzando Tapatalk

[motoschifo]

Dopo parecchio tempo ho rimesso mano a qualche file del sito, ma il lavoro è ancora lontano dall'essere completo.
Non faccio più promesse ormai, ho capito che il tempo "libero" non tornerà più quindi dovrò prendermelo io ogni tanto con la forza

Ad ogni modo oggi ho rilasciato una nuova API per il recupero di tutte le tipologie di immagini disponibili.
Lo scraping è stato ottimizzato per evitare di disturbare database e processore quindi almeno quelle risorse non sono più un collo di bottiglia, anche se la cpu è sempre al massimo.

Non so se riuscirò a mantenere questa funzione attiva per tutti, ma proprio in occasione di queste modifiche si è aggiunto alla lista Mame4Droid. Negli ultimi giorni mi sono scambiato messaggi con il suo sviluppatore Seleuco:
https://github.com/seleuco/MAME4droid-2024

La versione pubblicata da lui include già queste chiamate.

[Gothrek]

Dopo parecchio tempo ho rimesso mano a qualche file del sito, ma il lavoro è ancora lontano dall'essere completo.
Non faccio più promesse ormai, ho capito che il tempo "libero" non tornerà più quindi dovrò prendermelo io ogni tanto con la forza

Ad ogni modo oggi ho rilasciato una nuova API per il recupero di tutte le tipologie di immagini disponibili.
Lo scraping è stato ottimizzato per evitare di disturbare database e processore quindi almeno quelle risorse non sono più un collo di bottiglia, anche se la cpu è sempre al massimo.

Non so se riuscirò a mantenere questa funzione attiva per tutti, ma proprio in occasione di queste modifiche si è aggiunto alla lista Mame4Droid. Negli ultimi giorni mi sono scambiato messaggi con il suo sviluppatore Seleuco:
https://github.com/seleuco/MAME4droid-2024

La versione pubblicata da lui include già queste chiamate.

queste sono le notizie che mi mettono di buonumore, subito da implementare!!!

documentazione sul sito per la chiamata?

[motoschifo]

Query_mame_media se ricordo bene

Inviato dal mio cabinato utilizzando Tapatalk

[mett83]

lungi da me fare il rompibolle, e estraneo del fatto se sia o meno la sezione/tread giusto dove segnalare questa cosa, mi permetto di segnalare appunto una "inesattezza" che ho risontrato sul sito riguardo all'hokuto no ken fighting mania. Alla sezione monitor è scritto che l'uscita vga supporta i 30khz, io ho attaccato un monitor pc in vga da 30khz ma non funziona, uguale un altro utente in rete che ho contattato perchè ne ha 2. Preso la solita uscita dalla jamma presente nel cab e tutto ok. Premettendo che non ho avuto modo di fare altre prove con altri monitor VGA (magari dedicati) a 30khz o imputantdo al fatto di aver un monitor "errato" per la mia macchina. Cmq non è l'unica soluzione quella del VGA, e si può usare quella per un monitor arcade normalissimo.
Sperando di aver fatto cosa gradita ringrazio per il mega lavorone che c'è dietro a tutta la struttura

[pucci]

Quel dato eventualmente sbagliato non dipende dal sito ma dal codice sorgente del MAME. Il sito recupera i dati da MAME

Inviato dal mio LE2113 utilizzando Tapatalk

[motoschifo]

Alla sezione monitor è scritto che l'uscita vga supporta i 30khz, io ho attaccato un monitor pc in vga da 30khz ma non funziona

L'informazione riportata nella scheda del sito viene ricavata da una formula, modificata e corretta nel tempo, ma comunque ci sono casi speciali in cui non si applica e probabilmente questo è uno di quelli.
Questo ed altri parametri saranno in futuro gestiti in maniera più precisa, comunque in questo caso se riesci a capire la frequenza corretta poi aggiorno il sito.

Quel dato eventualmente sbagliato non dipende dal sito ma dal codice sorgente del MAME. Il sito recupera i dati da MAME

Il Mame non fornisce quel dato, avevo aggiunto io un valore sulla base di calcoli. Secondo me ne avevamo parlato in un altro thread anni fa.

[pucci]

Mi viene il dubbio che la formula te l'avessi fornita io.
In ogni caso quella si basa su dati ufficiali MAME

Inviato dal mio LE2113 utilizzando Tapatalk

[motoschifo]

Inizialmente no, poi l'abbiamo modificata ed infine non siamo riusciti a migliorarla ulteriormente... comunque ora il campo è staccato dal Mame, quindi in caso di modifiche posso correggere.

In futuro gestirò altri campi in questo modo perchè ci sono casi simili, come per esempio il numero di tasti: https://mametesters.org/view.php?id=8062
L'iter sarà questo:
- in caso di nuovo romset il valore viene recuperato da una formula partendo dai dati dell'xml
- in caso di modifica, se il nuovo valore risulta diverso, sarà segnalato per la modifica previa validazione (manuale)
- dal sito web potrò modificare alcuni dati senza dover entrare sul database
Manterrò anche il dato proveniente dall'xml e lo indicherò nella pagina, giusto per avere un riferimento ufficiale.
Oggi invece il 90% dei dati viene preso dall'xml senza porsi troppe domande e le eventuali modifiche manuali vengono sovrascritte alla release seguente.

[motoschifo]

In questo periodo in cui ho rilasciato il nuovo MameShrink e in cui sto ripensando alcune logiche, mi è venuto in mente di continuare anche il lavoro del sito.
È fermo da diversi mesi ormai, inizialmente pubblicato in prova (adb 2.0) ma poi mai continuato.
Quella parte per il momento la lascio lì, ma nel frattempo sto mettendo mano alle chiamate scraper e tools (che poi è il motivo di questa riscrittura).
Lo sto strutturando come api più standard rispetto a prima, ovvero url e dati restituiti, quindi in futuro dovrò rimettere mano a tutta la logica scraper.

Ecco un'anteprima:

Codice: Seleziona tutto

/api/mame/categories
/api/mame/mslug/info
/api/mame/mslug/media
/api/status
...

Le risposte avranno una parte comune come oggi (tipo release, error, data) e poi il contenuto vero e proprio.

Questo mi sta permettendo di spostare pezzi di codice e di rinnovarli un po', specialmente i file più datati, per sfruttare le funzioni avanzate di PHP e alleggerire il carico del server in alcuni punti.
È presto per parlarne, ma passata la fase di test farò una fase di parallelo tra i due metodi e poi toglierò le vecchie chiamate.

[motoschifo]

Ok, il progetto è stato ufficialmente ripreso ed ho creato il mio ambiente locale sul nuovo pc, sfruttando soluzioni più moderne (vscode, docker, github e pattern vari).
Adesso posso iniziare a cambiare piccole parti dietro le quinte per migliorare il sito giorno dopo giorno.
Nel caso vi farò sapere se ci saranno novità di rilievo, è un lavoro molto lungo e spero di non fare troppe pause nel frattempo

[motoschifo]

Sto iniziando a pulire qualcosina nelle api per togliere in futuro opzioni come resize/use_parent, e mi sono accorto di una vecchia funzione che forse non ho mai pubblicizzato.
@Gothrek per caso la stai ancora usando?
http://adb.arcadeitalia.net/service_database.php

L'avevo fatta per te ma poi probabilmente non l'ho mai detto ad altri.
È del 2020, tutte cose già sostituite nella nuova gestione. Nel caso fammi sapere che ti spiego come chiamare quelle nuove.

Anche altri pezzi stanno per essere eliminati, come tutta la struttura di comunicazione tra tool e sito per generare videosnaps, ormai non più gestibile. Eventualmente farò qualcosa di nuovo in futuro se proprio servirà.

[Gothrek]

@motoschifo
ciao caro,
si mi interessa ancora, come posso fare chiamate alternative per ottenere gli stessi risultati?

[motoschifo]

Ok allora la preparo e poi ti avviso.
Ecco un esempio dei risultati che otterrai:
http://adb.arcadeitalia.net/api/classifications/genre
http://adb.arcadeitalia.net/api/classif ... s/category
http://adb.arcadeitalia.net/api/classif ... anguage=it
http://adb.arcadeitalia.net/api/classif ... anguage=it

Se lavori in C# net48, puoi sfruttare la mia dll così devi solo fare una chiamata di questo tipo:

Codice: Seleziona tutto

var adbGenres = await ClassificationsService.Get(classificationType: ClassificationType.Genre, language: GetCurrentLanguage());
Console.WriteLine($"Found {adbGenres.Data.Count} genres");
foreach (var genre in adbGenres.Data.OrderBy(x => x.Title))
{
	Console.WriteLine($"- {genre.Title}");
}

La dll ed altro sarà compilata in automatico qui:
https://github.com/motoschifo/mame-tools

Dammi il tempo di buttare giù qualcosa così eviti lo sbattimento di dover configurare url e webclient.

[Gothrek]

si ancora in 4.8, la scarico
grazie, trovo il tutto molto utile per il mio scraper