Differenze liste mame

[edge33]

Ciao, sto provando a generare delle liste di roms utilizzando progetto Emma e Arcadedbitalia

utilizzando entrambi i siti, con gli stessi filtri ottengo risultati diversi, mi piacerebbe capire come mai...
il link della ricerca per progetto emma è

Codice: Seleziona tutto

http://www.progettoemma.net/index.php?lista=&romset=&version=&versiontop=.139&devfilter=yes&biosfilter=no&mechfilter=no&risorsa=all&working=tutti&lett=

per arcadedbitalia è

Codice: Seleziona tutto

http://adb.arcadeitalia.net/?search=mame&arcade_only=0&current_version=0&tipo_vista=tabella&emulator_from=523&emulator_to=523

[motoschifo]

Posso risponderti per ADB e tentare di capire la ricerca di ProgettoEmma.

Su ADB non hai messo filtri, ovvero dovrebbero uscire tutti i giochi della versione 0.139 (anche bios, device, ecc).
Su PE invece è indicato che la ricerca filtra i device (ed immagino pure i bios).

Per quanto riguarda i numeri posso dirti che ADB legge i dati complessivi e poi rimuove ciò che non era presente in quella specifica versione che hai indicato (o anche range di versioni). In passato accadeva spesso che alcune release del Mame uscissero senza qualche gioco, poi reintegrato subito dopo. Di questa cosa non c'era traccia nelle note di rilascio, immagino fosse un errore o una dimenticanza.

La versione 0.139 aveva 8831 romset totali, ed ora devo capire che fine hanno fatto quei 9 che non escono nella ricerca.
Invece più di 10 mila titoli esclusi i device non ha alcun senso, proprio perchè al massimo (device inclusi) dovrebbero essere 8831.

Però tieni presente che ProgettoEmma memorizza solo l'ultima release del Mame e quindi è probabile che successivamente siano stati reintegrati giochi come spiegato più sopra. Quindi i numeri sono sicuramente corretti solo se prendi l'ultima versione del sito (credo sia la 0.181).

Cercherò di fare ulteriori indagini, perchè anche se il numero di romset è piccolo abbiamo un titolo su 1000 che sparisce

EDIT:
Facendo un rapido controllo le cose sono ancora più complesse, ci deve essere un errore su PE.
Infatti anche se alcuni titoli sono stati rimossi in quella versione, non vedo 11beat nella lista dei titoli trovati quando invece nella scheda dice che parte dalla versione 0.91 ed è in effetti presente nella 0.139.

[motoschifo]

Ho trovato l'elenco dei giochi non inclusi, ovvero questi:

Codice: Seleziona tutto

demonwld4
hyperbbck
nibblera
souledgea
tekken2a
tekken2b
tekken3a
tekken3b
tekkenb

La spiegazione è che durante l'aggiornamento alla 0.186, c'era stato un problema ed avevo dovuto ricaricare un backup di qualche ora prima. Non mi sono accorto però che avevo escluso alcune rom che mi davano problemi e poi mi ero dimenticato di rimetterle a posto. Le rom in realtà ci sono sempre state, solo che erano posticipate di qualche versione dell'emulatore e quindi non apparivano.
Oltre queste 9 ce ne sono altre, 22 in totale:

Codice: Seleziona tutto

nibblera
kingofbj
nebulbee
tekkenb
tekken2a
tekken2b
roboarma
tekken3a
tekken3b
gepoker3
hyperbbck
demonwld4
souledgea
pps4
st0016
z80sio
sderby2
c1571cr
cdp1801
ti998_oso
z80sio_channel
petshopa

Così facendo il numero di rom totali risulta ora 8835, quindi ce ne sono 4 in più che non dovrebbero entrare nella lista.
Qui però credo sia colpa delle versioni intermedie, approfondisco poi se trovo la soluzione avviso in questo thread.

Rifaccio i controlli con questi dati aggiornati per capire quei 4 perchè sono finiti in lista.

[motoschifo]

Ok capito, in effetti avevo qualche sospetto...
I romset alieni sono questi:

Codice: Seleziona tutto

gepoker3
kingofbj
nebulbee
roboarma

E mi aspetto che qualcuno di loro sia anche in altre release del Mame, quindi la ricerca non è precisa al 100%. I casi errati dovrebbero essere pochi (spero una manciata) ma quando ci sono rename e rilasci sbagliati (es. vecchissimi Mame), alla fine qualcosina può scappare.

Ho chiaro come risolvere ma ci vuole un po' di tempo, non so se riesco a farlo ora.
In pratica dopo il grande aggiornamento di qualche mese fa sugli emulatori "u", per tutte le rom interessate ho corretto la prima release in cui era presente quel gioco. Ma facendo così non ho poi "informato" altre tabelle che si occupano di gestire le eccezioni.
Questo è quel famoso caso in cui il gioco non era presente nel Mame ma in realtà avrebbe dovuto esserci, visto che il whatsnew.txt non riporta nulla per quei nomi.
Devo schedulare una verifica, dovrei avere tutte le routine già scritte e controllate, ma prima di lanciarle sul sito vorrei provarle in locale dato che mercoledi c'è il nuovo aggiornamento alla 0.188.

Mi faccio vivo quando ho corretto, nel frattempo se hai domande sui filtri da usare fammelo sapere. Al netto di quei pochi casi (4 romset su 9000) direi che le ricerche sono quasi perfette.

[edge33]

ottimo grazie delle delucidazioni e del lavoro che stai svolgendo, nel frattempo ti spiego cosa vorrei fare,
Sto cercando di generare una lista dei soli titoli che mi interessano da usare per feel e per hyperspin, inizialmente pensavo di utilizzare progetto emma, poi ho vista che adb ha la funzionalità di ricerca, e facendo delle prove, ho notato queste discrepanze di valori.

lascio tutto in attesa finchè non sarà corretto

[motoschifo]

Ok, quando hai la tua lista trovi le funzioni di export sia per Feel che per Hyperspin, pulsante OPZIONI -> ESPORTA LISTA.
Per le correzioni minori appena conclude la verifica ti faccio sapere. Questo tipo di errori viene corretto mensilmente dopo ogni import del renameset.ini, quindi dovrebbe sparire a fine della prossima settimana (oppure direttamente stasera).

[motoschifo]

La versione 0.139 è stata sistemata, ora l'update sta interessando le ultime release e dovrebbe man mano correggere il giro fino a chiudere il lavoro tra un'oretta circa.
Come previsto le correzioni sono state proprio quelle spiegate sopra, ovvero titoli non gestiti nell'eseguibile ma presenti nelle versioni precedenti e successive (quindi molto probabilmente un bug del Mame).

Sembra complesso, ed in effetti lo è, ma il fatto di avere tutte le versioni del Mame introduce tante variabili e casistiche molto particolari

[motoschifo]

Ho fatto ulteriori indagini prendendo il db di oggi dopo gli aggiornamenti e confrontando i giochi presenti ed esclusi dalla versione 0.139: ti confermo che le ricerche sono ora corrette al 100%, inclusi i giochii non presenti per bug del Mame.

Poi ho controllato meglio su ProgettoEmma e nella descrizione di quella ricerca dice che ci sono tutti i giochi aggiunti fino alla versione 0.139. La stessa ricerca sul mio sito restituisce una trentina di giochi in più, quindi anche qui i numeri non tornano.
Se sei interessato ti suggerisco di chiedere spiegazioni all'autore, magari ci toglie i dubbi

Comunque se vuoi scremare i giochi non interessanti (casino, slot machine, sistemi non arcade, device, meccanici, ecc.) puoi usare il flag MameCAB che è presente nei filtri.
In aggiunta puoi usare lo stato del driver, che trovi sempre nei filtri avanzati alla voce "emulazione". Ti consiglio i valori funzionanti o funzionanti+difettosi, così togli tutto ciò che non va.

[edge33]

ottimo grazie mille, se posso permettermi, avrei un paio di curiosità:
1) con un progetto così vasto come mame, come fai ad essere sicuro che la ricerca sia corretta al 100% e che i risultati siano sempre coerenti con la realtà?
2) curiosità da sviluppatore, in linea di massima, che schema usi del db, come sono indicizzate le roms?

[motoschifo]

Il Mame è vasto, ma è ben organizzato.
Considera che ho tutti i file per ciascuna release uscita, quindi dall'xml gamelist/softwarelist genero l'elenco dei giochi come nome e come id interno al db. Da lì faccio query per capire i nomi e le associazioni con lo storico. Le due query di controllo di cui ti accennavo sopra sono anche belle grosse, proprio per evitare di dimenticarsi qualcosa (parliamo di sql sopra i 100k per darti un'idea).
Quello guida tutto quanto, poi ci sono altri flag che cerco con grep ed altri strumenti simili, un po' di manualità ed il resto è solo verifica puntuale (a volte lunghissima).

Per le versioni intermedie (le "u") sto ricompilando tutto dai sorgenti e per ciascun devo ricreare l'ambiente dell'epoca, quindi per es. macchine con XP e compilatori/librerie molto vecchie. Quello si che è lungo... l'ho iniziato un anno fa e sono a metà circa

Lato server c'è php e mysql, una manciata di tabelle (saranno 20 o 30) ed una struttura complessa ma studiata appositamente per gestire una quantità dati molto grande.

Se sei programmatore e vuoi approfondire la cosa, leggiti un po' del thread principale che trovi qui:
viewtopic.php?f=78&t=20535
L'ho usato come diaro/log e spesso mi serviva per fare mente locale/rivedere alcune impostazioni. Inoltre è stato molto utile anche per confrontarsi con gli "utenti".

La lista delle cose da fare è lunghissima, non penso di arrivarci in fondo visto che è un hobby, ad ogni molto l'ultima aggiunta mi è piaciuta molto. Si tratta della configurazione di un sistema. Trovi la sezione "Personalizza il sistema" in ogni scheda Mame: http://adb.arcadeitalia.net/?mame=c64, divertiti a vedere quante cose sono indicate dentro all'xml del Mame.
Altra cosa che mi è piaciuta fare è stato il tema Windows 10, molto diverso dal tema classico e per questo divertente.

Il nuovo anno dovrebbe portare ricerche full-text e su tutti i file dentro alle rom, ma lì avrò bisogno di controllare bene la base dati perchè già ora non scherza come dimensioni.
A contorno del sito ci sono tutta una serie di tool che ho fatto io e che possono servire per verificare la bontà dei dati, oltre ad un backup giornaliero che non guasta mai.
Inoltre tutti gli import (saranno una settantina di file ogni mese) sono prima verificati e poi inseriti. E' un doppio lavoro (automatico) che ho voluto proprio per evitare problemi. Per es. alcuni file ini tempo fa erano sbagliati e quella prima fase si è fermata. Ho informato l'autore, che li ha corretti e ripubblicati, e poi ripreso l'import. Ogni immagine o manuale, dopo l'import, è storicizzata e quel titolo è segnato come "da controllare", con le indicazione di cosa è cambiato (visivamente io da admin vedo le risorse con un bordo rosso che le evidenzia). Appena premo su "tutto ok", il titolo torna a posto e viene rimosso dalla lista.
Non faccio sempre tutto in una volte e questa gestione di liste/todo/stati mi serve proprio per consolidare piccole pezzettini.
Nella pagina MAME trovi anche il dettaglio di tutte le importazioni eseguite fin dalla prima release.

La certezza assoluta non esiste mai per definizione, ma fino ad oggi tutti i controlli fatti sono stati passati. Ciò non toglie che domani potrei trovare un errore enorme a cui non avevo pensato, e questo thread lo dimostra ampiamente!

EDIT
Dimenticavo: la cosa più interessante fino ad oggi è stato il progetto VideoSnaps, perchè in rete non esisteva (e non esiste tutt'ora) nulla di simile in qualità e versatilità (chiunque può contribuire e fare video in pochi minuti). Ed è tutto gratuito, non serve nemmeno registrarsi.