MAME - Pulizia rom

[DigDug]

Io avevo messo tutto il malloppazzo di rom e mi ero semplicemente fatto una lista di preferiti. Così non sono stato a pastrocchiare col rischio di tagliare qualcosa di buono.

Dovessi ricominciare ora mi copierei solo le rom del preferiti. Poi dovessi scoprire altri giochi meritevoli li copio singolarmente e stop.

[Mr. Pumpkin]

Sto cercando di dare una sfoltita a questo mega set che mi trovo, della 106pro. Ma ancora una volta, Shrink mi fa impazzire. Dopo aver selezionato in base a varie categorie i giochi che voglio rimuovere, vengo devastato da una serie di finestre come questa, che mi impedisce di rimuovere il suddetto titolo. Ovviamente dando ok la finestra insiste, sempre con nome di giochi diversi. Come se non me li volesse far cancellare.... NO SENSE sta cosa. In passato non mi aveva dato questi problemi Shrink. Eppure dovrebbero essere facilissime come operazioni da fare... non capisco che vuole perchè fa cosi. Provato su svariate categorie (nei menu a tendina a destra). Per diversi titoli fa cosi, restano sempre. Molti altri li leva (cioè sposta nella cartella removed). Ma sto errore non lo capisco!!

[motoschifo]

Prova a pulire la cartella di eliminazione 0-REMOVED, forse se il file è già presente da un errore. Non ricordo questa parte, o meglio avrebbe dovuto sovrascrivere i file senza richiesta.

[motoschifo]

Ho colto l'occasione per rifare il programma in ottica più moderna, almeno lato programmazione.
Vedremo il risultato tra qualche settimana e magari userò la base per continuare in futuro ADB-Tools.

Inviato dal mio M2101K7AG utilizzando Tapatalk

[Mr. Pumpkin]

Ho colto l'occasione per rifare il programma in ottica più moderna, almeno lato programmazione.
Vedremo il risultato tra qualche settimana e magari userò la base per continuare in futuro ADB-Tools.

Inviato dal mio M2101K7AG utilizzando Tapatalk

GRANDE!! Non vedo l'ora di vedere la nuova veste!! Ma solo estetica o cambia anche qualcosina?? Se aggiungi quella particolarità che dissi, di evidenziare solo la categoria della seleziona a destra sei un grande.

[motoschifo]

No cambierà tutto, anche i meccanismi di selezione e visualizzazione

[Mr. Pumpkin]

No cambierà tutto, anche i meccanismi di selezione e visualizzazione

AAaaaaa non vedo l'ora!! Quasi quasi era meglio se non lo dicevi prima, e lo tiravi fuori all'improvviso. Aspetto con trepidazione. TOP

[motoschifo]

In realtà le modifiche al programma non si sono mai fermate nel tempo, o meglio ogni mese facevo qualcosina che allineava alcune caratteristiche agli altri programmi che ho: ADB-Tools e ProgettoSnap-Tool.
Da lì ho riutilizzato tutta la logica di lettura degli xml di tutte le versioni del Mame, qualcosa che in effetti non è così semplice e che ora viene condivisa tra tutti i tool scritti in C# (per quelli in php la questione è diversa).
Quindi la base è la lettura degli xml senza problemi, con le gestioni della release specifica (ci sono almeno una dozzina di comportamenti diversi in base al numero di release).
Detto questo, nel tempo ho portato il programma all'ultima release possibile di .Net legacy e sto perfezionando la gestione dei filtri.
Alcuni dei limiti del vecchio programma derivavano dalla pesantezza degli xml del Mame, che costringe ad inventarsi voli pindarici per non far scoppiare tutto.

Allego qualche screenshot dell'avanzamento lavori, al termine comunque pubblicherò anche i sorgentei su github.

[Mr. Pumpkin]

Azz, mi sembra completamente diverso!!! Occorrerà una piccola spiegazione/guida per gestirlo al meglio. Spero

[motoschifo]

I lavori proseguono ma ci sono ancora tante cose mancanti da fare.
Pubblico una versione preliminare se volete fare qualche esperimento, mi raccomando fate sempre dei backup o lavorate su set "sacrificabili".

Tra le cose che mancano: selezione per genere/categoria, lettura snap ed integrazione con il sito.
Dovrei anche gestire la parte del tipo di set merged/splitted ma quello lo farò per ultimo.
Al momento la configurazione del percorso rom può avvenire dal mame.ini, ma la pulizia prende tutti gli altri file dalla cartella del Mame.
In futuro abiliterò il repository su github per tutti e quindi gestirò lì la compilazione di nuove release.

Qui trovate gli eseguibili:
https://drive.google.com/file/d/1gz9Kky ... sp=sharing

Il programma è stato completamente riscritto e condivide librerie con altri tool, quindi potrà gestire qualsiasi release del Mame (presente e passata) senza problemi sui nomi dei nodi Xml o le varianti che ci sono susseguite nel tempo.

[Mr. Pumpkin]

Appena ho tempo provo a fare qualche prova. Anche se senza snaps sarà un po impiccioso

[motoschifo]

Sono andato un po' avanti con qualche funzione:
- lettura delle immagini da file su disco
- lettura di tutte le opzioni dal mame.ini (cartelle snap, configurazioni, ecc)
- abilitazione alla lettura del sito web
- recupero delle categorie, dei generi e dell'attributo "mamecab". Presto anche le versioni e qualche altra info (sempre dal sito)
- funzioni di pulizia avanzate: spostamento dati in altra cartella (con gestione di conflitti dei nomi se ci sono più cartelle di rom), spostamento nel cestino, cancellazione definitiva

I prossimi step saranno:
- lettura snap dal sito, se non presente in locale
- migliorata e velocizzata la parte di lettura dati
- completato la lettura di tutto il file xml, per il momento uso solo le sezioni principali ma tecnicamente ho tutti i dati (es. dischi, rom, dip-switch, configurazioni, ecc)
- gestione chiamate al sito in maniera tale da poter includere più funzioni ed integrazioni, ovviamente senza compromettere le funzioni offline
- spostati ed aggiunti alcuni filtri, migliore disposizione e selezione (mancano ancora categoria e genere)
- traduzione in inglese (il programma è molto richiesto anche dall'estero, quindi tanto vale tradurre quel centinaio di parole che ci sono ed offrire un servizio migliore per tutti)

Dato che la creazione e pubblicazione degli exe non è sempre agevole, e dato che il tempo è sempre poco, la prossima cosa che farò sarà quella di abilitare il repositoty github pubblico con sorgenti e generazione automatica eseguibile. Questo mi permette di fare piccole modifiche e rilasciarle subito, oppure di correggere funzioni in maniera molto più rapida. In altre parole per ricevere news sulle versioni dovrete controllare github (manualmente o registrandovi) e potete scaricarvi in autonomia gli exe.
Non prevedo un tasto di upgrade automatico, è una di quelle funzioni che non mi piace attivare e che richiede sempre tanto lavoro, e che non è mai esente da difetti.

Comunque, per essere un programma nato negli anni 90 sembra mantenersi ancora in forma

[motoschifo]

Ho creato il repository pubblico, vuoto, e sto man mano sistemando i vari file per poter gestire le cose nel modo "standard".
In particolare ho cambiato il salvataggio delle opzioni, quindi niente più file ini che fanno tanto vintage, i log e i nomi delle variabili/funzioni interne. In pratica sta diventando un'applicazione moderna, ovviamente limitata all'ultimo framework disponibile in questo ambiente (net48).
Ho anche rivisto la logica di filtro per evitare rallentamenti eccessivi, ed ho trovato un modo per gestire i dati del sito senza impazzire.
Il menu dei filtri prima era disegnato manualmente a design-time, questo voleva dire modifiche continue in caso di spostamenti o variazioni. Oggi invece viene creato al volo grazie ad una struttura in memoria, quindi posso gestire raggruppamenti o cambi spostando poche righe di codice e posso disabilitare i filtri che necessitano della connessione ad internet se non è disponibile in quel momento.

Inizialmente pensavo di riciclare la logica dei file ini categorie/generi/versioni, ma poi ripensandoci ho preferito togliere tutto in quanto "complicata" da gestire viste le troppe varianti del Mame.
Adesso la logica è questa:
- carico il file xml, gestendo ogni possibile variante tramite librerie comuni a più tool (sempre fatti da me ma essendo comuni saranno anche meno soggette a problemi)
- se disponibile leggo i dati dal sito ADB
- applico i filtri in base a logiche decise in accordo con il sito

Questo porta ad un "grande" problema: il Mame avanza ogni mese, ed ogni mese cambiano i nomi delle rom. Un set che oggi è platform potrebbe domani diventare puzzle o addirittura mechanical. In questo modo ho il genere applicato all'ultima release, e sarà un problema da gestire. Però mette al riparo da cambi di nomi o correzioni future, cosa che prima non era prevista. Inoltre aspetti speciali come mamecab si/no o display orizzontale/verticale, potranno essere gestiti centralmente e non soggetti ad errori (o corretti una volta sola per tutti).
Dovrò essere bravo io a trovare il modo di gestire questa casistica speciale.

Però così facendo non dovrò chiedere altri file, sarà tutto più gestibile e per quei cab che non hanno la connessione ad internet basterà lanciare il programma da un pc e poi spostare la cartella tramite usb: la lettura dei dati viene messa in cache e caricata solo se diversa, nel caso di pc offline sarà usata quella in cache.

Altra funzione che ho aggiunto è quella del controllo del set durante la cancellazione, tutta ancora da testare ma che avvisa di eventuali problemi rimuovendo file.
Questo vuol dire che cancellando neogeo si riceve un avviso (opzionale) se nel set sono ancora presenti mslug,mslug2 o anche i driver richiesti da neogeo. Il controllo è pesante su un set grande, quindi l'ho reso opzionale, poi uno è libero di cancellare ciò che vuole.
Questa fase di verifica al momento ha un output testuale ma potrebbe un domani essere integrata nella griglia tramite un'icona di avviso oppure in una lista più strutturata in cui poter decidere se selezionare i mancanti o togliere i richiesti/opzionali.

I percorsi di tutti i file vengono letti dal mame.ini, quindi non sarà più necessario indicarne di custom se il Mame funziona correttamente. Mi riferisco a tutti i file supportati dal Mame, quindi snapshot, config, inp, ecc.
Nel caso di vecchie versioni non ho ancora provato ma lascierò sempre la possibilità di impostarli manualmente, almeno sulle rom, ed userò i default come snap/ini/cfg.

Punto fondamentale, ho cambiato l'approccio con le release: oggi viene marcata come beta, ma dalla prima release non userò più questa dicitura e tutte le release saranno "beta" nel senso che non esisterà una versione di test ed una di produzione. Dato che il tempo è sempre poco, se ci sono problemi correggo e rilascio. Sarà l'utente a decidere di aggiornare in funzione delle note di rilascio che pubblicherò. Quindi se non ci sono motivi utili, come nuove funzioni o fix di errori, nessuno vieta di continuare ad usare una vecchia release se funziona ancora.
Il forum serve anche a questo, vivere di aggiornamenti continui e poi magari lamentarsi di un errore, non ha molto senso. Meglio aggiornare consapevolmente, al massimo in futuro avviserò di fix importanti ma non è previsto al momento.

Appena disponibile la prima release avviso, in un mesetto dovrei arrivarci...

[pucci]

una cosa fondamentale sarà gestire gli insiemi e le operazioni tra questi

1) applica il primo filtro e ottieni set 1
2) applica il secondo filtro e ottieni set 2
3) unisci set 1 e set 2 e ottieni set 3
4) applica il terzo filtro e ottieni set 4
5) sottrai set 4 da set 3
6) ...

[motoschifo]

In questo caso non serve, il tool è dedicato alla pulizia "semplice", ovvero ogni volta che applichi un filtro vengono aggiunti o tolti gli insiemi che hai scelto di considerare.
Potendo procedere a step, l'ideale è lavorare a piccoli passi e poi in caso di problemi tornare indietro.

Ad esempio se vuoi tenere solo i parent working (e tutti i bios/device):
1) selezioni tutti i cloni -> pulisci
2) selezioni tutti i non funzionanti/imperfetti -> pulisci
con insiemi così grandi o incompleti (es. parent+cloni) il rischio è di togliere qualcosa di troppo.
Se un bios è tra i non funzionanti, viene rimosso (da qui la necessità di un controllo prima della pulizia).

Magari potrei aggiungere filtri speciali, come parent working, ma questo dopo che il programma sarà rodato.
Come scritto sopra i menu dei filtri sono facilmente pilotabili da poche istruzioni, quindi non sarà un grosso problema farlo.

[motoschifo]

Si parte!
Ho creato il repository pubblico e la build automatica dei pacchetti a 32 e 64 bit, accessibile da tutti senza alcuna registrazione:
https://github.com/motoschifo/mame-shrink

Il pacchetto diventerà multilingua abbastanza presto, come del resto ormai è prassi per chi sviluppa codice, e anche nel sorgente userò commenti in inglese anzichè italiano.
In questo modo chiunque potrà prendere spunto, non solo noi italiani.

Per controllare se ci sono aggiornamenti potete verificare qui:
https://github.com/motoschifo/mame-shrink/releases

Come accennato nei giorni scorsi, le release non avranno cadenza regolare ma in base al momento potrò decidere di crearne una per piccoli fix o per nuove funzioni, cercando ovviamente di non rompere nulla. I changelog comunque conterranno qualche info a riguardo e sul forum farò presente eventuali notizie in merito.
Se avete un account su guthub potete iscrivervi al rilascio di nuove versioni.

Esiste anche un sistema di segnalazione bug/richieste di modifiche su github ma direi che per noi il forum è il posto ideale. Sicuramente però per utenti stranieri sarà più facile chiedere informazioni o poter copiare il sorgente.

Questa versione non riporta diciture come alfa o beta, parte dalla 3.0 e proseguirà con 3.1, 3.2, ecc.
Per il momento l'ho lanciata solo sulla versione 0.273 del Mame, sicuramente non funzionerà bene per le versioni molto vecchie dove manca l'exe (cioè non è lanciabile, non è compatibile o non ha i parametri giusti), sistemerò appena farò altri test e riscontrerò errori.

Era da un paio di anni che stavo covando queste modifiche, un passettino alla volta sono partito dal vecchio programma e l'ho completamente riscritto. Ma solo ultimamente ho deciso di pubblicarla e di renderlo fruibile.
Anche se non sembra, ci sono settimane di lavoro e tante ore di studio/prove per arrivare a questo punto. Da diversi mesi sto cercando di centralizzare in librerie e di usare dei nomi e pattern di programmazione standard, così da incentivare anche altri a farlo o a contribuire. Ad esempio è presente all'interno una parte per leggere il sito web ADB in un modo "corretto", senza quindi dare fastidio ad altri, senza impadronirsi della banda e soprattutto rispettando eventuali errori segnalati senza riprovare continuamente a scaricare cose che non esisteranno mai (gli scraper da questo punto di vista sono massacranti, a volte mi chiedo chi scrive questi programmi).

Dopo questo lungo post, direi che potete divertirvi a provarlo.
Le compilazioni saranno per entrambe le piattaforme 32 e 64 bit ed automatiche.
Anche ADB-Tools seguirà lo stesso percorso, non so ancora quando ma lì le cose sono molto più complesse...


Piccola nota per i più tecnici: dentro ai sorgenti ci sono 2 progetti condivisi per un mini SDK (lettura dati dal sito ADB) e per la lettura degli XML del Mame. Sono librerie ancora giovani, comunque asincrone e "moderne", che sto usando in tutti i miei lavori relativi al Mame e che ovviamente riceveranno aggiornamenti e fix. Per scelta questo client e tutte le librerie sono limitate al framework .net 4.8, dovrebbero quindi funzionare anche in un sistema XP anche se non l'ho ancora provato. Per lavoro invece sono su .net core da anni (ora principalmente 8.0 e 9.0 con blazor) e se ce ne sarà bisogno farò anche le versioni core o distribuirò le librerie tramite pacchetti nuget. Un passo alla volta però, per il momento non serve.

[SuperMagoAlex]

Ciao, premetto che non sono espertissimo di questi programmi, in passato ho usato clrmame per farmi una lista di 3000 giochi partendo da un set merged da caricare sul cabinato.
Ho selezionato una cartella in Opzioni percorsi/pulizia in cui spostare le rom ma non me la salva, cioè se clicco su Salva e poi riapro Opzioni e percorsi non mantiene il salvataggio.
Inoltre volevo selezionare Mamecab e Emulati correttamente, ma credo che al momento si possa applicare un solo filtro alla volta. E' corretto?
Thx!

[motoschifo]

I filtri funzionano tutti, se continua a riaprirsi la pagina delle opzioni vuol dire che non sta salvando le preferenze.
Scompatta in una cartella locale e riprova, io ho fatto la stessa cosa su un sistema di test e non ho trovato problemi.
Nella cartella logs dovrebbe esserci un file con informazioni aggiuntive, se non c'è nemmeno quello allora non riesce a scrivere alcun file.
Strano comunque perchè ricordavo di mostrare gli avvisi più gravi.

[motoschifo]

Pubblicata la 3.1 con correzioni nel ridimensionamento, sistemati alcuni filtri/ordinamenti e portata più compatibilità con le versioni vecchie del Mame (0.100-0.150)