ArcadeItalia.NET

Questa sera ero curioso di provare alcune particolarità per la prossima funzione di ricerca full-text su mameinfo, history e tutti gli altri file.
I primi esperimenti avevano dato esito positivo, ma poi alcune controindicazioni mi hanno fatto cambiare idea sul progetto originale.

In pratica sono riuscito a ricreare una ricerca dappertutto e l'ho riprodotta sui giochi presenti (meno di 45 mila record). La somma di tutti gli indici e i file a corredo portano l'intero database a superare quota 1GB, e considerando che ora siamo a poco più di 200MB direi che è un incremento notevole (le info extra sono dentro a file esterni, quindi non vengono conteggiati nel totale).

Ma il vero problema è che anche con una ricerca di questo tipo restano comunque esclusi casi comuni, come l'utilizzo dei simboli. In questo caso "pac-man" è diverso da "pacman" che è ancora diverso rispetto a "pac man". Quindi devo cambiare strada oppure generare dei testi e poi sfruttare questi indici con i termini trasformati.

Salvo tutto quanto per continuare queste prove più avanti

Week-end pieno di test...
Stamattina ho abbozzato una ricerca per nomefile, sha1 o crc (anche valori multipli).
Il problema, ancora una volta, è la dimensione del database che se fatto per tutti i giochi mai usciti inizia ad aumentare parecchio.

La prima soluzione che ho trovato è molto veloce e permette ricerche libere in centesimi di secondo, ma non sarà di certo quella finale perchè lo spazio occupato è esagerato. Infatti non ho ancora concluso il processo ma dalle prime stime dovrebbe essere circa 330GB
Questo vuol dire che solo quelle tabelle occuperebbero quanto tutto il sito, video compresi

Ho interrotto il processo di generazione dati per i file nelle rom ed ho applicato parecchie ottimizzazioni, riuscendo a ridurre fino a 2GB il contenuto delle tabelle dedicate a quella parte. Questo processo ha richiesto quasi 2 giorni in tutto.
Purtroppo è ancora una dimensione troppo elevata e devo trovare il modo di ridurlo a max 500MB, altrimenti sarà poco gestibile per via dei backup, delle generazioni mensili, ecc.

Come tempi di ricerca invece siamo a valori praticamente trascurabili, ovvero centesimi di secondo, tanto che una ricerca per romset o per nomefile ci mette lo stesso tempo per arrivare.

Spero di apportare ulteriori migliorie già nei prossimi giorni, così da dare il via all'aggiunta di questi filtri nella versione online.

Ultimati i test per le ricerche sui file del romset, ovviamente come nella tradizioni del sito sarà possibile usare il filtro per tutti i giochi mai usciti del Mame, più di 800 release.

Ho provato 4 possibili strade e alla fine la cosa migliore è usare due nuove tabelle dedicate a questa ricerca e che si popoleranno, per differenza, sui giochi modificati mensilmente come già accade per tantissimi altri campi.
Nell'ipotesi meno performante avevo un'occupazione di soli 200MB aggiuntivi ma purtroppo i tempi di ricerca erano davvero lunghi: dai 7 ai 20 secondi.
Usando giri differenti e soprattutto tabelle indicizzate, i tempi sono scesi a 0.0007 secondi che è praticamente nullo.

Questo porta però più complessità al sito (cioè devo stare più attento in diversi punti), e soprattutto fa lievitare l'occupazione del database di altri 800MB dato che il numero di record è molto elevato (13 milioni). In quel caso la tabella è formata solo da 3 campi numerici, quindi occupa molto poco, ma essendo tanti record il peso si fa sentire.
Per dare un'idea dello spazio necessario, il db oggi è di 600-700MB circa, ovvero andrà a più del doppio.

Non avendo trovato altre strade, userò questa soluzione per aggiungere i filtri al sito.
Probabilmente non ci sono altre possibilità vista la mole di dati, parliamo sempre di qualcosa che supera i 150 milioni di file diversi e già averne memorizzati "solo" 13 milioni è un'ottima cosa. Ma soprattutto i tempi di ricerca sono davvero veloci.

"E io pago"


( È una battuta eh.. prendila come tale )

Beh non ci vai tanto lontano in effetti!

Però mancano ancora i full text su history/mameinfo e l'history in italiano, con indici pure lì. Altri 150-200MB non ce li toglie nessuno

Spero di sfruttare questo periodo ricco di nuove idee voglia di sperimentare e chiudere entro agosto con entrambe le funzioni.

Pensavo di aggiornare il sito questo week-end ma l'elaborazione sta durando più del previsto.
Mancano ancora 800 mila giochi all'appello e poi ci siamo

Dopo 23 giorni di elaborazione continua, siamo arrivati a poco più del 60% di dati completati.
Questo vuol dire che ci vorranno indicativamenteo altri 10-15 giorni e che, fino al completamento di questi calcoli, non potrò aggiornare il sito con la nuova versione prevista per questi giorni...
Spero di farlo entro la metà di luglio.

Sei di ferro moto!!!

A sorpresa sono riuscito ad anticipare la fine dei lavori sulla ricerca romset e quindi l'aggiornamento alla nuova versione 0.199 del Mame.

Quindi da oggi fa capolino un'altra funzione importante, nel senso che è stata grossa e complessa da gestire
Per ciascun romset sono disponibili le informazioni di tutti i file contenuti, per tutte le release del Mame e ricercabili per nome, codice crc o sha1. Tutti e tre questi campi li trovate nella sezione DRIVER dei filtri aggiuntivi, sono presenti anche gli autocompletamenti mentre si scrive il testo e prevedono la possibilità di avere valori multipli.
Ormai i filtri aggiuntivi sono davvero tanti ed avrebbero bisogno di più spazio... ma non so come mostrarli a video in maniera più pulita

Ci sono altre piccole aggiunte nei filtri per voto medio e bestgames, che permettono ora di selezionare anche i titoli migliori (es. da "buono" in poi).

In futuro aggiungerò una pagina di ricerca solo per i file in cui ci saranno i dati mostrati in maniera migliore e con funzioni aggiuntive solo per i romset. Ancora tutta da pensare.

Questa ricerca è la seconda delle 3 grandi modifiche che avevo in programma di chiudere durante l'anno, la prima è stata la ricerca delle versioni "u". La terza è invece il full-text search su history e mameinfo.
Se poi "avanza" tempo, c'è l'history italiano ma quello è tutto un altro progetto nel progetto e forse è meglio dargli lo spazio che merita nel nuovo anno

Allego qualche screenshot per far capire meglio.

Sei impressionante!!!

Il sito ora è online ma non ho ancora i dettagli del problema che ha causato il blackout.
Appena estenderanno il disco (ora pieno) procederò all'aggiunta della versione 0.200

Ottima notizia

Nel frattempo continua anche il lavoro sulla ricerca per giochi simili, che vedono ancora 60800 link approssimativi (di cui "solo" 1377 giochi unici).
Oggi ne ho sistemati poco più di 1000 ma mensilmente mi ritaglio una decina di ore per correggerli.
La ricerca diventa quindi ogni mese più precisa e sono a all'80% del totale link presenti. Ovviamente ogni volta che il mameinfo subisce modifiche, quelli aggiunti dovranno essere controllati se la ricerca automatica non ha un riscontro preciso sul nome (la grande minoranza per fortuna).

E' una delle tante attività, insieme a traduzioni di categorie e dati dinamici, che mi occupa le fasi di aggiornamento ordinario del sito... ormai è tanta roba comunque

Che dire, un lavorone da tenere sempre sotto controllo ed in continuo aggiornamento.
Passione e competenza fusi insieme, portano a risultati evidenti e a valide certezze, senza alcun ombra di dubbio !

Tanto di cappello

Un sito spettacolare!

La prima volta che l'ho visitato sono rimasto sbalordito dalla qualità e dal dettaglio dei contenuti.

Grazie, e ci sono ancora tante cose che intendo aggiungere

Nel frattempo ieri ho aggiunto due filtri nuovi per la parte SOFTWARE, ovvero lo stato del supporto e del dump.
Mi servivano per fare alcune pagine extra dal sito e quindi ho deciso di includerli per tutti quanti.

Segnalo che RomCenter, dalla release 4 RC3, avrà anche i link al sito ADB per quanto riguarda le info dei giochi

Grande moto!