Benvenuto Ospite,
per utilizzare il Forum ed avere accesso a tutte le sezioni e poter aprire un tuo Topic, rispondere nelle varie discussioni, mandare o ricevere Messaggi Privati devi seguire pochi passaggi:


Leggi il nostro Regolamento -> PREMI QUI <-
Segui il link su come Iscriversi -> PREMI QUI <-


Ricordati di aggiornare l'Avatar usando una immagine che ti distingua nel Forum

Sito web Arcade Database

Il database che raccoglie tutte le informazioni sui giochi, video, screenshot e tanto altro ancora

Moderatore: Moderatore ADB

Avatar utente
motoschifo

Gold Medal Donatore
Progetto Arcade Database
Progetto Arcade Database
Messaggi: 3308
Iscritto il: 12/07/2013, 20:29
Medaglie: 2
Città: Parma
Località: Parma
Grazie Inviati: 34 volte
Grazie Ricevuti: 40 volte
Contatta:

Re: Sito web Arcade Database

Messaggio da motoschifo »

Questa sera ero curioso di provare alcune particolarità per la prossima funzione di ricerca full-text su mameinfo, history e tutti gli altri file.
I primi esperimenti avevano dato esito positivo, ma poi alcune controindicazioni mi hanno fatto cambiare idea sul progetto originale.

In pratica sono riuscito a ricreare una ricerca dappertutto e l'ho riprodotta sui giochi presenti (meno di 45 mila record). La somma di tutti gli indici e i file a corredo portano l'intero database a superare quota 1GB, e considerando che ora siamo a poco più di 200MB direi che è un incremento notevole (le info extra sono dentro a file esterni, quindi non vengono conteggiati nel totale).

Ma il vero problema è che anche con una ricerca di questo tipo restano comunque esclusi casi comuni, come l'utilizzo dei simboli. In questo caso "pac-man" è diverso da "pacman" che è ancora diverso rispetto a "pac man". Quindi devo cambiare strada oppure generare dei testi e poi sfruttare questi indici con i termini trasformati.

Salvo tutto quanto per continuare queste prove più avanti :wink:
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 WebArcadeDatabase
Avatar utente
motoschifo

Gold Medal Donatore
Progetto Arcade Database
Progetto Arcade Database
Messaggi: 3308
Iscritto il: 12/07/2013, 20:29
Medaglie: 2
Città: Parma
Località: Parma
Grazie Inviati: 34 volte
Grazie Ricevuti: 40 volte
Contatta:

Re: Sito web Arcade Database

Messaggio da motoschifo »

Week-end pieno di test...
Stamattina ho abbozzato una ricerca per nomefile, sha1 o crc (anche valori multipli).
Il problema, ancora una volta, è la dimensione del database che se fatto per tutti i giochi mai usciti inizia ad aumentare parecchio.

La prima soluzione che ho trovato è molto veloce e permette ricerche libere in centesimi di secondo, ma non sarà di certo quella finale perchè lo spazio occupato è esagerato. Infatti non ho ancora concluso il processo ma dalle prime stime dovrebbe essere circa 330GB <-dash->
Questo vuol dire che solo quelle tabelle occuperebbero quanto tutto il sito, video compresi <-w00t-anim->
Non hai i permessi necessari per visualizzare i file allegati in questo messaggio.
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 WebArcadeDatabase
Avatar utente
motoschifo

Gold Medal Donatore
Progetto Arcade Database
Progetto Arcade Database
Messaggi: 3308
Iscritto il: 12/07/2013, 20:29
Medaglie: 2
Città: Parma
Località: Parma
Grazie Inviati: 34 volte
Grazie Ricevuti: 40 volte
Contatta:

Re: Sito web Arcade Database

Messaggio da motoschifo »

Ho interrotto il processo di generazione dati per i file nelle rom ed ho applicato parecchie ottimizzazioni, riuscendo a ridurre fino a 2GB il contenuto delle tabelle dedicate a quella parte. Questo processo ha richiesto quasi 2 giorni in tutto.
Purtroppo è ancora una dimensione troppo elevata e devo trovare il modo di ridurlo a max 500MB, altrimenti sarà poco gestibile per via dei backup, delle generazioni mensili, ecc.

Come tempi di ricerca invece siamo a valori praticamente trascurabili, ovvero centesimi di secondo, tanto che una ricerca per romset o per nomefile ci mette lo stesso tempo per arrivare.

Spero di apportare ulteriori migliorie già nei prossimi giorni, così da dare il via all'aggiunta di questi filtri nella versione online.
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 WebArcadeDatabase
Avatar utente
motoschifo

Gold Medal Donatore
Progetto Arcade Database
Progetto Arcade Database
Messaggi: 3308
Iscritto il: 12/07/2013, 20:29
Medaglie: 2
Città: Parma
Località: Parma
Grazie Inviati: 34 volte
Grazie Ricevuti: 40 volte
Contatta:

Re: Sito web Arcade Database

Messaggio da motoschifo »

Ultimati i test per le ricerche sui file del romset, ovviamente come nella tradizioni del sito sarà possibile usare il filtro per tutti i giochi mai usciti del Mame, più di 800 release.

Ho provato 4 possibili strade e alla fine la cosa migliore è usare due nuove tabelle dedicate a questa ricerca e che si popoleranno, per differenza, sui giochi modificati mensilmente come già accade per tantissimi altri campi.
Nell'ipotesi meno performante avevo un'occupazione di soli 200MB aggiuntivi ma purtroppo i tempi di ricerca erano davvero lunghi: dai 7 ai 20 secondi.
Usando giri differenti e soprattutto tabelle indicizzate, i tempi sono scesi a 0.0007 secondi che è praticamente nullo.

Questo porta però più complessità al sito (cioè devo stare più attento in diversi punti), e soprattutto fa lievitare l'occupazione del database di altri 800MB dato che il numero di record è molto elevato (13 milioni). In quel caso la tabella è formata solo da 3 campi numerici, quindi occupa molto poco, ma essendo tanti record il peso si fa sentire.
Per dare un'idea dello spazio necessario, il db oggi è di 600-700MB circa, ovvero andrà a più del doppio.

Non avendo trovato altre strade, userò questa soluzione per aggiungere i filtri al sito.
Probabilmente non ci sono altre possibilità vista la mole di dati, parliamo sempre di qualcosa che supera i 150 milioni di file diversi e già averne memorizzati "solo" 13 milioni è un'ottima cosa. Ma soprattutto i tempi di ricerca sono davvero veloci.
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 WebArcadeDatabase
Avatar utente
Tox Nox Fox

BanHammer Silver Medal Helper Donatore
Moderatore
Moderatore
Messaggi: 12458
Iscritto il: 14/01/2007, 23:35
Medaglie: 4
Grazie Inviati: 205 volte
Grazie Ricevuti: 324 volte

Re: Sito web Arcade Database

Messaggio da Tox Nox Fox »

"E io pago"
😂

( È una battuta eh.. prendila come tale )
WP.ARCADEITALIA.NET
La Guida al MameCab
Avatar utente
motoschifo

Gold Medal Donatore
Progetto Arcade Database
Progetto Arcade Database
Messaggi: 3308
Iscritto il: 12/07/2013, 20:29
Medaglie: 2
Città: Parma
Località: Parma
Grazie Inviati: 34 volte
Grazie Ricevuti: 40 volte
Contatta:

Re: Sito web Arcade Database

Messaggio da motoschifo »

Beh non ci vai tanto lontano in effetti! <-lol->

Però mancano ancora i full text su history/mameinfo e l'history in italiano, con indici pure lì. Altri 150-200MB non ce li toglie nessuno 8-)

Spero di sfruttare questo periodo ricco di nuove idee voglia di sperimentare e chiudere entro agosto con entrambe le funzioni.
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 WebArcadeDatabase
Avatar utente
motoschifo

Gold Medal Donatore
Progetto Arcade Database
Progetto Arcade Database
Messaggi: 3308
Iscritto il: 12/07/2013, 20:29
Medaglie: 2
Città: Parma
Località: Parma
Grazie Inviati: 34 volte
Grazie Ricevuti: 40 volte
Contatta:

Re: Sito web Arcade Database

Messaggio da motoschifo »

Pensavo di aggiornare il sito questo week-end ma l'elaborazione sta durando più del previsto.
Mancano ancora 800 mila giochi all'appello e poi ci siamo <-lol->
Non hai i permessi necessari per visualizzare i file allegati in questo messaggio.
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 WebArcadeDatabase
Avatar utente
motoschifo

Gold Medal Donatore
Progetto Arcade Database
Progetto Arcade Database
Messaggi: 3308
Iscritto il: 12/07/2013, 20:29
Medaglie: 2
Città: Parma
Località: Parma
Grazie Inviati: 34 volte
Grazie Ricevuti: 40 volte
Contatta:

Re: Sito web Arcade Database

Messaggio da motoschifo »

Dopo 23 giorni di elaborazione continua, siamo arrivati a poco più del 60% di dati completati.
Questo vuol dire che ci vorranno indicativamenteo altri 10-15 giorni e che, fino al completamento di questi calcoli, non potrò aggiornare il sito con la nuova versione prevista per questi giorni...
Spero di farlo entro la metà di luglio.
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 WebArcadeDatabase
Avatar utente
SparrowJ

Donatore
Moderatore F.E.E.L.
Moderatore F.E.E.L.
Messaggi: 1479
Iscritto il: 03/05/2017, 10:22
Medaglie: 1
Città: Napoli
Grazie Inviati: 15 volte
Grazie Ricevuti: 30 volte

Re: Sito web Arcade Database

Messaggio da SparrowJ »

Sei di ferro moto!!! :)
Avatar utente
motoschifo

Gold Medal Donatore
Progetto Arcade Database
Progetto Arcade Database
Messaggi: 3308
Iscritto il: 12/07/2013, 20:29
Medaglie: 2
Città: Parma
Località: Parma
Grazie Inviati: 34 volte
Grazie Ricevuti: 40 volte
Contatta:

Re: Sito web Arcade Database

Messaggio da motoschifo »

A sorpresa sono riuscito ad anticipare la fine dei lavori sulla ricerca romset e quindi l'aggiornamento alla nuova versione 0.199 del Mame.

Quindi da oggi fa capolino un'altra funzione importante, nel senso che è stata grossa e complessa da gestire 8-)
Per ciascun romset sono disponibili le informazioni di tutti i file contenuti, per tutte le release del Mame e ricercabili per nome, codice crc o sha1. Tutti e tre questi campi li trovate nella sezione DRIVER dei filtri aggiuntivi, sono presenti anche gli autocompletamenti mentre si scrive il testo e prevedono la possibilità di avere valori multipli.
Ormai i filtri aggiuntivi sono davvero tanti ed avrebbero bisogno di più spazio... ma non so come mostrarli a video in maniera più pulita <-on_confused->

Ci sono altre piccole aggiunte nei filtri per voto medio e bestgames, che permettono ora di selezionare anche i titoli migliori (es. da "buono" in poi).

In futuro aggiungerò una pagina di ricerca solo per i file in cui ci saranno i dati mostrati in maniera migliore e con funzioni aggiuntive solo per i romset. Ancora tutta da pensare.

Questa ricerca è la seconda delle 3 grandi modifiche che avevo in programma di chiudere durante l'anno, la prima è stata la ricerca delle versioni "u". La terza è invece il full-text search su history e mameinfo.
Se poi "avanza" tempo, c'è l'history italiano ma quello è tutto un altro progetto nel progetto e forse è meglio dargli lo spazio che merita nel nuovo anno <-Gelato->

Allego qualche screenshot per far capire meglio.
Non hai i permessi necessari per visualizzare i file allegati in questo messaggio.
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 WebArcadeDatabase
Avatar utente
SparrowJ

Donatore
Moderatore F.E.E.L.
Moderatore F.E.E.L.
Messaggi: 1479
Iscritto il: 03/05/2017, 10:22
Medaglie: 1
Città: Napoli
Grazie Inviati: 15 volte
Grazie Ricevuti: 30 volte

Re: Sito web Arcade Database

Messaggio da SparrowJ »

Sei impressionante!!!
Avatar utente
motoschifo

Gold Medal Donatore
Progetto Arcade Database
Progetto Arcade Database
Messaggi: 3308
Iscritto il: 12/07/2013, 20:29
Medaglie: 2
Città: Parma
Località: Parma
Grazie Inviati: 34 volte
Grazie Ricevuti: 40 volte
Contatta:

Re: Sito web Arcade Database

Messaggio da motoschifo »

Il sito ora è online ma non ho ancora i dettagli del problema che ha causato il blackout.
Appena estenderanno il disco (ora pieno) procederò all'aggiunta della versione 0.200 <-thumbup->
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 WebArcadeDatabase
Avatar utente
Tox Nox Fox

BanHammer Silver Medal Helper Donatore
Moderatore
Moderatore
Messaggi: 12458
Iscritto il: 14/01/2007, 23:35
Medaglie: 4
Grazie Inviati: 205 volte
Grazie Ricevuti: 324 volte

Re: Sito web Arcade Database

Messaggio da Tox Nox Fox »

Ottima notizia
WP.ARCADEITALIA.NET
La Guida al MameCab
Avatar utente
motoschifo

Gold Medal Donatore
Progetto Arcade Database
Progetto Arcade Database
Messaggi: 3308
Iscritto il: 12/07/2013, 20:29
Medaglie: 2
Città: Parma
Località: Parma
Grazie Inviati: 34 volte
Grazie Ricevuti: 40 volte
Contatta:

Re: Sito web Arcade Database

Messaggio da motoschifo »

Nel frattempo continua anche il lavoro sulla ricerca per giochi simili, che vedono ancora 60800 link approssimativi (di cui "solo" 1377 giochi unici).
Oggi ne ho sistemati poco più di 1000 ma mensilmente mi ritaglio una decina di ore per correggerli.
La ricerca diventa quindi ogni mese più precisa e sono a all'80% del totale link presenti. Ovviamente ogni volta che il mameinfo subisce modifiche, quelli aggiunti dovranno essere controllati se la ricerca automatica non ha un riscontro preciso sul nome (la grande minoranza per fortuna).

E' una delle tante attività, insieme a traduzioni di categorie e dati dinamici, che mi occupa le fasi di aggiornamento ordinario del sito... ormai è tanta roba comunque <-w00t-anim->
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 WebArcadeDatabase
Avatar utente
MacGyver

Donatore
God of Arcade
God of Arcade
Messaggi: 2680
Iscritto il: 01/09/2015, 13:28
Medaglie: 1
Città: Torino
Località: Pinerolo
Grazie Inviati: 60 volte
Grazie Ricevuti: 83 volte

Re: Sito web Arcade Database

Messaggio da MacGyver »

Che dire, un lavorone da tenere sempre sotto controllo ed in continuo aggiornamento.
Passione e competenza fusi insieme, portano a risultati evidenti e a valide certezze, senza alcun ombra di dubbio !

Tanto di cappello <-clap->
Avatar utente
alucard

Donatore
Affezionato
Affezionato
Messaggi: 279
Iscritto il: 02/12/2017, 16:19
Medaglie: 1
Città: MotherEarth
Grazie Inviati: 5 volte
Grazie Ricevuti: 15 volte

Re: Sito web Arcade Database

Messaggio da alucard »

Un sito spettacolare!

La prima volta che l'ho visitato sono rimasto sbalordito dalla qualità e dal dettaglio dei contenuti.
Avatar utente
motoschifo

Gold Medal Donatore
Progetto Arcade Database
Progetto Arcade Database
Messaggi: 3308
Iscritto il: 12/07/2013, 20:29
Medaglie: 2
Città: Parma
Località: Parma
Grazie Inviati: 34 volte
Grazie Ricevuti: 40 volte
Contatta:

Re: Sito web Arcade Database

Messaggio da motoschifo »

Grazie, e ci sono ancora tante cose che intendo aggiungere <-on_idea->
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 WebArcadeDatabase
Avatar utente
motoschifo

Gold Medal Donatore
Progetto Arcade Database
Progetto Arcade Database
Messaggi: 3308
Iscritto il: 12/07/2013, 20:29
Medaglie: 2
Città: Parma
Località: Parma
Grazie Inviati: 34 volte
Grazie Ricevuti: 40 volte
Contatta:

Re: Sito web Arcade Database

Messaggio da motoschifo »

Nel frattempo ieri ho aggiunto due filtri nuovi per la parte SOFTWARE, ovvero lo stato del supporto e del dump.
Mi servivano per fare alcune pagine extra dal sito e quindi ho deciso di includerli per tutti quanti.
Non hai i permessi necessari per visualizzare i file allegati in questo messaggio.
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 WebArcadeDatabase
Avatar utente
motoschifo

Gold Medal Donatore
Progetto Arcade Database
Progetto Arcade Database
Messaggi: 3308
Iscritto il: 12/07/2013, 20:29
Medaglie: 2
Città: Parma
Località: Parma
Grazie Inviati: 34 volte
Grazie Ricevuti: 40 volte
Contatta:

Re: Sito web Arcade Database

Messaggio da motoschifo »

Segnalo che RomCenter, dalla release 4 RC3, avrà anche i link al sito ADB per quanto riguarda le info dei giochi <-thumbup->
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 WebArcadeDatabase
Avatar utente
Tox Nox Fox

BanHammer Silver Medal Helper Donatore
Moderatore
Moderatore
Messaggi: 12458
Iscritto il: 14/01/2007, 23:35
Medaglie: 4
Grazie Inviati: 205 volte
Grazie Ricevuti: 324 volte

Re: Sito web Arcade Database

Messaggio da Tox Nox Fox »

Grande moto!
WP.ARCADEITALIA.NET
La Guida al MameCab
Rispondi

Torna a “Progetto Arcade Data Base”