Esportazione liste giochi dal sito

[Emu]

Ciao motoschifo
Complimenti, gran bel lavoro

Ti segnalo un piccolo bug estetico, con la visualizzazione in inglese nella pagina di ricerca in alto non è tradotto DI in OF (Page 1 DI 191)

Ne approfitto per chiederti se è possibile avere nell'XML di esportazione tutti i campi disponibili sul sito in quanto mi pare che ci siano solo i campi esportati dal MAME e mancano tutti i dati aggiuntivi.

Un'altra opzione che (almeno per me) sarebbe estremamente utile è aggiungere fra i formati di esportazione anche un XML compatibile con HyperSpin
Ad oggi direi che non c'è uno strumento migliore per farsi elenchi custom di rom del MAME e poterli esportare già pronti per HS sarebbe fantastico

Emu

[motoschifo]

Correggo la dicitura grazie.

[Rettifico la risposta, avevo letto male]
L'xml contiene dati pensati per il Mame. Potrei aggiungere cose extra ma sarebbe un formato "mio", quindi non standard. Pensavi a qualche campo in particolare?

Nessun problema per aggiungere formati nuovi come un XML-HS, mi basta sapere come è fatto e lo posso replicare. Hai qualche link in cui spiegano il formato xml di HS?

[Emu]

Ciao
Si, in realtà l'esigenza attuale era quella di convertire l'xml nel formato hyperspin I campi che mancano sono Genre e Rating.

Più in generale i campi che userei pre fare vari filtri + o - custom sono:

• name
  description
  rate
  require chd (boolean)
  type
  cloneof
  manifacturer
  year
  driver
  genre
  category
  language
  input
  buttons
  players
  coins
  resolution
  orientation

Più che XML che è complesso potrebbe bastare anche un CSV. Potresti metterci direttamente tutti i campi che non sono multivalue (come le rom) ma se serve solo a me dedica il tempo ad altro.

Piuttosto avere l'XML di hyperspin sarebbe molto bello
Il formato è molto semplice, riporto di seguito un estratto:

Codice: Seleziona tutto

<?xml version="1.0"?>
<menu>
	<header>
		<listname>MAME</listname>
		<lastlistupdate>02/08/2016</lastlistupdate>
		<listversion>.160 Ongoing</listversion>
		<exporterversion>HyperList XML Exporter Version 1.3 Copywrite (c) 2009-2011 William Strong</exporterversion>
	</header>
	<game name="88games" index="true" image="'">
		<description>&apos;88 Games</description>
		<cloneof></cloneof>
		<crc></crc>
		<manufacturer>Konami</manufacturer>
		<year>1988</year>
		<genre>Sports / Track & Field</genre>
		<rating>AAMA - Green (Suitable For All Ages)</rating>
		<enabled>Yes</enabled>
	</game>
	<game name="99lstwark" index="" image="">
		<description>&apos;99: The Last War (Kyugo)</description>
		<cloneof>repulse</cloneof>
		<crc></crc>
		<manufacturer>Crux / Kyugo</manufacturer>
		<year>1985</year>
		<genre>Shooter / Gallery</genre>
		<rating>AAMA - Green (Suitable For All Ages)</rating>
		<enabled>Yes</enabled>
	</game>
	<game name="99lstwar" index="" image="">
		<description>&apos;99: The Last War (set 1)</description>
		<cloneof>repulse</cloneof>
		<crc></crc>
		<manufacturer>Crux / Proma</manufacturer>
		<year>1985</year>
		<genre>Shooter / Gallery</genre>
		<rating>AAMA - Green (Suitable For All Ages)</rating>
		<enabled>Yes</enabled>
	</game>
	<game name="99lstwara" index="" image="">
		<description>&apos;99: The Last War (set 2)</description>
		<cloneof>repulse</cloneof>
		<crc></crc>
		<manufacturer>Crux / Proma</manufacturer>
		<year>1985</year>
		<genre>Shooter / Gallery</genre>
		<rating>AAMA - Green (Suitable For All Ages)</rating>
		<enabled>Yes</enabled>
	</game>
	<game name="005" index="true" image="0">
		<description>005</description>
		<cloneof></cloneof>
		<crc></crc>
		<manufacturer>Sega</manufacturer>
		<year>1981</year>
		<genre>Maze / Shooter Small</genre>
		<rating>AAMA - Green (Suitable For All Ages)</rating>
		<enabled>Yes</enabled>
	</game>
	<game name="1on1gov" index="true" image="1">
		<description>1 on 1 Government (Japan)</description>
		<cloneof></cloneof>
		<crc></crc>
		<manufacturer>Tecmo</manufacturer>
		<year>2000</year>
		<genre>Sports / Basketball</genre>
		<rating>AAMA - Green (Suitable For All Ages)</rating>
		<enabled>Yes</enabled>
	</game>
	<game name="10yard85" index="" image="">
		<description>10-Yard Fight &apos;85 (US, Taito license)</description>
		<cloneof>10yard</cloneof>
		<crc></crc>
		<manufacturer>Irem (Taito license)</manufacturer>
		<year>1985</year>
		<genre>Sports / Amer. Football</genre>
		<rating>AAMA - Green (Suitable For All Ages)</rating>
		<enabled>Yes</enabled>
	</game>
</menu>

I giochi devono essere in ordine alfabetico per il campo description.
I campi sono abbastanza parlanti, ti spiego quelli particolari:
index va a true se il tuitolo è il primo di una determinata lettera/carattere.
image ha valore solo se index è true ed il valore è il primo carattere di description
crc serve solo per gli XML delle console (c'è l'md5)
Genre dovrebbe essere in inglese così matcha i files di hyperspin per le icone (altrimenti c'è da rinominare i files).
Rating dovrebbe avere uno di questi valori:

Codice: Seleziona tutto

AAMA - Green (Suitable For All Ages)
AAMA - Red (Animated Violence Strong)
AAMA - Red (Language Strong)
AAMA - Red (Life Like Violence Strong)
AAMA - Red (Sexual Content Strong)
AAMA - Yellow (Animated Violence Mild)
AAMA - Yellow (Language Mild)
AAMA - Yellow (Life Like Violence Mild)
AAMA - Yellow (Sexual Content Mild)
CERO - A (All Ages)
CERO - B (Ages 12+)
CERO - C (Ages 15+)
CERO - D (Ages 17+)
CERO - Z (Ages 18+)
ESRB - AO (Adults Only)
ESRB - E (Everyone)
ESRB - E10+ (Everyone 10+)
ESRB - EC (Early Childhood)
ESRB - M (Mature)
ESRB - T (Teen)
HSRS - 17 (17+)
HSRS - AD (Adult)
HSRS - GA (General Audience)
HSRS - PG (Parental Guidance)
Other - NR (Not Rated)
PEGI - 12 (Everyone 12+)
PEGI - 16 (Everyone 16+)
PEGI - 18 (Everyone 18+)
PEGI - 3 (Everyone 3+)
PEGI - 7 (Everyone 7+)

Enabled sempre a Yes

Questi sono i possibili valori di Genre (se non si rinominano i files):

Codice: Seleziona tutto

Action
Adventure
All Games
Ball & Paddle
Beat-'Em-Up
Board Games
Breakout
Card Battle
Casino
Climbing
Compilation
Driving
Educational
Fighter
Flying
Game Show
Gun
Mahjong
Mature
Maze
Mini-Games
Miscellaneous
Motorcycle
Multimedia
Party
Pinball
Platform
Puzzle
Quiz
Rhythm
Role-Playing
Shoot-'Em-Up
Shooter
Simulation
Spinner
Sports-Baseball
Sports-Basketball
Sports-Biking
Sports-Bowling
Sports-Boxing
Sports-Cricket
Sports-Fishing
Sports-Football
Sports-Futuristic
Sports-Golf
Sports-Handball
Sports-Hockey
Sports-Horse Racing
Sports-Hunting
Sports-Olympic
Sports-Pool and Dart
Sports-Rugby
Sports-Skateboarding
Sports-Skating
Sports-Skiing
Sports-Snowboarding
Sports-Soccer
Sports-Surfing
Sports-Tennis
Sports-Track & Field
Sports-Volleyball
Sports-Wakeboarding
Sports-Wrestling
Sports
Strategy
Tabletop
Trackball
Utility
Virtual Life
Water

Cmq per il genere non è un problema, come ce li hai scritti nel DB vanno bene, poi secondo me i files vanno rinominati di conseguenza.

Dici che è fattibile?

Emu

[motoschifo]

Più in generale i campi che userei pre fare vari filtri + o - custom sono...

I filtri e gli ordinamenti sono quelli della lista, visto che parliamo di un export da questa pagina. L'ordinamente in particolare ancora non si può scegliere ma verrà gestito fra 3-4 possibili valori (rom, nome gioco, ecc). In questo caso, dovrai scegliere l'ordinamento per titolo gioco.

Più che XML che è complesso potrebbe bastare anche un CSV. Potresti metterci direttamente tutti i campi che non sono multivalue (come le rom) ma se serve solo a me dedica il tempo ad altro.

Diciamo che tante cose, nate anche da una sola richiesta, si sono poi dimostrate utili.
Quindi se in poco tempo riesco ad avere un xml più vicino a quello che usi per HS lo faccio volentieri.

Il formato me lo studierò meglio perchè ci sono tante cose specifiche. Sai se posso omettere i campi vuoti (tipo crc, index, image) oppure poi il programma si arrabbia se non trova un tag o attributo xml? Normalmente non da problemi ma visto che questa cosa vale solo per HS meglio esserne sicuri.

I campi che non ho ovviamente non potranno finirci.
- index ed image li metterò quando cambierà il primo carattere del campo scelto come ordinamento
- crc non lo valorizzerò
- genre posso anche convertirlo, ho 5 campi extra che ora non uso per ciascuna categoria e mi basta la lista completa rispetto ai valori attuali (più avanti preparerò le corrispondenze tra i dati che mi hai messo sopra)
- rating invece non ce l'ho proprio. Se hai modo ti avere la lista completa, magari partendo da un xml già fatto, si possono importare anche quelli.

Anzi... mandami anche un xml completo così lo uso per fare i confronti.

Considera che l'export è sia in ricerca sia nella pagina delle liste personali. Per ora farò solo la parte di ricerca, poi in quello delle liste si potranno aggiungere ulteriori opzioni (es. ordinamento).

[motoschifo]

Ho aggiunto il tipo di export HyperSpin nella maschera di ricerca.
Puoi controllare se funziona con questo front-end?
Poi vediamo di completarlo con genre e rating...

Ricordo che gli export di grandi dimensioni ancora non sono supportati, quindi se con 30 mila giochi avete un errore è dovuto a questo limite (che spero di togliere prima o poi).

EDIT: Ho aggiornato il campo genre, quindi per l'export verrà tradotto nel corrispettivo in HyperSpin (spero di aver abbinato tutti i valori correttamente)

[Emu]

Ciao
Ho provato, esportando in INI, Text o MAME tutto OK, con ClrMame e HyperSpin ottengo questo generico errore:

E' stato rilevato un problema durante la comunicazione con il server web. Si prega di riprovare pi tardi. Se il problema persiste, contattare l'amministratore del sito. INFORMAZIONI TECNICHE AGGIUNTIVE: Parametro 1: [object Object] Parametro 2: error Parametro 3: Internal Server Error

Ho preso i filtri di default ed aggiunto solo "parent working e clone working di non parent working"

Eventualmente potresti valutare di zippare gli XML o i dat così si ridurrebbero parecchio.

Per avere dei sample la cosa migliore è che li prendi da qui http://hyperlist.hyperspin-fe.com/ che è il repository ufficiale con le ultime versioni. Ci sono tutti i sistemi non solo il MAME così se vuoi puoi farti un'idea più precisa.
Una volta davano sempre sia l'XML che il DAT ClrMame, ora purtroppo il secondo quasi mai, poter esportare dal sito ADB entrambi i formati per una medesima query custom è una figata

Ho notato ora che nel post precedente mi sono sbagliato, ho riportato i nomi dei files e non quanto scritto negli XML. Nelle categorie dove ce ne sono due come "Sports-Hockey" in realtà il separatore è slash, quindi la categoria scritta nell'XML è "Sports/Hockey"

Emu

[Emu]

E' anche possibile avere più dettagli di cosa esclude "MAMECab only"? Il top sarebbe la query/filtro esatto che usi
Sarebbe possibile filtrare i giochi per vedere solo i NON MAMECab only?

Emu

[motoschifo]

L'errore che ottieni è dovuto al timeout di 30 secondi, comune a qualsiasi pagina del sito.
Sto lavorando da diverso tempo su metodi alternativi senza penalizzare ne l'utente ne il server, e soprattutto concludere l'elaborazione nel modo corretto.
Tra le opzioni quella che mi costa meno è l'invio della mail con il link al file, ma per cose veloci è scomodo dover attendere il messaggio...

Aggiornerò solo quando avrò concluso, per ora dovete stare attenti ed esportare pochi giochi (almeno lato xml/dat, 4000 giochi sono già tantini e richiedono anche 25-30 secondi in base ai nomi e alle versioni richieste).

Probabilmente attiverò opzioni interessanti come:
- invio dei risultati via mail (opzionale)
- zip automatico per file che superano i 500k
- conteggio dei giochi in elaborazione, anche se approssimativo, con eventuale percentuale di avanzamento

E' anche possibile avere più dettagli di cosa esclude "MAMECab only"? Il top sarebbe la query/filtro esatto che usi
Sarebbe possibile filtrare i giochi per vedere solo i NON MAMECab only?

Nel tooltip ho riportato i filtri principali e nel thread sono spiegati qui.
In aggiunta a quei filtri ci sono quelli del vecchio "arcade only", ossia:

• - niente ex-Mess
  - no bios
  - no device
  - no mechanical

Non è possibile avere il filtro contrario con un solo click ma ragionando con includi/escludi e quindi invertendo le logiche. Altrimenti si usa un metodo che probabilmente in pochi conoscono: crei una lista personale con quei giochi e poi si usi il filtro in opzioni avanzate "non in lista" che mostrerà la differenza tra i due insiemi.

Ricordo comunque che i timeout che si ricevono hanno effetto solo sulla parte web, perchè sotto il server porta sempre a termine i lavori. Quindi se aggiungo 40 mila giochi ad una lista e poi vedo l'errore, mi basta attendere un po' per avere la pagina di nuovo funzionante (con tutti i giochi al loro posto ovviamente).
Questo sarà un aggiornamento importante e per quello richiede tempo

[Emu]

Grazie, ho capito.
con il mio filtro ci sono 2452 giochi ma effettivamente dopo 30 secondi arriva l'errore.
Sarebbe fattibile gestire i link di download dei files generati con un'iconcina in alto a destra analoga a quella dell'history dei giochi visti? (spero di essermi spiegato). potresti visualizzarli lì dopo averli generati, con una vita di qualche ora poi li elimini.

Altri bug però nella parte MESS:
le pagine di ricerca se vite in inglese hanno molte label in italiano.
Provando a generare una lista con i neogeo AES mi restituisce 0 giochi, altre softlist vanno.
Qui non c'è il filtro "parent working e clone working di non parent working"
Manca l'export di hyperspin...

questi lato mess sono tutti a low priority

Emu

[motoschifo]

Potrebbe essere un'idea in effetti, anche se preferisco per ora capire come evitare l'errore. Eventualmente posso indicare gli ultimi export da qualche parte, tanto i file temporanei hanno vita molto corta (poche ore).

La parte Mess non è completa ed infatti sullo sfondo ho messo l'immagine di work-in-progress. Mancano tante cose nell'export, nella ricerca e nel dettaglio. Le modifiche di queste cose vanno di pari passo con la funzione download di ADB-Tools. Nonostante abbia dedicato settimane a queste pagine, manca ancora un sacco di lavoro. La traduzione è l'ultima cosa che faccio quando cioè ritengo concluso lo sviluppo di quella parte ma nel caso della ricerca l'ho anticipata visto che grosso modo il layout è quasi definitivo.

[Emu]

Ho provato alcuni export hyperspin con meno giochi e l'xml generato mi pare corretto. Appena riesco li provo con HS per verificare vada tutto.

Alcune note sui tag:
secondo me gli unici obbligatori sono name e description, anche l'header è opzionale.
index e image vengono usati per scorrere i giochi, per saltare da una lettera ad un'altra (se abilitato in HyperHQ, altrimenti si può saltare di un numero fisso di giochi)
cloneof lo usa se si abilita in HyperHQ di mostrare solo i parent o se si abilitano i temi/video dei parent anche sui clone
crc NON lo usa
manufacturer e year vengono visualizzati a schermo da alcuni temi e da rocketlauncher mentre si avvia il gioco
genre lo usa per filtrare l'elenco dei giochi per genere (ma bisogna generare un xml per genere, mi son fatto uno script che lo fa per tutti)
rating lo usa rochetlauncher per visualizzare l'icona del rating (cerca un file con il medesimo nome) all'avvio del gioco in basso a sx
enabled non se lo fila, anche se metti No o nulla non ho notato cambiamenti....magari in versioni future di HS...

Emu

[genius77]

Ciao Emu,

potresti condividere lo script per creare i files genre? Parte dalla lista presente nel proprio mame.xml giusto?

[motoschifo]

Ok quindi alla fine direi che a parte i limiti di timeout funziona.
Ho sistemato i generi con lo slash così dovrebbero essere più simili a quelli di Hyperspin e completato i valori mancanti dopo che stamattina ho aggiornato con i nuovi catlist ita/eng.
Rating lo ignorerei vista la scarsa utilità dell'informazione.

[Emu]

Ciao Emu,

potresti condividere lo script per creare i files genre? Parte dalla lista presente nel proprio mame.xml giusto?

fatto: http://arcadeitalia.net/viewtopic.php?f=19&t=25552

Emu

[motoschifo]

Ho fatto qualche piccola modifica alla parte di export cercando di evitare il timeout dei 30 secondi.
Sembra ci sia riuscito ed ho messo il link all'ultimo file creato nella pagina di ricerca.
Quindi se si prende il solito errore non resta che attendere la fine dell'elaborazione lato server e poi si potrà scaricare il file oppure continuare a navigare nel sito.

Si tratta di una modifica fatta di fretta quindi non è definitiva, ma già questo permette di avere gli export di file grandi.
Se il giro regge allora potrò inserire al termine della procedura la compressione e quindi far scaricare lo zip.

[motoschifo]

Modifiche completate!
L'export in ricerca Mame (solo questo) ora dovrebbe supportare elaborazioni anche molto lunghe in base al numero di record effettivamente coinvolti, quindi anche sopra i 30 secondi. A video la pagina non genera errori.
Se per qualche ragione si chiude il browser, si potrà trovare il file pronto per il download appena tornati nella pagina di ricerca (ovviamente, parliamo di poco tempo al massimo qualche ora).

Se il file supera i 512KB, allora viene compresso in automatico e si ottiene un file zip.

Secondo me il giro va bene così, non aggiungerei altro (es. mail di avviso con link al file).

[motoschifo]

Aggiornata l'esportazione da liste personali, almeno la parte Mame, aggiungendo il formato HyperSpin anche qui.

Già che c'ero ho aggiunto anche il formato che utilizza FEEL (file .lst) per cui se avete necessità potete crearvi le liste partendo da una ricerca oppure da una delle vostre liste personali.

[Emu]

Ciao
Sono finalmente riuscito a provare l'XML con HyperSpin: ho colto l'occasione dell'uscita del 0.173 ed ho generato l'XML (Ho aggiunto solo l'opzione partent working e clone working di parent non working) e finalmente per la prima volta ho un MAME appena uscito con un menu perfetto senza doppioni con 4 click

Sono piacevolmente commosso

Grazie motoschifo!

Emu

P.S.
Sarebbe possibile che venisse generato con dei CRLF windows? notepad friendly...

[motoschifo]

In realtà dovrebbero già essere cr/lf per Windows. Se li apro con notepad li vedo su più righe indentati correttamente.

[Emu]

Ho riprovato anche ora a rifare l'esportazione e confermo quanto detto.
CR-LF c'è solo alla fine di ogni blocco (dopo </header> e </game>), negli altri c'è solo LF.
Di seguito uno screenshot dove ho evidenziato in blu gli LF ed in rosso i CR-LF, ed anche come si vede in notepad:

CR-LF.JPG

E' una cosa assolutamente low prioriity

Emu