Progetto VideoSnaps

Il database che raccoglie tutte le informazioni sui giochi, video, screenshot e tanto altro ancora

Moderatore: Moderatore ADB

Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 4847
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 17 volte
Grazie Ricevuti: 272 volte

Re: Progetto VideoSnaps

Messaggio da Gothrek »

motoschifo ha scritto: 05/10/2019, 17:54 Ciao,
io di tempo libero non ne ho più quindi mi limito ad aggiornare il sito mensilmente con le decine di file xml/ini/png.

Non dovrebbe essere cambiato nulla, mentre per i video in futuro saranno modificati come contenuto in modo da essere più compatibili con i front-end. Comunque le chiamate rimangono quelle.
perfetto, faccio un test delle stringhe e ti do una voce se qualcosa non torna.

grazie come sempre
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 4847
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 17 volte
Grazie Ricevuti: 272 volte

Re: Progetto VideoSnaps

Messaggio da Gothrek »

motoschifo ha scritto: 05/10/2019, 17:54 Ciao,
io di tempo libero non ne ho più quindi mi limito ad aggiornare il sito mensilmente con le decine di file xml/ini/png.

Non dovrebbe essere cambiato nulla, mentre per i video in futuro saranno modificati come contenuto in modo da essere più compatibili con i front-end. Comunque le chiamate rimangono quelle.
Ciao Motoskifo, come ti avevo anticipato ho rimesso un pò mano al codice e sto facendo in questi giorni un pò di chiamate, effettivamente tutto sembra rientrare in quanto avevamo concordato tempo fa.

Mi viene un dubbio su un campo che oggi non ho nel "result", ovvero l'id del game rispetto al db di arcadeitalia. Index se non ricordo male è il record rispetto alla query (nel caso ce ne fosse più di 1?). release invece, se onn ricordo male, era legato alla versione che avevi implementato (è rimasta 1).

Alla fine la domanda è banale, esiste un ID univoco rispetto al db di arcadeitalia? nel caso esistesse lo puoi aggiungere al result? Non so se ti/vi è capitato che qualcuno avesse necessità di info in più rispetto a quelle che attualmente pubblichi nella query.

Grazie come sempre.
Avatar utente
motoschifo

Gold Medal Donatore
Progetto Arcade Database
Progetto Arcade Database
Messaggi: 3271
Iscritto il: 12/07/2013, 20:29
Medaglie: 2
Città: Parma
Località: Parma
Grazie Inviati: 32 volte
Grazie Ricevuti: 31 volte
Contatta:

Re: Progetto VideoSnaps

Messaggio da motoschifo »

Si ti confermo che index è un progressivo e non ha alcuna utilità, se non identificare il record di quella specifica query, mentre release serve per capire se la funzione ha subito modifiche rispetto all'ultima chiamata.
Infatti nella documentazione farò sempre riferimento a quel valore in caso di modifiche a funzioni esistenti:
http://adb.arcadeitalia.net/?page=scraper
L'utilità potrebbe essere: rispetto alla versione 1, cosa è cambiato? Oggi direi nulla, un domani per es. potrei fare la release 2 con le aggiunte che mi chiederanno altri.

Nessuno di questi però ti indica l'id univoco del gioco, che esiste solo per motivi di performance del sito.
In realtà l'id che uso internamente serve a poco perchè viaggia di pari passo con il romset, quindi mslug avrà sempre un certo valore (es. 1200) ma nel caso dovesse cambiare per esigenze interne dovrai sempre fare riferimento al nome, ovvero mslug, per trovare il gioco.

Se invece ti serve altro fammi sapere che cerco di aggiungerlo.
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 WebArcadeDatabase
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 4847
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 17 volte
Grazie Ricevuti: 272 volte

Re: Progetto VideoSnaps

Messaggio da Gothrek »

motoschifo ha scritto: 18/10/2019, 19:17 Si ti confermo che index è un progressivo e non ha alcuna utilità, se non identificare il record di quella specifica query, mentre release serve per capire se la funzione ha subito modifiche rispetto all'ultima chiamata.
Infatti nella documentazione farò sempre riferimento a quel valore in caso di modifiche a funzioni esistenti:
http://adb.arcadeitalia.net/?page=scraper
L'utilità potrebbe essere: rispetto alla versione 1, cosa è cambiato? Oggi direi nulla, un domani per es. potrei fare la release 2 con le aggiunte che mi chiederanno altri.

Nessuno di questi però ti indica l'id univoco del gioco, che esiste solo per motivi di performance del sito.
In realtà l'id che uso internamente serve a poco perchè viaggia di pari passo con il romset, quindi mslug avrà sempre un certo valore (es. 1200) ma nel caso dovesse cambiare per esigenze interne dovrai sempre fare riferimento al nome, ovvero mslug, per trovare il gioco.

Se invece ti serve altro fammi sapere che cerco di aggiungerlo.
tutto chiaro, guardando le info da browser direi che i dati che ritorni in result sono sufficienti, volevo capire se in questi 2 anni qualcuno aveva avuto altre esigenze, l'idea resta quella di fornire uno scraper gratuito che possa fornire a chiunque la possibilità di personalizzare tutta una serie di parametri che in altri non ho trovato, pagari apro un thread specifico, cosi chi è interessato a che aggiunga funzionalità, ha un riferimento.

Grazie ancora
Avatar utente
motoschifo

Gold Medal Donatore
Progetto Arcade Database
Progetto Arcade Database
Messaggi: 3271
Iscritto il: 12/07/2013, 20:29
Medaglie: 2
Città: Parma
Località: Parma
Grazie Inviati: 32 volte
Grazie Ricevuti: 31 volte
Contatta:

Re: Progetto VideoSnaps

Messaggio da motoschifo »

Si ci sono state modifiche, infatti il numero di versione non lo avevo introdotto subito.
Anche il link al video Youtube, la possibilità di resize delle immagini, ecc. inizialmente non c'erano.
Diciamo però che ormai le info sono le solite e raramente qualcuno vuole fare altro, anche perchè ogni campo in più vuol dire lavoro per tenere aggiornati i dati (intendo da parte dello sviluppatore dello scraper).

Come thread avevo creato questo in cui indicavo le info per implementare le chiamate:
viewtopic.php?f=78&t=29282

Considera che quello che stai usando tu è la versione "per tutti" ma in realtà ci sono tanti punti di ingresso specifici per i vari front-end/programmi/siti. Chi aveva esigenze particolati ha la propria pagina di servizio da richiamare (Feel, ADB-Tools, Undumped Wiki, ecc.), altri si sono fatti personalizzare l'export (es. un'app per iPhone sfrutta quello), altri ancora sfruttano le liste di giochi.
Probabilmente chi sfrutta questa pagina lo fa per recuperare il video o lo snap, non sapendo magari che il tool lo può fare in maniera molto più pratica.
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 WebArcadeDatabase
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 4847
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 17 volte
Grazie Ricevuti: 272 volte

Re: Progetto VideoSnaps

Messaggio da Gothrek »

motoschifo ha scritto: 18/10/2019, 21:02 Si ci sono state modifiche, infatti il numero di versione non lo avevo introdotto subito.
Anche il link al video Youtube, la possibilità di resize delle immagini, ecc. inizialmente non c'erano.
Diciamo però che ormai le info sono le solite e raramente qualcuno vuole fare altro, anche perchè ogni campo in più vuol dire lavoro per tenere aggiornati i dati (intendo da parte dello sviluppatore dello scraper).

Come thread avevo creato questo in cui indicavo le info per implementare le chiamate:
viewtopic.php?f=78&t=29282

Considera che quello che stai usando tu è la versione "per tutti" ma in realtà ci sono tanti punti di ingresso specifici per i vari front-end/programmi/siti. Chi aveva esigenze particolati ha la propria pagina di servizio da richiamare (Feel, ADB-Tools, Undumped Wiki, ecc.), altri si sono fatti personalizzare l'export (es. un'app per iPhone sfrutta quello), altri ancora sfruttano le liste di giochi.
Probabilmente chi sfrutta questa pagina lo fa per recuperare il video o lo snap, non sapendo magari che il tool lo può fare in maniera molto più pratica.
Grande!! questo che ci fossero punti d'ingresso diversi non lo sapevo, è anche vero che in genre uso piattaforme multisistema, quindi una delle fonti principali è lo scraper francese che è abbastanza trasversale, ma che non mi ha mai soddisfatto pienamente.

Io volevo creare uno scraper che tenesse conto di N fonti dandogli una priorità cosi laddove non trova un media in una fonte va sull'altra per integrare e cosi via
un'altra caratteristica che non ho trovato è quello di aggiungere una fonte locale, nel corso degli anni si è accumulato molto materiale, perchè cercare su internet quando magari lo hai già salvato da qualche parte?
per dirne un'altra il fatto che si ricercassero sulle fonti con priorità di lingua, su ho agganciato 10 siti con servizi di scraper dare la preferenza a chi lo ha in italiano (per esempio)
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 4847
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 17 volte
Grazie Ricevuti: 272 volte

Re: Progetto VideoSnaps

Messaggio da Gothrek »

motoschifo ha scritto: 18/10/2019, 21:02 Considera che quello che stai usando tu è la versione "per tutti" ma in realtà ci sono tanti punti di ingresso specifici per i vari front-end/programmi/siti. Chi aveva esigenze particolati ha la propria pagina di servizio da richiamare (Feel, ADB-Tools, Undumped Wiki, ecc.), altri si sono fatti personalizzare l'export (es. un'app per iPhone sfrutta quello), altri ancora sfruttano le liste di giochi.
Probabilmente chi sfrutta questa pagina lo fa per recuperare il video o lo snap, non sapendo magari che il tool lo può fare in maniera molto più pratica.
Ciao motoskifo, vorrei fare un test su un set da 2700 roms, è fattibile?
ultima cosa, in abse a quanto hai detto altri frontend effettuano le chiamate con funzioni a loro dedicate, questo in termini di performances cambia? in che modo? puoi aiutarmi a capirne i dettagli e le differenze?

Grazie
Avatar utente
motoschifo

Gold Medal Donatore
Progetto Arcade Database
Progetto Arcade Database
Messaggi: 3271
Iscritto il: 12/07/2013, 20:29
Medaglie: 2
Città: Parma
Località: Parma
Grazie Inviati: 32 volte
Grazie Ricevuti: 31 volte
Contatta:

Re: Progetto VideoSnaps

Messaggio da motoschifo »

Si non vedo problemi, prova e poi vedi le risposte se arrivano o ci mettono troppo.
Le performance non cambiano con altre chiamate, dipende chi chiede cosa e di quale output ha bisogno. C'è chi vuole un solo campo, altri un check completo con testo formattato (es. un'intera pagina wiki creata in automatico da copia/incollare), ecc.
Tutto è pensato per essere sempre il più rapido e preciso possibile, incluse le pagine web o le conversioni video, non faccio differenze :wink:
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 WebArcadeDatabase
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 4847
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 17 volte
Grazie Ricevuti: 272 volte

Re: Progetto VideoSnaps

Messaggio da Gothrek »

motoschifo ha scritto: 20/10/2019, 10:32 Si non vedo problemi, prova e poi vedi le risposte se arrivano o ci mettono troppo.
Le performance non cambiano con altre chiamate, dipende chi chiede cosa e di quale output ha bisogno. C'è chi vuole un solo campo, altri un check completo con testo formattato (es. un'intera pagina wiki creata in automatico da copia/incollare), ecc.
Tutto è pensato per essere sempre il più rapido e preciso possibile, incluse le pagine web o le conversioni video, non faccio differenze :wink:
Perfetto,
alle 11,30 faccio partire il test dal lavoro (oggi diciamo si lavora). ti aggiorno sui risultati.

Grazie

update:
2681 rom tutti i dati sono stati recuperati in 219 sec, piu' di 12 al secondo.
download media (tutti quelli di cui passi i dati in result) - 2580 secondi, meno di 1 al secondo (inclusi i video per ul totale di quasi 20G di materiale).
Ultima modifica di Gothrek il 20/10/2019, 13:11, modificato 2 volte in totale.
Avatar utente
alucard

Donatore
Affezionato
Affezionato
Messaggi: 277
Iscritto il: 02/12/2017, 16:19
Medaglie: 1
Città: Ceprano
Grazie Inviati: 5 volte
Grazie Ricevuti: 15 volte

Re: Progetto VideoSnaps

Messaggio da alucard »

Fossi in te collaborerei al codice di Skyscraper o di altri che già si connettono anche ad adb; magari con un nuovo adapter che tiri giù le info nella forma che vuoi.
Rispondi

Torna a “Progetto Arcade Data Base”