ArcadeItalia.NET

motoschifo ha scritto: ↑05/10/2019, 17:54 Ciao,
io di tempo libero non ne ho più quindi mi limito ad aggiornare il sito mensilmente con le decine di file xml/ini/png.

Non dovrebbe essere cambiato nulla, mentre per i video in futuro saranno modificati come contenuto in modo da essere più compatibili con i front-end. Comunque le chiamate rimangono quelle.

perfetto, faccio un test delle stringhe e ti do una voce se qualcosa non torna.

grazie come sempre

motoschifo ha scritto: ↑05/10/2019, 17:54 Ciao,
io di tempo libero non ne ho più quindi mi limito ad aggiornare il sito mensilmente con le decine di file xml/ini/png.

Non dovrebbe essere cambiato nulla, mentre per i video in futuro saranno modificati come contenuto in modo da essere più compatibili con i front-end. Comunque le chiamate rimangono quelle.

Ciao Motoskifo, come ti avevo anticipato ho rimesso un pò mano al codice e sto facendo in questi giorni un pò di chiamate, effettivamente tutto sembra rientrare in quanto avevamo concordato tempo fa.

Mi viene un dubbio su un campo che oggi non ho nel "result", ovvero l'id del game rispetto al db di arcadeitalia. Index se non ricordo male è il record rispetto alla query (nel caso ce ne fosse più di 1?). release invece, se onn ricordo male, era legato alla versione che avevi implementato (è rimasta 1).

Alla fine la domanda è banale, esiste un ID univoco rispetto al db di arcadeitalia? nel caso esistesse lo puoi aggiungere al result? Non so se ti/vi è capitato che qualcuno avesse necessità di info in più rispetto a quelle che attualmente pubblichi nella query.

Grazie come sempre.

Si ti confermo che index è un progressivo e non ha alcuna utilità, se non identificare il record di quella specifica query, mentre release serve per capire se la funzione ha subito modifiche rispetto all'ultima chiamata.
Infatti nella documentazione farò sempre riferimento a quel valore in caso di modifiche a funzioni esistenti:
http://adb.arcadeitalia.net/?page=scraper
L'utilità potrebbe essere: rispetto alla versione 1, cosa è cambiato? Oggi direi nulla, un domani per es. potrei fare la release 2 con le aggiunte che mi chiederanno altri.

Nessuno di questi però ti indica l'id univoco del gioco, che esiste solo per motivi di performance del sito.
In realtà l'id che uso internamente serve a poco perchè viaggia di pari passo con il romset, quindi mslug avrà sempre un certo valore (es. 1200) ma nel caso dovesse cambiare per esigenze interne dovrai sempre fare riferimento al nome, ovvero mslug, per trovare il gioco.

Se invece ti serve altro fammi sapere che cerco di aggiungerlo.

motoschifo ha scritto: ↑18/10/2019, 19:17 Si ti confermo che index è un progressivo e non ha alcuna utilità, se non identificare il record di quella specifica query, mentre release serve per capire se la funzione ha subito modifiche rispetto all'ultima chiamata.
Infatti nella documentazione farò sempre riferimento a quel valore in caso di modifiche a funzioni esistenti:
http://adb.arcadeitalia.net/?page=scraper
L'utilità potrebbe essere: rispetto alla versione 1, cosa è cambiato? Oggi direi nulla, un domani per es. potrei fare la release 2 con le aggiunte che mi chiederanno altri.

Nessuno di questi però ti indica l'id univoco del gioco, che esiste solo per motivi di performance del sito.
In realtà l'id che uso internamente serve a poco perchè viaggia di pari passo con il romset, quindi mslug avrà sempre un certo valore (es. 1200) ma nel caso dovesse cambiare per esigenze interne dovrai sempre fare riferimento al nome, ovvero mslug, per trovare il gioco.

Se invece ti serve altro fammi sapere che cerco di aggiungerlo.

tutto chiaro, guardando le info da browser direi che i dati che ritorni in result sono sufficienti, volevo capire se in questi 2 anni qualcuno aveva avuto altre esigenze, l'idea resta quella di fornire uno scraper gratuito che possa fornire a chiunque la possibilità di personalizzare tutta una serie di parametri che in altri non ho trovato, pagari apro un thread specifico, cosi chi è interessato a che aggiunga funzionalità, ha un riferimento.

Grazie ancora

Si ci sono state modifiche, infatti il numero di versione non lo avevo introdotto subito.
Anche il link al video Youtube, la possibilità di resize delle immagini, ecc. inizialmente non c'erano.
Diciamo però che ormai le info sono le solite e raramente qualcuno vuole fare altro, anche perchè ogni campo in più vuol dire lavoro per tenere aggiornati i dati (intendo da parte dello sviluppatore dello scraper).

Come thread avevo creato questo in cui indicavo le info per implementare le chiamate:
viewtopic.php?f=78&t=29282

Considera che quello che stai usando tu è la versione "per tutti" ma in realtà ci sono tanti punti di ingresso specifici per i vari front-end/programmi/siti. Chi aveva esigenze particolati ha la propria pagina di servizio da richiamare (Feel, ADB-Tools, Undumped Wiki, ecc.), altri si sono fatti personalizzare l'export (es. un'app per iPhone sfrutta quello), altri ancora sfruttano le liste di giochi.
Probabilmente chi sfrutta questa pagina lo fa per recuperare il video o lo snap, non sapendo magari che il tool lo può fare in maniera molto più pratica.

motoschifo ha scritto: ↑18/10/2019, 21:02 Si ci sono state modifiche, infatti il numero di versione non lo avevo introdotto subito.
Anche il link al video Youtube, la possibilità di resize delle immagini, ecc. inizialmente non c'erano.
Diciamo però che ormai le info sono le solite e raramente qualcuno vuole fare altro, anche perchè ogni campo in più vuol dire lavoro per tenere aggiornati i dati (intendo da parte dello sviluppatore dello scraper).

Come thread avevo creato questo in cui indicavo le info per implementare le chiamate:
viewtopic.php?f=78&t=29282

Considera che quello che stai usando tu è la versione "per tutti" ma in realtà ci sono tanti punti di ingresso specifici per i vari front-end/programmi/siti. Chi aveva esigenze particolati ha la propria pagina di servizio da richiamare (Feel, ADB-Tools, Undumped Wiki, ecc.), altri si sono fatti personalizzare l'export (es. un'app per iPhone sfrutta quello), altri ancora sfruttano le liste di giochi.
Probabilmente chi sfrutta questa pagina lo fa per recuperare il video o lo snap, non sapendo magari che il tool lo può fare in maniera molto più pratica.

Grande!! questo che ci fossero punti d'ingresso diversi non lo sapevo, è anche vero che in genre uso piattaforme multisistema, quindi una delle fonti principali è lo scraper francese che è abbastanza trasversale, ma che non mi ha mai soddisfatto pienamente.

Io volevo creare uno scraper che tenesse conto di N fonti dandogli una priorità cosi laddove non trova un media in una fonte va sull'altra per integrare e cosi via
un'altra caratteristica che non ho trovato è quello di aggiungere una fonte locale, nel corso degli anni si è accumulato molto materiale, perchè cercare su internet quando magari lo hai già salvato da qualche parte?
per dirne un'altra il fatto che si ricercassero sulle fonti con priorità di lingua, su ho agganciato 10 siti con servizi di scraper dare la preferenza a chi lo ha in italiano (per esempio)

motoschifo ha scritto: ↑18/10/2019, 21:02 Considera che quello che stai usando tu è la versione "per tutti" ma in realtà ci sono tanti punti di ingresso specifici per i vari front-end/programmi/siti. Chi aveva esigenze particolati ha la propria pagina di servizio da richiamare (Feel, ADB-Tools, Undumped Wiki, ecc.), altri si sono fatti personalizzare l'export (es. un'app per iPhone sfrutta quello), altri ancora sfruttano le liste di giochi.
Probabilmente chi sfrutta questa pagina lo fa per recuperare il video o lo snap, non sapendo magari che il tool lo può fare in maniera molto più pratica.

Ciao motoskifo, vorrei fare un test su un set da 2700 roms, è fattibile?
ultima cosa, in abse a quanto hai detto altri frontend effettuano le chiamate con funzioni a loro dedicate, questo in termini di performances cambia? in che modo? puoi aiutarmi a capirne i dettagli e le differenze?

Grazie

Si non vedo problemi, prova e poi vedi le risposte se arrivano o ci mettono troppo.
Le performance non cambiano con altre chiamate, dipende chi chiede cosa e di quale output ha bisogno. C'è chi vuole un solo campo, altri un check completo con testo formattato (es. un'intera pagina wiki creata in automatico da copia/incollare), ecc.
Tutto è pensato per essere sempre il più rapido e preciso possibile, incluse le pagine web o le conversioni video, non faccio differenze

motoschifo ha scritto: ↑20/10/2019, 10:32 Si non vedo problemi, prova e poi vedi le risposte se arrivano o ci mettono troppo.
Le performance non cambiano con altre chiamate, dipende chi chiede cosa e di quale output ha bisogno. C'è chi vuole un solo campo, altri un check completo con testo formattato (es. un'intera pagina wiki creata in automatico da copia/incollare), ecc.
Tutto è pensato per essere sempre il più rapido e preciso possibile, incluse le pagine web o le conversioni video, non faccio differenze

Perfetto,
alle 11,30 faccio partire il test dal lavoro (oggi diciamo si lavora). ti aggiorno sui risultati.

Grazie

update:
2681 rom tutti i dati sono stati recuperati in 219 sec, piu' di 12 al secondo.
download media (tutti quelli di cui passi i dati in result) - 2580 secondi, meno di 1 al secondo (inclusi i video per ul totale di quasi 20G di materiale).

Fossi in te collaborerei al codice di Skyscraper o di altri che già si connettono anche ad adb; magari con un nuovo adapter che tiri giù le info nella forma che vuoi.

alucard ha scritto: ↑20/10/2019, 12:44 Fossi in te collaborerei al codice di Skyscraper o di altri che già si connettono anche ad adb; magari con un nuovo adapter che tiri giù le info nella forma che vuoi.

ci do subito una occhiata, io mi sono buttato sul mio perchè non ho trovato le funzionalità che cercavo negli altri, ma ben vengano.

Gothrek ha scritto: ↑20/10/2019, 11:08 2681 rom tutti i dati sono stati recuperati in 219 sec, piu' di 12 al secondo.
download media (tutti quelli di cui passi i dati in result) - 2580 secondi, meno di 1 al secondo (inclusi i video per ul totale di quasi 20G di materiale).

Considera che la velocità è relativa, nel senso che la banda a disposizione è finita (tanta o poca comunque limitata).
Anzi ad un certo punto scattano limiti che ho imposto io sul totale file (numero o dimensione) per stesso ip, giornata, settimana o mese. Quindi magari oggi scarico 40GB, ma concorre al totale settimanale, il quale concorre al totale mensile... in questo modo, bene o male ottengo un bilanciamento per chi scarica troppo dato che poi peggiora la navigazione o i download di altri utenti.

La cosa secondo me importante è poter riprendere il processo senza sbattimenti e senza dover ripartire da capo.
Oppure che è in grado di scaricare solo le differenze rispetto all'ultima volta, evitando quindi di impegnare banda e perdere tempo.
Potrebbe essere il caso di aggiungere un campo per ciascuna risorsa (crc) o cose simili, come fa ADB-Tools, ma quel metodo di download deve prevedere poi la gestione lato client in caso di problemi (es. calcolo il crc sul file locale, poi lo confronto con quello che ho memorizzato prima ed infine con quello che arriva dal sito).

Si può fare di tutto, magari lo teniamo come miglioria finale.

motoschifo ha scritto: ↑20/10/2019, 14:16

Gothrek ha scritto: ↑20/10/2019, 11:08 2681 rom tutti i dati sono stati recuperati in 219 sec, piu' di 12 al secondo.
download media (tutti quelli di cui passi i dati in result) - 2580 secondi, meno di 1 al secondo (inclusi i video per ul totale di quasi 20G di materiale).

Considera che la velocità è relativa, nel senso che la banda a disposizione è finita (tanta o poca comunque limitata).
Anzi ad un certo punto scattano limiti che ho imposto io sul totale file (numero o dimensione) per stesso ip, giornata, settimana o mese. Quindi magari oggi scarico 40GB, ma concorre al totale settimanale, il quale concorre al totale mensile... in questo modo, bene o male ottengo un bilanciamento per chi scarica troppo dato che poi peggiora la navigazione o i download di altri utenti.

La cosa secondo me importante è poter riprendere il processo senza sbattimenti e senza dover ripartire da capo.
Oppure che è in grado di scaricare solo le differenze rispetto all'ultima volta, evitando quindi di impegnare banda e perdere tempo.
Potrebbe essere il caso di aggiungere un campo per ciascuna risorsa (crc) o cose simili, come fa ADB-Tools, ma quel metodo di download deve prevedere poi la gestione lato client in caso di problemi (es. calcolo il crc sul file locale, poi lo confronto con quello che ho memorizzato prima ed infine con quello che arriva dal sito).

Si può fare di tutto, magari lo teniamo come miglioria finale.

tutte ottime considerazioni, forse più che limiti generali potrebbero essere legati al traffico corrente oppure come fa screenscraper potrebbe essere un modo per legarlo ad eventuali donazioni al sito.
il crc lato client lo calcolo già anche se nella tua query non viene usato queindi è già presente.
un aspetto molto importante come dici tu, lo ho dato all'update, piuttosto che riscaricare sempre tutto, valutare solo le differenze,
per altro ho implementato una repository locale come scraper di livello 0 (per chi la vuole usare), cosicchè se uno ha già scaricato il materiale lo cerca prima localmente e poi nell'ordine dei siti di scraper che ha deciso, questo dovrebbe migliorare parecchio non solo le poerfomrances ma anche le richieste verso i siti.

riprendere il processo potrei legarlo a quanto detto sopra ovvero se ho già il materiale in locale, oppure creare una entry che registri il punto preciso per poi riprendere da li senza nessun controllo.

ti chiederei (tempo permettendo), la possibilità con una query di interrogare il proprio stato pià da un ip, cosi chi usa il servizio di sraper abbia ben chiari i limiti che in quel momento ha, che ne pensi?

alucard ha scritto: ↑20/10/2019, 12:44 Fossi in te collaborerei al codice di Skyscraper o di altri che già si connettono anche ad adb; magari con un nuovo adapter che tiri giù le info nella forma che vuoi.

ci ho dato uno sguardo, ma quello a parte essere in c++ (io mi muovo in c# e vb net), è focalizzato all'implementazione sui frontend, mentre il mio è prettamente windows affinchè uno possa gestire anche più piattaforme proprie senza ridover ricominciare da capo ogni volta.

la finalità (da windows) è scarico una volta e poi in futuro (a meno di aggiornamenti) uso la risorsa locale per tutto quello che ho, RB, pc ecc

Gothrek ha scritto: ↑20/10/2019, 15:22 ti chiederei (tempo permettendo), la possibilità con una query di interrogare il proprio stato pià da un ip, cosi chi usa il servizio di sraper abbia ben chiari i limiti che in quel momento ha, che ne pensi?

Ciao,
ricontrollando vecchi messaggi che mi ero messo da parte, ho visto questa richiesta ed ho aggiunto la funzione al sito.
Trovi la documentazione (molto semplice) qui: http://adb.arcadeitalia.net/service_scraper.php

I controlli vengono fatti per tutti i livelli di limiti impostati e quello che scatta per primo viene impostato come valore residuo.
Quindi potresti poter scaricare 1000 file ma avere esaurito il totale in bytes, che poi però potrebbe ripartire il giorno dopo se nella settimana hai scaricato poco. Oppure potresti avere 1000 file rimasti di oggi ma il sito intero ha raggiunto il limite settimanale, quindi avresti 0 file disponibili, e così via per gli altri casi.
Puoi controllare il risultato in tempo reale qui: http://adb.arcadeitalia.net/service_scr ... oad_status

motoschifo ha scritto: ↑01/01/2020, 18:44

Gothrek ha scritto: ↑20/10/2019, 15:22 ti chiederei (tempo permettendo), la possibilità con una query di interrogare il proprio stato pià da un ip, cosi chi usa il servizio di sraper abbia ben chiari i limiti che in quel momento ha, che ne pensi?

Ciao,
ricontrollando vecchi messaggi che mi ero messo da parte, ho visto questa richiesta ed ho aggiunto la funzione al sito.
Trovi la documentazione (molto semplice) qui: http://adb.arcadeitalia.net/service_scraper.php

I controlli vengono fatti per tutti i livelli di limiti impostati e quello che scatta per primo viene impostato come valore residuo.
Quindi potresti poter scaricare 1000 file ma avere esaurito il totale in bytes, che poi però potrebbe ripartire il giorno dopo se nella settimana hai scaricato poco. Oppure potresti avere 1000 file rimasti di oggi ma il sito intero ha raggiunto il limite settimanale, quindi avresti 0 file disponibili, e così via per gli altri casi.
Puoi controllare il risultato in tempo reale qui: http://adb.arcadeitalia.net/service_scr ... oad_status

ottimo, cerco di integrarla il prima possibile.

non so se hai mai pensato ad un sistema di tag, oltre ai filtri già presenti, nel cercare di aiutare un ragazzo sul foro alla ricerca di un game ci siamo imbattuti in problemi che solo con una ricerca certosina 1by1 se ne può uscire.

Nel caso specifico si ricordava che giocava ad uno sparatutto con dei dinosauri, trovarlo (e forse non ci siamo ancora riusciti) non è stato facile. Un sistema di tag aggiuntivi potrebbe associargli una serie di parole che aiutino la ricerca (dinosauri?) tag legati ad aspetti specifici del gioco diveramente poco "raggruppabili":
tutti i giochi ambientati nella preistoria, o tutti quelli in cui sei un ninja, alcuni esempi
in rete girando in tanti siti/db non ho visto funzionalità di questo tipo, che magari potrebbero essere utilizzati dai frontend

cmq grazie, come sempre

I tag li ho previsti ma per come li sto usando servono solo per marcare giochi particolari, non gestiti da campi specifici.
Es. AI Top score è un tag che applico manualmente al gioco di turno.

Non saprei come gestire un tag inserito dall'utente, ne se ha senso farlo poichè servirebbe il contributo di uno volenteroso per inserire le parole. Lasciare il tag pubblico potrebbe avere problemi sul contenuto e dovrei quindi prevedere una sorta di approvazione da parte mia prima della pubblicazione.

Secondo te vale la pena mettere in cantiere una gestione simile?

motoschifo ha scritto: ↑01/01/2020, 20:55 I tag li ho previsti ma per come li sto usando servono solo per marcare giochi particolari, non gestiti da campi specifici.
Es. AI Top score è un tag che applico manualmente al gioco di turno.

Schermata del 2020-01-01 20-52-08.png


Non saprei come gestire un tag inserito dall'utente, ne se ha senso farlo poichè servirebbe il contributo di uno volenteroso per inserire le parole. Lasciare il tag pubblico potrebbe avere problemi sul contenuto e dovrei quindi prevedere una sorta di approvazione da parte mia prima della pubblicazione.

Secondo te vale la pena mettere in cantiere una gestione simile?

in generale penso che il contributo di tutti sia sempre utile, sulla sua gestione/approvazione, potresti inizialmente lasciarlo libero affinchè si popoli.

una volta ogni tanto potresti con una query tirar tutto fuori per accorpare pulire, oppure lasciare che i frontend se la gestiscano da soli. You have the power

circa la sua utilità, a parte il caso specifico, credo che un frontend del futuro ne abbia la necessità, almeno personalmente mi è capitato più volte di andare ala ricerca 1by1 di giochi di un certo tipo (jrpg medioevali per dirti), non è stato facile

Tempo fa avevo messo in lista tra le cose da fare un tipo di ricerca del tutto nuovo, qualcosa che non si trova in giro facilmente.
Prevedeva infatti la risposta ad alcune domande e poi in base a quello sfruttava tag ed altro del sito, per comporre alla fine una lista di giochi unica e molto particolare (es. incroci tra liste diverse, esclusione di tag, ecc).

Si va in quella direzione quindi, ma il vero problema è sempre lo stesso: se lascio libero e succede un casino, poi ci metto più tempo io a sistemare che ad approvare un nome ogni tanto. Se invece non controllo nulla, va a finire che uno scrive tag inutili o non corretti o semplicemente sbagliati.

Accorpare e pulire con una o più query è complesso e lungo, e per fare una pagina dedicata non ho tempo.

Devo però capire come fare, ovvero come presentare all'utente questa possibilità.

Altro step è poi la ricerca all'interno di dati extra, come mameinfo/history, che in parte potrebbe già sopperire alla questione tag.

motoschifo ha scritto: ↑01/01/2020, 21:43 Tempo fa avevo messo in lista tra le cose da fare un tipo di ricerca del tutto nuovo, qualcosa che non si trova in giro facilmente.
Prevedeva infatti la risposta ad alcune domande e poi in base a quello sfruttava tag ed altro del sito, per comporre alla fine una lista di giochi unica e molto particolare (es. incroci tra liste diverse, esclusione di tag, ecc).

Si va in quella direzione quindi, ma il vero problema è sempre lo stesso: se lascio libero e succede un casino, poi ci metto più tempo io a sistemare che ad approvare un nome ogni tanto. Se invece non controllo nulla, va a finire che uno scrive tag inutili o non corretti o semplicemente sbagliati.

Accorpare e pulire con una o più query è complesso e lungo, e per fare una pagina dedicata non ho tempo.

Devo però capire come fare, ovvero come presentare all'utente questa possibilità.

Altro step è poi la ricerca all'interno di dati extra, come mameinfo/history, che in parte potrebbe già sopperire alla questione tag.

Per renderti la vita facile per ora lascerei farli riempire agli utenti, ottimo il tema della ricerca dei dati extra.