Moderatore: Moderatore ADB
perfetto, faccio un test delle stringhe e ti do una voce se qualcosa non torna.motoschifo ha scritto: ↑05/10/2019, 17:54 Ciao,
io di tempo libero non ne ho più quindi mi limito ad aggiornare il sito mensilmente con le decine di file xml/ini/png.
Non dovrebbe essere cambiato nulla, mentre per i video in futuro saranno modificati come contenuto in modo da essere più compatibili con i front-end. Comunque le chiamate rimangono quelle.
Ciao Motoskifo, come ti avevo anticipato ho rimesso un pò mano al codice e sto facendo in questi giorni un pò di chiamate, effettivamente tutto sembra rientrare in quanto avevamo concordato tempo fa.motoschifo ha scritto: ↑05/10/2019, 17:54 Ciao,
io di tempo libero non ne ho più quindi mi limito ad aggiornare il sito mensilmente con le decine di file xml/ini/png.
Non dovrebbe essere cambiato nulla, mentre per i video in futuro saranno modificati come contenuto in modo da essere più compatibili con i front-end. Comunque le chiamate rimangono quelle.
tutto chiaro, guardando le info da browser direi che i dati che ritorni in result sono sufficienti, volevo capire se in questi 2 anni qualcuno aveva avuto altre esigenze, l'idea resta quella di fornire uno scraper gratuito che possa fornire a chiunque la possibilità di personalizzare tutta una serie di parametri che in altri non ho trovato, pagari apro un thread specifico, cosi chi è interessato a che aggiunga funzionalità, ha un riferimento.motoschifo ha scritto: ↑18/10/2019, 19:17 Si ti confermo che index è un progressivo e non ha alcuna utilità, se non identificare il record di quella specifica query, mentre release serve per capire se la funzione ha subito modifiche rispetto all'ultima chiamata.
Infatti nella documentazione farò sempre riferimento a quel valore in caso di modifiche a funzioni esistenti:
http://adb.arcadeitalia.net/?page=scraper
L'utilità potrebbe essere: rispetto alla versione 1, cosa è cambiato? Oggi direi nulla, un domani per es. potrei fare la release 2 con le aggiunte che mi chiederanno altri.
Nessuno di questi però ti indica l'id univoco del gioco, che esiste solo per motivi di performance del sito.
In realtà l'id che uso internamente serve a poco perchè viaggia di pari passo con il romset, quindi mslug avrà sempre un certo valore (es. 1200) ma nel caso dovesse cambiare per esigenze interne dovrai sempre fare riferimento al nome, ovvero mslug, per trovare il gioco.
Se invece ti serve altro fammi sapere che cerco di aggiungerlo.
Grande!! questo che ci fossero punti d'ingresso diversi non lo sapevo, è anche vero che in genre uso piattaforme multisistema, quindi una delle fonti principali è lo scraper francese che è abbastanza trasversale, ma che non mi ha mai soddisfatto pienamente.motoschifo ha scritto: ↑18/10/2019, 21:02 Si ci sono state modifiche, infatti il numero di versione non lo avevo introdotto subito.
Anche il link al video Youtube, la possibilità di resize delle immagini, ecc. inizialmente non c'erano.
Diciamo però che ormai le info sono le solite e raramente qualcuno vuole fare altro, anche perchè ogni campo in più vuol dire lavoro per tenere aggiornati i dati (intendo da parte dello sviluppatore dello scraper).
Come thread avevo creato questo in cui indicavo le info per implementare le chiamate:
viewtopic.php?f=78&t=29282
Considera che quello che stai usando tu è la versione "per tutti" ma in realtà ci sono tanti punti di ingresso specifici per i vari front-end/programmi/siti. Chi aveva esigenze particolati ha la propria pagina di servizio da richiamare (Feel, ADB-Tools, Undumped Wiki, ecc.), altri si sono fatti personalizzare l'export (es. un'app per iPhone sfrutta quello), altri ancora sfruttano le liste di giochi.
Probabilmente chi sfrutta questa pagina lo fa per recuperare il video o lo snap, non sapendo magari che il tool lo può fare in maniera molto più pratica.
Ciao motoskifo, vorrei fare un test su un set da 2700 roms, è fattibile?motoschifo ha scritto: ↑18/10/2019, 21:02 Considera che quello che stai usando tu è la versione "per tutti" ma in realtà ci sono tanti punti di ingresso specifici per i vari front-end/programmi/siti. Chi aveva esigenze particolati ha la propria pagina di servizio da richiamare (Feel, ADB-Tools, Undumped Wiki, ecc.), altri si sono fatti personalizzare l'export (es. un'app per iPhone sfrutta quello), altri ancora sfruttano le liste di giochi.
Probabilmente chi sfrutta questa pagina lo fa per recuperare il video o lo snap, non sapendo magari che il tool lo può fare in maniera molto più pratica.
Perfetto,motoschifo ha scritto: ↑20/10/2019, 10:32 Si non vedo problemi, prova e poi vedi le risposte se arrivano o ci mettono troppo.
Le performance non cambiano con altre chiamate, dipende chi chiede cosa e di quale output ha bisogno. C'è chi vuole un solo campo, altri un check completo con testo formattato (es. un'intera pagina wiki creata in automatico da copia/incollare), ecc.
Tutto è pensato per essere sempre il più rapido e preciso possibile, incluse le pagine web o le conversioni video, non faccio differenze
ci do subito una occhiata, io mi sono buttato sul mio perchè non ho trovato le funzionalità che cercavo negli altri, ma ben vengano.
Considera che la velocità è relativa, nel senso che la banda a disposizione è finita (tanta o poca comunque limitata).
tutte ottime considerazioni, forse più che limiti generali potrebbero essere legati al traffico corrente oppure come fa screenscraper potrebbe essere un modo per legarlo ad eventuali donazioni al sito.motoschifo ha scritto: ↑20/10/2019, 14:16Considera che la velocità è relativa, nel senso che la banda a disposizione è finita (tanta o poca comunque limitata).
Anzi ad un certo punto scattano limiti che ho imposto io sul totale file (numero o dimensione) per stesso ip, giornata, settimana o mese. Quindi magari oggi scarico 40GB, ma concorre al totale settimanale, il quale concorre al totale mensile... in questo modo, bene o male ottengo un bilanciamento per chi scarica troppo dato che poi peggiora la navigazione o i download di altri utenti.
La cosa secondo me importante è poter riprendere il processo senza sbattimenti e senza dover ripartire da capo.
Oppure che è in grado di scaricare solo le differenze rispetto all'ultima volta, evitando quindi di impegnare banda e perdere tempo.
Potrebbe essere il caso di aggiungere un campo per ciascuna risorsa (crc) o cose simili, come fa ADB-Tools, ma quel metodo di download deve prevedere poi la gestione lato client in caso di problemi (es. calcolo il crc sul file locale, poi lo confronto con quello che ho memorizzato prima ed infine con quello che arriva dal sito).
Si può fare di tutto, magari lo teniamo come miglioria finale.
ci ho dato uno sguardo, ma quello a parte essere in c++ (io mi muovo in c# e vb net), è focalizzato all'implementazione sui frontend, mentre il mio è prettamente windows affinchè uno possa gestire anche più piattaforme proprie senza ridover ricominciare da capo ogni volta.
Ciao,
ottimo, cerco di integrarla il prima possibile.motoschifo ha scritto: ↑01/01/2020, 18:44Ciao,
ricontrollando vecchi messaggi che mi ero messo da parte, ho visto questa richiesta ed ho aggiunto la funzione al sito.
Trovi la documentazione (molto semplice) qui: http://adb.arcadeitalia.net/service_scraper.php
I controlli vengono fatti per tutti i livelli di limiti impostati e quello che scatta per primo viene impostato come valore residuo.
Quindi potresti poter scaricare 1000 file ma avere esaurito il totale in bytes, che poi però potrebbe ripartire il giorno dopo se nella settimana hai scaricato poco. Oppure potresti avere 1000 file rimasti di oggi ma il sito intero ha raggiunto il limite settimanale, quindi avresti 0 file disponibili, e così via per gli altri casi.
Puoi controllare il risultato in tempo reale qui: http://adb.arcadeitalia.net/service_scr ... oad_status
in generale penso che il contributo di tutti sia sempre utile, sulla sua gestione/approvazione, potresti inizialmente lasciarlo libero affinchè si popoli.motoschifo ha scritto: ↑01/01/2020, 20:55 I tag li ho previsti ma per come li sto usando servono solo per marcare giochi particolari, non gestiti da campi specifici.
Es. AI Top score è un tag che applico manualmente al gioco di turno.
Schermata del 2020-01-01 20-52-08.png
Non saprei come gestire un tag inserito dall'utente, ne se ha senso farlo poichè servirebbe il contributo di uno volenteroso per inserire le parole. Lasciare il tag pubblico potrebbe avere problemi sul contenuto e dovrei quindi prevedere una sorta di approvazione da parte mia prima della pubblicazione.
Secondo te vale la pena mettere in cantiere una gestione simile?
Per renderti la vita facile per ora lascerei farli riempire agli utenti, ottimo il tema della ricerca dei dati extra.motoschifo ha scritto: ↑01/01/2020, 21:43 Tempo fa avevo messo in lista tra le cose da fare un tipo di ricerca del tutto nuovo, qualcosa che non si trova in giro facilmente.
Prevedeva infatti la risposta ad alcune domande e poi in base a quello sfruttava tag ed altro del sito, per comporre alla fine una lista di giochi unica e molto particolare (es. incroci tra liste diverse, esclusione di tag, ecc).
Si va in quella direzione quindi, ma il vero problema è sempre lo stesso: se lascio libero e succede un casino, poi ci metto più tempo io a sistemare che ad approvare un nome ogni tanto. Se invece non controllo nulla, va a finire che uno scrive tag inutili o non corretti o semplicemente sbagliati.
Accorpare e pulire con una o più query è complesso e lungo, e per fare una pagina dedicata non ho tempo.
Devo però capire come fare, ovvero come presentare all'utente questa possibilità.
Altro step è poi la ricerca all'interno di dati extra, come mameinfo/history, che in parte potrebbe già sopperire alla questione tag.