Progetto VideoSnaps

[Gothrek]

Fossi in te collaborerei al codice di Skyscraper o di altri che già si connettono anche ad adb; magari con un nuovo adapter che tiri giù le info nella forma che vuoi.

ci do subito una occhiata, io mi sono buttato sul mio perchè non ho trovato le funzionalità che cercavo negli altri, ma ben vengano.

[motoschifo]

2681 rom tutti i dati sono stati recuperati in 219 sec, piu' di 12 al secondo.
download media (tutti quelli di cui passi i dati in result) - 2580 secondi, meno di 1 al secondo (inclusi i video per ul totale di quasi 20G di materiale).

Considera che la velocità è relativa, nel senso che la banda a disposizione è finita (tanta o poca comunque limitata).
Anzi ad un certo punto scattano limiti che ho imposto io sul totale file (numero o dimensione) per stesso ip, giornata, settimana o mese. Quindi magari oggi scarico 40GB, ma concorre al totale settimanale, il quale concorre al totale mensile... in questo modo, bene o male ottengo un bilanciamento per chi scarica troppo dato che poi peggiora la navigazione o i download di altri utenti.

La cosa secondo me importante è poter riprendere il processo senza sbattimenti e senza dover ripartire da capo.
Oppure che è in grado di scaricare solo le differenze rispetto all'ultima volta, evitando quindi di impegnare banda e perdere tempo.
Potrebbe essere il caso di aggiungere un campo per ciascuna risorsa (crc) o cose simili, come fa ADB-Tools, ma quel metodo di download deve prevedere poi la gestione lato client in caso di problemi (es. calcolo il crc sul file locale, poi lo confronto con quello che ho memorizzato prima ed infine con quello che arriva dal sito).

Si può fare di tutto, magari lo teniamo come miglioria finale.

[Gothrek]

2681 rom tutti i dati sono stati recuperati in 219 sec, piu' di 12 al secondo.
download media (tutti quelli di cui passi i dati in result) - 2580 secondi, meno di 1 al secondo (inclusi i video per ul totale di quasi 20G di materiale).

Considera che la velocità è relativa, nel senso che la banda a disposizione è finita (tanta o poca comunque limitata).
Anzi ad un certo punto scattano limiti che ho imposto io sul totale file (numero o dimensione) per stesso ip, giornata, settimana o mese. Quindi magari oggi scarico 40GB, ma concorre al totale settimanale, il quale concorre al totale mensile... in questo modo, bene o male ottengo un bilanciamento per chi scarica troppo dato che poi peggiora la navigazione o i download di altri utenti.

La cosa secondo me importante è poter riprendere il processo senza sbattimenti e senza dover ripartire da capo.
Oppure che è in grado di scaricare solo le differenze rispetto all'ultima volta, evitando quindi di impegnare banda e perdere tempo.
Potrebbe essere il caso di aggiungere un campo per ciascuna risorsa (crc) o cose simili, come fa ADB-Tools, ma quel metodo di download deve prevedere poi la gestione lato client in caso di problemi (es. calcolo il crc sul file locale, poi lo confronto con quello che ho memorizzato prima ed infine con quello che arriva dal sito).

Si può fare di tutto, magari lo teniamo come miglioria finale.

tutte ottime considerazioni, forse più che limiti generali potrebbero essere legati al traffico corrente oppure come fa screenscraper potrebbe essere un modo per legarlo ad eventuali donazioni al sito.
il crc lato client lo calcolo già anche se nella tua query non viene usato queindi è già presente.
un aspetto molto importante come dici tu, lo ho dato all'update, piuttosto che riscaricare sempre tutto, valutare solo le differenze,
per altro ho implementato una repository locale come scraper di livello 0 (per chi la vuole usare), cosicchè se uno ha già scaricato il materiale lo cerca prima localmente e poi nell'ordine dei siti di scraper che ha deciso, questo dovrebbe migliorare parecchio non solo le poerfomrances ma anche le richieste verso i siti.

riprendere il processo potrei legarlo a quanto detto sopra ovvero se ho già il materiale in locale, oppure creare una entry che registri il punto preciso per poi riprendere da li senza nessun controllo.

ti chiederei (tempo permettendo), la possibilità con una query di interrogare il proprio stato pià da un ip, cosi chi usa il servizio di sraper abbia ben chiari i limiti che in quel momento ha, che ne pensi?

[Gothrek]

Fossi in te collaborerei al codice di Skyscraper o di altri che già si connettono anche ad adb; magari con un nuovo adapter che tiri giù le info nella forma che vuoi.

ci ho dato uno sguardo, ma quello a parte essere in c++ (io mi muovo in c# e vb net), è focalizzato all'implementazione sui frontend, mentre il mio è prettamente windows affinchè uno possa gestire anche più piattaforme proprie senza ridover ricominciare da capo ogni volta.

la finalità (da windows) è scarico una volta e poi in futuro (a meno di aggiornamenti) uso la risorsa locale per tutto quello che ho, RB, pc ecc

[motoschifo]

ti chiederei (tempo permettendo), la possibilità con una query di interrogare il proprio stato pià da un ip, cosi chi usa il servizio di sraper abbia ben chiari i limiti che in quel momento ha, che ne pensi?

Ciao,
ricontrollando vecchi messaggi che mi ero messo da parte, ho visto questa richiesta ed ho aggiunto la funzione al sito.
Trovi la documentazione (molto semplice) qui: http://adb.arcadeitalia.net/service_scraper.php

I controlli vengono fatti per tutti i livelli di limiti impostati e quello che scatta per primo viene impostato come valore residuo.
Quindi potresti poter scaricare 1000 file ma avere esaurito il totale in bytes, che poi però potrebbe ripartire il giorno dopo se nella settimana hai scaricato poco. Oppure potresti avere 1000 file rimasti di oggi ma il sito intero ha raggiunto il limite settimanale, quindi avresti 0 file disponibili, e così via per gli altri casi.
Puoi controllare il risultato in tempo reale qui: http://adb.arcadeitalia.net/service_scr ... oad_status

[Gothrek]

ti chiederei (tempo permettendo), la possibilità con una query di interrogare il proprio stato pià da un ip, cosi chi usa il servizio di sraper abbia ben chiari i limiti che in quel momento ha, che ne pensi?

Ciao,
ricontrollando vecchi messaggi che mi ero messo da parte, ho visto questa richiesta ed ho aggiunto la funzione al sito.
Trovi la documentazione (molto semplice) qui: http://adb.arcadeitalia.net/service_scraper.php

I controlli vengono fatti per tutti i livelli di limiti impostati e quello che scatta per primo viene impostato come valore residuo.
Quindi potresti poter scaricare 1000 file ma avere esaurito il totale in bytes, che poi però potrebbe ripartire il giorno dopo se nella settimana hai scaricato poco. Oppure potresti avere 1000 file rimasti di oggi ma il sito intero ha raggiunto il limite settimanale, quindi avresti 0 file disponibili, e così via per gli altri casi.
Puoi controllare il risultato in tempo reale qui: http://adb.arcadeitalia.net/service_scr ... oad_status

ottimo, cerco di integrarla il prima possibile.

non so se hai mai pensato ad un sistema di tag, oltre ai filtri già presenti, nel cercare di aiutare un ragazzo sul foro alla ricerca di un game ci siamo imbattuti in problemi che solo con una ricerca certosina 1by1 se ne può uscire.

Nel caso specifico si ricordava che giocava ad uno sparatutto con dei dinosauri, trovarlo (e forse non ci siamo ancora riusciti) non è stato facile. Un sistema di tag aggiuntivi potrebbe associargli una serie di parole che aiutino la ricerca (dinosauri?) tag legati ad aspetti specifici del gioco diveramente poco "raggruppabili":
tutti i giochi ambientati nella preistoria, o tutti quelli in cui sei un ninja, alcuni esempi
in rete girando in tanti siti/db non ho visto funzionalità di questo tipo, che magari potrebbero essere utilizzati dai frontend

cmq grazie, come sempre

[motoschifo]

I tag li ho previsti ma per come li sto usando servono solo per marcare giochi particolari, non gestiti da campi specifici.
Es. AI Top score è un tag che applico manualmente al gioco di turno.

Schermata del 2020-01-01 20-52-08.png

Non saprei come gestire un tag inserito dall'utente, ne se ha senso farlo poichè servirebbe il contributo di uno volenteroso per inserire le parole. Lasciare il tag pubblico potrebbe avere problemi sul contenuto e dovrei quindi prevedere una sorta di approvazione da parte mia prima della pubblicazione.

Secondo te vale la pena mettere in cantiere una gestione simile?

[Gothrek]

I tag li ho previsti ma per come li sto usando servono solo per marcare giochi particolari, non gestiti da campi specifici.
Es. AI Top score è un tag che applico manualmente al gioco di turno.

Schermata del 2020-01-01 20-52-08.png


Non saprei come gestire un tag inserito dall'utente, ne se ha senso farlo poichè servirebbe il contributo di uno volenteroso per inserire le parole. Lasciare il tag pubblico potrebbe avere problemi sul contenuto e dovrei quindi prevedere una sorta di approvazione da parte mia prima della pubblicazione.

Secondo te vale la pena mettere in cantiere una gestione simile?

in generale penso che il contributo di tutti sia sempre utile, sulla sua gestione/approvazione, potresti inizialmente lasciarlo libero affinchè si popoli.

una volta ogni tanto potresti con una query tirar tutto fuori per accorpare pulire, oppure lasciare che i frontend se la gestiscano da soli. You have the power

circa la sua utilità, a parte il caso specifico, credo che un frontend del futuro ne abbia la necessità, almeno personalmente mi è capitato più volte di andare ala ricerca 1by1 di giochi di un certo tipo (jrpg medioevali per dirti), non è stato facile

[motoschifo]

Tempo fa avevo messo in lista tra le cose da fare un tipo di ricerca del tutto nuovo, qualcosa che non si trova in giro facilmente.
Prevedeva infatti la risposta ad alcune domande e poi in base a quello sfruttava tag ed altro del sito, per comporre alla fine una lista di giochi unica e molto particolare (es. incroci tra liste diverse, esclusione di tag, ecc).

Si va in quella direzione quindi, ma il vero problema è sempre lo stesso: se lascio libero e succede un casino, poi ci metto più tempo io a sistemare che ad approvare un nome ogni tanto. Se invece non controllo nulla, va a finire che uno scrive tag inutili o non corretti o semplicemente sbagliati.

Accorpare e pulire con una o più query è complesso e lungo, e per fare una pagina dedicata non ho tempo.

Devo però capire come fare, ovvero come presentare all'utente questa possibilità.

Altro step è poi la ricerca all'interno di dati extra, come mameinfo/history, che in parte potrebbe già sopperire alla questione tag.

[Gothrek]

Tempo fa avevo messo in lista tra le cose da fare un tipo di ricerca del tutto nuovo, qualcosa che non si trova in giro facilmente.
Prevedeva infatti la risposta ad alcune domande e poi in base a quello sfruttava tag ed altro del sito, per comporre alla fine una lista di giochi unica e molto particolare (es. incroci tra liste diverse, esclusione di tag, ecc).

Si va in quella direzione quindi, ma il vero problema è sempre lo stesso: se lascio libero e succede un casino, poi ci metto più tempo io a sistemare che ad approvare un nome ogni tanto. Se invece non controllo nulla, va a finire che uno scrive tag inutili o non corretti o semplicemente sbagliati.

Accorpare e pulire con una o più query è complesso e lungo, e per fare una pagina dedicata non ho tempo.

Devo però capire come fare, ovvero come presentare all'utente questa possibilità.

Altro step è poi la ricerca all'interno di dati extra, come mameinfo/history, che in parte potrebbe già sopperire alla questione tag.

Per renderti la vita facile per ora lascerei farli riempire agli utenti, ottimo il tema della ricerca dei dati extra.