Progetto VideoSnaps

[Gothrek]

Fossi in te collaborerei al codice di Skyscraper o di altri che già si connettono anche ad adb; magari con un nuovo adapter che tiri giù le info nella forma che vuoi.

ci do subito una occhiata, io mi sono buttato sul mio perchè non ho trovato le funzionalità che cercavo negli altri, ma ben vengano.

[motoschifo]

2681 rom tutti i dati sono stati recuperati in 219 sec, piu' di 12 al secondo.
download media (tutti quelli di cui passi i dati in result) - 2580 secondi, meno di 1 al secondo (inclusi i video per ul totale di quasi 20G di materiale).

Considera che la velocità è relativa, nel senso che la banda a disposizione è finita (tanta o poca comunque limitata).
Anzi ad un certo punto scattano limiti che ho imposto io sul totale file (numero o dimensione) per stesso ip, giornata, settimana o mese. Quindi magari oggi scarico 40GB, ma concorre al totale settimanale, il quale concorre al totale mensile... in questo modo, bene o male ottengo un bilanciamento per chi scarica troppo dato che poi peggiora la navigazione o i download di altri utenti.

La cosa secondo me importante è poter riprendere il processo senza sbattimenti e senza dover ripartire da capo.
Oppure che è in grado di scaricare solo le differenze rispetto all'ultima volta, evitando quindi di impegnare banda e perdere tempo.
Potrebbe essere il caso di aggiungere un campo per ciascuna risorsa (crc) o cose simili, come fa ADB-Tools, ma quel metodo di download deve prevedere poi la gestione lato client in caso di problemi (es. calcolo il crc sul file locale, poi lo confronto con quello che ho memorizzato prima ed infine con quello che arriva dal sito).

Si può fare di tutto, magari lo teniamo come miglioria finale.

[Gothrek]

2681 rom tutti i dati sono stati recuperati in 219 sec, piu' di 12 al secondo.
download media (tutti quelli di cui passi i dati in result) - 2580 secondi, meno di 1 al secondo (inclusi i video per ul totale di quasi 20G di materiale).

Considera che la velocità è relativa, nel senso che la banda a disposizione è finita (tanta o poca comunque limitata).
Anzi ad un certo punto scattano limiti che ho imposto io sul totale file (numero o dimensione) per stesso ip, giornata, settimana o mese. Quindi magari oggi scarico 40GB, ma concorre al totale settimanale, il quale concorre al totale mensile... in questo modo, bene o male ottengo un bilanciamento per chi scarica troppo dato che poi peggiora la navigazione o i download di altri utenti.

La cosa secondo me importante è poter riprendere il processo senza sbattimenti e senza dover ripartire da capo.
Oppure che è in grado di scaricare solo le differenze rispetto all'ultima volta, evitando quindi di impegnare banda e perdere tempo.
Potrebbe essere il caso di aggiungere un campo per ciascuna risorsa (crc) o cose simili, come fa ADB-Tools, ma quel metodo di download deve prevedere poi la gestione lato client in caso di problemi (es. calcolo il crc sul file locale, poi lo confronto con quello che ho memorizzato prima ed infine con quello che arriva dal sito).

Si può fare di tutto, magari lo teniamo come miglioria finale.

tutte ottime considerazioni, forse più che limiti generali potrebbero essere legati al traffico corrente oppure come fa screenscraper potrebbe essere un modo per legarlo ad eventuali donazioni al sito.
il crc lato client lo calcolo già anche se nella tua query non viene usato queindi è già presente.
un aspetto molto importante come dici tu, lo ho dato all'update, piuttosto che riscaricare sempre tutto, valutare solo le differenze,
per altro ho implementato una repository locale come scraper di livello 0 (per chi la vuole usare), cosicchè se uno ha già scaricato il materiale lo cerca prima localmente e poi nell'ordine dei siti di scraper che ha deciso, questo dovrebbe migliorare parecchio non solo le poerfomrances ma anche le richieste verso i siti.

riprendere il processo potrei legarlo a quanto detto sopra ovvero se ho già il materiale in locale, oppure creare una entry che registri il punto preciso per poi riprendere da li senza nessun controllo.

ti chiederei (tempo permettendo), la possibilità con una query di interrogare il proprio stato pià da un ip, cosi chi usa il servizio di sraper abbia ben chiari i limiti che in quel momento ha, che ne pensi?

[Gothrek]

Fossi in te collaborerei al codice di Skyscraper o di altri che già si connettono anche ad adb; magari con un nuovo adapter che tiri giù le info nella forma che vuoi.

ci ho dato uno sguardo, ma quello a parte essere in c++ (io mi muovo in c# e vb net), è focalizzato all'implementazione sui frontend, mentre il mio è prettamente windows affinchè uno possa gestire anche più piattaforme proprie senza ridover ricominciare da capo ogni volta.

la finalità (da windows) è scarico una volta e poi in futuro (a meno di aggiornamenti) uso la risorsa locale per tutto quello che ho, RB, pc ecc

[motoschifo]

ti chiederei (tempo permettendo), la possibilità con una query di interrogare il proprio stato pià da un ip, cosi chi usa il servizio di sraper abbia ben chiari i limiti che in quel momento ha, che ne pensi?

Ciao,
ricontrollando vecchi messaggi che mi ero messo da parte, ho visto questa richiesta ed ho aggiunto la funzione al sito.
Trovi la documentazione (molto semplice) qui: http://adb.arcadeitalia.net/service_scraper.php

I controlli vengono fatti per tutti i livelli di limiti impostati e quello che scatta per primo viene impostato come valore residuo.
Quindi potresti poter scaricare 1000 file ma avere esaurito il totale in bytes, che poi però potrebbe ripartire il giorno dopo se nella settimana hai scaricato poco. Oppure potresti avere 1000 file rimasti di oggi ma il sito intero ha raggiunto il limite settimanale, quindi avresti 0 file disponibili, e così via per gli altri casi.
Puoi controllare il risultato in tempo reale qui: http://adb.arcadeitalia.net/service_scr ... oad_status

[Gothrek]

ti chiederei (tempo permettendo), la possibilità con una query di interrogare il proprio stato pià da un ip, cosi chi usa il servizio di sraper abbia ben chiari i limiti che in quel momento ha, che ne pensi?

Ciao,
ricontrollando vecchi messaggi che mi ero messo da parte, ho visto questa richiesta ed ho aggiunto la funzione al sito.
Trovi la documentazione (molto semplice) qui: http://adb.arcadeitalia.net/service_scraper.php

I controlli vengono fatti per tutti i livelli di limiti impostati e quello che scatta per primo viene impostato come valore residuo.
Quindi potresti poter scaricare 1000 file ma avere esaurito il totale in bytes, che poi però potrebbe ripartire il giorno dopo se nella settimana hai scaricato poco. Oppure potresti avere 1000 file rimasti di oggi ma il sito intero ha raggiunto il limite settimanale, quindi avresti 0 file disponibili, e così via per gli altri casi.
Puoi controllare il risultato in tempo reale qui: http://adb.arcadeitalia.net/service_scr ... oad_status

ottimo, cerco di integrarla il prima possibile.

non so se hai mai pensato ad un sistema di tag, oltre ai filtri già presenti, nel cercare di aiutare un ragazzo sul foro alla ricerca di un game ci siamo imbattuti in problemi che solo con una ricerca certosina 1by1 se ne può uscire.

Nel caso specifico si ricordava che giocava ad uno sparatutto con dei dinosauri, trovarlo (e forse non ci siamo ancora riusciti) non è stato facile. Un sistema di tag aggiuntivi potrebbe associargli una serie di parole che aiutino la ricerca (dinosauri?) tag legati ad aspetti specifici del gioco diveramente poco "raggruppabili":
tutti i giochi ambientati nella preistoria, o tutti quelli in cui sei un ninja, alcuni esempi
in rete girando in tanti siti/db non ho visto funzionalità di questo tipo, che magari potrebbero essere utilizzati dai frontend

cmq grazie, come sempre

[motoschifo]

I tag li ho previsti ma per come li sto usando servono solo per marcare giochi particolari, non gestiti da campi specifici.
Es. AI Top score è un tag che applico manualmente al gioco di turno.

Schermata del 2020-01-01 20-52-08.png

Non saprei come gestire un tag inserito dall'utente, ne se ha senso farlo poichè servirebbe il contributo di uno volenteroso per inserire le parole. Lasciare il tag pubblico potrebbe avere problemi sul contenuto e dovrei quindi prevedere una sorta di approvazione da parte mia prima della pubblicazione.

Secondo te vale la pena mettere in cantiere una gestione simile?

[Gothrek]

I tag li ho previsti ma per come li sto usando servono solo per marcare giochi particolari, non gestiti da campi specifici.
Es. AI Top score è un tag che applico manualmente al gioco di turno.

Schermata del 2020-01-01 20-52-08.png


Non saprei come gestire un tag inserito dall'utente, ne se ha senso farlo poichè servirebbe il contributo di uno volenteroso per inserire le parole. Lasciare il tag pubblico potrebbe avere problemi sul contenuto e dovrei quindi prevedere una sorta di approvazione da parte mia prima della pubblicazione.

Secondo te vale la pena mettere in cantiere una gestione simile?

in generale penso che il contributo di tutti sia sempre utile, sulla sua gestione/approvazione, potresti inizialmente lasciarlo libero affinchè si popoli.

una volta ogni tanto potresti con una query tirar tutto fuori per accorpare pulire, oppure lasciare che i frontend se la gestiscano da soli. You have the power

circa la sua utilità, a parte il caso specifico, credo che un frontend del futuro ne abbia la necessità, almeno personalmente mi è capitato più volte di andare ala ricerca 1by1 di giochi di un certo tipo (jrpg medioevali per dirti), non è stato facile

[motoschifo]

Tempo fa avevo messo in lista tra le cose da fare un tipo di ricerca del tutto nuovo, qualcosa che non si trova in giro facilmente.
Prevedeva infatti la risposta ad alcune domande e poi in base a quello sfruttava tag ed altro del sito, per comporre alla fine una lista di giochi unica e molto particolare (es. incroci tra liste diverse, esclusione di tag, ecc).

Si va in quella direzione quindi, ma il vero problema è sempre lo stesso: se lascio libero e succede un casino, poi ci metto più tempo io a sistemare che ad approvare un nome ogni tanto. Se invece non controllo nulla, va a finire che uno scrive tag inutili o non corretti o semplicemente sbagliati.

Accorpare e pulire con una o più query è complesso e lungo, e per fare una pagina dedicata non ho tempo.

Devo però capire come fare, ovvero come presentare all'utente questa possibilità.

Altro step è poi la ricerca all'interno di dati extra, come mameinfo/history, che in parte potrebbe già sopperire alla questione tag.

[Gothrek]

Tempo fa avevo messo in lista tra le cose da fare un tipo di ricerca del tutto nuovo, qualcosa che non si trova in giro facilmente.
Prevedeva infatti la risposta ad alcune domande e poi in base a quello sfruttava tag ed altro del sito, per comporre alla fine una lista di giochi unica e molto particolare (es. incroci tra liste diverse, esclusione di tag, ecc).

Si va in quella direzione quindi, ma il vero problema è sempre lo stesso: se lascio libero e succede un casino, poi ci metto più tempo io a sistemare che ad approvare un nome ogni tanto. Se invece non controllo nulla, va a finire che uno scrive tag inutili o non corretti o semplicemente sbagliati.

Accorpare e pulire con una o più query è complesso e lungo, e per fare una pagina dedicata non ho tempo.

Devo però capire come fare, ovvero come presentare all'utente questa possibilità.

Altro step è poi la ricerca all'interno di dati extra, come mameinfo/history, che in parte potrebbe già sopperire alla questione tag.

Per renderti la vita facile per ora lascerei farli riempire agli utenti, ottimo il tema della ricerca dei dati extra.

[AntoPISA]

Riguardo alla ricerca all'interno di history.dat, sembra che il nuovo strumento messo a punto da DreamSoft funzioni molto bene. Dacci un'occhiata, lo trovi qui: https://www.arcade-history.com/index.php?page=download

Se poi vuoi dare uno sguardo al sorgente, sono in contatto con il programmatore.

[motoschifo]

L'ho provato ma nel mio caso ho pensato la fase di ricerca in maniera diversa.
Infatti le parole inserite devono essere esattamente quelle del testo, ovvero "motorola " (con due spazi finali) non trova nessun gioco.
È sicuramente qualcosa per iniziare, però aggiunge poco alla ricerca su file history.dat con un editor di testo. Senza considerare che comunque vuole un exe del Mame aggiornato per funzionare.

Quindi ben venga qualsiasi tool extra, nel mio caso non so ancora quando potrò aggiungere la ricerca history.dat ma agirà diversamente.
Per es. possibilità di ricerca di più parole, limitatamente ad alcune sezioni (staff, trivia, ecc), con le parole trovate evidenziate (aiuta tantissimo la lettura, almeno su di me), possibilità di invertire le parole ("Lee Dong" e "Dong Lee" daranno gli stessi risultati), ecc.
Ovviamente in congiunzione con tutti i filtri attuali, ed è qui che entra in gioco la parte più interessante

[motoschifo]

Se poi vuoi dare uno sguardo al sorgente, sono in contatto con il programmatore.

Quando avrò fatto qualcosa sul sito si potrebbe condividere l'esperienza con lui così da guadagnare entrambi in funzionalità.

[Gothrek]

L'ho provato ma nel mio caso ho pensato la fase di ricerca in maniera diversa.
Infatti le parole inserite devono essere esattamente quelle del testo, ovvero "motorola " (con due spazi finali) non trova nessun gioco.
È sicuramente qualcosa per iniziare, però aggiunge poco alla ricerca su file history.dat con un editor di testo. Senza considerare che comunque vuole un exe del Mame aggiornato per funzionare.

Quindi ben venga qualsiasi tool extra, nel mio caso non so ancora quando potrò aggiungere la ricerca history.dat ma agirà diversamente.
Per es. possibilità di ricerca di più parole, limitatamente ad alcune sezioni (staff, trivia, ecc), con le parole trovate evidenziate (aiuta tantissimo la lettura, almeno su di me), possibilità di invertire le parole ("Lee Dong" e "Dong Lee" daranno gli stessi risultati), ecc.
Ovviamente in congiunzione con tutti i filtri attuali, ed è qui che entra in gioco la parte più interessante

tutto molto bello!!! seguo con passione e curiosità

[motoschifo]

Segnalo che dalla release 0.238 la registrazione delle partite non funziona più a causa di una modifica al Mame.
Infatti i parametri da riga di comando sono stati rimossi e il sorgente di quella parte è stato spostato in un plug-in (TIMECODE).
Per attivarlo o disattivarlo si entra nel menu PLUG-INS del Mame, operazione da fare manualmente prima della registrazione.

Questo purtroppo ha rotto la compatibilità con i tool che ho scritto nel tempo per automatizzare il processo di registrazione.
Dovrò modificarli e fare rilasci per gestire anche questa variante.

[AntoPISA]

Speriamo presto
Comunque (per i giochi aggiunti prima di questa versione) posso sempre usare le vecchie procedure, vero?

[motoschifo]

Si, l'errore esce proprio quando tenta di eseguire il Mame con il parametro per scrivere i tempi... che non essendoci più, ovviamente da errore.
Fino alla 0.237 compresa dovrebbe andare tutto bene ma non ho provato. Lo dovrò fare quando inizierò a modificare i sorgenti comunque.

[COISF]

Salve a tutti,ho scaricato i file video per hyperspin 251,ma il primo è corrotto,scaricato tutti,ma non funziona.


Sistemato sul loro sito !!

[motoschifo]

Non ho capito cosa intendi, dovresti specificare.
Hai già controllato se il tuo problema è già stato risolto in passato? I video non sono cambiati da diversi anni, quelli che ci sono oggi sono gli stessi di qualche decina di release fa.

[AntoPISA]

Ho risolto. Non era era un problema di codec video o simili ma semplicemente del nome del primo pacchetto degli 8 che compongono la collezione completa, che io avevo erroneamente rinominato in .7z invece di .7z.000.