limite di banda

[Gothrek]

ciao @motoschifo
sai dirmi a quanto si possa ricevere questo messaggio :

Immagine 2022-05-07 205619.png

cosi da poterlo gestire nello scraper.

[motoschifo]

Dipende da molti fattori, ci sono limiti sul singolo ip, giornata, settimana, mese e anno.
Se ricevi un 509 è inutile provare a scaricare qualcosa nella giornata perchè non funzionerà mai, dalla mezzanotte e 1 minuti invece avrai ancora a disposizione tutto il limite giornaliero.

[motoschifo]

Il 509 è un errore come il 404, il messaggio che vedi lo scrivo io per l'utente ma nel tuo caso puoi ignorarlo se ricevi un errore di quel tipo.

[Gothrek]

Dipende da molti fattori, ci sono limiti sul singolo ip, giornata, settimana, mese e anno.
Se ricevi un 509 è inutile provare a scaricare qualcosa nella giornata perchè non funzionerà mai, dalla mezzanotte e 1 minuti invece avrai ancora a disposizione tutto il limite giornaliero.

ok, quindi quando ricevo un 509, lo metto in standby fino alla mezzanotte? corretto?

il motivo era utile per calcolare/avvisare anticipatamente, faccio qualche esempio,
metto in scraping 40.000 rom so che il limite di chiamate è 20.000 lo avviso, piuttosto che so che il limite è di 100mb giorno ecc

[motoschifo]

Ma non ti avevo girato le info per avere questi dati? Forse l'ho fatto con altri allora... il discorso è che quel limite varia in funzione del carico del server, quindi non è quantificabile in maniera fissa.
Sono limiti molto alti comunque, si parla di 250 mila file (chiamate illimitate) e 40GB per singolo ip, poi subentra un limite giornaliero di 300GB mentre quelli settimanali e mensili sono variabili.
Quindi chi supera i limiti lo fa perchè abusa del servizio e vuole tutto subito, oppure lancia 10 thread insieme pensando di "fare il furbo" perchè ha una gigabit, ecc. Mi sono arrivate richieste di tutti i tipi, c'è anche chi minaccia di sbloccare subito perchè è a lavoro e non può scaricare da casa, ecc.

Comunque trovi tutto qui, la chiamata è download_status:
http://adb.arcadeitalia.net/?page=scraper

L'ultimo limite per ip è di ieri, ne capitano di continuo, mentre quello giornaliero è di qualche mese fa.

[Gothrek]

Ma non ti avevo girato le info per avere questi dati? Forse l'ho fatto con altri allora...

no, non me li avevi girati, avevo leggo sul sito cmq le possibili limitazioni, ma era generico

il discorso è che quel limite varia in funzione del carico del server, quindi non è quantificabile in maniera fissa.
Sono limiti molto alti comunque, si parla di 250 mila file (chiamate illimitate) e 40GB per singolo ip, poi subentra un limite giornaliero di 300GB mentre quelli settimanali e mensili sono variabili.
Quindi chi supera i limiti lo fa perchè abusa del servizio e vuole tutto subito, oppure lancia 10 thread insieme pensando di "fare il furbo" perchè ha una gigabit, ecc. Mi sono arrivate richieste di tutti i tipi, c'è anche chi minaccia di sbloccare subito perchè è a lavoro e non può scaricare da casa, ecc.

Comunque trovi tutto qui, la chiamata è download_status:
http://adb.arcadeitalia.net/?page=scraper

L'ultimo limite per ip è di ieri, ne capitano di continuo, mentre quello giornaliero è di qualche mese fa.

probabilmente quello dell'8/5 è il mio, a casa dovrei ricontrollare l'ip, ma visto che stavo testando proprio quello lo darei come molto probabile.

quindi 40G per ip giorno, questo è quello che potrei in generale poter monitorare per avvisare l'utente cmq usare la funzione che mi hai indicato.

Oggi anche con altri siti in cui il limite è palesato, all'avvicinarsi del limite, chiedo se si vuole proseguire escludendo quello per cui si raggiunge il limite, se si vuole salvare lo scrape cosi da riprenderlo al successivo avvio, oppure parte un countdown verso la fine del giorno (questo per quelli che lasciano li il programma e tornano a guardarlo quando hanno tempo/voglia).

Lo farei anche per ADB. Ho seguito le tue indicazioni circa il mono thread, meglio gestibile.

il grosso del download ovviamente sono i video, dovrei provare a scaricare da li.

[Gothrek]

@motoschifo
i valori riportati in download status sono specifico del proprio ip o generali del servizio?

[motoschifo]

del client che effettua la chiamata in quel momento

[Gothrek]

del client che effettua la chiamata in quel momento

perfetto, gestisco!!

grazie

[Gothrek]

eccomi di nuovo qui @motoschifo per spero l'ultima domanda su questa chiamata
DOWNLOAD_STATUS

i valori riportati riguardano esclusivamente il download di video/immagini corretto? non i dati che ci scambiamo con le chiamate query_mame piuttosto che query_mame_like giusto?

ovvero ho un blocco su quei media, ma le info che mi dai dalle altre 2 chiamate non hanno un "peso", ho detto giusto?

potrei essere bloccato per download, ma richiederti info per altri 1000 giochi, ho capito bene?

[motoschifo]

è la quota residua dei tuoi download in quel momento, quindi immagini/video/pdf/ecc.
Le query di info non sono bloccate (per ora) proprio perchè il blocco di download permette di mantenere la linea più libera.
Prima di questi limiti, il server si siedeva e nemmeno io potevo accedervi.
Però non ha senso fare continue chiamate quando hai scaricato più di 40GB di dati, normalmente quell'utente andrebbe limitato perchè sta facendo un "danno" e sta bloccando risorse comuni.
Per ora ho scelto di non prendere provvedimenti, ma avendo traccia di chi scarica e quando, potrei un domani decidere di limitare ulteriormente nei 3 giorni successivi in caso di reiterazione (3gg servono giusto per evitare sovrapposizioni di ip).

[Gothrek]

è la quota residua dei tuoi download in quel momento, quindi immagini/video/pdf/ecc.
Le query di info non sono bloccate (per ora) proprio perchè il blocco di download permette di mantenere la linea più libera.
Prima di questi limiti, il server si siedeva e nemmeno io potevo accedervi.
Però non ha senso fare continue chiamate quando hai scaricato più di 40GB di dati, normalmente quell'utente andrebbe limitato perchè sta facendo un "danno" e sta bloccando risorse comuni.
Per ora ho scelto di non prendere provvedimenti, ma avendo traccia di chi scarica e quando, potrei un domani decidere di limitare ulteriormente nei 3 giorni successivi in caso di reiterazione (3gg servono giusto per evitare sovrapposizioni di ip).

perfetto, tutto chiaro, è mia opinione personale che un sistema di login, magari contributo, avrebbe da una parte tutelato e dall'altra contribuito al mantenimento del servizio.
invento, uno che contribuisce con una quota avrebbe potuto avere a disposizione maggiore spazio.

il prob è legato al fatto che trovando adb configurato oramai anche su tutti i sistemi emulstation (tipo batocera), quando dai il via allo scraper per un romset completo è difficile poterlo fare "per parti".

il fatto di avere una login, potrebbe ovviare soluzioni di proxy e quant'altro per l'uso di ip diversi relativi allo stesso utente.

cmq sono considerazioni personali.

grazie come sempre moto.