limite di banda
Moderatore: Moderatore ADB
- Gothrek
- Moderatore
- Messaggi: 5171
- Iscritto il: 13/07/2017, 13:30
- Città: Roma
- Grazie Inviati: 17 volte
- Grazie Ricevuti: 290 volte
limite di banda
ciao @motoschifo
sai dirmi a quanto si possa ricevere questo messaggio :
cosi da poterlo gestire nello scraper.
sai dirmi a quanto si possa ricevere questo messaggio :
cosi da poterlo gestire nello scraper.
Non hai i permessi necessari per visualizzare i file allegati in questo messaggio.
-
motoschifo
- Progetto Arcade Database
- Messaggi: 3280
- Iscritto il: 12/07/2013, 20:29
- Medaglie: 2
- Città: Parma
- Località: Parma
- Grazie Inviati: 32 volte
- Grazie Ricevuti: 32 volte
- Contatta:
Re: limite di banda
Dipende da molti fattori, ci sono limiti sul singolo ip, giornata, settimana, mese e anno.
Se ricevi un 509 è inutile provare a scaricare qualcosa nella giornata perchè non funzionerà mai, dalla mezzanotte e 1 minuti invece avrai ancora a disposizione tutto il limite giornaliero.
Se ricevi un 509 è inutile provare a scaricare qualcosa nella giornata perchè non funzionerà mai, dalla mezzanotte e 1 minuti invece avrai ancora a disposizione tutto il limite giornaliero.
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 Web ›ArcadeDatabase
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 Web ›ArcadeDatabase
-
motoschifo
- Progetto Arcade Database
- Messaggi: 3280
- Iscritto il: 12/07/2013, 20:29
- Medaglie: 2
- Città: Parma
- Località: Parma
- Grazie Inviati: 32 volte
- Grazie Ricevuti: 32 volte
- Contatta:
Re: limite di banda
Il 509 è un errore come il 404, il messaggio che vedi lo scrivo io per l'utente ma nel tuo caso puoi ignorarlo se ricevi un errore di quel tipo.
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 Web ›ArcadeDatabase
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 Web ›ArcadeDatabase
- Gothrek
- Moderatore
- Messaggi: 5171
- Iscritto il: 13/07/2017, 13:30
- Città: Roma
- Grazie Inviati: 17 volte
- Grazie Ricevuti: 290 volte
Re: limite di banda
ok, quindi quando ricevo un 509, lo metto in standby fino alla mezzanotte? corretto?motoschifo ha scritto: ↑08/05/2022, 11:01 Dipende da molti fattori, ci sono limiti sul singolo ip, giornata, settimana, mese e anno.
Se ricevi un 509 è inutile provare a scaricare qualcosa nella giornata perchè non funzionerà mai, dalla mezzanotte e 1 minuti invece avrai ancora a disposizione tutto il limite giornaliero.
il motivo era utile per calcolare/avvisare anticipatamente, faccio qualche esempio,
metto in scraping 40.000 rom so che il limite di chiamate è 20.000 lo avviso, piuttosto che so che il limite è di 100mb giorno ecc
-
motoschifo
- Progetto Arcade Database
- Messaggi: 3280
- Iscritto il: 12/07/2013, 20:29
- Medaglie: 2
- Città: Parma
- Località: Parma
- Grazie Inviati: 32 volte
- Grazie Ricevuti: 32 volte
- Contatta:
Re: limite di banda
Ma non ti avevo girato le info per avere questi dati? Forse l'ho fatto con altri allora... il discorso è che quel limite varia in funzione del carico del server, quindi non è quantificabile in maniera fissa.
Sono limiti molto alti comunque, si parla di 250 mila file (chiamate illimitate) e 40GB per singolo ip, poi subentra un limite giornaliero di 300GB mentre quelli settimanali e mensili sono variabili.
Quindi chi supera i limiti lo fa perchè abusa del servizio e vuole tutto subito, oppure lancia 10 thread insieme pensando di "fare il furbo" perchè ha una gigabit, ecc. Mi sono arrivate richieste di tutti i tipi, c'è anche chi minaccia di sbloccare subito perchè è a lavoro e non può scaricare da casa, ecc.
Comunque trovi tutto qui, la chiamata è download_status:
http://adb.arcadeitalia.net/?page=scraper
L'ultimo limite per ip è di ieri, ne capitano di continuo, mentre quello giornaliero è di qualche mese fa.
Sono limiti molto alti comunque, si parla di 250 mila file (chiamate illimitate) e 40GB per singolo ip, poi subentra un limite giornaliero di 300GB mentre quelli settimanali e mensili sono variabili.
Quindi chi supera i limiti lo fa perchè abusa del servizio e vuole tutto subito, oppure lancia 10 thread insieme pensando di "fare il furbo" perchè ha una gigabit, ecc. Mi sono arrivate richieste di tutti i tipi, c'è anche chi minaccia di sbloccare subito perchè è a lavoro e non può scaricare da casa, ecc.
Comunque trovi tutto qui, la chiamata è download_status:
http://adb.arcadeitalia.net/?page=scraper
L'ultimo limite per ip è di ieri, ne capitano di continuo, mentre quello giornaliero è di qualche mese fa.
Non hai i permessi necessari per visualizzare i file allegati in questo messaggio.
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 Web ›ArcadeDatabase
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 Web ›ArcadeDatabase
- Gothrek
- Moderatore
- Messaggi: 5171
- Iscritto il: 13/07/2017, 13:30
- Città: Roma
- Grazie Inviati: 17 volte
- Grazie Ricevuti: 290 volte
Re: limite di banda
no, non me li avevi girati, avevo leggo sul sito cmq le possibili limitazioni, ma era genericomotoschifo ha scritto: ↑09/05/2022, 10:09 Ma non ti avevo girato le info per avere questi dati? Forse l'ho fatto con altri allora...
probabilmente quello dell'8/5 è il mio, a casa dovrei ricontrollare l'ip, ma visto che stavo testando proprio quello lo darei come molto probabile.motoschifo ha scritto: ↑09/05/2022, 10:09 il discorso è che quel limite varia in funzione del carico del server, quindi non è quantificabile in maniera fissa.
Sono limiti molto alti comunque, si parla di 250 mila file (chiamate illimitate) e 40GB per singolo ip, poi subentra un limite giornaliero di 300GB mentre quelli settimanali e mensili sono variabili.
Quindi chi supera i limiti lo fa perchè abusa del servizio e vuole tutto subito, oppure lancia 10 thread insieme pensando di "fare il furbo" perchè ha una gigabit, ecc. Mi sono arrivate richieste di tutti i tipi, c'è anche chi minaccia di sbloccare subito perchè è a lavoro e non può scaricare da casa, ecc.
Comunque trovi tutto qui, la chiamata è download_status:
http://adb.arcadeitalia.net/?page=scraper
L'ultimo limite per ip è di ieri, ne capitano di continuo, mentre quello giornaliero è di qualche mese fa.
quindi 40G per ip giorno, questo è quello che potrei in generale poter monitorare per avvisare l'utente cmq usare la funzione che mi hai indicato.
Oggi anche con altri siti in cui il limite è palesato, all'avvicinarsi del limite, chiedo se si vuole proseguire escludendo quello per cui si raggiunge il limite, se si vuole salvare lo scrape cosi da riprenderlo al successivo avvio, oppure parte un countdown verso la fine del giorno (questo per quelli che lasciano li il programma e tornano a guardarlo quando hanno tempo/voglia).
Lo farei anche per ADB. Ho seguito le tue indicazioni circa il mono thread, meglio gestibile.
il grosso del download ovviamente sono i video, dovrei provare a scaricare da li.
-
motoschifo
- Progetto Arcade Database
- Messaggi: 3280
- Iscritto il: 12/07/2013, 20:29
- Medaglie: 2
- Città: Parma
- Località: Parma
- Grazie Inviati: 32 volte
- Grazie Ricevuti: 32 volte
- Contatta:
Re: limite di banda
del client che effettua la chiamata in quel momento
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 Web ›ArcadeDatabase
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 Web ›ArcadeDatabase
- Gothrek
- Moderatore
- Messaggi: 5171
- Iscritto il: 13/07/2017, 13:30
- Città: Roma
- Grazie Inviati: 17 volte
- Grazie Ricevuti: 290 volte
- Gothrek
- Moderatore
- Messaggi: 5171
- Iscritto il: 13/07/2017, 13:30
- Città: Roma
- Grazie Inviati: 17 volte
- Grazie Ricevuti: 290 volte
Re: limite di banda
eccomi di nuovo qui @motoschifo per spero l'ultima domanda su questa chiamata
DOWNLOAD_STATUS
i valori riportati riguardano esclusivamente il download di video/immagini corretto? non i dati che ci scambiamo con le chiamate query_mame piuttosto che query_mame_like giusto?
ovvero ho un blocco su quei media, ma le info che mi dai dalle altre 2 chiamate non hanno un "peso", ho detto giusto?
potrei essere bloccato per download, ma richiederti info per altri 1000 giochi, ho capito bene?
DOWNLOAD_STATUS
i valori riportati riguardano esclusivamente il download di video/immagini corretto? non i dati che ci scambiamo con le chiamate query_mame piuttosto che query_mame_like giusto?
ovvero ho un blocco su quei media, ma le info che mi dai dalle altre 2 chiamate non hanno un "peso", ho detto giusto?
potrei essere bloccato per download, ma richiederti info per altri 1000 giochi, ho capito bene?
-
motoschifo
- Progetto Arcade Database
- Messaggi: 3280
- Iscritto il: 12/07/2013, 20:29
- Medaglie: 2
- Città: Parma
- Località: Parma
- Grazie Inviati: 32 volte
- Grazie Ricevuti: 32 volte
- Contatta:
Re: limite di banda
è la quota residua dei tuoi download in quel momento, quindi immagini/video/pdf/ecc.
Le query di info non sono bloccate (per ora) proprio perchè il blocco di download permette di mantenere la linea più libera.
Prima di questi limiti, il server si siedeva e nemmeno io potevo accedervi.
Però non ha senso fare continue chiamate quando hai scaricato più di 40GB di dati, normalmente quell'utente andrebbe limitato perchè sta facendo un "danno" e sta bloccando risorse comuni.
Per ora ho scelto di non prendere provvedimenti, ma avendo traccia di chi scarica e quando, potrei un domani decidere di limitare ulteriormente nei 3 giorni successivi in caso di reiterazione (3gg servono giusto per evitare sovrapposizioni di ip).
Le query di info non sono bloccate (per ora) proprio perchè il blocco di download permette di mantenere la linea più libera.
Prima di questi limiti, il server si siedeva e nemmeno io potevo accedervi.
Però non ha senso fare continue chiamate quando hai scaricato più di 40GB di dati, normalmente quell'utente andrebbe limitato perchè sta facendo un "danno" e sta bloccando risorse comuni.
Per ora ho scelto di non prendere provvedimenti, ma avendo traccia di chi scarica e quando, potrei un domani decidere di limitare ulteriormente nei 3 giorni successivi in caso di reiterazione (3gg servono giusto per evitare sovrapposizioni di ip).
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 Web ›ArcadeDatabase
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 Web ›ArcadeDatabase
- Gothrek
- Moderatore
- Messaggi: 5171
- Iscritto il: 13/07/2017, 13:30
- Città: Roma
- Grazie Inviati: 17 volte
- Grazie Ricevuti: 290 volte
Re: limite di banda
perfetto, tutto chiaro, è mia opinione personale che un sistema di login, magari contributo, avrebbe da una parte tutelato e dall'altra contribuito al mantenimento del servizio.motoschifo ha scritto: ↑11/05/2022, 23:05 è la quota residua dei tuoi download in quel momento, quindi immagini/video/pdf/ecc.
Le query di info non sono bloccate (per ora) proprio perchè il blocco di download permette di mantenere la linea più libera.
Prima di questi limiti, il server si siedeva e nemmeno io potevo accedervi.
Però non ha senso fare continue chiamate quando hai scaricato più di 40GB di dati, normalmente quell'utente andrebbe limitato perchè sta facendo un "danno" e sta bloccando risorse comuni.
Per ora ho scelto di non prendere provvedimenti, ma avendo traccia di chi scarica e quando, potrei un domani decidere di limitare ulteriormente nei 3 giorni successivi in caso di reiterazione (3gg servono giusto per evitare sovrapposizioni di ip).
invento, uno che contribuisce con una quota avrebbe potuto avere a disposizione maggiore spazio.
il prob è legato al fatto che trovando adb configurato oramai anche su tutti i sistemi emulstation (tipo batocera), quando dai il via allo scraper per un romset completo è difficile poterlo fare "per parti".
il fatto di avere una login, potrebbe ovviare soluzioni di proxy e quant'altro per l'uso di ip diversi relativi allo stesso utente.
cmq sono considerazioni personali.
grazie come sempre moto.