limite di banda

Il database che raccoglie tutte le informazioni sui giochi, video, screenshot e tanto altro ancora

Moderatore: Moderatore ADB

Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 4847
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 17 volte
Grazie Ricevuti: 272 volte

limite di banda

Messaggio da Gothrek »

ciao @motoschifo
sai dirmi a quanto si possa ricevere questo messaggio :
Immagine 2022-05-07 205619.png
cosi da poterlo gestire nello scraper.
Non hai i permessi necessari per visualizzare i file allegati in questo messaggio.
Avatar utente
motoschifo

Gold Medal Donatore
Progetto Arcade Database
Progetto Arcade Database
Messaggi: 3271
Iscritto il: 12/07/2013, 20:29
Medaglie: 2
Città: Parma
Località: Parma
Grazie Inviati: 32 volte
Grazie Ricevuti: 31 volte
Contatta:

Re: limite di banda

Messaggio da motoschifo »

Dipende da molti fattori, ci sono limiti sul singolo ip, giornata, settimana, mese e anno.
Se ricevi un 509 è inutile provare a scaricare qualcosa nella giornata perchè non funzionerà mai, dalla mezzanotte e 1 minuti invece avrai ancora a disposizione tutto il limite giornaliero.
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 WebArcadeDatabase
Avatar utente
motoschifo

Gold Medal Donatore
Progetto Arcade Database
Progetto Arcade Database
Messaggi: 3271
Iscritto il: 12/07/2013, 20:29
Medaglie: 2
Città: Parma
Località: Parma
Grazie Inviati: 32 volte
Grazie Ricevuti: 31 volte
Contatta:

Re: limite di banda

Messaggio da motoschifo »

Il 509 è un errore come il 404, il messaggio che vedi lo scrivo io per l'utente ma nel tuo caso puoi ignorarlo se ricevi un errore di quel tipo.
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 WebArcadeDatabase
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 4847
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 17 volte
Grazie Ricevuti: 272 volte

Re: limite di banda

Messaggio da Gothrek »

motoschifo ha scritto: 08/05/2022, 11:01 Dipende da molti fattori, ci sono limiti sul singolo ip, giornata, settimana, mese e anno.
Se ricevi un 509 è inutile provare a scaricare qualcosa nella giornata perchè non funzionerà mai, dalla mezzanotte e 1 minuti invece avrai ancora a disposizione tutto il limite giornaliero.
ok, quindi quando ricevo un 509, lo metto in standby fino alla mezzanotte? corretto?

il motivo era utile per calcolare/avvisare anticipatamente, faccio qualche esempio,
metto in scraping 40.000 rom so che il limite di chiamate è 20.000 lo avviso, piuttosto che so che il limite è di 100mb giorno ecc
Avatar utente
motoschifo

Gold Medal Donatore
Progetto Arcade Database
Progetto Arcade Database
Messaggi: 3271
Iscritto il: 12/07/2013, 20:29
Medaglie: 2
Città: Parma
Località: Parma
Grazie Inviati: 32 volte
Grazie Ricevuti: 31 volte
Contatta:

Re: limite di banda

Messaggio da motoschifo »

Ma non ti avevo girato le info per avere questi dati? Forse l'ho fatto con altri allora... il discorso è che quel limite varia in funzione del carico del server, quindi non è quantificabile in maniera fissa.
Sono limiti molto alti comunque, si parla di 250 mila file (chiamate illimitate) e 40GB per singolo ip, poi subentra un limite giornaliero di 300GB mentre quelli settimanali e mensili sono variabili.
Quindi chi supera i limiti lo fa perchè abusa del servizio e vuole tutto subito, oppure lancia 10 thread insieme pensando di "fare il furbo" perchè ha una gigabit, ecc. Mi sono arrivate richieste di tutti i tipi, c'è anche chi minaccia di sbloccare subito perchè è a lavoro e non può scaricare da casa, ecc.

Comunque trovi tutto qui, la chiamata è download_status:
http://adb.arcadeitalia.net/?page=scraper

L'ultimo limite per ip è di ieri, ne capitano di continuo, mentre quello giornaliero è di qualche mese fa.
Non hai i permessi necessari per visualizzare i file allegati in questo messaggio.
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 WebArcadeDatabase
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 4847
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 17 volte
Grazie Ricevuti: 272 volte

Re: limite di banda

Messaggio da Gothrek »

motoschifo ha scritto: 09/05/2022, 10:09 Ma non ti avevo girato le info per avere questi dati? Forse l'ho fatto con altri allora...
no, non me li avevi girati, avevo leggo sul sito cmq le possibili limitazioni, ma era generico
motoschifo ha scritto: 09/05/2022, 10:09 il discorso è che quel limite varia in funzione del carico del server, quindi non è quantificabile in maniera fissa.
Sono limiti molto alti comunque, si parla di 250 mila file (chiamate illimitate) e 40GB per singolo ip, poi subentra un limite giornaliero di 300GB mentre quelli settimanali e mensili sono variabili.
Quindi chi supera i limiti lo fa perchè abusa del servizio e vuole tutto subito, oppure lancia 10 thread insieme pensando di "fare il furbo" perchè ha una gigabit, ecc. Mi sono arrivate richieste di tutti i tipi, c'è anche chi minaccia di sbloccare subito perchè è a lavoro e non può scaricare da casa, ecc.

Comunque trovi tutto qui, la chiamata è download_status:
http://adb.arcadeitalia.net/?page=scraper

L'ultimo limite per ip è di ieri, ne capitano di continuo, mentre quello giornaliero è di qualche mese fa.
probabilmente quello dell'8/5 è il mio, a casa dovrei ricontrollare l'ip, ma visto che stavo testando proprio quello lo darei come molto probabile.

quindi 40G per ip giorno, questo è quello che potrei in generale poter monitorare per avvisare l'utente cmq usare la funzione che mi hai indicato.

Oggi anche con altri siti in cui il limite è palesato, all'avvicinarsi del limite, chiedo se si vuole proseguire escludendo quello per cui si raggiunge il limite, se si vuole salvare lo scrape cosi da riprenderlo al successivo avvio, oppure parte un countdown verso la fine del giorno (questo per quelli che lasciano li il programma e tornano a guardarlo quando hanno tempo/voglia).

Lo farei anche per ADB. Ho seguito le tue indicazioni circa il mono thread, meglio gestibile.

il grosso del download ovviamente sono i video, dovrei provare a scaricare da li.
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 4847
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 17 volte
Grazie Ricevuti: 272 volte

Re: limite di banda

Messaggio da Gothrek »

@motoschifo
i valori riportati in download status sono specifico del proprio ip o generali del servizio?
Avatar utente
motoschifo

Gold Medal Donatore
Progetto Arcade Database
Progetto Arcade Database
Messaggi: 3271
Iscritto il: 12/07/2013, 20:29
Medaglie: 2
Città: Parma
Località: Parma
Grazie Inviati: 32 volte
Grazie Ricevuti: 31 volte
Contatta:

Re: limite di banda

Messaggio da motoschifo »

del client che effettua la chiamata in quel momento
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 WebArcadeDatabase
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 4847
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 17 volte
Grazie Ricevuti: 272 volte

Re: limite di banda

Messaggio da Gothrek »

motoschifo ha scritto: 09/05/2022, 23:33 del client che effettua la chiamata in quel momento
perfetto, gestisco!!

grazie
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 4847
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 17 volte
Grazie Ricevuti: 272 volte

Re: limite di banda

Messaggio da Gothrek »

eccomi di nuovo qui @motoschifo per spero l'ultima domanda su questa chiamata :D
DOWNLOAD_STATUS

i valori riportati riguardano esclusivamente il download di video/immagini corretto? non i dati che ci scambiamo con le chiamate query_mame piuttosto che query_mame_like giusto?

ovvero ho un blocco su quei media, ma le info che mi dai dalle altre 2 chiamate non hanno un "peso", ho detto giusto?

potrei essere bloccato per download, ma richiederti info per altri 1000 giochi, ho capito bene?
Rispondi

Torna a “Progetto Arcade Data Base”