Benvenuto Ospite,
per utilizzare il Forum ed avere accesso a tutte le sezioni e poter aprire un tuo Topic, rispondere nelle varie discussioni, mandare o ricevere Messaggi Privati devi seguire pochi passaggi:


Leggi il nostro Regolamento -> PREMI QUI <-
Segui il link su come Iscriversi -> PREMI QUI <-


Ricordati di aggiornare l'Avatar usando una immagine che ti distingua nel Forum

Sito web Arcade Database

Il database che raccoglie tutte le informazioni sui giochi, video, screenshot e tanto altro ancora

Moderatore: Moderatore ADB

Avatar utente
motoschifo

Gold Medal Donatore
Progetto Arcade Database
Progetto Arcade Database
Messaggi: 3407
Iscritto il: 12/07/2013, 20:29
Medaglie: 2
Città: Parma
Località: Parma
Grazie Inviati: 37 volte
Grazie Ricevuti: 53 volte
Contatta:

Re: Sito web Arcade Database

Messaggio da motoschifo »

Ambienti locali configurati ed operativi, quindi tra un paio di settimane dovrei iniziare con lo sviluppo "serio" del sito.
Clone locale/backup del server in hosting quasi ultimato, per fortuna il download incrementale è molto piccolo (solo un paio di giga rispetto al vecchio) altrimenti per scaricare 500GB di dati ci avrei messo un intero mese...
Il software in questi anni è migliorato parecchio ed è giusto allinearsi alle ultime release.

Mentre cercavo di capire il motivo dell'errore sull'xml non caricato ho spulciato alcune parti ed ho visto che ci sono ampi margini di miglioramento. Al tempo avevo limiti architetturali pesanti, oltre a vincoli lato php, ora posso sfruttare alcuni accorgimenti che dovrebbero non solo migliorare l'esperienza utente ma alleggerire il carico cpu/db lato server.
Tante belle cose... serve solo tempo per metterle in pratica e per fare esperimenti :D
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 WebArcadeDatabase
Avatar utente
motoschifo

Gold Medal Donatore
Progetto Arcade Database
Progetto Arcade Database
Messaggi: 3407
Iscritto il: 12/07/2013, 20:29
Medaglie: 2
Città: Parma
Località: Parma
Grazie Inviati: 37 volte
Grazie Ricevuti: 53 volte
Contatta:

Re: Sito web Arcade Database

Messaggio da motoschifo »

Per i più curiosi (tecnicamente parlando), ecco l'ambiente locale proxmox con la macchina clone, mentre come sviluppo sto passando da vscode+addon a vim+tmuxinator (in pratica editor stile terminale) con servizi docker web/db/php separati.
In allegato si vedono le statistiche del server locale e il sync in corso sugli ultimi file aggiornati.
Un bel salto di qualità rispetto a qualche anno fa.
Non hai i permessi necessari per visualizzare i file allegati in questo messaggio.
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 WebArcadeDatabase
Avatar utente
idro
Newbie
Newbie
Messaggi: 88
Iscritto il: 23/08/2013, 16:31
Città: Roma
Località: Santa Marinella

Re: Sito web Arcade Database

Messaggio da idro »

[cancellato]
Avatar utente
motoschifo

Gold Medal Donatore
Progetto Arcade Database
Progetto Arcade Database
Messaggi: 3407
Iscritto il: 12/07/2013, 20:29
Medaglie: 2
Città: Parma
Località: Parma
Grazie Inviati: 37 volte
Grazie Ricevuti: 53 volte
Contatta:

Re: Sito web Arcade Database

Messaggio da motoschifo »

Proviamo se il nuovo forum funziona, intanto vi aggiorno sulla situazione sito.

Come scritto sopra ho creato i 3 ambienti locali: legacy (vecchio/attuale), dev (in sviluppo), next (prototipo).
Il vecchio mi serve principalmente per sistemare errori rapidamente fino a quando non aggiornerò, il prototipo per riferimento dato che non ha quasi nulla di dipendenza dal vecchio.

Ora sto completando la copia di tutte le pagine nel nuovo motore, ed intanto pulisco il superfluo (temi, statistiche, login demo, ecc.)
Il sito si mostrerà sostanzialmente identico al vecchio, ma internamente userà una logica di routing completamente nuova.
Da qui, una alla volta cambierò le pagine e potrò aggiornare con regolarità.
Dovrei aver mantenuto tutto funzionante: utenti, liste, ricerche, link, api, import.
Questo tipo di lavori si fa normalmente su progetti enterprise, dove va garantita la continuità, ed in effetti con i milioni di righe di codice questo sito è decisamente troppo ingombrante e poco ottimizzato :D

Piccola nota tecnica: nei giorni scorsi ho messo in ban (provvisorio o definitivo) poco meno di 10 mila indirizzi IP totali. Ora siamo stabili sui 1000, perchè i ban provvisori decadono dopo pochi giorni.
C'erano accessi continui, tentativi di intrusione, scraping selvaggio (es. dozzine di richieste contemporanee dallo stesso ip, superamento dei limiti recidivo, richieste identiche ogni minuto per ore intere).
Ho cercato di non andarci giù pesante e comunque lo scraping sarà supportato, ovviamente quando fatto secondo le regole.
Ho agito solo per evitare di far cadere il server, non per dispetto verso alcuni utenti, e i ban definitivi sono limitati a finti crawler che facevano mirror continuo ed insostenibile.
Questo, unito ad un'ottimizzazione estrema del sito, consentiranno di avere molti più accessi giornalieri e alla fine potrò alzare qualche limite che oggi ho messo come protezione.
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 WebArcadeDatabase
Avatar utente
Tox Nox Fox

BanHammer Silver Medal Helper Donatore
Moderatore
Moderatore
Messaggi: 12712
Iscritto il: 14/01/2007, 23:35
Medaglie: 4
Grazie Inviati: 238 volte
Grazie Ricevuti: 356 volte

Re: Sito web Arcade Database

Messaggio da Tox Nox Fox »

Ottimo!
WP.ARCADEITALIA.NET
La Guida al MameCab
Avatar utente
motoschifo

Gold Medal Donatore
Progetto Arcade Database
Progetto Arcade Database
Messaggi: 3407
Iscritto il: 12/07/2013, 20:29
Medaglie: 2
Città: Parma
Località: Parma
Grazie Inviati: 37 volte
Grazie Ricevuti: 53 volte
Contatta:

Re: Sito web Arcade Database

Messaggio da motoschifo »

A distanza di qualche tempo, dopo la pausa con Edicola8bit, sono tornato operativo sul sito e sto "falciando" parecchie cose vecchie che avevano proprio bisogno di nuova vita.
Purtroppo i tempi saranno lunghi, ma non bisogna spaventarsi.

Per prima cosa ho deciso di separare i database: uno "mame" dedicato all'emulatore (macchine + software), uno "comune" con utenti e dati generali del sito, uno "import" temporaneo che esiste solo in fase di importazione dati e in futuro uno dedicato alle api (che in realtà sarà integrato con redis o altro servizio di cache).
Questo mi permette di separare nettamente le competenze e quindi di avere una struttura più gestibile.

Modifica dei menu per poter ospitare più emulatori/sistemi: avremo "Sistemi" per una panoramica (oggi è la voce "Mame") e "Libreria" per le ricerche e i cataloghi.
Rimarrà il tasto di ricerca, comodo e rapido, ma la pagina di ricerca cambierà per poter gestire più tipologie diverse e salverà dati nel local storage per evitare di far fare troppi click all'utente abituato a cercare solo romset arcade Mame.
Il termine "sistemi" si riferisce a tutto, quindi emulatori, console, hardware, ecc. e sarà oggetto di prossime implementazioni.
Le ricerche saranno diverse: macchine, software, liste software, file romset, history/testi, media, storico.
La distinzione è puramente semantica, alla fine potrò avere un elenco di romset da esportare o da filtrare ulteriormente, e sposerà la gestione ad insiemi che da ormai troppo tempo ho promesso di fare... ma ci sarà tmepo per parlarne, prima completiamo le pagine che ci sono già e poi discutiamo di nuove funzioni in appositi thread.

Lato prestazioni, al momento sto avendo un incremento fino a 10x rispetto al sito classico, 100x sulle API/scraper, quindi promette bene. Ovviamente una richiesta di tanti file insieme sarà cestinata, oltre un certo limite ed una certa insistenza scatteranno dei ban come sta già succedendo oggi per alcuni bot recidivi.

A proposito di blocchi, il server è ormai preso di mira in maniera continuativa: ad un mese e mezzo dalla partenza siamo oltre il milione di tentativi bloccati (insistenti o recidivi), con 1300 ip bannati in maniera permanente.
Solo negli ultimi 5 giorni ci sono stati 150 mila tentativi di accesso alla console.
Se il sito sta ancora rispondendo alla navigazione è merito di questi servizi che permettono all'hardware di non passare il tempo a controllare qualsiasi cosa in movimento e quindi sopperire sotto il carico. Il futuro limitatore di banda, il controllo per ip e la gestione cache dovrebbero permettere di attivare più servizi senza pesare troppo (e quindi senza richiedere ulteriori esporsi economici).
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 WebArcadeDatabase
Rispondi

Torna a “Progetto Arcade Data Base”