GotScraper - Scraping spaziale!!

[Gothrek]

@Gothrek puoi pubblicare una lista di tutti i siti dai quali è possibile fare scraping di dati?

Ciao, parli dei siti che ho configurato nel mio scraper o in generale?

[pucci]

Ti risponderei in generale, anche perché spero che nel tuo software tu li metta tutti!

Inviato dal mio ONEPLUS A5010 utilizzando Tapatalk

[Gothrek]

@pucci
la premessa è che siti di scraping ce ne sono una marea, ma quelli per farlo fare in maniera sistematica attraverso programmi e quindi mettendo a disposizione delle API non sono tantissimi.
Io tutti quelli che ho trovato che lo permettono li voglio integrare naturalmente.
Al momento non tutti mi hanno dato un account sviluppatore e quindi per alcuni di essi sono in attesa.
Questo il mio elenco, partendo da:
ArcadeDB, oramai son anni che ho rotto le balls a @motoschifo
screenscraper, il sito franzoso, la loro documentazione sulle api è molto buona
IGDB, hanno tutta una sezione a parte per le API, ottima scelta
mobygames, in attesa di approvazione come sviluppatore
thegamesdb, in attesa di approvazione come sviluppatore
openretro, non usano API ma mettono a disposizione un loro software

se ne conoscete altri benvengano

[melomeloz]

Seguo con interesse!
Al momento ho utilizzato Skraper che scarica da screenscraper.fr lo trovo ottimo ma ha delle limitazioni ad esempio per il MAME non funziona

Non vedo l'ora di vedere il tuo!

P.S. non vedo nel tuo elenco https://emumovies.com

[alucard]

SkraperUI è il primo scraper dall’interfaccia grafica come si deve. E’ ben fatto, ma è maledettamente chiuso e ha strani limiti. Non si può contribuire per ridurli. Peccato.

Trovo eccellente Skyscraper, varie sorgenti personalizzabili a seconda delle esigenze, post processing, db cache con le risorse scaricate, ecc. Non ha interfaccia al momento.

Questo scraper promette bene, perché ricalca l’ottima UI di Skraper, e già dimostra di non avere gli stessi limiti.

Solo a gusto personale, malgrado con mono i programmi .Net possano girare anche su Linux, non sarebbe stato male realizzarlo con Electron e dargli una visibilità maggiore worldwide.
Per carità, Windows rimane comunque protagonista principale, però...

Buon lavoro e grazie per l’impegno.

[Gothrek]

@melomeloz
manca poco sto aggiungendo ultime sorgenti
a parte lo scraping (fulcro dell'app), questo ha tutta una sezione sulla gestione del proprio server media, di media che magari non sono per forza legati all'immagine della rom nel frontend ma per puro piacere e gusto personale, i marquee piuttosto che le sideart piuttosto che altro.
Quindi usa i siti di scraping da una parte per creare immagini/video per i frontend, ma dall'altra per alimentare il proprio media server che è possibile poi dall'interfaccia visionare, inclusa la parte descrittiva.
ad esempio posso decidere di importare la parte descrittiva, modificarla a mio piacimento affinchè durante lo scraping venga riportata la mia personale (skyscraper usa si una cache locale ma non ha tutta la parte di gestione delle info/media). Questo per rispondere @alucard
purtroppo, diciamo, io lavoro con visual studio e chiaramente svilupparci mi agevola, diciamo che con 30gg di lavoro lo ho fatto da 0, mettermi su una piattaforma e con un linguaggio che maneggio meno allunga i tempi, ma javascript e c# sono molti amici, magari sarà possibile un porting in maniera comoda.
Quello che mi è dispiaciuto e non partecipare allo sviluppo di skyscraper, ma lavorano solo in c++, che per quanto abbia familiarità con diversi linguaggio non tratto.
Ultimo le librerie proprietarie,
a differenza di FLM il layout mager che ho fatto per Feel che per regalare il codice ad arcadeitalia ho sviluppato solo con compenenti standard e quindi un domani chiunque può portarne avanti il progetto, questo ho usato librerie proprietarie il cui codice non posso condividerlo (altrimenti chi sviluppa dovrebbe acquistare le librerie non proprio economiche).

alla fine direi, partiamo, se ho una buona base di utenti che lo usano riusciamo a perfezionarlo e arcadeitalia potrà vantarsi anche di uno scraper.

sono in chiusura dell'alfa, vi chiedero aiuto per i test

x emumovies come openretro usano un loro software (sync se non ricordo male), però è da mettere in lista, me ne sono dimenticato

[pucci]

se ne conoscete altri benvengano

https://gamesdb.launchbox-app.com/

[pucci]

• Arcade Database - https://adb.arcadeitalia.net/
• ScreenScraper - https://www.screenscraper.fr/
• IGDB - https://www.igdb.com/
• MobyGames - https://www.mobygames.com/
• TheGamesDB - https://thegamesdb.net/
• OpenRetro Game Database - https://openretro.org/
• EmuMovies - https://emumovies.com/
• LaunchBox Games Database - https://gamesdb.launchbox-app.com/

[Gothrek]

• Arcade Database - https://adb.arcadeitalia.net/
• ScreenScraper - https://www.screenscraper.fr/
• IGDB - https://www.igdb.com/
• MobyGames - https://www.mobygames.com/
• TheGamesDB - https://thegamesdb.net/
• OpenRetro Game Database - https://openretro.org/
• EmuMovies - https://emumovies.com/
• LaunchBox Games Database - https://gamesdb.launchbox-app.com/

quasi quasi da stickare al di fuori di questo topic

[pucci]

Chissà se qualcuno ne conosce altri validi

Inviato dal mio ONEPLUS A5010 utilizzando Tapatalk