GotScraper - Scraping spaziale!!

[Gothrek]

@Gothrek puoi pubblicare una lista di tutti i siti dai quali è possibile fare scraping di dati?

Ciao, parli dei siti che ho configurato nel mio scraper o in generale?

[pucci]

Ti risponderei in generale, anche perché spero che nel tuo software tu li metta tutti!

Inviato dal mio ONEPLUS A5010 utilizzando Tapatalk

[Gothrek]

@pucci
la premessa è che siti di scraping ce ne sono una marea, ma quelli per farlo fare in maniera sistematica attraverso programmi e quindi mettendo a disposizione delle API non sono tantissimi.
Io tutti quelli che ho trovato che lo permettono li voglio integrare naturalmente.
Al momento non tutti mi hanno dato un account sviluppatore e quindi per alcuni di essi sono in attesa.
Questo il mio elenco, partendo da:
ArcadeDB, oramai son anni che ho rotto le balls a @motoschifo
screenscraper, il sito franzoso, la loro documentazione sulle api è molto buona
IGDB, hanno tutta una sezione a parte per le API, ottima scelta
mobygames, in attesa di approvazione come sviluppatore
thegamesdb, in attesa di approvazione come sviluppatore
openretro, non usano API ma mettono a disposizione un loro software

se ne conoscete altri benvengano

[melomeloz]

Seguo con interesse!
Al momento ho utilizzato Skraper che scarica da screenscraper.fr lo trovo ottimo ma ha delle limitazioni ad esempio per il MAME non funziona

Non vedo l'ora di vedere il tuo!

P.S. non vedo nel tuo elenco https://emumovies.com

[alucard]

SkraperUI è il primo scraper dall’interfaccia grafica come si deve. E’ ben fatto, ma è maledettamente chiuso e ha strani limiti. Non si può contribuire per ridurli. Peccato.

Trovo eccellente Skyscraper, varie sorgenti personalizzabili a seconda delle esigenze, post processing, db cache con le risorse scaricate, ecc. Non ha interfaccia al momento.

Questo scraper promette bene, perché ricalca l’ottima UI di Skraper, e già dimostra di non avere gli stessi limiti.

Solo a gusto personale, malgrado con mono i programmi .Net possano girare anche su Linux, non sarebbe stato male realizzarlo con Electron e dargli una visibilità maggiore worldwide.
Per carità, Windows rimane comunque protagonista principale, però...

Buon lavoro e grazie per l’impegno.

[Gothrek]

@melomeloz
manca poco sto aggiungendo ultime sorgenti
a parte lo scraping (fulcro dell'app), questo ha tutta una sezione sulla gestione del proprio server media, di media che magari non sono per forza legati all'immagine della rom nel frontend ma per puro piacere e gusto personale, i marquee piuttosto che le sideart piuttosto che altro.
Quindi usa i siti di scraping da una parte per creare immagini/video per i frontend, ma dall'altra per alimentare il proprio media server che è possibile poi dall'interfaccia visionare, inclusa la parte descrittiva.
ad esempio posso decidere di importare la parte descrittiva, modificarla a mio piacimento affinchè durante lo scraping venga riportata la mia personale (skyscraper usa si una cache locale ma non ha tutta la parte di gestione delle info/media). Questo per rispondere @alucard
purtroppo, diciamo, io lavoro con visual studio e chiaramente svilupparci mi agevola, diciamo che con 30gg di lavoro lo ho fatto da 0, mettermi su una piattaforma e con un linguaggio che maneggio meno allunga i tempi, ma javascript e c# sono molti amici, magari sarà possibile un porting in maniera comoda.
Quello che mi è dispiaciuto e non partecipare allo sviluppo di skyscraper, ma lavorano solo in c++, che per quanto abbia familiarità con diversi linguaggio non tratto.
Ultimo le librerie proprietarie,
a differenza di FLM il layout mager che ho fatto per Feel che per regalare il codice ad arcadeitalia ho sviluppato solo con compenenti standard e quindi un domani chiunque può portarne avanti il progetto, questo ho usato librerie proprietarie il cui codice non posso condividerlo (altrimenti chi sviluppa dovrebbe acquistare le librerie non proprio economiche).

alla fine direi, partiamo, se ho una buona base di utenti che lo usano riusciamo a perfezionarlo e arcadeitalia potrà vantarsi anche di uno scraper.

sono in chiusura dell'alfa, vi chiedero aiuto per i test

x emumovies come openretro usano un loro software (sync se non ricordo male), però è da mettere in lista, me ne sono dimenticato

[pucci]

se ne conoscete altri benvengano

https://gamesdb.launchbox-app.com/

[pucci]

• Arcade Database - https://adb.arcadeitalia.net/
• ScreenScraper - https://www.screenscraper.fr/
• IGDB - https://www.igdb.com/
• MobyGames - https://www.mobygames.com/
• TheGamesDB - https://thegamesdb.net/
• OpenRetro Game Database - https://openretro.org/
• EmuMovies - https://emumovies.com/
• LaunchBox Games Database - https://gamesdb.launchbox-app.com/

[Gothrek]

• Arcade Database - https://adb.arcadeitalia.net/
• ScreenScraper - https://www.screenscraper.fr/
• IGDB - https://www.igdb.com/
• MobyGames - https://www.mobygames.com/
• TheGamesDB - https://thegamesdb.net/
• OpenRetro Game Database - https://openretro.org/
• EmuMovies - https://emumovies.com/
• LaunchBox Games Database - https://gamesdb.launchbox-app.com/

quasi quasi da stickare al di fuori di questo topic

[pucci]

Chissà se qualcuno ne conosce altri validi

Inviato dal mio ONEPLUS A5010 utilizzando Tapatalk

[Gothrek]

Mi piacerebbe sapere da quei pochi che hanno risposto a questo topic, ma da tutti gli altri che volessero,
cosa vi manca negli altri o cosa avete sempre sognato di avere (e non avete )
cito chi ha risposto nella speranza di altrettanti reply
@CONSOLEMAN , @morenobruni , @TheBaro , @metalchef , @pucci , @alucard , @melomeloz, aggiungo @Tox Nox Fox che tanto è sempre in mezzo


grazie per la colalborazione

[Tox Nox Fox]

Nello scraper che vorrei ..
Mi piacerebbe che effettuasse la ricerca anche su database locali, così da non riscaricare quello che già ho
Vorrei possibilita di scaricare Snap, video, marquee, title, cabinet, control panel, info del gioco in italiano, magari trucchi.
Che gestisca i percorsi di rete
Una gui semplice, gestibile con pochi click di mouse
Che lavori in background
Che funzioni senza impallarsi
Per me basterebbe questo

[Gothrek]

Nello scraper che vorrei ..
1) Mi piacerebbe che effettuasse la ricerca anche su database locali, così da non riscaricare quello che già ho
2) Vorrei possibilita di scaricare Snap, video, marquee, title, cabinet, control panel, info del gioco in italiano, magari trucchi.
3) Che gestisca i percorsi di rete
4) Una gui semplice, gestibile con pochi click di mouse
5) Che lavori in background
6) Che funzioni senza impallarsi
Per me basterebbe questo

Se dovessi citarti per punti direi:
1) c'è
2) c'è
3) maggiori info plz
4) mmm più dubbioso, le tante opzioni possibili di solito cozzano con i pochi click, cmq ho previsto una modalità lascio tutto com è, fino alla personalizzazione estrema
5) da finire
6) lo darei per scontato

[melomeloz]

Quindi se ad esempio io ho scaricato l'intero pack snap da Progetto Snap di antopisa e invece vorrei tenermi solo i file corrispondenti alle mie rom lo posso fare?
Cioè praticamente uno scraper locale o qualcosa del genere

[Gothrek]

Quindi se ad esempio io ho scaricato l'intero pack snap da Progetto Snap di antopisa e invece vorrei tenermi solo i file corrispondenti alle mie rom lo posso fare?
Cioè praticamente uno scraper locale o qualcosa del genere

Il programma crea un server locale di media file (immagini/video/descrizioni), mano mano che lo usi (oltre che poter aggiungere contenuto).
al momento dello scraping tu hai un elenco di siti (di cui uno è il tuo server locale), tu scegli l'ordine con cui lui ricerca (per default, cerca prima in locale ma lo decidi tu).
Mano mano che trova la risorsa locale usa quella, se non la trova pesca online secondo l'ordine che gli hai dato (ordine uguale per tutti o personalizzabile per singolo sistema, magari per i mame preferisco che peschi prima da arcadeDB mentre per il nintendo switch che ne so screenscraper), tutto quello che pesca online (se hai detto che vuoi anche salvarlo localmente), finisce nel media server.
Il software ha una sezione, con cui visiti il materiale, chiaro che questo è legato alle tue rom essendo quelle la base di partenza.

Di fatto il server locale non vuole sostituirsi ai siti di scraping come contenitore di tutto quello che esiste, ma esclusivamente dei media che servono a te (rom in tuo possesso piuttosto che solo alcune tipologie di media).

Spero essere stato esaustivo, senno chiedi son qui.

[SparrowJ]

Io l'ho sempre sognato, manco ne ho mai usato uno di scraper, scaricavo pacchetti singoli e impazzivo... quindi da quello che ho letto e dalle proposte dei professionisti già mi piace così
L'hai completato?

[metalchef]

Per me è già perfetto così

[Gothrek]

@metalchef e @SparrowJ
azz con tutti questi "è perfetto cosi"...non mi aiutate

oggi, sull'esperienza fatta per FLM, ho implementato la composizione dell'immagine che finirà sull'emulatore, dove è possibile definire per ogni oggetto (screenshot, titolo, box, marquee e tutto quello che esiste), grandezza/posizione e sovrapposizione cosi che ognuno possa crearsi la propria composizione (fermo restando alcune di default per chi non ha questa voglia)

Anche qui, personalizzabile (volendo), per singolo sistema, quindi per i mame magai voglio il marquee e il cab ma per supernes no

[SparrowJ]

Allora proviamolo

[Tox Nox Fox]

Percorsi di rete.. tipo raspy o PC nel Cab dal mio PC principale..