Benvenuto Ospite,
per utilizzare il Forum ed avere accesso a tutte le sezioni e poter aprire un tuo Topic, rispondere nelle varie discussioni, mandare o ricevere Messaggi Privati devi seguire pochi passaggi:


Leggi il nostro Regolamento -> PREMI QUI <-
Segui il link su come Iscriversi -> PREMI QUI <-


Ricordati di aggiornare l'Avatar usando una immagine che ti distingua nel Forum

GotScraper - Scraping spaziale!!

Problemi e soluzioni su configurazioni software, firmware
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 5498
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 20 volte
Grazie Ricevuti: 313 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Gothrek »

Mi piacerebbe sapere da quei pochi che hanno risposto a questo topic, ma da tutti gli altri che volessero,
cosa vi manca negli altri o cosa avete sempre sognato di avere (e non avete :D)
cito chi ha risposto nella speranza di altrettanti reply :D
@CONSOLEMAN , @morenobruni , @TheBaro , @metalchef , @pucci , @alucard , @melomeloz, aggiungo @Tox Nox Fox che tanto è sempre in mezzo :D


grazie per la colalborazione :D
Avatar utente
Tox Nox Fox

BanHammer Silver Medal Helper Donatore
Moderatore
Moderatore
Messaggi: 12457
Iscritto il: 14/01/2007, 23:35
Medaglie: 4
Grazie Inviati: 205 volte
Grazie Ricevuti: 324 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Tox Nox Fox »

Nello scraper che vorrei ..
Mi piacerebbe che effettuasse la ricerca anche su database locali, così da non riscaricare quello che già ho
Vorrei possibilita di scaricare Snap, video, marquee, title, cabinet, control panel, info del gioco in italiano, magari trucchi.
Che gestisca i percorsi di rete
Una gui semplice, gestibile con pochi click di mouse
Che lavori in background
Che funzioni senza impallarsi
Per me basterebbe questo
WP.ARCADEITALIA.NET
La Guida al MameCab
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 5498
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 20 volte
Grazie Ricevuti: 313 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Gothrek »

Tox Nox Fox ha scritto: 20/04/2020, 13:43 Nello scraper che vorrei ..
1) Mi piacerebbe che effettuasse la ricerca anche su database locali, così da non riscaricare quello che già ho
2) Vorrei possibilita di scaricare Snap, video, marquee, title, cabinet, control panel, info del gioco in italiano, magari trucchi.
3) Che gestisca i percorsi di rete
4) Una gui semplice, gestibile con pochi click di mouse
5) Che lavori in background
6) Che funzioni senza impallarsi
Per me basterebbe questo
Se dovessi citarti per punti direi:
1) c'è
2) c'è
3) maggiori info plz
4) mmm più dubbioso, le tante opzioni possibili di solito cozzano con i pochi click, cmq ho previsto una modalità lascio tutto com è, fino alla personalizzazione estrema
5) da finire
6) lo darei per scontato
Avatar utente
melomeloz
Newbie
Newbie
Messaggi: 19
Iscritto il: 11/04/2020, 23:43
Città: Catania
Grazie Inviati: 1 volta

Re: GotScraper - Scraping spaziale!!

Messaggio da melomeloz »

Quindi se ad esempio io ho scaricato l'intero pack snap da Progetto Snap di antopisa e invece vorrei tenermi solo i file corrispondenti alle mie rom lo posso fare?
Cioè praticamente uno scraper locale o qualcosa del genere
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 5498
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 20 volte
Grazie Ricevuti: 313 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Gothrek »

melomeloz ha scritto: 20/04/2020, 14:08 Quindi se ad esempio io ho scaricato l'intero pack snap da Progetto Snap di antopisa e invece vorrei tenermi solo i file corrispondenti alle mie rom lo posso fare?
Cioè praticamente uno scraper locale o qualcosa del genere
Il programma crea un server locale di media file (immagini/video/descrizioni), mano mano che lo usi (oltre che poter aggiungere contenuto).
al momento dello scraping tu hai un elenco di siti (di cui uno è il tuo server locale), tu scegli l'ordine con cui lui ricerca (per default, cerca prima in locale ma lo decidi tu).
Mano mano che trova la risorsa locale usa quella, se non la trova pesca online secondo l'ordine che gli hai dato (ordine uguale per tutti o personalizzabile per singolo sistema, magari per i mame preferisco che peschi prima da arcadeDB mentre per il nintendo switch che ne so screenscraper), tutto quello che pesca online (se hai detto che vuoi anche salvarlo localmente), finisce nel media server.
Il software ha una sezione, con cui visiti il materiale, chiaro che questo è legato alle tue rom essendo quelle la base di partenza.

Di fatto il server locale non vuole sostituirsi ai siti di scraping come contenitore di tutto quello che esiste, ma esclusivamente dei media che servono a te (rom in tuo possesso piuttosto che solo alcune tipologie di media).

Spero essere stato esaustivo, senno chiedi son qui.
Avatar utente
SparrowJ

Donatore
Moderatore F.E.E.L.
Moderatore F.E.E.L.
Messaggi: 1479
Iscritto il: 03/05/2017, 10:22
Medaglie: 1
Città: Napoli
Grazie Inviati: 15 volte
Grazie Ricevuti: 30 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da SparrowJ »

Io l'ho sempre sognato, manco ne ho mai usato uno di scraper, scaricavo pacchetti singoli e impazzivo... quindi da quello che ho letto e dalle proposte dei professionisti già mi piace così :)
L'hai completato? :)
Avatar utente
metalchef
Newbie
Newbie
Messaggi: 68
Iscritto il: 13/02/2015, 16:44
Città: Prato
Grazie Inviati: 1 volta

Re: GotScraper - Scraping spaziale!!

Messaggio da metalchef »

<-sbav-> Per me è già perfetto così
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 5498
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 20 volte
Grazie Ricevuti: 313 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Gothrek »

@metalchef e @SparrowJ
azz con tutti questi "è perfetto cosi"...non mi aiutate :D

oggi, sull'esperienza fatta per FLM, ho implementato la composizione dell'immagine che finirà sull'emulatore, dove è possibile definire per ogni oggetto (screenshot, titolo, box, marquee e tutto quello che esiste), grandezza/posizione e sovrapposizione cosi che ognuno possa crearsi la propria composizione (fermo restando alcune di default per chi non ha questa voglia) :D

Anche qui, personalizzabile (volendo), per singolo sistema, quindi per i mame magai voglio il marquee e il cab ma per supernes no
Avatar utente
SparrowJ

Donatore
Moderatore F.E.E.L.
Moderatore F.E.E.L.
Messaggi: 1479
Iscritto il: 03/05/2017, 10:22
Medaglie: 1
Città: Napoli
Grazie Inviati: 15 volte
Grazie Ricevuti: 30 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da SparrowJ »

Allora proviamolo :)
Avatar utente
Tox Nox Fox

BanHammer Silver Medal Helper Donatore
Moderatore
Moderatore
Messaggi: 12457
Iscritto il: 14/01/2007, 23:35
Medaglie: 4
Grazie Inviati: 205 volte
Grazie Ricevuti: 324 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Tox Nox Fox »

Percorsi di rete.. tipo raspy o PC nel Cab dal mio PC principale..
WP.ARCADEITALIA.NET
La Guida al MameCab
Avatar utente
melomeloz
Newbie
Newbie
Messaggi: 19
Iscritto il: 11/04/2020, 23:43
Città: Catania
Grazie Inviati: 1 volta

Re: GotScraper - Scraping spaziale!!

Messaggio da melomeloz »

Alla fine della scansione fa un elenco chiaro di cosa manca?
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 5498
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 20 volte
Grazie Ricevuti: 313 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Gothrek »

melomeloz ha scritto: 22/04/2020, 10:24 Alla fine della scansione fa un elenco chiaro di cosa manca?
questa è una cosa interessante, bene
Avatar utente
alucard

Donatore
Affezionato
Affezionato
Messaggi: 279
Iscritto il: 02/12/2017, 16:19
Medaglie: 1
Città: MotherEarth
Grazie Inviati: 5 volte
Grazie Ricevuti: 15 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da alucard »

Gothrek ha scritto: 04/05/2020, 17:34 ...
In gotScraper (lo so ne parlo da un mese ma sto chiudendo il codice per poterlo far scaricare) hai una gestione del gioco a 360 gradi.
Per ogni gioco, oltre a tutti i media colelgati, hai le rom (tutte le versioni che mano mano colleghi al gioco principale).
...
Ecco, questa è una cosa molto interessante <-clap->
Se ci sono le basi per farlo diventare una sorta di game manager, può diventare realmente un terzo player molto gradito.
I player nella mia ottica di separazione dei compiti sono: Frontend, Launcher, Manager.

Solitamente un frontend ha dignitose funzioni di launcher, ma difficilmente è un buon manager.
Del launcher sto cercando di farne a meno, anche se usandolo (es. RLauncher) si è indipendenti dal FE.

Un manager "confortevole" manca, quindi ci punterei molto su questo aspetto di GotScraper. La base di conoscenza si gestirebbe tutta da lì e poi in modo più o meno personalizzabile si potrebbero produrre le romlist per i vari FE supportati.
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 5498
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 20 volte
Grazie Ricevuti: 313 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Gothrek »

alucard ha scritto: 05/05/2020, 11:59
Gothrek ha scritto: 04/05/2020, 17:34 ...
In gotScraper (lo so ne parlo da un mese ma sto chiudendo il codice per poterlo far scaricare) hai una gestione del gioco a 360 gradi.
Per ogni gioco, oltre a tutti i media colelgati, hai le rom (tutte le versioni che mano mano colleghi al gioco principale).
...
Ecco, questa è una cosa molto interessante <-clap->
Se ci sono le basi per farlo diventare una sorta di game manager, può diventare realmente un terzo player molto gradito.
I player nella mia ottica di separazione dei compiti sono: Frontend, Launcher, Manager.

Solitamente un frontend ha dignitose funzioni di launcher, ma difficilmente è un buon manager.
Del launcher sto cercando di farne a meno, anche se usandolo (es. RLauncher) si è indipendenti dal FE.

Un manager "confortevole" manca, quindi ci punterei molto su questo aspetto di GotScraper. La base di conoscenza si gestirebbe tutta da lì e poi in modo più o meno personalizzabile si potrebbero produrre le romlist per i vari FE supportati.
Bravo, di FE ne conosco alcuni e chiaramente in configurazione mi sto basando su di loro, ma l'idea sarebbe avere il know how per configurare gli altri.

Mi piace il nome manager!! cmq hai colto il senso il programma dovrebbe permetterti in maniera spot di gestire lo scraping, ma in generale di tenere sotto controlo il tuo mondo partendo dal gioco. non immagino tutti personalizzarsi le descrizione dei giochi, ma secondo me chi ci tiene potrà fare un lavoro certosino molto personalizzato, e il fatto che lo faccia una volta sola potrebbe incentivarne l'uso.

Magari in futuro condividendolo tra gli appassionati.

il vostro aiuto soprattutto nelle prime fasi sarà estremamente importante per dar forma al progetto in termini di usabilità.
Avatar utente
SparrowJ

Donatore
Moderatore F.E.E.L.
Moderatore F.E.E.L.
Messaggi: 1479
Iscritto il: 03/05/2017, 10:22
Medaglie: 1
Città: Napoli
Grazie Inviati: 15 volte
Grazie Ricevuti: 30 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da SparrowJ »

Quindi è pronto?
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 5498
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 20 volte
Grazie Ricevuti: 313 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Gothrek »

melomeloz ha scritto: 22/04/2020, 10:24 Alla fine della scansione fa un elenco chiaro di cosa manca?

Son tornato dopo alcune settimane di abbandono causa lavoro sul tema dello scraping.

Nello specifico sulla tua richiesta pensavo a qualcosa del genere:
Annotazione 2020-05-22 102354.jpg
hai qualche idea di colonne info in più che potrebbero essere utili, o rappresentati in forma differente?

L''invito è per tutti :D
Non hai i permessi necessari per visualizzare i file allegati in questo messaggio.
Avatar utente
alucard

Donatore
Affezionato
Affezionato
Messaggi: 279
Iscritto il: 02/12/2017, 16:19
Medaglie: 1
Città: MotherEarth
Grazie Inviati: 5 volte
Grazie Ricevuti: 15 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da alucard »

Sembrano esserci tutte le info necessarie a capire lo stato delle risorse.

Non ti preoccupare se qualcosa può essere migliorata. Rimandala alle versioni successive. Magari ce lo fai usare e vediamo.

Investirei anche in un sito mono pagina accattivante, in stile Skraper.net per distribuirlo
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 5498
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 20 volte
Grazie Ricevuti: 313 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Gothrek »

alucard ha scritto: 23/05/2020, 7:18 Sembrano esserci tutte le info necessarie a capire lo stato delle risorse.

Non ti preoccupare se qualcosa può essere migliorata. Rimandala alle versioni successive. Magari ce lo fai usare e vediamo.

Investirei anche in un sito mono pagina accattivante, in stile Skraper.net per distribuirlo
ok mi hai convinto, la mia paura era rilasciare una versione troppo acerba che la gente non avrebbe provato con conseguente mancanza di feedback.

ci metto un installer che crei almeno la configurazione base, senno è toppo difficile da gestire per i non addetti ai lavori e la rilascio.
Avatar utente
melomeloz
Newbie
Newbie
Messaggi: 19
Iscritto il: 11/04/2020, 23:43
Città: Catania
Grazie Inviati: 1 volta

Re: GotScraper - Scraping spaziale!!

Messaggio da melomeloz »

<-thumbup->
Avatar utente
Gothrek
Moderatore
Moderatore
Messaggi: 5498
Iscritto il: 13/07/2017, 13:30
Città: Roma
Grazie Inviati: 20 volte
Grazie Ricevuti: 313 volte

Re: GotScraper - Scraping spaziale!!

Messaggio da Gothrek »

@Tox Nox Fox
@pucci
@alucard
@CONSOLEMAN
@melomeloz

e a chiunque abbia voglia di darmi una mano col suo feedback, ho linkato sul primo post la alfa1 (E' un'alfa1 ehhhhhhhhhhhhhhhhhhhhhhhhhhhhhh)

un embrione del programma per pochi intimi che hanno tempo e voglia di darm iuna mano provandolo e lasciando feedback su bug, funzionalità miglioramenti.

in questa fase, vale tutto e il contrario di tutto su cosa si può fare.

Buon divertimento.

attendo feedbacks

grazie
Rispondi

Torna a “Miscellanea software”