-
@Gatto Selvaggio☺Non è possibile scrapare il piforum perché non fanno più andare oltre le 999 pagine di forum, quindi o conosci gli indirizzi delle discussioni precedenti o te la pigli ndercuxo.
Quindi il tema libero finisce qua:http://www.piforum.it/f.asp?s=&f=125&p=999
Gli altri forum sono scrapabili invece.
Se il magnifico giambo è d'accordo potremmo tirare dentro anche quelle discussioni in qualche modo (c'è da scrivere il bot che scrapa e importare i dati nel database di questo forum).Young professional woman and busy mom.-
Re: @Gatto Selvaggio☺Scritto da: ::1
> Non è possibile scrapare il piforum perché non fanno più andare oltre le 999 pagine di forum, quindi o conosci gli indirizzi delle discussioni precedenti o te la pigli ndercuxo.
Si potrebbe usare un contatore e andare indietro
-> Se c'abbiamo culo allora e' un thread e puo' essere sukato.
Piango al solo pensiero di dover parsare di nuovo l'HTML per estrapolare la gerarchia dei messaggi.
-> Se c'abbiamo sfiga Attenzione: la pagina che si sta cercando non esiste su questo server., nothing to do here.
> Se il magnifico giambo è d'accordo potremmo tirare dentro anche quelle discussioni in qualche modo (c'è da scrivere il bot che scrapa e importare i dati nel database di questo forum).
Mischiare quelle vecchie discussioni con quelle nuove di questo foro !?! Ci ritroveremmo con una sequenza di mille mila vecchie discussioni del secolo scorso piazzate tra l'oggi e il domani, orrore !
Piuttosto un'altro serverozzo (O quello "vecchio" che giace inutilizzato) sul quale far girare una versione modifica di questo codice
`"la realta' non e' cosi' terrificante come vogliono farti credere" - Giambo ` - Wakko che cita Giambo-
Re: @Gatto Selvaggio☺Scritto da: Giambo
> Scritto da: ::1
> > Non è possibile scrapare il piforum perché non fanno più andare oltre le 999 pagine di forum, quindi o conosci gli indirizzi delle discussioni precedenti o te la pigli ndercuxo.
>
> Si potrebbe usare un contatore e andare indietro
>
> -> Se c'abbiamo culo allora e' un thread e puo' essere sukato.
> Piango al solo pensiero di dover parsare di nuovo l'HTML per estrapolare la gerarchia dei messaggi.
> -> Se c'abbiamo sfiga Attenzione: la pagina che si sta cercando non esiste su questo server., nothing to do here.
>
> > Se il magnifico giambo è d'accordo potremmo tirare dentro anche quelle discussioni in qualche modo (c'è da scrivere il bot che scrapa e importare i dati nel database di questo forum).
>
> Mischiare quelle vecchie discussioni con quelle nuove di questo foro !?! Ci ritroveremmo con una sequenza di mille mila vecchie discussioni del secolo scorso piazzate tra l'oggi e il domani, orrore !
>
> Piuttosto un'altro serverozzo (O quello "vecchio" che giace inutilizzato) sul quale far girare una versione modifica di questo codice
Buttiamo i messaggi di piforum in dei subforum ad hoc: PIFORUM-Tema Libero, PIFORUM-PI, PIFORUM-Informatica... e non permettiamo l'inserimento di messaggi in quei forum.
Edit: ancora meglio se gli facciamo una tabella ad hoc.
**Modificato dall'autore il 31.08.2012 15:58**Young professional woman and busy mom.-
Re: @Gatto Selvaggio☺Scritto da: ::1
> Buttiamo i messaggi di piforum in dei subforum ad hoc: PIFORUM-Tema Libero, PIFORUM-PI, PIFORUM-Informatica... e non permettiamo l'inserimento di messaggi in quei forum.
E come facciamo con gli id ? Usiamo quelli originali sperando che non si sovrappongano a quelli esistenti o li ricreiamo tutti (
).
Inoltre il problema della comparsa nella sequenza temporale di migliaia di messaggi da un momento all'altro rimane.
E se li sbattessimo dentro un'altra tabella ? Soluzione rapida e indolore, generalizziamo un po la persistenza[*] ed e' fatta !
[*] Oppure usiamo JPA
Edit: Vedo che anche tu sei dell'avviso di usare una tabella ad-hoc
Mi vuoi sposare
?
**Modificato dall'autore il 31.08.2012 16:06**`"la realta' non e' cosi' terrificante come vogliono farti credere" - Giambo ` - Wakko che cita Giambo-
Re: @Gatto Selvaggio☺Scritto da: Giambo
> Scritto da: ::1
>
> > Buttiamo i messaggi di piforum in dei subforum ad hoc: PIFORUM-Tema Libero, PIFORUM-PI, PIFORUM-Informatica... e non permettiamo l'inserimento di messaggi in quei forum.
>
> E come facciamo con gli id ? Usiamo quelli originali sperando che non si sovrappongano a quelli esistenti o li ricreiamo tutti ().
> Inoltre il problema della comparsa nella sequenza temporale di migliaia di messaggi da un momento all'altro rimane.
>
> E se li sbattessimo dentro un'altra tabella ? Soluzione rapida e indolore, generalizziamo un po la persistenza[*] ed e' fatta !
>
> [*] Oppure usiamo JPA
E` quello che ho detto nell'edit.Young professional woman and busy mom.-
Re: @Gatto Selvaggio☺Scritto da: ::1
> E` quello che ho detto nell'edit.
Anche io l'ho detto nell'edit.
E in piu' ti ho rivolto una domanda, non fare il SAMURAI di turno
!
`"la realta' non e' cosi' terrificante come vogliono farti credere" - Giambo ` - Wakko che cita Giambo-
Re: @Gatto Selvaggio☺Scritto da: Giambo
> Scritto da: ::1
>
> > E` quello che ho detto nell'edit.
>
> Anche io l'ho detto nell'edit.
> E in piu' ti ho rivolto una domanda, non fare il SAMURAI di turno !
Direi che si può iniziare a pensare la cosa. Lo scraper lo farei girare su $oldserver puntando il db su $newserver, così evitiamo di ammazzarci la cpu come è successo in passato.
Da domani pomeriggio mi ci posso dedicare.
Credi sia il caso di chiedere per l'ennessima volta collaborazione a annunziata ed evitarci la parsata?Young professional woman and busy mom.-
Re: @Gatto Selvaggio☺Scritto da: ::1
> Direi che si può iniziare a pensare la cosa. Lo scraper lo farei girare su $oldserver puntando il db su $newserver, così evitiamo di ammazzarci la cpu come è successo in passato.
Siccome di sicuro qualcosa andra' orribilmente male, preferisco far girare lo scraper sul vecchio server facendogli scrivere nel db locale. Poi, se tutto va bene e siamo contenti del risultato, esportiamo dal db del vecchio server e importiamo nel db del nuovo.
Inoltre: Sul nuovo server MySQL e' accessibile sull'IP pubblico
?!?!
> Da domani pomeriggio mi ci posso dedicare.
Io solo domani mattina
Nuovo progetto in GIT ? Lo scraper vale la pena scriverlo in Java o c'e' una libreria ruby piu' leggera ?
> Credi sia il caso di chiedere per l'ennessima volta collaborazione a annunziata ed evitarci la parsata?
Fa orecchie da mercante ...
Poteva fare il magnanimo quando ha ammazzato il FdT e non l'ha fatto, non vedo perche' debba aiutarci ora, che il forum e' ancora vivo !`"la realta' non e' cosi' terrificante come vogliono farti credere" - Giambo ` - Wakko che cita Giambo-
Re: @Gatto SelvaggioScritto daNon Autenticatoil 2012-08-31 16:39:40.0 alle 2012-08-31 16:39:40.0Vivo è una parola grossa
-
Re: @Gatto Selvaggio☺Scritto da: Giambo
> Inoltre: Sul nuovo server MySQL e' accessibile sull'IP pubblico ?!?!
Direi di no.$ nmap -T4 -A -v -PE forumdeitroll.com Starting Nmap 6.01 ( http://nmap.org ) at 2012-08-31 16:58 CEST NSE: Loaded 93 scripts for scanning. NSE: Script Pre-scanning. Initiating Ping Scan at 16:58 Scanning forumdeitroll.com (62.75.209.179) [1 port] Completed Ping Scan at 16:58, 0.09s elapsed (1 total hosts) Initiating Parallel DNS resolution of 1 host. at 16:58 Completed Parallel DNS resolution of 1 host. at 16:58, 0.09s elapsed Initiating Connect Scan at 16:58 Scanning forumdeitroll.com (62.75.209.179) [1000 ports] Discovered open port 22/tcp on 62.75.209.179 Discovered open port 443/tcp on 62.75.209.179 Discovered open port 80/tcp on 62.75.209.179 Discovered open port 3000/tcp on 62.75.209.179 Discovered open port 3001/tcp on 62.75.209.179 Completed Connect Scan at 16:58, 6.08s elapsed (1000 total ports) Initiating Service scan at 16:58 Scanning 5 services on forumdeitroll.com (62.75.209.179) Completed Service scan at 16:58, 18.50s elapsed (5 services on 1 host) NSE: Script scanning 62.75.209.179. [...snippete...] NSE: Script Post-scanning. Initiating NSE at 16:58 Completed NSE at 16:58, 0.00s elapsed Read data files from: /usr/bin/../share/nmap Service detection performed. Please report any incorrect results at http://nmap.org/submit/ . Nmap done: 1 IP address (1 host up) scanned in 30.80 seconds $
**Modificato dall'autore il 31.08.2012 16:59**Young professional woman and busy mom.-
Re: @Gatto Selvaggio☺Scritto da: ::1
> > Inoltre: Sul nuovo server MySQL e' accessibile sull'IP pubblico ?!?!
>
> Direi di no.
Mi pareva, quando hai detto dal vecchio server a scrivere sul db del nuovo ...
> Discovered open port 3001/tcp on 62.75.209.179
Oh, pensavo fosse sul serve vecchio !
Perche' non migriamo su subversion
?
`"la realta' non e' cosi' terrificante come vogliono farti credere" - Giambo ` - Wakko che cita Giambo-
Re: @Gatto Selvaggio☺Scritto da: Giambo
> Scritto da: ::1
>
> > > Inoltre: Sul nuovo server MySQL e' accessibile sull'IP pubblico ?!?!
> >
> > Direi di no.
Ovviamente via tunnel ssh, mica in chiaro.
Il b2b in chiaro si faceva negli anni 90 giambì.
> Mi pareva, quando hai detto dal vecchio server a scrivere sul db del nuovo ...
>
> > Discovered open port 3001/tcp on 62.75.209.179
>
> Oh, pensavo fosse sul serve vecchio !
> Perche' non migriamo su subversion ?
Eh?
Young professional woman and busy mom.-
Re: @Gatto SelvaggioScritto daNon Autenticatoil 2012-08-31 17:59:12.0 alle 2012-08-31 17:59:12.0Scritto da: ::1
> Scritto da: Giambo
> > Scritto da: ::1
> >
> > > > Inoltre: Sul nuovo server MySQL e' accessibile sull'IP pubblico ?!?!
> > >
> > > Direi di no.
>
> Ovviamente via tunnel ssh, mica in chiaro.
> Il b2b in chiaro si faceva negli anni 90 giambì.
>
> > Mi pareva, quando hai detto dal vecchio server a scrivere sul db del nuovo ...
> >
> > > Discovered open port 3001/tcp on 62.75.209.179
> >
> > Oh, pensavo fosse sul serve vecchio !
> > Perche' non migriamo su subversion ?
>
> Eh?
vuole grannyversion
-
-
-
-
-
-
-
-
Re: @Gatto SelvaggioScritto daNon Autenticatoil 2012-08-31 23:26:27.0 alle 2012-08-31 23:26:27.0> > Buttiamo i messaggi di piforum in dei subforum ad hoc: PIFORUM-Tema Libero, PIFORUM-PI, PIFORUM-Informatica... e non permettiamo l'inserimento di messaggi in quei forum.
>
> E come facciamo con gli id ? Usiamo quelli originali sperando che non si sovrappongano a quelli esistenti o li ricreiamo tutti ().
L'autore come un campo del messaggio con il nome, non è necessario ricreare gli utenti. Se il nome coincide con quello di un utente di questo forum, il lettore può credere o meno che si tratti dello stesso, a sua discrezione.
Gatto che torna da due pomeriggi passati a copiare i dati dal disco.
> Inoltre il problema della comparsa nella sequenza temporale di migliaia di messaggi da un momento all'altro rimane.
>
> E se li sbattessimo dentro un'altra tabella ? Soluzione rapida e indolore, generalizziamo un po la persistenza[*] ed e' fatta !
>
> [*] Oppure usiamo JPA
>
> Edit: Vedo che anche tu sei dell'avviso di usare una tabella ad-hoc
> Mi vuoi sposare ?
>
> **Modificato dall'autore il 31.08.2012 16:06**
-
Re: @Gatto Selvaggio☺`"la realta' non e' cosi' terrificante come vogliono farti credere" - Giambo ` - Wakko che cita Giambo
-
-
Re: @Gatto Selvaggio☺`"la realta' non e' cosi' terrificante come vogliono farti credere" - Giambo ` - Wakko che cita Giambo
-
-
Re: @Gatto Selvaggio☺`"la realta' non e' cosi' terrificante come vogliono farti credere" - Giambo ` - Wakko che cita Giambo
-
-
Re: @Gatto Selvaggio☺`"la realta' non e' cosi' terrificante come vogliono farti credere" - Giambo ` - Wakko che cita Giambo
-
Re: @Gatto SelvaggioScritto daNon Autenticatoil 2012-09-02 16:04:40.0 alle 2012-09-02 16:04:40.0>
> > > > Messaggi scritti potrebbe porre dei problemi se aggiungendo messaggi lo si deve cambiare?
> > >
> > > Aspe', ma non doveva essere un foro in sola lettura ?
> >
> > Sì, però qualcuno ha parlato di aggiornarlo usando il paginatore.
>
> /me Dazed and ConfusedRe: @Gatto Selvaggio
Va bè ho chiamato il feed "paginatore", gli svizzeri non sono i soli ad avere un italiano tutto loro. Ad esempio i tooltip li chiamo "cartigli"
-
-
-
-
-
-
-
-
Re: @Gatto Selvaggio☺`"la realta' non e' cosi' terrificante come vogliono farti credere" - Giambo ` - Wakko che cita Giambo
-
-
-
-
-
-
Re: @Gatto Selvaggio☺Scritto da: Giambo
> Piango al solo pensiero di dover parsare di nuovo l'HTML per estrapolare la gerarchia dei messaggi.
Ma forse sai che magari non e' poi cosi' complesso come sembra ?
`"la realta' non e' cosi' terrificante come vogliono farti credere" - Giambo ` - Wakko che cita Giambo
-
-
Re: @Gatto Selvaggio☺Scritto daavvelentaniCubicolarioil 2012-08-31 16:00:26.0 alle 2012-08-31 16:00:26.0Trollate totali: 18184Scritto da: ::1
> Non è possibile scrapare il piforum perché non fanno più andare oltre le 999 pagine di forum, quindi o conosci gli indirizzi delle discussioni precedenti o te la pigli ndercuxo.
>
> Quindi il tema libero finisce qua:
>
> Gli altri forum sono scrapabili invece.
> Se il magnifico giambo è d'accordo potremmo tirare dentro anche quelle discussioni in qualche modo (c'è da scrivere il bot che scrapa e importare i dati nel database di questo forum).
nb esiste anche il feed del forum:
I think happiness is love
- Vladimir Putin-
Re: @Gatto Selvaggio☺Scritto da: avvelentani
> Scritto da: ::1
> > Non è possibile scrapare il piforum perché non fanno più andare oltre le 999 pagine di forum, quindi o conosci gli indirizzi delle discussioni precedenti o te la pigli ndercuxo.
> >
> > Quindi il tema libero finisce qua:
> >
> > Gli altri forum sono scrapabili invece.
> > Se il magnifico giambo è d'accordo potremmo tirare dentro anche quelle discussioni in qualche modo (c'è da scrivere il bot che scrapa e importare i dati nel database di questo forum).
>
> nb esiste anche il feed del forum:
Per gli aggiornamenti sì, ma per salvare i messaggi vecchi mica è paginabile.Young professional woman and busy mom.-
Re: @Gatto Selvaggio☺Scritto daavvelentaniCubicolarioil 2012-08-31 16:13:47.0 alle 2012-08-31 16:13:47.0Trollate totali: 18184Scritto da: ::1
> Scritto da: avvelentani
> > Scritto da: ::1
> > > Non è possibile scrapare il piforum perché non fanno più andare oltre le 999 pagine di forum, quindi o conosci gli indirizzi delle discussioni precedenti o te la pigli ndercuxo.
> > >
> > > Quindi il tema libero finisce qua:
> > >
> > > Gli altri forum sono scrapabili invece.
> > > Se il magnifico giambo è d'accordo potremmo tirare dentro anche quelle discussioni in qualche modo (c'è da scrivere il bot che scrapa e importare i dati nel database di questo forum).
> >
> > nb esiste anche il feed del forum:
>
> Per gli aggiornamenti sì, ma per salvare i messaggi vecchi mica è paginabile.
Si` pensavo agli aggiornamentiI think happiness is love
- Vladimir Putin
-
-
-
Re: @Gatto Selvaggio☺Scritto daSeuTrombeur de femmesil 2012-09-01 13:34:17.0 alle 2012-09-01 13:34:17.0Trollate totali: 2082Scritto da: ::1
> Non è possibile scrapare il piforum perché non fanno più andare oltre le 999 pagine di forum, quindi o conosci gli indirizzi delle discussioni precedenti o te la pigli ndercuxo.
>
> Quindi il tema libero finisce qua:
>
> Gli altri forum sono scrapabili invece.
> Se il magnifico giambo è d'accordo potremmo tirare dentro anche quelle discussioni in qualche modo (c'è da scrivere il bot che scrapa e importare i dati nel database di questo forum).
Perchè volete scrapare anche il salottino buono?
Lo vogliono smantellare??
E cmq, piforum è morto con la scomparsa del subforum bionde brune rosse
Atoms & Love-
Re: @Gatto SelvaggioScritto daNon Autenticatoil 2012-09-01 13:50:09.0 alle 2012-09-01 13:50:09.0Scritto da: Seu
> Scritto da: ::1
> > Non è possibile scrapare il piforum perché non fanno più andare oltre le 999 pagine di forum, quindi o conosci gli indirizzi delle discussioni precedenti o te la pigli ndercuxo.
> >
> > Quindi il tema libero finisce qua:
> >
> > Gli altri forum sono scrapabili invece.
> > Se il magnifico giambo è d'accordo potremmo tirare dentro anche quelle discussioni in qualche modo (c'è da scrivere il bot che scrapa e importare i dati nel database di questo forum).
>
> Perchè volete scrapare anche il salottino buono?
> Lo vogliono smantellare??
>
> E cmq, piforum è morto con la scomparsa del subforum bionde brune rosse
Porco iddio, mi hai ricordato tutti i forum che hanno segato e che erano epici!
-
-
-
Tutto il forum — Thread @Gatto Selvaggio
-
- Discussioni: Cronologia Nuove (Per utente) Ultime
- |
- Nuovo messaggio
- |
- Sondaggi
- |
- Inserisci fake ad
- Notizie: Cronologia Nuove (Per utente) Ultime
- |
- Nuova notizia
»
«
The Troll's Digest
Visualizzazione Mobile
Tags
Mostra notizie nelle discussioni
The Troll's Digest
Visualizzazione Mobile
Tags
- Forum dei Troll / Tutto
- Forum dei Troll / Principale
- Proc di Catania
- Politica
- News
- Forum Deserto
- Musica
- Sesso
- _______________
- Cinema
- Verdurin
- FreeBan
- Richieste Forum
- Cenere
- God? No, thanks
- Rep.Psichiatria
- Sondaggi trolleschi
- Buco del culo
- Bollettino bot
- Forum Inutile
- Ultraviolenza!!
- Frasi celebri
- IL FORUM DI PI
- Forum svizzero
- L'Amore
- Cimitero
- Commissariato
- dei Fuorilegge
- Aviazione
- The Troll's Lair...
- Denunce
- Informatica
- dei Troll Giust
- addio...
- PI pro e contro
- Virgolette
- Pi Flame
- Staz Luino
- Boiate su PI
- Amici dei Criceti Giganti
- Arte&CULtura
- Icspi & Friends
- Bollettino
- Prostituzione
- Filosofia
- L'angolo della Carità
- Sa Limba
- 11 settembre
- Programmazione
- Admin
- W la redazione
- ROTFL
- FAKE-FORUM
- Trollar rimando
- Forum Di Destra
- La Sacra Loggia dei Topocani
- Scienza&Tecnica
- Frecciette
- Fight club
- Forum di sx
- Videogiochi
- Turismo
- Predator
- Camionari & co.
- Privacy IT
- Commenti alle news di PI
- Hacking