Exportera forum genom scraping|Operativsystem / Program / Drivrutiner|Forum|Nordichardware

Search
Forum Scope


Match



Forum Options



Minimum search word length is 3 characters - maximum search word length is 84 characters
Lost password?
The forums are currently locked and only available for read only access
sp_Feed sp_TopicIcon
Exportera forum genom scraping
Avatar
dreamweaver
Kommer du hit ofta?
Medlem
Forum Posts: 1220
Member Since:
May 1, 2005
sp_UserOfflineSmall Offline
1
March 7, 2014 - 8:30 am
sp_Permalink sp_Print

Jag hänger på ett forum som är registrerat på forum24.se, men det forumet vill bryta sig loss från forum24. Problemet är

  • forum24 äger databasen (inte forumadmin) och får inte ge forumadmin en datadump enligt PUL (epostadresser främst).
  • När man registrerar sig som enskild användare ingår man ett avtal med forum24 där de "snällt" lovar att inte ge ut datan till någon tredje part, inklusive forumadmin.

Så forumet sitter i en rävsax. Att skrapa forumet är ju "ganska" lätt, men problemet landar snabbt i validering av konton<->individ på det nya forumet. Epost-adresser listas inte publikt för skrapning.

Frågan är då, vad skulle den bästa planen vara för att genomföra en migrering? Min tanke är följande och här behöver jag input:
1. Skrapa ner allt, det man då har är (med andra ord det som syns):

  • Inlägg
  • Användarnamn
  • Avatarer
  • Forumkategorier

2. Installera ett forum från scratch
3. Med script skapa users med alla kända användarnamn, men med random lösenord (eftersom dessa är okända) och random emails.
4. Importera alla inlägg och avatarer och koppla dessa till ovan användarnamn.
I detta skede är forumet good to go, bara det att man inte vet vem som är vem. Och epost saknas för alla users.
5. Lägga in en funktion vid inloggningen som gör följande:
5.1 Visar inloggningsrutan (som vanligt)
5.2 Vid submit, kolla user+pass mot forum24 (virtuell browser). Om ok, uppdatera nya kontot med korrekt lösenord.
5.3 Prompta emailadress som användaren får mata in.
5.4 (Skicka verifieringsmail)
6. Klart!

Finns det nån annan bättre strategi?

Gustav Gager
Kommer du hit ofta?
Medlem
Forum Posts: 1492
Member Since:
January 9, 2004
sp_UserOfflineSmall Offline
1293436
March 7, 2014 - 9:55 am
sp_Permalink sp_Print

För det första så bör du kanske kolla så att det är OK att göra så som du vill göra.
Jag vet inget bättre sätt att göra än det du föreslår, men det är fruktansvärt mycket jobb och en ganska "ful" lösning.

Avatar
dreamweaver
Kommer du hit ofta?
Medlem
Forum Posts: 1220
Member Since:
May 1, 2005
sp_UserOfflineSmall Offline
1293437
March 7, 2014 - 10:03 am
sp_Permalink sp_Print

-Tjalve-;1293629 wrote: För det första så bör du kanske kolla så att det är OK att göra så som du vill göra.

Jag hittade inget som motsätter det egentligen. All information som skrapas är publik och såg inget i deras användarvillkor om det. Dessutom behöver man inte vara användare för att logga in börja skrapa. Samtidigt så godkänner ju alla nya users det nya forumet i o m inloggning.

-Tjalve-;1293629 wrote: Jag vet inget bättre sätt att göra än det du föreslår, men det är fruktansvärt mycket jobb och en ganska "ful" lösning.

Mjo, men jag kan inte komma på nåt snyggare. :/

Gustav Gager
Kommer du hit ofta?
Medlem
Forum Posts: 1492
Member Since:
January 9, 2004
sp_UserOfflineSmall Offline
1293438
March 7, 2014 - 2:12 pm
sp_Permalink sp_Print

Ja det är väl bara att testa och se om det funkar då? Man brukar märka ganska fort om det "är värt det" eller ej 🙂

Forum Timezone: Europe/Stockholm
Most Users Ever Online: 1030
Currently Online:
Guest(s) 550
Currently Browsing this Page:
2 Guest(s)
Top Posters:
Andreas Galistel: 16287
Jonas Klar: 15897
ilg@dd: 10810
Nyhet: 10607
Mind: 10550
Ctrl: 10355
Gueno: 9881
Guest: 9344
Snorch: 8881
Callister: 8468
Newest Members:
PetrbonFU PetrbonFU
Karine Bembry
Dolores Mcdaniels
Anibal McLeish
Francisca Alt
Alfie Everhart
Lester Huitt
Orlando Jorgensen
Mikki Lundgren
Dakota Kozlowski
Forum Stats:
Groups: 11
Forums: 59
Topics: 146630
Posts: 1300967

 

Member Stats:
Guest Posters: 2
Members: 79425
Moderators: 0
Admins: 11
Administrators: nordicadmin, Henrik Berntsson, Anton Karmehed, Carl Holmberg, Joel Oscarsson, Mikael Linnér, Mikael Schwartz, Andreas Paulsson, Nickebjrk, Mattias Pettersson, EmxL