Hej

Har ni gått på http://allaannonser.se ?

jag undrar hur man gör en sådan site? man söker efter ett ord, siten hittar den i de annonn siter t.ex. blocket.se.

har du indexerat alla de webbsiter? blockat.se eniro.se och om hur man gör det? vad heter tekninken?

tack

Är det ordet "sökmotor" du letar efter? :)

Man bygger ett program som söker igenom sidorna man vill indexera och sparar datan temporärt i en databas tillsammans med en url till källan. Sedan låter man användaren söka i databasen och blir "förmedlad" till källan.

Den sökmotorn jag håller på fungerar iaf så. Lagligt? Ingen aning!

Tack för ditt svar,

Men hur man indexerar alla sidor på blocket.se? för att man måste först välja län och sedan skriva in ett ord och sedan får resultatet, och sidan är paged man måste klicka på nästa för att hämta flera resultat.

hur man indexerar en hel sida med undersidor?

finns nån whitepaper eller något som man kan lära sig tekniken?

tack igen

Man bygger en spindel som läser alla de sidor och undersidor man är intresserad av. Det är inte helt lätt men bara man kan lyckas bestämma bra information och dålig information så går de nog.
Här kan du läsa hur man skriver en i java:
http://www.developer.com/java/other/article.php/1573761

Sen får du inte glömma och kolla om det är tillåtet att söka på sidan, detta bestäms av robots.txt.

Man kan lösa det med en ganska primitiv form av "reverse engineering". Man sniffar helt enkelt HTTP trafiken mellan egna datorn och sajten man vill skrapa information av.. T.ex. mha MS Fiddler ..
Skriv upp alla intressanta HTTP GET/POST anrop (lite detektivarbete) sen lägger man in dessa i sitt program.. t.ex. i Dotnet skulle man använda: System.Net.WebClient Class. Svårt att se hur någon sajt som publicerar information publikt via HTTP har någon rätt att stoppa sådana nedladdningar däremot är det ju inte så att du automatiskt får använda nedladdade sidor hur som helst. (Jag har för mig att bl.a. allaannonser var i blåsväder för detta och fick göra upp med blocket etc ekonomiskt för att kunna fortsätta). Det finns tonvis med information på nätet om detta och förstås företag som säljer sådana program: Sök på screen/web/site scraping.

Tack Ola,


Din lösning är lite luddigt för mig, Om jag söker på "Audi A6" t.ex. på allaannoser.se (t.ex.) hur man sniffar all trafik mellan sindator (i det här fallet kanske allaannonser.se:s server och bockets server)?

Du kommer inte åt att läsa av trafiken mellan allaannonser och blocket. Vi vet inte ens om det finns sådan trafik. Den ena parten kanske köper textfiler av den andra via FTP. Som sedan laddas i egen databas. Troligen inte, men det kan vara så :) Det du kan göra är att lyssna på trafiken mellan din dator och en sajt. T.ex. mha MS Fiddler som jag skrev tidigare. Men det låter inte på dina förkunskaper som att detta är ett projekt för dig :)

Tack igen,

Jag har nu gjort en liten website1 som innehåller två textboxer och en button, när man klickar på knappen hämtar info i databasen med hänsyn till vad man har skriviti textboxerna,

jag gjorde en annan website2 som använder sig av WebRequest och WebRespose classer för att få info från website1.

Vad jag får när jag kör website2 är bara textboxerna (tomma) och knappen. inget mer.

kan man från WebSite2 submitta knappen i webSite1 så att få vad man får om man kör direkt från website1?