Webmasters har lärt sig att inte tillåta webb skrapor tillgång till sina webbplatser genom att använda verktyg eller metoder som blockerar vissa IP-adresser från att hämta webbplatsens innehåll. Data skrapor är kvar med valet att antingen rikta en annan webbplats, eller för att flytta avverknings skript från dator till dator med en annan IP-adress varje gång och få ut så mycket data som möjligt tills allt skrap datorer så småningom blocked.Thankfully där är en modern lösning på detta problem. Proxy Data Skrapning teknik löser problemet genom att använda proxy IP-adresser.
Varje gång dina data skrapning program exekverar ett utdrag från en webbplats, webbplatsen tror att det kommer från en annan IP-adress. Till webbplatsens ägare, indirekta uppgifter skrapa bara ser ut som en kort period av ökad trafik från hela världen. De har mycket begränsade och tråkiga sätt att blockera ett sådant manus men ännu viktigare - för det mesta, de helt enkelt inte vet att de håller på att scraped.The uppenbara nästa fråga är: "Var kan jag få Proxy Data Skrapning teknik för min projekt?" "Gör-det-själv" lösning är, snarare tyvärr inte enkelt.
Att sätta upp en proxyuppgifter skrapa nätverk tar mycket tid och kräver att du antingen äger ett gäng IP-adresser och lämpliga servrar för att användas som fullmakter, för att inte tala om IT-guru du behöver för att få allt rätt konfigurerad. Du kan försöka hyra proxyservrar från utvalda webbhotell, men det alternativet tenderar att vara ganska dyr men bättre än alternativet: farliga och otillförlitliga (men fri) public proxy servers.There finns bokstavligen tusentals gratis proxyservrar placerade runt om i världen som är enkelt att använda. Tricket är dock att hitta dem.
Många webbplatser listar hundratals servrar, men att hitta en som fungerar, öppna och stöder den typ av protokoll som du behöver kan vara en lektion i uthållighet, recensioner, and error. Men om du lyckas upptäcka en pool av arbets offentli