|
| Hente artikler fra groups.google.com Fra : FePe |
Dato : 12-02-04 19:47 |
|
Hej NG!
Jeg vil ikke påstå at være speciel kyndig indenfor netværk og
lignende, og heller ikke indenfor Perl.
Men jeg har forsøgt at lave en lille news-henter, som skulle hente
artiklerne ned fra http://www.groups.google.com/ - det kunne være
meget praktisk. Jeg har brugt LWP::Simple og HTML::Parser fra
cpan.org. Det er nemt nok at hente de fleste hjemmesider ned, også
http://www.groups.google.com, men når jeg dykker længere ned i deres
sider vil det ikke lykkes. Ved at bruge getprint() i LWP::Simple har
jeg fundet ud af, at det giver en "403 Forbidden" fejlmeddelelse. Mit
spørgsmål er egentlig bare, om det er muligt at komme videre herfra,
eller har Google lagt en blokering ind på en eller anden måde? Det er
måske et dumt spørgsmål, men som sagt har jeg kun lidt forstand på
netværk.
Mvh. FePe.
--
Theorem: A cat has nine tails.
Proof: No cat has eight tails. A cat has one tail more than no cat.
Therefore, a cat has nine tails.
| |
Jacob Bunk Nielsen (12-02-2004)
| Kommentar Fra : Jacob Bunk Nielsen |
Dato : 12-02-04 22:22 |
|
FePe <fepe@SLETtiscali.dk> writes:
> [ ... ] Ved at bruge getprint() i LWP::Simple har jeg fundet ud af,
> at det giver en "403 Forbidden" fejlmeddelelse. Mit spørgsmål er
> egentlig bare, om det er muligt at komme videre herfra, eller har
> Google lagt en blokering ind på en eller anden måde? Det er måske et
> dumt spørgsmål, men som sagt har jeg kun lidt forstand på netværk.
Jeg må beklage at jeg ikke kan hjælpe dig med dit egentlig spørgsmål,
men jeg kan fortælle at Google ikke har en sådan blokering da min
newsreader fx kan hente artikler fra Google (hvis de ikke længere
findes på min normale newsserver) uden problemer, så du må gøre et
eller andet forkert.
--
Jacob - www.bunk.cc
Support your local Search and Rescue unit -- get lost.
| |
FePe (13-02-2004)
| Kommentar Fra : FePe |
Dato : 13-02-04 12:16 |
|
Jacob Bunk Nielsen wrote:
> FePe <fepe@SLETtiscali.dk> writes:
>
> > [ ... ] Ved at bruge getprint() i LWP::Simple har jeg fundet ud af,
> > at det giver en "403 Forbidden" fejlmeddelelse. Mit spørgsmål er
> > egentlig bare, om det er muligt at komme videre herfra, eller har
> > Google lagt en blokering ind på en eller anden måde? Det er måske et
> > dumt spørgsmål, men som sagt har jeg kun lidt forstand på netværk.
>
> Jeg må beklage at jeg ikke kan hjælpe dig med dit egentlig spørgsmål,
> men jeg kan fortælle at Google ikke har en sådan blokering da min
> newsreader fx kan hente artikler fra Google (hvis de ikke længere
> findes på min normale newsserver) uden problemer, så du må gøre et
> eller andet forkert.
Så må jeg hellere prøve at debugge lidt. Tak for svaret alligevel.
Mvh. FePe.
--
Theorem: a cat has nine tails.
Proof:
No cat has eight tails. A cat has one tail more than no cat.
Therefore, a cat has nine tails.
| |
Jacob Bunk Nielsen (16-02-2004)
| Kommentar Fra : Jacob Bunk Nielsen |
Dato : 16-02-04 23:43 |
|
FePe <fepe@tiscali.dk> writes:
> Jacob Bunk Nielsen wrote:
>
>> Jeg må beklage at jeg ikke kan hjælpe dig med dit egentlig spørgsmål,
>> men jeg kan fortælle at Google ikke har en sådan blokering da min
>> newsreader fx kan hente artikler fra Google (hvis de ikke længere
>> findes på min normale newsserver) uden problemer, så du må gøre et
>> eller andet forkert.
>
> Så må jeg hellere prøve at debugge lidt. Tak for svaret alligevel.
Jeg kørte lige ngrep mens min newsreader hentede et indlæg fra
grouple. Det HTTP-request der sendes afsted ser således ud:
GET /groups?selm=3fb696d5$0$9796$edfadb0f@dread14.news.tele.dk&output=gplain
HTTP/1.0
User-Agent: mm-url
Host: groups.google.com
Accept: */*
Connection: Keep-Alive
Svaret er mere eller mindre bare indlægget i ren tekst bortset fra et
par headere der er fjernet, fx path. Se selv på
< http://groups.google.com/groups?selm=3fb696d5$0$9796$edfadb0f@dread14.news.tele.dk&output=gplain>.
Måske du kan bruge det til noget.
--
Jacob - www.bunk.cc
Today is what happened to yesterday.
| |
Michael Zedeler (03-03-2004)
| Kommentar Fra : Michael Zedeler |
Dato : 03-03-04 08:51 |
|
Jacob Bunk Nielsen wrote:
> FePe <fepe@SLETtiscali.dk> writes:
>
>>[ ... ] Ved at bruge getprint() i LWP::Simple har jeg fundet ud af,
>>at det giver en "403 Forbidden" fejlmeddelelse. Mit spørgsmål er
>>egentlig bare, om det er muligt at komme videre herfra, eller har
>>Google lagt en blokering ind på en eller anden måde? Det er måske et
>>dumt spørgsmål, men som sagt har jeg kun lidt forstand på netværk.
>
> Jeg må beklage at jeg ikke kan hjælpe dig med dit egentlig spørgsmål,
> men jeg kan fortælle at Google ikke har en sådan blokering da min
> newsreader fx kan hente artikler fra Google (hvis de ikke længere
> findes på min normale newsserver) uden problemer, så du må gøre et
> eller andet forkert.
Er der ikke den forskel at du (Jacob) bruger NNTP imens "FePe" henter
nyhederne via HTTP (Googles webinterface)?
Til FePe: måske det var en idé at kigge lidt på NNTP.
Mvh. Michael.
| |
Adam Sjøgren (03-03-2004)
| Kommentar Fra : Adam Sjøgren |
Dato : 03-03-04 16:06 |
| | |
Thorbjørn Ravn Ander~ (16-02-2004)
| Kommentar Fra : Thorbjørn Ravn Ander~ |
Dato : 16-02-04 13:05 |
|
FePe wrote:
> eller har Google lagt en blokering ind på en eller anden måde? Det er
Se http://www.google.com/apis/
--
Thorbjoern Ravn Andersen "...plus...Tubular Bells!"
| |
FePe (16-02-2004)
| Kommentar Fra : FePe |
Dato : 16-02-04 17:32 |
|
Thorbjørn Ravn Andersen wrote:
> FePe wrote:
>
> > eller har Google lagt en blokering ind på en eller anden måde? Det er
>
> Se http://www.google.com/apis/
Det var lige det, jeg skulle bruge - havde egentlig stødt på det før, men
har så bare glemt det.
Mvh. FePe.
--
Theorem: a cat has nine tails.
Proof:
No cat has eight tails. A cat has one tail more than no cat.
Therefore, a cat has nine tails.
| |
Lars Balker Rasmusse~ (16-02-2004)
| Kommentar Fra : Lars Balker Rasmusse~ |
Dato : 16-02-04 20:38 |
|
Thorbjørn Ravn Andersen <nospam0000@c.dk> writes:
> FePe wrote:
>
>> eller har Google lagt en blokering ind på en eller anden måde? Det er
>
> Se http://www.google.com/apis/
Deres FAQ siger ellers:
2. Can Google APIs be used to access Google Groups? Image search?
Directory search?
No. The Google Web APIs service can only be used to search
Google's main index of 3 billion web pages.
--
Lars Balker Rasmussen http://consult-perl.dk
Consult::Perl
| |
Thorbjørn Ravn Ander~ (17-02-2004)
| Kommentar Fra : Thorbjørn Ravn Ander~ |
Dato : 17-02-04 10:40 |
|
Lars Balker Rasmussen wrote:
> No. The Google Web APIs service can only be used to search
> Google's main index of 3 billion web pages.
Der kan man se. Fandt du så også et bedre svar på spørgsmålet?
Og har du fået Gnus til at bruge google som "backup"-nntp server?
--
Thorbjoern Ravn Andersen "...plus...Tubular Bells!"
| |
Lars Balker Rasmusse~ (17-02-2004)
| Kommentar Fra : Lars Balker Rasmusse~ |
Dato : 17-02-04 11:14 |
|
Thorbjørn Ravn Andersen <nospam0000@c.dk> writes:
> Lars Balker Rasmussen wrote:
>> No. The Google Web APIs service can only be used to search
>> Google's main index of 3 billion web pages.
>
> Der kan man se. Fandt du så også et bedre svar på spørgsmålet?
Næh.
> Og har du fået Gnus til at bruge google som "backup"-nntp server?
News fylder ikke helt så meget i min tilværelse til at jeg får
koldsved hvis serveren er nede. Ihvertfald ikke længere.
--
Lars Balker Rasmussen http://consult-perl.dk
Consult::Perl
| |
Adam Sjøgren (18-02-2004)
| Kommentar Fra : Adam Sjøgren |
Dato : 18-02-04 02:18 |
|
On Tue, 17 Feb 2004 10:40:20 +0100, Thorbjørn wrote:
[...]
> Og har du fået Gnus til at bruge google som "backup"-nntp server?
Jeg bruger ca. dette:
(setq gnus-refer-article-method
;; First try to load the article from your local newsserver or nnml
'(current
;; If it's not available, fetch it from another newsserver
(nntp "news.sunsite.dk")
;; At last try Google Groups
(nnweb "google" (nnweb-type google))))
- det virker fint her.
Mvh.
--
"Ours is wicked cool." Adam Sjøgren
asjo@koldfront.dk
| |
|
|