Mit Python aiohttp eine Web-Anfrage zu machen, ich bin immer einen Browser veraltet Fehler entdeckt?

stimmen
0

Ich versuche , die zu verwenden aynsciound aiohttpPakete eine Webseite anzufordern. Allerdings ist die Web - Seite Antwort:

<p class=warning-title> Please upgrade your web browser. </p>  <br/>
<p class=p-top-30>This browser version is outdated, and may not be fully compatible with our website. Please upgrade to a newer version or use another browser.    </p>

Es wird nicht geladen tatsächlich die Seite, die ich für den Zugriff bin versucht, aber die Homepage statt.

CODE

from fake_useragent import UserAgent
import ssl
from bs4 import BeautifulSoup
import asyncio
import aiohttp

ua = UserAgent()

hdr = {'User-Agent': str(ua.chrome),
       'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
       'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
       'Accept-Encoding': 'none',
       'Accept-Language': 'en-US,en;q=0.5',
       'Connection': 'keep-alive'}

ssl_ctx = ssl.create_default_context()
ssl_ctx.check_hostname = False
ssl_ctx.verify_mode = ssl.CERT_NONE

url = '...'

async def parse_website(session):
    async with session.get(url) as response:
        html = await response.text()

    soup = BeautifulSoup(html, 'html.parser')

    print(soup)

async with asyncio.Semaphore(3):
    async with aiohttp.TCPConnector(ssl=ssl_ctx, limit=None) as connector:
        async with aiohttp.ClientSession(connector=connector, headers=hdr) as session:
            for i in range(1):
                await parse_website(session)

Ich habe versucht , ohne das headersArgument in der drittletzten Zeile async with aiohttp.ClientSession(connector=connector) as session:dann aber die Antwort ist , dass ich nicht lange genug , um das Captcha gewartet hat. Also muss ich das verwenden , headersum Argument Bypass das Captcha aber ich konsequent eine bekommen Please upgrade your browserAntwort. Ich habe auch versucht , das Hinzufügen cookies={}zu der gleichen Zeile , async with aiohttp.ClientSession(connector=connector, headers=hdr, cookies={}) as session:aber bekommen die selbe Antwort sagen Sie den Browser auf dem neuesten Stand aus.

Ich bin nur hier eine URL - Anfrage zeigt. Sobald ich diese Arbeit ich Tausende skalieren werde, ist also, warum ich versuche , diese Arbeit mit dem zu machen asynciound aiohttpPaketen.

Könnte mir jemand sagen, wo ich hier falsch gehe?

Veröffentlicht am 02/12/2019 um 23:51
quelle vom benutzer
In anderen Sprachen...                            


1 antworten

Mit Python aiohttp eine Web-Anfrage zu machen, ich bin immer einen Browser veraltet Fehler entdeckt?

stimmen
0

Ich versuche , die zu verwenden aynsciound aiohttpPakete eine Webseite anzufordern. Allerdings ist die Web - Seite Antwort:

<p class="warning-title"> Please upgrade your web browser. </p>  <br/>
<p class="p-top-30">This browser version is outdated, and may not be fully compatible with our website. Please upgrade to a newer version or use another browser.    </p>

Es wird nicht geladen tatsächlich die Seite, die ich für den Zugriff bin versucht, aber die Homepage statt.

CODE

from fake_useragent import UserAgent
import ssl
from bs4 import BeautifulSoup
import asyncio
import aiohttp

ua = UserAgent()

hdr = {'User-Agent': str(ua.chrome),
       'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
       'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
       'Accept-Encoding': 'none',
       'Accept-Language': 'en-US,en;q=0.5',
       'Connection': 'keep-alive'}

ssl_ctx = ssl.create_default_context()
ssl_ctx.check_hostname = False
ssl_ctx.verify_mode = ssl.CERT_NONE

url = '...'

async def parse_website(session):
    async with session.get(url) as response:
        html = await response.text()

    soup = BeautifulSoup(html, 'html.parser')

    print(soup)

async with asyncio.Semaphore(3):
    async with aiohttp.TCPConnector(ssl=ssl_ctx, limit=None) as connector:
        async with aiohttp.ClientSession(connector=connector, headers=hdr) as session:
            for i in range(1):
                await parse_website(session)

Ich habe versucht , ohne das headersArgument in der drittletzten Zeile async with aiohttp.ClientSession(connector=connector) as session:dann aber die Antwort ist , dass ich nicht lange genug , um das Captcha gewartet hat. Also muss ich das verwenden , headersum Argument Bypass das Captcha aber ich konsequent eine bekommen Please upgrade your browserAntwort. Ich habe auch versucht , das Hinzufügen cookies={}zu der gleichen Zeile , async with aiohttp.ClientSession(connector=connector, headers=hdr, cookies={}) as session:aber bekommen die selbe Antwort sagen Sie den Browser auf dem neuesten Stand aus.

Ich bin nur hier eine URL - Anfrage zeigt. Sobald ich diese Arbeit ich Tausende skalieren werde, ist also, warum ich versuche , diese Arbeit mit dem zu machen asynciound aiohttpPaketen.

Könnte mir jemand sagen, wo ich hier falsch gehe?

Beantwortet am 02/12/2019 um 23:51
quelle vom benutzer

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more