Dreamboard

alpha · Mar 13th 2023

auf der suche nach einer einfachen art, web-pages zu parsen bin ich auf die lib beautifulsoup gestossen.

erlaubt im gegensatz zu re-konstrukten eine uebersichtliche art zu parsen... hier ein kleines beispiel fuer das parsen von tabellen:

Python

        from bs4 import BeautifulSoup

        soup = BeautifulSoup(html, "html.parser")
        tables = soup.find_all("table")
        for table in tables:
            rows = table.find_all("tr")
            for row in rows:
                cols = row.find_all("td")
                for col in cols:
                    process_col()

vielleicht kann es ja mal einer gebrauchen...

murxer · Mar 13th 2023

Ich nutze für manches auch "bs4" aber das kann man jetzt nicht für mehrere Seiten gleich nutzen, muss immer angepasst werden.

Hier mal wie ich eine Seite lese fürs Wled-Plugin:

Python

import urllib2
from bs4 import BeautifulSoup

url = "https://github.com/Aircoookie/WLED/releases/"
url_git = "https://github.com"

response = urllib2.urlopen(url)
data = response.read()
soup = BeautifulSoup(data, 'html.parser')


release_data = soup.find_all("div", class_="col-md-9")
data = []
if release_data:
    for item in release_data:
        release = item.find("a", class_="Link--primary")
        release_text = release.get_text().strip().encode("utf-8") if release else None

        release_info = item.find("div", class_="markdown-body my-3")
        release_info_text = release_info.get_text().strip().encode("utf-8") if release_info else ""

        release_url = item.find("include-fragment", src=True)["src"].encode("utf-8") if item.find("include-fragment", src=True) else None
        bin_data = []
        if release_url:
            response = urllib2.urlopen(release_url)
            res = response.read()
            soup = BeautifulSoup(res, 'html.parser')
            bins = soup.find_all("a", class_="Truncate", href=True)
            for bin in bins:
                bin_txt = bin.find("span", class_="Truncate-text text-bold").get_text().strip().encode("utf-8") if bin.find("span", class_="Truncate-text text-bold") else ""
                bin_url = url_git + bin["href"].encode("utf-8") if bin["href"] else None
                bin_data.append((bin_txt, bin_url))
        if release_text and bin_data:
            data.append((release_text, release_info_text, bin_data))

print(data)

Display More

Bedeute aber nicht das ich dann immer "bs4" nutze, hier ist es dann mit "re" ab und zu schon einfacher.

Aber wenn man sich mit bs4 auskennt, dann glaube ich ist das schon eine schöne Hilfe, für mich ist das auch immer testen testen testen.

ni_hao · Mar 16th 2023

leider nicht verfügbar in OE

alpha · Mar 16th 2023

apt install python-beautifulsoup4