あらゆる Web サイトを読みやすい要約に変換する Python スクリプト |アハド アハド著 |コドリフト | 2025 年 10 月

問題: ウェブは圧倒的です

調査のために Web 記事を開くたびに、ポップアップ、広告、サイドバー、気が散るものが表示されます。読みたかった 内容、クッキーバナーや無限スクロールで戦わないでください。

そこで自動化することにしました。
できるスクリプトが欲しかった 任意の Web ページ URL そして、を返します クリーンで要約されたバージョン — 重要な内容だけを数行でまとめます。

ステップ 1: Web ページからテキストを抽出する

最初のステップは明らかでした。Web サイトから読みやすいテキストを抽出する必要がありました。
そのために、私は次の組み合わせを使用しました requests そして BeautifulSoup:

import requests
from bs4 import BeautifulSoup
def extract_text(url):
response = requests.get(url)
soup = BeautifulSoup(response.text, "html.parser")
paragraphs = soup.find_all("p")
text = " ".join(p.text for p in paragraphs)
return text

この数行だけで、ほぼどのページからでも本文を引き出すことができます。
しかし、それは乱雑でした—いっぱいでした…