[Python] Web上のRSSをスクレイピングする方法

pip install requests

pip install beautifulsoup4

pip install feedparser

python --version

import requests
# RSSフィードのURL
rss_url = "https://example.com/rss"
# RSSフィードを取得
response = requests.get(rss_url)
# ステータスコードの確認
if response.status_code == 200:
    print("フィードを取得しました。")
    print(response.text)  # フィードの内容を表示
else:
    print("フィードの取得に失敗しました。")

import feedparser
# RSSフィードのURL
rss_url = "https://example.com/rss"
# フィードを解析
feed = feedparser.parse(rss_url)
# フィードのタイトルを表示
print("フィードタイトル:", feed.feed.title)
# 各エントリのタイトルを表示
for entry in feed.entries:
    print("エントリタイトル:", entry.title)

import requests
from bs4 import BeautifulSoup
# RSSフィードのURL
rss_url = "https://example.com/rss"
# RSSフィードを取得
response = requests.get(rss_url)
# HTMLを解析
soup = BeautifulSoup(response.text, 'html.parser')
# 特定のタグを抽出(例：タイトル)
titles = soup.find_all('title')
# タイトルを表示
for title in titles:
    print("タイトル:", title.text)

import feedparser
# RSSフィードのURL
rss_url = "https://example.com/rss"
# フィードを解析
feed = feedparser.parse(rss_url)
# フィードの基本情報を表示
print("フィードタイトル:", feed.feed.title)
print("フィードリンク:", feed.feed.link)
print("フィード説明:", feed.feed.description)

# 各エントリの情報を表示
for entry in feed.entries:
    print("エントリタイトル:", entry.title)
    print("エントリリンク:", entry.link)
    print("公開日:", entry.published)
    print("説明:", entry.summary)
    print("---")

import requests
from bs4 import BeautifulSoup
# RSSフィードのURL
rss_url = "https://example.com/rss"
# RSSフィードを取得
response = requests.get(rss_url)
# HTMLを解析
soup = BeautifulSoup(response.text, 'html.parser')
# 特定のタグを抽出(例：<item>タグ)
items = soup.find_all('item')
# 各アイテムのタイトルを表示
for item in items:
    title = item.find('title').text
    print("アイテムタイトル:", title)

# 特定の属性を持つタグを抽出(例：<link>タグ)
links = soup.find_all('link')
# 各リンクのURLを表示
for link in links:
    url = link['href']  # href属性を取得
    print("リンクURL:", url)

import feedparser
# ニュースサイトのRSSフィードのURL
rss_url = "https://news.example.com/rss"
# フィードを解析
feed = feedparser.parse(rss_url)
# フィードのタイトルを表示
print("フィードタイトル:", feed.feed.title)
# 各エントリのタイトルとリンクを表示
for entry in feed.entries:
    print("記事タイトル:", entry.title)
    print("記事リンク:", entry.link)

import feedparser
# ブログのRSSフィードのURL
rss_url = "https://blog.example.com/rss"
# フィードを解析
feed = feedparser.parse(rss_url)
# 各エントリの情報を表示
for entry in feed.entries:
    print("記事タイトル:", entry.title)
    print("公開日:", entry.published)
    print("説明:", entry.summary)
    print("---")

import feedparser
# ポッドキャストのRSSフィードのURL
rss_url = "https://podcast.example.com/rss"
# フィードを解析
feed = feedparser.parse(rss_url)
# 各エピソードの情報を表示
for entry in feed.entries:
    print("エピソードタイトル:", entry.title)
    print("エピソードリンク:", entry.link)
    print("公開日:", entry.published)
    print("---")

import feedparser
import csv
# RSSフィードのURL
rss_url = "https://example.com/rss"
# フィードを解析
feed = feedparser.parse(rss_url)
# CSVファイルに保存
with open('rss_feed.csv', 'w', newline='', encoding='utf-8') as csvfile:
    writer = csv.writer(csvfile)
    writer.writerow(['タイトル', 'リンク'])  # ヘッダー行の書き込み
    for entry in feed.entries:
        writer.writerow([entry.title, entry.link])  # 各エントリの書き込み

import feedparser
import sqlite3
# RSSフィードのURL
rss_url = "https://example.com/rss"
# フィードを解析
feed = feedparser.parse(rss_url)
# SQLiteデータベースに接続
conn = sqlite3.connect('rss_feed.db')
c = conn.cursor()
# テーブルの作成
c.execute('''CREATE TABLE IF NOT EXISTS articles (title TEXT, link TEXT)''')
# データの挿入
for entry in feed.entries:
    c.execute("INSERT INTO articles (title, link) VALUES (?, ?)", (entry.title, entry.link))
# 変更を保存して接続を閉じる
conn.commit()
conn.close()

import feedparser
import matplotlib.pyplot as plt
# RSSフィードのURL
rss_url = "https://example.com/rss"
# フィードを解析
feed = feedparser.parse(rss_url)
# 記事のタイトルをリストに格納
titles = [entry.title for entry in feed.entries]
# 記事数をカウント
article_count = len(titles)
# 棒グラフの作成
plt.bar(['記事数'], [article_count])
plt.title('RSSフィードの記事数')
plt.ylabel('数')
plt.show()

import feedparser
import streamlit as st
# RSSフィードのURL
rss_url = "https://example.com/rss"
# フィードを解析
feed = feedparser.parse(rss_url)
# ダッシュボードのタイトル
st.title('RSSフィードのダッシュボード')
# 各エントリの情報を表示
for entry in feed.entries:
    st.subheader(entry.title)
    st.write(entry.link)

import feedparser
import smtplib
from email.mime.text import MIMEText
# RSSフィードのURL
rss_url = "https://example.com/rss"
# フィードを解析
feed = feedparser.parse(rss_url)
# メールの設定
sender = 'your_email@example.com'
receiver = 'recipient@example.com'
subject = '新しいRSSフィードの記事'
body = '\n'.join([entry.title for entry in feed.entries])
# メールの作成
msg = MIMEText(body)
msg['Subject'] = subject
msg['From'] = sender
msg['To'] = receiver
# メールの送信
with smtplib.SMTP('smtp.example.com', 587) as server:
    server.starttls()
    server.login(sender, 'your_password')
    server.sendmail(sender, receiver, msg.as_string())

import feedparser
import requests
# RSSフィードのURL
rss_url = "https://example.com/rss"
# フィードを解析
feed = feedparser.parse(rss_url)
# SlackのWebhook URL
slack_webhook_url = 'https://hooks.slack.com/services/your/webhook/url'
# メッセージの作成
message = '\n'.join([entry.title for entry in feed.entries])
# Slackに通知を送信
payload = {'text': message}
requests.post(slack_webhook_url, json=payload)