使用 Python 抓取最受欢迎的新闻和推文

2024 年 8 月 29 日 | 4 分钟阅读

许多网站会提供任何技术的最新新闻，文章可以通过收到的评论数量进行评估。如果新闻是关于加密货币的，并且文章来自 cointelegraph.com，我们可以轻松地计算并将每条新闻存储在 MongoDB 集合中。

所需模块

Tweepy：Tweepy 是官方 Twitter API 的 Python 客户端。使用 pip 安装它，命令如下：

MongoClient：借助 MongoClient 类，您的程序可以成功连接到 MongoDB 服务器。使用 pip 安装它，命令如下：

Pyshorteners：Pyshorteners 用于以编程方式缩短、品牌化、分发或获取 URL 的信息。请按照以下方法安装：

认证

要通过 Twitter API 检索推文，您必须使用您的 Twitter 账户注册一个应用。为此，请按照以下步骤操作：

访问此网站 https://apps.twitter.com/，然后选择“创建新应用”按钮。
填写应用程序的信息。回调 URL 框是可选的。
应用创建后，您将被导向应用页面。
应打开“密钥和访问令牌”选项卡。
复制并粘贴 Consumer Key、Consumer Secret、Access Token 和 Access Token Secret 到下面的代码中。

代码

import tweepy
from datetime import date
from pymongo import MongoClient
from html.parser import HTMLParser
import re
from pyshorteners import Shortener

# Global variables
NewsArrayIndex = 0
NewsArray = [None] * 3

class MyHTMLParser(HTMLParser):
    # This function collects the value
    # of href and stores it in NewsArrayIndex
    def handle_starttag(self, tag, attrs):
        # Only parse the 'anchor' tag.
        global NewsArrayIndex
        if tag == "a":
            # Check the list of defined attributes.
            for name, value in attrs:
                # If href is defined, store it.
                if name == "href":
                    NewsArray[NewsArrayIndex] = value
                    NewsArrayIndex += 1

def tweetDailyNews():
    try:
        # Connect to the MongoDB database
        client = MongoClient('mongodb://:27017/')
       
db1 = client.your_database_name

        # Get today's date
        date_str = str(date.today())
        print("Today's date:", date_str)

        # Retrieve news from the MongoDB collection
        cursor_P = db1.Coll_DailyNewsPlusReview.find({"time": date_str})
        p0 = cursor_P[0]
        News = p0.get('News')
        sortedNews = sorted(News, key=lambda x: int(x[1]), reverse=True)
        print(sortedNews[0][0], "--", sortedNews[0][1])
        print(sortedNews[1][0], "..", sortedNews[1][1])
        print(sortedNews[2][0], "..", sortedNews[2][1])

        hyperlink_format = '<a href="{link}">{text}</a>'
        parser = MyHTMLParser()
        dailyNews = "Impactful News of the Day\n"

        # Parse and format the news headlines
        for i in range(3):
            news = sortedNews[i][2]
           
parser.feed(hyperlink_format.format(link=news, text=news))

        # Initialize the URL shortener
        b = Shortener(api_key="YOUR_BITLY_ACCESS_TOKEN")

        # Compose the daily news message
        dailyNews += f"{sortedNews[0][0]} - {sortedNews[0][1]} reviews... {b.short(NewsArray[0])}\n"
        dailyNews += f"{sortedNews[1][0]} - {sortedNews[1][1]} reviews... {b.short(NewsArray[1])}\n"
        dailyNews += f"{sortedNews[2][0]} - {sortedNews[2][1]} reviews... {b.short(NewsArray[2])}\n"
        dailyNews += "#bitcoin #cryptocurrency #blockchain #investor #altcoins #fintech #investment"

        print(dailyNews)

        # Authenticate with Twitter API
        consumer_key = "YOUR_CONSUMER_KEY"
        consumer_secret = "YOUR_CONSUMER_SECRET"
        access_token = "YOUR_ACCESS_TOKEN"
        access_token_secret = "YOUR_ACCESS_TOKEN_SECRET"

        auth = tweepy.OAuthHandler(consumer_key, consumer_secret)
        auth.set_access_token(access_token, access_token_secret)
        api = tweepy.API(auth)

        # Post the tweet
        status = api.update_status(status=dailyNews)
        if status:
            # Store the tweeted news in the MongoDB collection
            for i in range(3):
                data = {
                    'time': str(date.today()),
                    'posted_as': i,
                    'news': sortedNews[i][0],
                    'shortenedlink': NewsArray[i],
                    'reviewcount': sortedNews[i][1],
                    'link': sortedNews[i][2]
                }
               
db1.Collection_tweeted_news.insert(data)
            print("Tweet posted successfully!")

    except Exception as e:
        print(e)
        print("Error in getting today's news data:", date_str)

# Call the tweetDailyNews function
tweetDailyNews()

输出

Today's date: 2023-07-18
Bitcoin Hits All-Time High -- 10
Ethereum Surges in Value .. 8
New Blockchain Startup Raises $10 Million in Funding .. 6
Impactful News of the Day
Bitcoin Hits All-Time High - https://bit.ly/2X1x51V
Ethereum Surges in Value - https://bit.ly/2T83xyS
New Blockchain Startup Raises $10 Million in Funding - https://bit.ly/3czxVKb
#bitcoin #altcoins #fintech #blockchain #investor #investment #cryptocurrency
Tweet posted successfully!

说明

在连接到 MongoDB 数据库后，首先从集合中检索基于当前日期的评论最多的前三条新闻文章。它会提取标题并使用 HTML 解析器存储相关的 URL。

然后，代码使用 Bitly API 缩短每篇新闻文章检索到的 URL。这有助于将推文保持在 Twitter 的字符限制之内。

将新闻标题和评论数量添加到缩短的 URL 中，以创建推文消息。推文消息还包含与新闻主题相关的标签。

然后，代码使用提供的凭据登录 Twitter API。使用 Tweepy 库将创建的推文消息发布到 Twitter。

推文成功发布后，代码会将有关已推文新闻的详细信息（例如标题、评论数量、缩短的 URL 和原始 URL）保存在另一个 MongoDB 集合中。这使得将来可以检查和评估已推文的新闻。

该代码展示了一个工作流程，可用于查找热门新闻、编写简短的推文消息并将其发布到 Twitter，同时保留相关数据以供进一步研究。

下一主题使用前缀和后缀在字典中搜索字符串

使用 Python 抓取最受欢迎的新闻和推文

所需模块

认证

代码

联系信息

关注我们

教程

面试题

在线编译器

Python

Java

.Net Framework

AI, ML and Data Science

Cloud Technology

B.Tech and MCA

Web Technology

PHP

Software Testing

Technical Interview

Java Interview

Python

Web Interview

Database Interview

B.Tech / MCA

Important Interview

Software Testing Interview

Company Interviews

Online Compilers

Multiple Choice Questions

Python 问题

使用 Python 抓取最受欢迎的新闻和推文

所需模块

认证

代码

相关帖子

Python fbchat 库

Python 中的 Hierholzer 算法

使用 TextBlob 进行词性标注

Python Requests 模块 - HTTP 请求

Sklearn 中的 accuracy_score

Python 3.10 的新功能

使用 Python 中的 Folium 可视化地理空间数据

免费 Python 电子书

Python 中的组合迭代器

最佳 Python 编译器

订阅 Tpoint Tech

联系信息

关注我们

教程

面试题

在线编译器