# Scrapyでスクレイピングする時に、User Agentを動的に変更する



日本語の記事があまり見つからなかったので、メモ代わりに

結構やることは簡単だった。

参考) https://python.plainenglish.io/rotating-user-agent-with-scrapy-78ca141969fe


## 手順



1. user agentのためのパッケージをインストール

pip install scrapy-user-agents


2. settings.pyにMIDDLEWARESの設定
DOWNLOADER_MIDDLEWARES = {
'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
'scrapy_user_agents.middlewares.RandomUserAgentMiddleware': 400,
}


## 結果



リクエスト毎に自動で別のUser agentを適用してくれる。

スクリーンショット 2022-06-13 17.42.24



タグ ：
#python
#Scrapy
#UserAgent