蛇ノ目の記

技術のことも。そうでないことも。

スクレイピング

TIF 2022の日別ラインナップをスクレイピングしてみた

今年もTIFのラインナップが出揃う時期になってきましたね。 公式サイトのラインナップでは、"何日にどこが出るか"というのをやや把握しづらいのでスクレイピングしてまとめてみた、という話です。 どこのご家庭でも簡単に用意できるBeautifulSoup4とrequests…

アイドルで理解するiCalendar

Webサイトをスクレイピングしてイベント情報を取得、iCalendar形式で出力してGoogleカレンダーにインポートできるようにした、という話。 リポジトリ github.com 背景 3/13(土)に開催されたIDORISE!! FESTIVAL 2021で初めて観たCYNHNがあまりにかっこよく、…

アイドルで理解するSelenium - リンクを見つけて移動するだけ

アイドルで理解するhogehogeシリーズです。 やること アイドルを応援するプラットフォームCHEERZから、任意のアイドルの画像をダウンロードする。 基本無料だけど課金すると応援するためのポイントが回復できたりするらしい。アカウント持ってないのでよくわ…

アイドルで理解するTF-IDF データ準備編 - アメブロを攻略する

ども。 一度もブログを書くことなく8月が過ぎてた。 もう9月ってやばくないですか。やばいです。 今回は9/11(水)のみんなのPython勉強会 #49でLTする予定の「アイドルで理解するTF-IDF」のデータ準備編。 TL;DR アメブロの記事本文以外(投稿日時とか)の多く…

ダウンロードリンクからCSVをスクレイピングしてDataFrameにする - Spotify Charts編

少し前にこのブログでも取り上げたSpotify Charts。各国のヒットチャート・バイラルチャートが公開されている見ていて飽きないWebサービス。 Spotify ChartsではチャートをCSV形式でダウンロードできる。そのCSVをスクレイピングしてDataFrameにしてみる。つ…

BeautifulSoup4でコメントタグの中身を取得する方法に腹落ちするまでの話

同人音楽即売会M3の出展サークルリストから、サークル名やキーワードを抜こうとしている。何に使うかは未定だけど。 サークルリスト 2018年春 | M3 - 音系・メディアミックス同人即売会 を見てわかるように スペース, サークル名, 概要 となっている。サーク…