スクレイピング+Spotify-APIで、アイドル楽曲大賞投票結果のプレイリストを作成しました

はじめに

自分のため、そして楽曲派のオタクの方々のために、2015年度から2023年度までのアイドル楽曲大賞における①メジャーアイドル楽曲部門、②インディーズ/地方アイドル楽曲部門のランキング1~100位までのプレイリストを作成した。
タイトルに書いてあるとおり、スクレイピング+Spotify-APIで自動作成したのでその手順とハマったポイントをまとめていく。

要約(プレイリストを見に来た人向け)

アイドル楽曲大賞2023投票結果のプレイリストを作成した(Spotifyではおそらく初)。

open.spotify.com

2022年度以前のプレイリストについては下記記事にまとめた。

otter-k.hatenablog.com

もし順位が違う、関係ない曲が入っているなどの問題があればぜひコメントやご連絡いただけると本当に助かります……

要約(使用技術を見に来た人向け)

Rubyを使ったWebスクレイピングとSpotify-APIのプレイリスト作成機能を組み合わせることで、1800曲分のプレイリストを自動作成した。
今回はSpotify-APIのRubyラッパー、RSpotifyを利用した。
当該記事で記載しているコードについては下記リポジトリを参照。

github.com

アイドル楽曲大賞とは

www.esrp2.jp

ライターのピロスエさんが毎年12月に開催している、1年間で発表されたアイドル楽曲のランキングをみんなの投票で決めようという企画。
タワーレコードの一部店舗ではランキング上位の作品を特集したコーナーが作られるなど、注目度の高いイベントになっている。

【#新宿アイドル班】
昨日発表となりました年末の恒例行事、#アイドル楽曲大賞 👑早速集積コーナーを立ち上げました✨皆さまの推しはランクインしてましたか❓アイドルの皆さん2023年お疲れ様でした🙌来年も良い楽曲と出会えますように…☺️ pic.twitter.com/yOqUA2JpJ3
— タワーレコード新宿店 (@TOWER_Shinjuku) 2023年12月30日

具体的にどう動かしたか

①ランキングのスクレイピング(IdolMusicAwardCrawler)

scrape_idol_music_award/scrape_idol_music_award.rb at main · Otter-K/scrape_idol_music_award · GitHub

投票結果のページのtableタグ内にデータが格納されているので、シンプルなopen-uri+nokogiriの構成で取って来る。
なお、CSVの区切り文字に\t(タブ文字)を使っているのは、通常の,(カンマ)区切りだとMirror,Mirrorでバグるし、;(セミコロン)区切りだとC;ONでバグるからである(エスケープしろという意見は粋じゃないので無視する)。

②Spotify APIによる楽曲取得、プレイリスト作成

②(1)OAuth認証(generate_spotify_auth.rb)

scrape_idol_music_award/generate_spotify_auth.rb at main · Otter-K/scrape_idol_music_award · GitHub

APIからプレイリストを作成するためには、作成主体となるSpotifyアカウントでOAuth認証を通す必要がある。そのためOmniAuth2.0+Sinatraを使ってローカルでサーバーを立てようと思ったのだが、最新版の情報があまり見つからず地味に手こずった。
OmniAuth2.0+Sinatraのハマりポイントは別記事にまとめた。

②(2)楽曲取得(PlaylistCreator)

scrape_idol_music_award/create_playlist.rb at main · Otter-K/scrape_idol_music_award · GitHub

RSpotifyを使っているため、 RSpotify::Track.searchでパッと書けると思った……が、うまくいかない。
具体的に言うと、公式APIドキュメントに乗っているfilterを使ったクエリがRSpotify::Track.searchでは通らなかった。
色々調査してみると、Client Credentials Grantフローで発行したトークンだとfilterが使えない模様。何となく怪しい挙動な気がする……
RSpotifyの検索時に使ってるトークンはRSpotify.authenticateで発行したやつをずっと使っているので、そこで詰まっていた。

def prepare_user
  RSpotify::User.new(JSON.parse(ENV['OAUTH_TOKENS'])).tap do |user|
    # ユーザー認証後のTokenでないと検索結果が安定しないためToken更新
    RSpotify.instance_variable_set(:@client_token, user.credentials['token'])
  end
end

User.newをラップして、無理やりトークン更新処理を追加して対応した。