PHPで簡単にスクレイピングする方法


こんばんは、tkです。
皆さんはWebサイトからある特定の情報を取ってきたいと思ったことはありませんか?
毎回サイトに飛んで値のコピペを繰り返す、、、これを毎日もしくはたくさんのページで行いたいといったときに手でやるのは面倒ですよね?
そんな方のために、今回はPHPを使ってWebスクレイピングする方法を紹介したいと思います。

スクレイピングって?

スクレイピングとはWebサイトから情報を抽出する技術のことです。
例えば、プログラムを動かしてこのブログのタイトルを自動的に取得するといったことができます。

下準備

まずは下記リンクから一番上のphpQuery-*-onefile.zipをダウンロードして解凍しましょう。
https://code.google.com/archive/p/phpquery/downloads
解凍したらphpQuery-onefile.phpというファイルができているか確認してください。
これで下準備は完了です。

PHPファイルの作成


試しにこのファイルを作成し、先ほど解凍したphpQuery-onefile.phpと同じディレクトリに配置して実行して見ましょう。
東大卒ニートとサボリーマンのお金の稼ぎ方 |」が出力されれば成功です!
$urlを変更すれば色々なサイトからスクレイピングができるはずです。

注意点

著作権法や相手のサーバーの負荷などに注意して行なってください。
Webスクレイピングの注意事項一覧
JavaScriptにより動的に作成しているサイトは取得ができないデータがあります。

次回はphpQueryの使い方ともうちょっと実践的なスクレイピングの方法を紹介したいと思います。

最近PHPによるスクレイピングの内容が書かれている書籍を見つけたので紹介しておきます。
機械学習などのホットな話題にも触れていて単純に読み物としても面白いです。

スクレイピングについての記事をまとめておきます。
PHPで簡単にスクレイピングする方法part2
PHPで簡単にスクレイピングする方法part3
PHPで簡単にスクレイピングする方法part4

ではでは

そういえばブログランキングに登録してみました。
ぽちっとしていただけるとありがたいです。


人気ブログランキングへ

ブログランキング
人気ブログランキングへ

tk

こんにちはtkです。長いモラトリアムを経て現在は無職。寝ながらお金を稼げるシステムを作れないかと夢想中。。。。 PHP、Ruby、Javaなんかをいじってたりして、Scala勉強中。趣味は映画・海外ドラマ・読書です。何かオススメあれば是非!

あわせて読みたい

4件のフィードバック

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です