はい、M10iです。
前回はAIエディタのcursor君にTodoリストアプリを爆速で作ってもらいました。
AIエディタってどこまで作ってくれるの?前編
確かにいい感じに作ってくれましたね!
でも・・・実際の業務やお仕事で作るプログラムってそんなシンプルじゃないですよね?
データが複雑だったり、やりたいことを機能に落とし込むところや
専門的なコードを書いたりしないといけないこともあったり。
て事で、ふわっとしたお願いでどこまでやってくれるか試してみましょう☆
M10iが妄想してた小ネタで警察署の日々の検問情報をスクレイピングで集めて
地図に表示して検問情報アプリってできないかなー
っていうのをもっと簡単にして
ニュースサイトから事件や事故の情報をスクレイピングで集めて地図に表示
してみようと思います!
実用的かどうかは置いておいてw
※スクレイピングっていうのはWebサイトから欲しい情報を自動で集めてくる技術です。
htmlの構造は各サイトによって違うので対象のサイトのhtmlの構造を調査する必要があります。
ぱっと思いつくだけで以下のポイントが出てきますね。
- htmlの解析
- 事件・事故の情報の取得するためのテンプレート
- 地名と位置情報の紐づけ
この辺り、どう実装してくれるのでしょうか???
(M10iがまずめんどくさいなーって思ったのは地名と位置情報の紐づけですw)
では早速。
対象のニュースサイトは47newsさん
階層でローカルも扱っててrobots確認したところ/localnewsはchiikisaisei
以外のアクセスは禁止されてないです、わりとゆるい。
※こちらはサンプルコードなので毎秒アクセスするとかなるとダメと思います!
もしこのページを参考にされる際はそのあたり自己責任でお願いします。
大阪のページで確認。
htmlもそんなごちゃごちゃでもないので情報取れなくはなさそうですねっ
それではお願いしまーす☆
おおー!必要なライブラリ、自動で選定してインストールしてくれます!
なんやかんやをポチポチと・・・・
あっという間に完成!!!!
前回と変わらず5分もたってないw
これで出来るなら本当に人間がコード書かなくてよくない?!
それではサイトにアクセスしてみます!!!!!
どん!!!
・・・・・ニュース何も出てない・・・・・orz
M10iのトキメキを返して・・・・
そりゃまぁそうだよね・・・(なにが)
って事で答え合わせしていきたいと思います。
scraper.py
①htmlの解析→×
class名でそれっぽく書いてくれてあるけど情報取れてないよ・・・
ここはどのタグに地名が入ってるかとか地味な調査部分だから仕方ない・・・のか?
実在しないclass名なあたりhtml読んでないのかな?な感じ
デバッグしてみると初手が空なので悲しい。
でも見た目から考えて当てにいってるっぽい?
太字h3ぽいし時間表示してるところもある。ここらへんはどうなんだろ
②事件・事故の情報の取得するためのテンプレート→×
事件や事故でアイコン変えたりするのかな?って思ってたけど多くを求め過ぎました。
そこに情報があるなら事件・事故だ!!!!って事ですねw
③地名と位置情報の紐づけ→△
ここどうするのかな?って思ってたらまさかのベタ書きwwww
そっかーとりあえずならそうだよねー
・・・そっかー・・・
で、そのままgeolocatorに投げるつけるための正規表現側に市とか府とかついてますね。
ちなページには「岸和田」「大阪」とあるので一致しません。残念。
で、ちょっと動くところまで修正してみました。
scraper.py
M10iも適当人間なのでふわっとそれっぽいのが取れる程度の改修ですw
結果、無事表示されました!cssやhtmlのレイアウトはばっちりですね!
以上、AIエディタはどこまで作ってくれるの?後編でした。
今回M10iの指示がふわっとし過ぎというのもありますが、
コード読んでバグがどこか探せないとちょーっと厳しいですねぇ
M10iは過信しなければAIエディタはアリだと思います!まず速い!
実際に皆さんはどう思いました???
ではではM10iでした☆