URL(で示す情報源)を読み込む

1 準備(プロキシの設定)

以下のコードをプログラムの先頭部に入れておくといい。

import java.net.{InetAddress=>IA}
val hn=IA.getLocalHost.getHostName
val adrs=IA.getAllByName(hn)
if(adrs.exists(_.getHostAddress matches "^172.*")) {
    // 学内LANにいると推測されるとき限定で
    System.setProperty("proxyHost", "proxy")
    System.setProperty("proxyPort", "3128")
}

• REPLで動作させるときには、 System.setPropertyを呼ぶ２つの行だけでもいい

読み込み

import scala.io.Source		//  io.Source でも可
val url="http://www2.nagano.ac.jp/hiraoka/BP/"
val tx=Source.fromURL(url,"utf-8").mkString
// この結果、変数txにページのデータ（HTMLであることが多い）が文字列として記憶される。

• 学内のWebサーバからデータを読むときには前述のプロキシ設定は不要。
• 文字コード（fromURLメソッドの第２引数）については、 対象となるサイトによって臨機応変に以下のものを使い分ける必要があるかもしれない。
  • utf-8
  • Shift_JIS
  • その他のエンコーディングもたまに使われることがある
  • 中国語、韓国語等ではまた別のコードが使われることもある

行に分割する

val b=Source.fromURL(url,"utf-8").getLines
val a=b.toArray	// 配列に変換

• b は「イテレータ」と呼ばれる種類の特殊な（でもよく使われる）データを値として持つことになる
• 「イテレータ」は、Collection(配列なども含む）と同様に繰り返しの対象として使えるので、
  • 上記のように配列にしてから使う必要がない、というケースも多い（以下の例のように）

io.Source.fromURL(url,"utf-8").getLines.forEach(println)
// または
for(line<-io.Source.fromURL(url,"utf-8").getLines)
    println(line)

解析方法の例

「正規表現（詳細はBPでは説明は省略するが）」に基いて、 目的のものだけを抜き出す書き方の例

val re="<[^>]+>".r
re.findAllIn(tx)

(もう少し踏み込んだ例を別ページに示したので参考にして下さい)