「オープンデータとWebアプリケーション」
静岡理工科大学 情報学部 コンピュータシステム学科
幸谷 智紀（こうや とものり）
０．【宣伝】静岡理工科大学情報学部について
静岡理工科大学情報学部のWebページ
１．オープンデータとは？
「オープンデータ(Open Data)」とは，誰でも閲覧できる状態で広く公開されているデータのことです。今の時代はデータを扱う主体はコンピューターですので，オープンデータと言っても紙媒体ではなく，電子化されているもの，即ち，コンピューターが直接読み書きできるファイルの形式になっているものを指すことが殆どです。
電子化されたデータは，コンピューター同士が繋がっているインターネット(The Internet)の上でやり取りしやすい形式ですので，公開するにしても，インターネット上で誰しも読める状態になっている方が，読む方としても都合が良いわけです。インターネットでは様々なサービスが展開されていますが，現在ではWeb(World Wide Web)を通じたサービスが普通になっていますので，オープンデータもWeb上で，つまり，データを持っている会社，行政組織，個人，各種団体のWebページ(ホームページ）上に置き，誰でもブラウザを通じて読むことができるようにしています。こうしたオープンデータを活用したWeb上のサービス，いわゆるWebアプリケーションが様々な形で展開されています。
以下，オープンデータとは，Web上で誰でもブラウザから閲覧できるようになっている電子ファイル状態のデータである，と定義します。最近では，行政機関が積極的にデータを公開するようになっています。静岡県も積極的にオープンデータの活用を後押ししていますし，静岡県内の市，静岡市，浜松市では下記のところでオープンデータにアクセスできるようになっています。
オープンデータは，単なる公開情報という存在を超えるものです。コンピューターで利用しやすいファイルの形式になっているということは，そのままソフトウェアで加工できることになります。これをうまく活用することで，より便利なWebアプリケーションを作ることができます。
２．オープンデータをどのように活用するか？
ここでは，簡単なオープンデータの活用方法を具体例で示します。
皆さんは，「国民の祝日」，例えば正月，成人の日，建国記念日，春分の日，がどこでどのように決まっているか，ご存知ですか？ 検索すればすぐに分かりますが，これは政府が法律に基づいて決めているもので，内閣府に解説ページがあります。ただ，これは情報を人間に見やすく表示しているだけで，余り使い勝手の良いものではありません。そこで，近年の国民の祝日を表計算ソフトで扱いやすい形式で公開しています。これが国民の祝日のオープンデータです。この形式であれば，表計算ソフトだけでなく，様々なソフトウェアに利用することができるようになります。例えば，下記の図は，FullcalendarというJavaScriptで構築されたスケジュール帳に，国民の祝日を上のURLからファイルを読み取り，自動的に挿入したものです(サンプル)。
但し，これはあまり使い勝手の良いものではありません。元々の国民の祝日ファイルは，単なるテキストファイルなので，データそのものを使いやすい形で形成し，流し込む処理が必要になります。例えば，上記のFullcalendarに取り込むためには，次のようなPHPスクリプト(プログラム)の手助けが必要です。
<?php
// holiday.php: J国民の祝日を日本政府サイトから取得する
// Copyright (c) 2017 Tomonori Kouya
// 初期設定&データベースオープン
require "database.php";
// URL
$holiday_url = 'http://www8.cao.go.jp/chosei/shukujitsu/syukujitsu.csv';
$holiday_url_charset = 'SJIS-win';
// validate_date
// https://stackoverflow.com/questions/19271381/correctly-determine-if-date-string-is-a-valid-date-in-that-format
function validate_date($date)
{
$d = DateTime::createFromFormat('Y-m-d', $date);
return $d && $d->format('Y-m-d') === $date;
}
// http://php.net/manual/ja/function.str-getcsv.php
$array = array_map('str_getcsv', file($holiday_url));
// 休日配列化
$holiday_array = array();
foreach($array as $index => $tmp_array)
{
if(validate_date($tmp_array[0]))
{
//echo $tmp_array[0] . ' -> ' . mb_convert_encoding($tmp_array[1], 'UTF-8', $holiday_url_charset) . "\n";
$title = mb_convert_encoding($tmp_array[1], 'UTF-8', $holiday_url_charset);
$holiday = new Event([
//'id' => $index,
'title' => $title,
'allDay' => true,
'start' => $tmp_array[0],
'end' => $tmp_array[0],
], $default_timezone);
$holiday_array[] = $holiday->toArray();
}
//echo $holiday_array[0] . ' -> ' . mb_convert_encoding($holiday_array[1], 'UTF-8', $holiday_url_charset) . "\n";
}
// JSON形式で送り込み
echo json_encode($holiday_array);
?>
このように，直接データを取得して自動的に加工できるようになると，人間を介しての作業が不要になります。
こういうWeb技術を利用するプログラミングの詳細については，例えば本研究室の教材などを参照して下さい。
オープンデータの利用のためには，もう少し，利用者の立場に立って，使い勝手の良い形式で必要な分量のデータを受け取れるようにする必要があります。最悪な形式は，いわゆる「ネ申Excel（三重大学・奥村晴彦）」と呼ばれる，書類をそのまま表計算ソフトウェアで成形しただけのシロモノで，人間が手作業でチェックするには便利かもしれませんが，コンピューターにとっては最も加工の難しいものです。オープンデータは人間よりも，コンピューターにとって使い勝手の良いシンプルな形式であることが望まれます。
しかし，もっと使い勝手の良いオープンデータは，情報を加工したい側が欲しいデータだけをいつでも取得できるようになっているものです。そのためには，上記のFullcalendarに祝日データを渡すプログラムのように，オープンデータと利用者の間で仲介し，利用者の要求に応じた返答を返すような仕組みを作らなくてはなりません。これを実現しているのが，Web API (Application Programming Interface)と呼ばれるものです。
３．Web APIの実例
最も良く知られたweb APIは，GoogleやYahoo! Japan，Bingといった検索エンジンです。
どの検索エンジンも，URLの中に検索すべき単語を埋め込んであります。例えばGoogleの場合は
https://www.google.co.jp/#q=遠江総合高等学校
となっています。このように，ブラウザからアクセスする際に，利用者が欲しいデータの範囲（この場合は「遠江総合高等学校」を含むWebページの一覧）を指定することで，必要のないデータまで取り込むことがなくなります。
現在では様々なデータを，Web APIを通じて取り込むことができるようになっています。Google map（地図情報）やぐるなび（グルメ情報）なども，細かくデータを指定して取り込むことができるようになっています。
その他，下記のようなWeb APIもあります。
４．openBDを基盤とする書誌データの活用
オープンデータとWeb API活用の事例として，現在本研究室で取り組んでいるopenBDについて紹介します。
2017年初めに広く公開された本のオープンデータ化を進めるプロジェクトで，2017年6月現在では約90万件の本のデータが取得できます。今のところ，本のISBN番号一覧と，ISBN番号に紐づけされた書誌データ（表紙画像も含む）を取得できるWeb APIが提供されており，基本的にはユーザーがダウンロードして使用する全データを提供することを主目的としています。
本研究室でも，簡単なWebのインターフェースを提供しています。
openBD API
本一冊一冊ごとに異なるISBN番号が振られており，それが分かればその本のデータだけを入手することが可能です。しかし，普通本を買うときにISBN番号で指定することはありません。普通は，本のタイトル，著者名，出版社名，定価等で探すものです。
それを可能にするため，本研究室では全件検索ができるような仕組みを作り，公開しています。使い勝手はまだ改良の余地がありますが，これも改良されたopenBDのWeb API化の一つと言える仕事になっています。
５．おわりに
インターネットが当たり前になった今では，様々なデータを自由に取得でき，もっと便利に使うためのWeb APIの利用が盛んになっています。今後は，これらのオープンデータやWeb APIを通じてより高度なデータ解析を自動的に，例えばAIを使って行うことが普通になっていきます。
人間の側はもっと賢く，これらのオープンデータやWeb API，そしてその分析結果を使って高度な知を使いこなしていくことになります。プログラミングを行うだけでなく，それをより良い方向に生かす技術を，今後の大学生活で身につけて下さい。
