幸谷研究室＠静岡理工科大学

2019年4月9日2019年4月9日

Apache, PHP更新

　PHP 5.4を騙し騙し使ってきましたが，とうとうWordpressから警告が出るようになりましたので，このサイトのPHPを5.4から7.3.4にアップデートしました。そのため，Apacheも2.2から2.4に上げる必要があり，結局，MariaDB以外のパッケージは全て総取り換えとなりました。

　PHPについては，Apache組み込みの動的ライブラリモジュールから，独立したサーバプロセスであるphp-fpmを介して動作するように変更しました。一応Wordpressはきちんと動作しているようですが，トップページ表示の際，右サイドメニューが出てこなかったり，上段タイトルの下が切れたりして，イマイチ見栄えが良くないようです。

　新学期が始まりましたので，ボツボツ直していきます。まぁ当分はこの体制で乗り切りたいと思います。

[2019-04-05(Fri) 追記] PHP 7.3に上げると，Crayon Syntax Highlighterのpreg_replace関数に与える正規表現がWarningを出し，表示が狂うという現象が起きるようです。詳細はこちらの記事で。ということでバックスラッシュをcrayon_langs.class.phpに入れるだけで表示が元通りになりました。ふ～，Webはこんな事日常茶飯事です。だから専門家が必要で，飯の種になる訳ですけど。

　さて，新学期が始まりますね。PHP 7.3を使って心機一転頑張りましょう。

2019年3月25日2019年3月25日

大学メインサーバHTTPS化

　どこにも告知が出てないので，ここで書いておきますが，静岡理工科大学のメインWebサーバを，3月中旬にHTTPS化しました。

　証明書はKDDIから取得したものです。

　2019年11月からは，HTTP経由のアクセスも全部HTTPSへリダイレクトする予定です。特段不都合は発生しないとは思いますが，今後は本学Webサーバに置いてあるコンテンツを紹介する時には，https://www.sist.ac.jpから始まるURLをアナウンスすることをお勧め致します。

2019年1月17日2019年3月25日

CakePHPを学ぶ(1)

　本研究室ではもっぱらスクラッチからPHPとMySQLを使ってWebアプリを作成してきましたが，ボチボチMVC(Model-View-Control)思想に基づくPHPフレームワークにも取り組む必要が出てきた感じています。スクラッチビルドも悪くないですが，正直同じ教材を毎年使うのも飽きたので更新したいという事情も手伝っています。

　ということで昨年12月からCakePHPで遊んでみましたが，Tutorialは手っ取り早く勉強できてありがたいものの，作りたいWebアプリを自在に組み立てるのは思いのほか難儀で，Bakeが作った雛形から脱していない代物が多いのも頷けます。年寄なので，Visual Basicが流行った頃を思い出しますね。結局，作り込むためには地道なプログラミングをしないといかんと。

　ということで本日反省がてら作ったPowerPoint資料を上げておきます。

　ということで，

ユーザ認証機能のカスタマイズ（任意のテーブル名でユーザ管理できるように）
全体的なデザインの変更とカスタマイズ
Webサーバへのアップロード方法の模索（ユーザ単位のWebアプリとして外部公開したい）
第5章で制作する機能を全部盛り込んだサイトを構築

というところまで，今年度内に何とかしたいと考えています。ここに書いたメモを元に教材作成までできれば御の字ですね。

2018年12月25日2018年12月25日

卒研メモ: Googleで関数グラフ描画

Googleのグラフ描画機能、お手軽すぎて素晴らしい。 pic.twitter.com/7TyQnn2C7w
— Shuuji Kajita (@s_kajita) December 21, 2018

Googleの関数グラフ描画機能を初めて知らされたTweet

　年のせいか，新しい物事をキャッチする能力が落ちているようで，Google検索に関数グラフ描画機能が付いたことも知りませんでした。単位変換や電卓機能があるのは知っていたのですが，こういう機能までつけてくるとは，さすがGoogle，コンピュータリソースが有り余ってますね。

　1変数関数だけでなく，2変数関数のグラフも描けるようです。ちなみにz = x^2 + y^2をググってみると，下記のようになります。

x^3 – exp(x) = 0という方程式を解く時には，y = x^3 – exp(x)のグラフを描画し，x軸との交点付近を拡大して

x = 1.58718・・・ぐらいかなぁというアタリを付けることも簡単ですね。今後色々活用してみたいところです。

2018年12月20日2019年3月25日

卒研メモ：CakePHP勉強中

　前々から，サーバサイドのWebプログラミングにフレームワークを使った方がいいというサジェスチョンを受けてたので，今年の情報セミナー２・事由政策の時間にCakePHPのTutorialを読みながら勉強しています。これを取り上げたのは下記のスライドに書いた理由に加えて，最初からBootstrapを組み込んであること。次の教材のアップデートでは最初から解説しておこうと思ってたところなので，親和性の高い内容にできそうだと判断しました。

　ということで，本日段階でCRUDシステム部分は完成しました。次はBakeを使って認証システムを構築する所。Bakeなしでもできますが，使った方が圧倒的に楽なようなので，体験しておけという方針と理解しました。

　50の手習いですが，年内にTutorial終わらせて，ファイルアップロード処理を付けて，3月ごろまでには教材のアップデートに取り掛かりたいですね。

2018年11月23日2018年11月23日

地域創成フォーラム2018ポスター

　例年11月最終火曜日に開催される本学主催の地域創成フォーラム用に，本研究室では毎年1枚は新しくポスターを起こすことにしています。今年は本研究室のWebプログラミングテキスト教材をネタにしました。フルバージョンは会場か本学（フォーラム翌日以降展示）でご覧下さい。

　次年度以降は，高性能計算研究ネタでパネルを作らないといけませんね。精進します。

2018年11月15日2019年3月25日

遠江総合高等学校：オープンデータとWebアプリケーション

「オープンデータとWebアプリケーション」
静岡理工科大学　情報学部　コンピュータシステム学科
幸谷　智紀（こうや　とものり）

０．【宣伝】静岡理工科大学情報学部について
静岡理工科大学情報学部のWebページ

１．オープンデータとは？
「オープンデータ(Open Data)」とは，誰でも閲覧できる状態で広く公開されているデータのことです。今の時代はデータを扱う主体はコンピューターですので，オープンデータと言っても紙媒体ではなく，電子化されているもの，即ち，コンピューターが直接読み書きできるファイルの形式になっているものを指すことが殆どです。
電子化されたデータは，コンピューター同士が繋がっているインターネット(The Internet)の上でやり取りしやすい形式ですので，公開するにしても，インターネット上で誰しも読める状態になっている方が，読む方としても都合が良いわけです。インターネットでは様々なサービスが展開されていますが，現在ではWeb(World Wide Web)を通じたサービスが普通になっていますので，オープンデータもWeb上で，つまり，データを持っている会社，行政組織，個人，各種団体のWebページ(ホームページ）上に置き，誰でもブラウザを通じて読むことができるようにしています。こうしたオープンデータを活用したWeb上のサービス，いわゆるWebアプリケーションが様々な形で展開されています。

以下，オープンデータとは，Web上で誰でもブラウザから閲覧できるようになっている電子ファイル状態のデータである，と定義します。最近では，行政機関が積極的にデータを公開するようになっています。静岡県も積極的にオープンデータの活用を後押ししていますし，静岡県内の市，静岡市，浜松市では下記のところでオープンデータにアクセスできるようになっています。

オープンデータは，単なる公開情報という存在を超えるものです。コンピューターで利用しやすいファイルの形式になっているということは，そのままソフトウェアで加工できることになります。これをうまく活用することで，より便利なWebアプリケーションを作ることができます。

２．オープンデータをどのように活用するか？
ここでは，簡単なオープンデータの活用方法を具体例で示します。

皆さんは，「国民の祝日」，例えば正月，成人の日，建国記念日，春分の日，がどこでどのように決まっているか，ご存知ですか？　検索すればすぐに分かりますが，これは政府が法律に基づいて決めているもので，内閣府に解説ページがあります。ただ，これは情報を人間に見やすく表示しているだけで，余り使い勝手の良いものではありません。そこで，近年の国民の祝日を表計算ソフトで扱いやすい形式で公開しています。これが国民の祝日のオープンデータです。この形式であれば，表計算ソフトだけでなく，様々なソフトウェアに利用することができるようになります。例えば，下記の図は，FullcalendarというJavaScriptで構築されたスケジュール帳に，国民の祝日を上のURLからファイルを読み取り，自動的に挿入したものです(サンプル)。

但し，これはあまり使い勝手の良いものではありません。元々の国民の祝日ファイルは，単なるテキストファイルなので，データそのものを使いやすい形で形成し，流し込む処理が必要になります。例えば，上記のFullcalendarに取り込むためには，次のようなPHPスクリプト(プログラム)の手助けが必要です。

<?php
	// holiday.php: J国民の祝日を日本政府サイトから取得する
	// Copyright (c) 2017 Tomonori Kouya

	// 初期設定&データベースオープン
	require "database.php";

	// URL
	$holiday_url = 'http://www8.cao.go.jp/chosei/shukujitsu/syukujitsu.csv';
	$holiday_url_charset = 'SJIS-win';

	// validate_date
	// https://stackoverflow.com/questions/19271381/correctly-determine-if-date-string-is-a-valid-date-in-that-format
	function validate_date($date)
	{
		$d = DateTime::createFromFormat('Y-m-d', $date);
		return $d && $d->format('Y-m-d') === $date;
	}

	// http://php.net/manual/ja/function.str-getcsv.php
	$array = array_map('str_getcsv', file($holiday_url));

	// 休日配列化
	$holiday_array = array();
	foreach($array as $index => $tmp_array)
	{
		if(validate_date($tmp_array[0]))
		{
			//echo $tmp_array[0] . ' -> ' . mb_convert_encoding($tmp_array[1], 'UTF-8', $holiday_url_charset) . "\n";
			$title = mb_convert_encoding($tmp_array[1], 'UTF-8', $holiday_url_charset);
			$holiday = new Event([
				//'id'     => $index,
				'title'  => $title,
				'allDay' => true,
				'start'  => $tmp_array[0],
				'end'    => $tmp_array[0],
			], $default_timezone);
			$holiday_array[] = $holiday->toArray();
		}
			//echo $holiday_array[0] . ' -> ' . mb_convert_encoding($holiday_array[1], 'UTF-8', $holiday_url_charset) . "\n";
	}

	// JSON形式で送り込み
	echo json_encode($holiday_array);

?>

<?php

// holiday.php: J国民の祝日を日本政府サイトから取得する

// 初期設定&データベースオープン

require "database.php";

// URL

$holiday_url = 'http://www8.cao.go.jp/chosei/shukujitsu/syukujitsu.csv';

$holiday_url_charset = 'SJIS-win';

// validate_date

// https://stackoverflow.com/questions/19271381/correctly-determine-if-date-string-is-a-valid-date-in-that-format

function validate_date($date)

{

$d = DateTime::createFromFormat('Y-m-d', $date);

return $d && $d->format('Y-m-d') === $date;

}

// http://php.net/manual/ja/function.str-getcsv.php

$array = array_map('str_getcsv', file($holiday_url));

// 休日配列化

$holiday_array = array();

foreach($array as $index => $tmp_array)

{

if(validate_date($tmp_array[0]))

{

//echo $tmp_array[0] . ' -> ' . mb_convert_encoding($tmp_array[1], 'UTF-8', $holiday_url_charset) . "\n";

$title = mb_convert_encoding($tmp_array[1], 'UTF-8', $holiday_url_charset);

$holiday = new Event([

//'id' => $index,

'title' => $title,

'allDay' => true,

'start' => $tmp_array[0],

'end' => $tmp_array[0],

], $default_timezone);

$holiday_array[] = $holiday->toArray();

}

//echo $holiday_array[0] . ' -> ' . mb_convert_encoding($holiday_array[1], 'UTF-8', $holiday_url_charset) . "\n";

}

// JSON形式で送り込み

echo json_encode($holiday_array);

このように，直接データを取得して自動的に加工できるようになると，人間を介しての作業が不要になります。

こういうWeb技術を利用するプログラミングの詳細については，例えば本研究室の教材などを参照して下さい。

オープンデータの利用のためには，もう少し，利用者の立場に立って，使い勝手の良い形式で必要な分量のデータを受け取れるようにする必要があります。最悪な形式は，いわゆる「ネ申Excel（三重大学・奥村晴彦）」と呼ばれる，書類をそのまま表計算ソフトウェアで成形しただけのシロモノで，人間が手作業でチェックするには便利かもしれませんが，コンピューターにとっては最も加工の難しいものです。オープンデータは人間よりも，コンピューターにとって使い勝手の良いシンプルな形式であることが望まれます。

しかし，もっと使い勝手の良いオープンデータは，情報を加工したい側が欲しいデータだけをいつでも取得できるようになっているものです。そのためには，上記のFullcalendarに祝日データを渡すプログラムのように，オープンデータと利用者の間で仲介し，利用者の要求に応じた返答を返すような仕組みを作らなくてはなりません。これを実現しているのが，Web API (Application Programming Interface)と呼ばれるものです。

３．Web APIの実例
最も良く知られたweb APIは，GoogleやYahoo! Japan，Bingといった検索エンジンです。

どの検索エンジンも，URLの中に検索すべき単語を埋め込んであります。例えばGoogleの場合は

https://www.google.co.jp/#q=遠江総合高等学校

となっています。このように，ブラウザからアクセスする際に，利用者が欲しいデータの範囲（この場合は「遠江総合高等学校」を含むWebページの一覧）を指定することで，必要のないデータまで取り込むことがなくなります。

現在では様々なデータを，Web APIを通じて取り込むことができるようになっています。Google map（地図情報）やぐるなび（グルメ情報）なども，細かくデータを指定して取り込むことができるようになっています。

その他，下記のようなWeb APIもあります。

リクルート：Small Talk API
Yahoo! Japan: テキスト解析API

４．openBDを基盤とする書誌データの活用
オープンデータとWeb API活用の事例として，現在本研究室で取り組んでいるopenBDについて紹介します。
2017年初めに広く公開された本のオープンデータ化を進めるプロジェクトで，2017年6月現在では約90万件の本のデータが取得できます。今のところ，本のISBN番号一覧と，ISBN番号に紐づけされた書誌データ（表紙画像も含む）を取得できるWeb APIが提供されており，基本的にはユーザーがダウンロードして使用する全データを提供することを主目的としています。
本研究室でも，簡単なWebのインターフェースを提供しています。

openBD API

本一冊一冊ごとに異なるISBN番号が振られており，それが分かればその本のデータだけを入手することが可能です。しかし，普通本を買うときにISBN番号で指定することはありません。普通は，本のタイトル，著者名，出版社名，定価等で探すものです。

それを可能にするため，本研究室では全件検索ができるような仕組みを作り，公開しています。使い勝手はまだ改良の余地がありますが，これも改良されたopenBDのWeb API化の一つと言える仕事になっています。

５．おわりに
インターネットが当たり前になった今では，様々なデータを自由に取得でき，もっと便利に使うためのWeb APIの利用が盛んになっています。今後は，これらのオープンデータやWeb APIを通じてより高度なデータ解析を自動的に，例えばAIを使って行うことが普通になっていきます。
人間の側はもっと賢く，これらのオープンデータやWeb API，そしてその分析結果を使って高度な知を使いこなしていくことになります。プログラミングを行うだけでなく，それをより良い方向に生かす技術を，今後の大学生活で身につけて下さい。

2018年11月1日2018年11月1日

[卒研メモ] DPZとconcrete5

　愛読している老舗オモシロ系Webサイト，デイリーポータルZ(略称：DPZ)がリニューアルしました。@niftyが富士通から切り離されても存続し，その後ほどなく，サイト，というより，編集部員ごと切り売りされるというあたり，信用されているブランドの強みを感じさせます。

　とはいえ，「老舗」ならではの弱みというものもあります。システム的に古いものを継続してメンテナンスしていかねばならず，HTML & CSSの改良だけで済むならデザイナーに発注すれば済む話ですが，CMSと一体化したサイトとなると，バックエンドのDB構造から考え直さないとリニューアルもままならないことになります。現状のWordPress, MovableType, NetCommonsといった，バージョンアップが頻繁な（NetCommonsはイマイチですが）CMSなら，ほぼ自動的にアップデートできますが，DPZは@nifty時代に作った独自のCMSで動いていたらしく，長らくリニューアルができずにいたようです。

　今回のDPZのリニューアルで使ったのはconcrete5という，割と新顔のCMSで，私もその存在を知りませんでした。ちょろっと検索して見た限りでは，PHP+MySQL環境で動作する，プログラミングいらずでWYSIWYGカスタマイズできることがウリのようです。とはいえ，少し複雑なことをしようとすると有償のプラグインが必要になるところは，逆にビジネス的にも有用なのかなという安心感も与えてくれますね。

　本研究室の卒研はWebプログラミングですが，この手のCMSで有用なコンセプトを持った独自サイトを構築するというテーマでもO.K.です。できればプラグインを自作するところまで到達してほしいものですが，どこまで標準的な機能だけで構築できて，どこから先は独自プラグインが必要になるのかという見極めぐらいはつけて頂きたく，卒研テーマ設定の際はこの点を考えておいて下さい。

2018年10月31日2018年10月31日

PHP 5.6 security update終了

　WordPress用のセキュリティプラグインを提供しているWordfenceから，PHP 5.6セキュリティアップデート終了のアナウンスがありました。

　記事によれば，PHPの最新バージョンは7.2で，7.0のアップデートもあと一月で終了とのこと。一つのバージョン(Version x.x相当)につき3年のスパンでサポートしており，最初の2年が過ぎるとセキュリティアップデートのみ1年行ってサポート完全終了，という流れだそうです。

　で，慌てて自分の管理サーバも見ましたが，このblogのあるサーバはPHP 5.4という更に古い奴を使っており，もう一つの方も7.0系統でした。どちらもLinux distributionサイトからのアップデートが出ていないので，すぐにセキュリティの危機になるわけじゃありませんが，OSごとアップグレードしてやろうかという気分になってきましたが，そうなると，次のような手順でやりたいものです。

バックアップ用のサーバを一台用意し，そちらを更新時の新しいOS環境にセッティングする
古いファイルを丸ごとバックアップ用サーバに移し，コンテンツがきちんと動くことを確認（特にWeb, MySQLサーバ)する。その後，現サーバマシンのDNS情報をバックアップ用サーバに書き換えておく
現サーバマシンに新しいOS環境を構築し，バックアップ用サーバからコンテンツを書き戻す
きちんと動作することを確認したら，DNS情報を現サーバマシンに書き換え。

　現マシンのOS環境を毎書き換えるには時間がかかります（数時間程度）し，スッピンのOS環境を無法The Internet空間にさらし者にするのは避けるべきです。また，新しいOS環境構築の練習としてバックアップ用サーバを構築するのは役立ちます。使い終わったバックアップ用サーバの転用も考えていますので，初期投資として無駄になることはないでしょう。ちなみに，サーバ構築手順の解説は「ネコでもわかる！さくらのVPS講座」がお勧めです。

　ということで，来年3月ぐらいにはバックアップ用サーバを契約し，新年度に入る前にさっさと移行しようと計画しています。ま，見かけは変わらないでしょうが，本サーバの説明書きは大幅に変わりそうです。