障害児が新しい情報通信端末を使うことを想定して,遂行課題に対して評価をする場合,遂行課題に対する学習評価という指標だけでなく,その端末使用における,学習者側の操作スキルを評価する必要がある.特に,障害をもつ子どもたちにとって,新しい情報通信端末の操作そのものに対するストレスへの配慮など心的要因に関する評価も必要である.そのためには,評価指標と測定手法を選定する必要があり,工学的な手法を使った測定手法が参考になる.例えば,以下のような評価指標と手法がある.
1.タスク遂行(完遂)時間
学習者のタスク遂行時間について,計測し,作業効率の指標とする.タスク完遂時間が短いほど作業効率が高いものとする.
ICT活用時の発話刺激の研究(荒巻ら,2007)では,学習者が教師の発話教示によって,PC上での課題遂行にどのくらいの時間を要したかの計測を,動画キャプチャープログラムによって,学習者のPC上の課題状況を録画,時間計測している.この研究では,教師の発話教示のありなしの2条件で,検定を行っている.
多条件間(情報通信端末であれば,異なるインターフェースを条件にするなど)の比較は,条件間比較を一元配置の分散分析によって,平均値が同一であるか否か検定する.次に,2条件間の検定では,F検定によって,分散が異なるかどうか,分散に有意差がなれけば,t検定によって,平均値に有意差があるか否か検定する.2条件に有意差があれば,Welch検定によって,平均値に差があるか否か検定する.
2.エラー回数
エラー回数における検定も,タスク遂行時間の場合と同様に,検定を行う.
3.フリッカー値
労働科学分野で,疲労判定に広く用いられる指標に,フリッカー値(CFF:Critical Flicker Fusion Frequency)がある.CFFは,点滅する光点が融合して連続点灯しているように見える臨界周波数である.大脳皮質機能の活動水準に関係するとされている.タスク前後にCFFを測定し,その変化を見れば,タスクにおける脳の疲労の度合いを測ることができる.フリッカー測定には連続点灯して見える高い周波数から次第に下げていき,被験者がちらつきを知覚した時の周波数を測定する下降法と,逆に低い周波数から次第に上げていき,被験者からちらつきを感じなくなったとき周波数を測定する上昇法がある.
産業技術総合研究所・人間福祉医工学研究部門くらし情報工学グループによる研究(原田ら,2010)では,携帯電話によるアプリを開発し,条件間の疲労度比較は,分散分析,F検定,t検定,Welch検定により行う.
4.NASA-TLX
精神的な作業負荷をメンタルワークロード(mental workload:MWL)といい,代表的な主観測定尺度としてNASAが開発したNASA-TLXがある.NASA-TLXは,知的・知覚的要求,身体的要キュ,タイムプレッシャー,作業成績,努力,フラストレーションの6因子の得点をもとに,個人の評価基準の重みづけを考慮して,総合的負荷度を算出する.
1)知的・知覚的要求
どの程度の知的,知覚的活動(考える,決める,計算する,見る,など)を必要とするか.課題が易しいか,難しいか,単純か複雑か正確さが求められるか,大雑把出よいか.
2)身体的要求
どの程度の身体的活動(押す,引く,まわす,制御する,動き回る)を必要とするか.作業がラクかキツイか,ゆっくりできるかキビキビやらなければならないか,休み休みできるか働きづめか.
3)タイムプレッシャー
仕事のペースや課題が発生する頻度のために感じる時間的圧迫感がどの程度か.ペースはゆっくりとして余裕のあるものか,それとも速くて余裕のないものか.
4)作業成績
作業指示者いよって設定された課題の目標をどの程度達成できたと考えるか.目標の達成に関して自分の作業成績にどの程度満足しているか.
5)努力
作業成績のレベルを達成,維持するために,精神的身体的にどの程度一生懸命に作業しなければならないか.
6)フラストレーション
作業中に,不安感,落胆,イライラ,ストレス,悩みをどの程度感じるか.あるいは逆に,安心感,満足感,充足感,楽しさ,リラックスをどの程度感じるか.
日本語版NASA-TLXプログラムの開発もされている.但し,障害のある子どもたちを含め,学齢期のこどもを対象にする場合は,質問紙における用語など検討する必要がある.
5.ユーザビリティテスト
システムの有用性は,ユーティリティとユーザビリティの二つの側面から構成されている.ユーティリティは機能,性能のことであり,ユーザにとってシステムのプラス面がどれだけ高いかを表し,ユーザビリティは使いにくさ,わかりにくさなどマイナス面がどれだけ小さいかを表す.
ユーザビリティには,3つの側面がある.
1)操作性・・・機器の操作すなわち人間の出力系に関係した側面
2)認知性・・・機器の認識すなわち人間の入力系に関係した側面
3)快適性・・・機器操作にまつわる人間の内部状態に関係した側面
例えば,インターフェースの有用性のためのユーザビリティテストでは,
レーティング項目
Q1.このシステムを動かすために,事前にたくさんのことを学ぶ必要があったか.(認知性/逆転質問)
Q2.このシステムがもついろいろな機能は良くまとまっているか.(操作性)
Q3.このシステムはむだに複雑になってないか.(操作性/逆転質問)
Q4.このシステムの使用法について自信をもって動かせたか.(認知性)
Q5.このシステムはこれからの仕事に役に立つと思うか.(有用性)
自由記述項目
QA.このシステムのよいところを挙げてください.(インターフェースのユーティリティに関する質問)
QB.このシステムが改良するべき点を挙げてください.(ユーザビリティに関する質問)
6.SART
http://en.wikipedia.org/wiki/Situation_awareness
状況認識(Situation Awareness)とは,作業に影響するさまざまな要素を把握し,総合的に判断する能力のことである.正式には,「時間・空間的な環境の中での要素の知覚,それらの意味の理解,近い将来のそれらの状態の推定」と定義される.人間が複雑な状況の下で適切な行動を選択するためには,的確な状況認識を獲得し保持する必要がある.
SAの評価方法として代表的なものにSART(Situation Awareness Rating Technique)がある.以下の3つを2極間スケールで評定する.
1)認知資源の需要
2)認知資源の供給
3)状況の理解
SA = U -( D - S )
( SA : 状況認識,U :状況の理解, D :認知資源の需要, S :認知資源の供給 )
SART-10D
1)認知資源の需要
a)状況が急に変化するかどうか
b)注意しておかなければいけない変化が多いかどうか
c)状況が複雑かどうか
2)認知資源の供給
d)行動への準備がどの程度必要か
e)新しい変化に対応するための心的容量の程度
f)状況に注意を集中した程度
g)状況に注意を分配した程度
3)状況の理解
h)受け取り理解した知識の程度
i)得られた知識の質や価値の程度
j)経験により状況を知っていたかどうか
10項目7段階での状況認識評価を行う.
7.その他,インタビュー
学習検査終了後,学習者に対して,インターフェースのさまざまな側面に関する質問,実験方法に関する質問,評価指標に関する質問を行う.あらかじめ用意した質問と,タスク遂行時の被験者の様子を観察し,その中から疑問を感じた行動の理由,動機などを適宜質問する.
例えば,
1)学習方法のうち,正確に,効率よく行えたのは,どれですか?
2)負担が大きいのはどれですか?
3)表示が見やすいのはどれですか?
4)やりやすいのはどれですか?
5)動きやすかったインターフェースはどれですか?
6)インターフェースの感想をお願いします.
7)評価指標についてのお願いします.
これらは,従来,学校教育の中に登場したPCなどの情報通信機器の導入においては,それほど,重視されていなかった.わかる授業という観点からの認知的な指標は,動作的なストレスや,遂行課題における認知的な理解以前の,操作能力や負荷値においては,科学的な測定はなされていない.
障害をもつ子どもたちにとって,道具を使うことにどれだけの学習効果があるかないかは,動機づけや認知能力,さらに教える側,指導者側の操作スキルにも関係してくる.また,このこと,情報通信機器が使いやすい,使いにくいかは,障害をもつ子どもたちだけでなく,障害をもたない子どもたち,さらには,老若男女を問わず,人間の行動を考える上でも,重要な指標になる.
参考文献:
携帯電話アプリケーションソフトによる携帯電話機能を用いた精神的疲労の測定の検討(2010)
原田暢善 日本衛生学会
http://venturewatch.jp/aist/20091005.html
拡張現実感とRFIDを用いた系統隔離作業支援システムの試作と実験評価(2004)
山崎雄一郎,吉川榮和 京都大学エネルギー科学研究科エネルギー社会・環境科学専攻修士論文
ICT活用時の言語刺激による学習の促進効果 (2007)
荒巻恵子,佐々木和義 早稲田大学人間科学学術院学位論文