【学術ノート-7】「独り言」と「発話」の違いはどこにある?

はじめに

「独り言」と「相手へ向けた発話」も,表面上はどちらも声に出された言葉です.
では,この2つを区別するのはなんなのでしょうか

発した声が相手の耳に届くかどうか,という峻別は不十分でしょう.
宙に浮いた言葉が「相手に向けた発話」として受け取られるためには,
その言葉が相手に理解できる形で組み立てられていること.
あるいは,相手の応答を求めていることが重要だと考えられます.

では,「相手が理解する」というのは,どういうことなのでしょうか
「相手の応答を求めている」というのは,どのように伝わるのでしょうか

本稿では,これらの問いを起点として,コミュニケーションの基礎的な考え方や
伝達される情報にはどのような種類があるのか,というのを整理していきたいと思います.

今回は哲学成分はございません

なら安心ですかね…?

発話において伝達される情報

コミュニケーションは,
送り手から受け手へ情報を伝達する行為として捉えることができます
そして,そこでやりとりされている「情報」は,大きく分けて以下の3種類から整理されます

  • 言語:
    単語の意味や文の構造を通じて伝わる情報
  • パラ言語:
    声の高さや強さ,抑揚,間の取り方など,ことばに伴う声の特徴を通じて伝わる情報
  • ノンバーバル(非言語):
    視線や表情,うなずき,身振りなど,身体の動きを通じて伝わる情報

分野によっては「言語/非言語」の2つに分けたり
ノンバーバルに“匂い”や“環境”などの要因を含めることもあります


以下では,発話を用いた対面でのコミュニケーションを想定し
それぞれの情報がどのような要素から成り立っているのかを,少しひもといてみたいと思います.

言語情報

「ふたえにまげてくびにかけるじゅず」

これは,読点の位置によって意味が変わる例として知られる文字列です
私たちは,この文字列を「音の並び」として捉えることも
「意味を持つ言葉のまとまり」として理解することも可能です

音の並びに注目すると,この文字列は
「ふ・た・え・に……・じゅ・ず」という15個のまとまりに分けられます.
このような,音のリズムを捉える単位をモーラ(拍)と呼びます.

一方で,「ふ」を /hu/ と表すと,子音 /h/ と母音 /u/ に分けられるように,
「h・u・t・a・e・n・i……」と,さらに細かく分解することもできます.
このような,ことばを構成する最小の音の単位を音素と呼びます.

こうした音の単位は,合成音声を作る際にも関わってきます
合成音声を作る際によく用いられる「コーパス」も
様々な音素やその組み合わせを考慮したものが多いです

一方で,意味のまとまりに注目すると,この文章は次の二通りに解釈できます.

  • ふたえにまげて/くびにかけるじゅず(二重に曲げて,首にかける数珠)
  • ふたえにまげ/てくびにかけるじゅず(二重に曲げ,手首にかける数珠)

「まげて/くび」と区切るか,「まげ/てくび」と区切るかによって,数珠をかける場所が変わります.
このように,音の並びだけでは,その発話内容が持つ意味というものは一意に定まりません.

そこで,重要となってくるのが,発話の切れ目や抑揚といったパラ言語の情報です.

こうした言葉の区切りや構造を機械で取り扱うためには
「形態素解析」や「係り受け解析」といった手法を用います

日本語では,MeCab[1]やCaboCha[2]などが知られていますね

どっちも食べ物…

パラ言語情報

先ほどの「ふたえにまげてくびにかけるじゅず」を声に出して伝える場合
「まげて」の後に間を置くか,「まげ」の後に間を置くかによって
意味の区切りを示すことができます.

このような,ことばに伴う声の特徴を通じて伝わる情報を,パラ言語情報と呼びます

文章における句読点は,こうしたパラ言語情報を
文字の上で表すものとも解釈できますね

パラ言語情報には「間の取り方」も含めて,次のような要素があります[3, 4].

  • 声の強さ・速さ・高低:どのくらい強く,速く,高い声で話すか
  • 抑揚:発話の中での声の高低や強弱,緩急の変化
  • 声質:息の混じった声や,張りのある声など,声の響きの特徴
  • 間の取り方:発話のどこで,どのくらい間を置くか
  • 非言語的発声:笑い声やため息,咳払いなど,ことばによらない発声

具体的には,語尾の上げ下げによって,単に情報を伝えたり受け止めたりしているのか,
相手に確認や応答を求めているのかを伝えることが示されています[5, 6].
また,声の高さや強さ,話す速さなどの違いは,
喜びや怒り,悲しみといった感情を伝える手がかり[7]となります.

このようにパラ言語は,意味の区切りだけでなく
発話の意図を話し手の感情や伝える重要な側面を持っています.

エージェントにおいては,アンドロイド「ERICA」の声の調子を変えて,
相手への共感や励ましを表現した研究もあります[8].

平坦な声で話す場合と比べて,場面に応じた声の調子を用いることで,
共感や励ましがより伝わったと評価されています.

ですが,パラ言語を伴っているからといって,意図を十分に表現できるとは限りません.
例えば,電話で返答を考えるために黙っていると,その沈黙が,
相手への不満を示しているように受け取られるかもしれません.

一方で,対面であれば,相手の話にうなずいたり,考え込む表情を見せたりすることで,
話を受け止め,返答を考えていることを伝えられます.

このように,私たちはことばや声だけでなく
視線や表情,身振りなども手掛かりにしながら,相手の意図を捉えています.
次に,こうした身体の動きを通じて伝わるノンバーバル情報を見ていきましょう.

ノンバーバル情報(非言語情報)

沈黙という同じ「間」であっても,
話を聞きながらうなずき,その後に視線を落として考えこむような表情を見せれば,
話し手は「自分の話を受け止め,返答を考えてくれているのか」と感じるかもしれません.
一方で,眉をひそめ,腕を組んだまま相手を見ていれば
話し手は「何か不満を感じているのか」と受け取ることでしょう

このように,同じ言語・パラ言語であっても
そこに伴う表情や身振りによって,相手が受け取る意味合いは変わります.

ノンバーバル情報とは,こうした視線や表情,身振りなど,
身体の動きを通じて伝わる情報のことを指し,ことばや声から受け取る意味を補う役割を果たします.

ここまでの説明を踏まえると,「その発話の意図」というのは
発話内容そのものではなく,抑揚や間の取り方といったパラ言語,
身振り手振りといったノンバーバルの影響が強いのですかね?

そうですね.
実際,「ARABAHIKA」[9]というエージェントシステムでは
エージェント同士が意味のない音声で会話をしていても
発話の間や表情・身体の動きから,会話の雰囲気を感じることができます

また,ノンバーバル情報の中でも「視線」は
発話を交代するタイミングを調整する際に,重要な役割を果たしており,
先行研究[10]では,話し手が話し終える際には聞き手へ視線を向け,
次に話し始める人は視線を外す傾向があることが示されています.

このように,ノンバーバル情報は,発話の意図を伝えるだけでなく,
コミュニケーションを円滑に進めるための役割も果たしているわけです.

3つの「情報」の相互作用

ここまで,言語・パラ言語・ノンバーバルを分けて説明してきました.
しかし,実際の対面でのやりとりでは,これらの情報がそれぞれ独立して伝わるわけではなく,
互いに影響し合いながら,相手の発話をどのように受け取るかを形づくっています.

では,言葉・声の調子・表情が表す意味が食い違う場合,どのような受け取り方がなされるのでしょうか

この点について,メラビアンらは
単語と声の調子[11],そして声の調子と表情[12]をそれぞれ組み合わせた実験を行いました.

その結果,否定的な意味の単語であっても,肯定的な声の調子で発せられると,
聞き手は話し手の態度を好意的に受け取る傾向が見られ,
声の調子と表情を組み合わせた実験では,両者が態度の判断に影響するものの,
表情の方が声の調子より大きく影響することが示されました.

そして彼らは,これらの結果を基に「メラビアンの法則」を提唱しています

聞いたことがありますね
言葉が7%,声の調子が38%,表情が55%の割合で影響する
みたいな法則のことですよね?

そうですね.
ただ,注意点として,この法則は「声調より表情が重要」と言っているのではなく,
複数の情報を同時に受けったときに,それぞれが与える影響を表したものです

ですので,「表情がないと,55%は伝えることができない」という意味ではありません

また,メラビアンらは言葉・声の調子・表情の食い違いに焦点を当てていますが,
表情の中に限っても,「笑顔の中に恐怖や嫌悪に関連する顔の動きが混ざっている」といった,
異なる感情に関わる動きが同時に現れることがあります[13].

また,こうした複雑な表情を工学的に表現するために,
顔の動きを「随意的に操作しやすい動作(AU)」と「操作しにくい生理的な変化(pAU)」に分け,
それらを組み合わせることで,本心感情を隠しているように見える表情を生成した研究もあります[14].

上記研究は「ツンデレ」を工学的に分析しているんですね…面白い…

コミュニケーションモデル

ここまでは,コミュニケーションにおいて,どのような情報が伝えられるのかを見てきました.
では,こうした情報は,送り手から受け手へどのように伝わり,
その後のやりとりにつながっていくのでしょうか.

このようなコミュニケーションの過程を捉えるために,さまざまなモデルが提案されています.
ここでは,そのうち代表的なモデルを取り上げ,順に見ていきます.

シャノンとウィーバーの線形モデル


情報の伝達をシンプルに示したモデルとして有名なのが,シャノンとウィーバーのモデル[15]です.

Wikipedia-ENより引用

想定されているプロセスは以下の通りです

  1. [情報源(Information Source)]がメッセージを生み出し,[送信機(Transmitter)]で信号に符号化する
  2. 信号が[受信機]に届くまでの通信路上で,[雑音源(Noise Source)]からのノイズが加わる
  3. [受信機(Receiver)]が受信信号からメッセージを復元し,[宛先(Destination)]へ届ける

これをコミュニケーションに置き換えると……
[情報源]と[宛先]は,それぞれ「話し手」と「聞き手」にあたります
そして,話し手が伝えたいメッセージが「声や身振りといった表出に符号化」され
それを受け手は「表出を目や耳・触覚から受け取りメッセージを復元」するような形です
中央のノイズは,表出の伝達を妨げる要因(騒音だったり暗い環境など)が該当します

ここで重要なのは「メッセージが相手に伝わらない」という結果は
ノイズに遮られてメッセージが届かなかった場合だけでなく
聞き手の解釈が異なった/できなかった場合にも生じうるという点です

文化差や知識量など,「符号化/復元」の対応関係が崩れる要因が
コミュニケーションにおいてはたくさんありますね……

このように,「話し手の意図」と「聞き手の理解」の間にずれが生じることは,
コミュニケーションにおいて珍しいことではありません.
そのため,私たちは,聞き手が首をかしげたり,質問を返してきたりといった,
相手からの反応を手がかりに,ずれに気づき,説明や表現を調整しています.

そのような「フィードバックを含むやりとり」としてコミュニケーションを捉え
上記モデルを発展させたのが,シュラムの循環モデルです

シュラムの循環モデル

このモデルでは,話し手が送ったメッセージを聞き手が受け取り,
それに対する反応をフィードバックとして返すプロセスが想定されています[16].

Wikipedia-EN より引用

この時,フィードバックを返す聞き手はメッセージの送り手となり
もとの話し手は,そのメッセージを受け取る側になります.

このように,参加者が送り手と受け手の役割を交代しながら
メッセージをやり取りする過程を循環的に表したのが,このモデルの特徴です.

コミュニケーションのモデル.というと
直感的にこのモデルが近い気がしますね

なお,実際のコミュニケーションでは,メッセージを交わすたびに,
相手についての情報や共有する経験も更新されていきます.

このような循環しながら積み重なる過程を表したモデルとして
ダンスの「らせんモデル」[17]などが挙げられます

また,シュラムは,送り手と受け手がそれぞれ持つ
知識や経験,価値観などを「経験の範囲」として捉え,
その範囲が重なる部分があることによって,メッセージの意味を共有できると考えました.

話し手と聞き手の経験の範囲は,ベン図のように表すことができ,
最初から大きく重なっている場合もあれば,共通する部分が少ない場合もあります.
そして,やりとりを重ねる中で,相手からのフィードバックを手がかりに,
互いの経験の範囲がどこで重なっているのかを探りながら,共通する理解を築いていきます.

エージェントでの実用例でいうと,MITの「MACK」[18]がありますね

MACKは,利用者に道案内をする際,視線やうなずきを手がかりに,
説明が伝わったかを判断し,必要に応じて説明を加えます.
相手からのフィードバックを利用して,共通理解を築こうとする事例です.

バーンランドの取引モデル

シュラムの循環モデルでは,話し手と聞き手が「送り手」と「受け手」の役割を交代しながら,
メッセージをやりとりする様子を見てきました.

一方で,実際の会話場面では,話し手が発話している間にも
聞き手はうなずいたり表情を変えるといったフィードバックを返しますし
話し手も,発話を続けながらそうした反応を受け取り,話の途中で発話内容を調整したりします.

このように,話し手と聞き手の両方が,同時並行的に情報を発信し,受信しているものとして,
コミュニケーションを捉えたのがバーンランドの取引モデル[19]です.

Wikipedia-ENより引用

上の図では,紫の領域が言語的な手がかり,青の領域が非言語的な手がかりを表しており,
相手が表出した手がかりだけではなく,自分自身が表出した手がかりに対しても矢印が向いています
また,緑はそれぞれの気持ちや記憶といった私的な手がかりを,
灰色は部屋の様子や周囲の音,匂いなどの公的な手がかりを表しており
参加者は,相手のことばや行動だけでなく,自分自身の表出や,私的・公的な手がかりも参照しながら
状況を解釈し,それに応じて発話や行動を行うものとされています.

加えて,こうした手掛かりの参照と,それに応じた発話や行動が
参加者の間で同時並行的に行われると想定しているのが,本モデルの特徴です

前半で,ノンバーバル情報として匂いや環境といった要因を
コミュニケーションに関わる手がかりとして含めることもある.
といった説明がされていたと思いますが…

ですので,「言語・パラ言語・ノンバーバル」という
これまで説明してきた土台は共通しています.

そこに,それぞれの気持ちや記憶といった要素が加わっているだけ.
と考えれば,そこまで複雑ではありませんね.

おわりに

ここまでの内容を踏まえたうえで,最後にもう一度冒頭の問いに立ち戻ってみましょう.

まず「相手が理解する」とは,聞き手が受け取ったことばや声,身体の動きなどから
意図を読み取り,その理解が話し手の意図に近いものになることです.
ただし,話し手の意図と聞き手の理解は必ずしも一致しません.
そのため,私たちは相手の反応を手がかりに
伝えたい内容が理解されたかを確かめ,説明や表現を調整しています.

次に,「相手の応答を求めている」ことは,ことばの内容に加えて,
語尾の上げ方や間の取り方,話し終える際の視線などを通じて伝えられます.
聞き手はこうした手がかりをもとに,話し手が自分に応答を求めているのか,
いつ応答すればよいのかを捉え,それに応じて反応します.

このように,円滑なコミュニケーションを行うためには,
ことばだけでなく,声や身体の動きなど,複数の手段を組み合わせて意図を伝えるとともに,
相手からのフィードバックを視覚や聴覚などを通じて受け取り,それに応じた調整を行うことが重要です.

こうした,ことばや声,身体の動きなどを組み合わせたやりとりは
マルチモーダルコミュニケーションと呼ばれます.

人とエージェントの間でも,エージェントが複数の手段を用いて意図を伝えるとともに,
相手の反応を受け取り,それに応じて表現を調整できれば,より円滑なやりとりが実現できるでしょう

…と口では言うことはできますが
実際,エージェントを実装する側の所感としてはどうなんですか?

考えることが多すぎてまじ無理…

参考文献

著者情報や書誌情報などは遷移先のサイトでご確認ください

  1. MeCab: Yet Another Part-of-Speech and Morphological Analyzer
  2. CaboCha: Yet Another Japanese Dependency Structure Analyzer
  3. Paralinguistics in speech and language—State-of-the-art and the challenge
  4. Nonverbal Communication
  5. Intonation and Sentence Type Conventions: Two Types of Rising Declaratives
  6. 日本語自然対話に現れる質問発話の句末音調
  7. Vocal communication of emotion: A review of research paradigms
  8. A Preliminary Study on Realizing Human–Robot Mental Comforting Dialogue via Sharing Experience Emotionally
  9. エージェントによる雰囲気研究の可能性
  10. Some functions of gaze-direction in social interaction
  11. Decoding of inconsistent communications
  12. Inference of attitudes from nonverbal communication in two channels
  13. Smiles when lying
  14. 顔部位の変化の不随意性に基づく本心感情を隠蔽している表情アニメーションの生成―ツンデレ表情を事例として―
  15. A Mathematical Theory of Communication
  16. How Communication Works
  17. Human Communication Theory: Original Essays
  18. Towards a Model of Face-to-Face Grounding
  19. A Transactional Model of Communication