文章責任：小野裕亮
昨日YouTubeのおすすめで流れてきた以下の動画を観た．この動画でYouTuberの方がおしゃっている内容が少し私の考えとは違うので，このブログ記事に雑に書いておく．
石丸市長VS山根議員の統計論破合戦を見た統計専攻の反応 - YouTube
なお，以下は私個人の考えであり，すべての責任は私個人にあり，所属組織は一切の責任を負わない．私は4年大学の学部時代の専攻は社会学であり，統計学は専攻していない．また，学術調査・マーケット調査・世論調査などの調査の業務には従事していないし，従事した経験もない．
話題となっている質疑応答の議事録や，調査方法や調査結果の非常に荒い要約は，以下のページで公開されている．
結果のパワポ的資料などがあるページ：
安芸高田市都市計画マスタープラン・立地適正化計画策定にかかるアンケート調査について | 安芸高田市
「全数調査は抽出調査よりも誤差は小さくなる！」と考える気持ちは分かるが...
高校の教科書ぐらいでは，＜全数調査が無理な時に，無作為抽出調査をする＞ぐらいしか書かれていない（例えば，啓林館『令和4年 1月28日検定済 高等学校数学利用 数学B』p.78）．また，もし，無回答誤差，カバレッジ誤差，測定誤差などが全数調査と抽出調査の両者で同じで，抽出誤差だけしか存在しないのであれば，抽出調査よりも全数調査の方が総調査誤差（total survey error）は小さい．また，数理統計学の教科書や初心者用の統計学料理本にはもっぱら抽出誤差しか書いていない（対面調査でのラポールがうんたらとか，応募型パネルによるウェブ調査の欠点がうんたらとかは，量的な社会調査の入門書では触れられているだろうが，数理統計学や統計学料理本には書いていない）．
以上のことから，全数調査の方が，抽出調査よりも，誤差は小さい（精度が高い）と言いたくなる気持ちはよくわかる．
しかし，同じ調査コストならば，全数調査をもし真面目に行うのであれば，かつ，目標母集団のサイズがある程度大きくなれば，無作為抽出調査の方が真面目な全数調査よりも，総調査誤差は小さくなると私は直感的に思う．
そもそもこれは調査なの？
まず，そもそも，今回の「市民アンケート調査」が，学術関係者や世論調査屋が述べる意味での調査だったのかも非常に怪しい感じが私はする．質疑応答にて，企画部長の方が「マスタープランの策定について、広く周知するとともに、皆さんの思いを教えてくださいというコミュニケーションを取ることを重視して選 んだ方法でございます。」と答えている．この「市民アンケート調査」は，調査というよりも，むしろダイレクトメールマーケティングや宣伝ビラのポスティングに近いものだろうと私は思う．だから，この調査を学術調査や世論調査と同じ視点から評価するのは，公正ではないかもしれない．
しかし，あえて，この「市民アンケート調査」を統計学の視点から個人的に評価してみよう（繰り返しになるが，今回の調査はダイレクトメールマーケティングに近いものだと私は思うので，そういった観点から批判するのは公正でないかもしれない），私個人は，このような品質の悪い全数調査（?）ならば，品質の良い無作為抽出調査の方が，より品質の良い結果が得られただろうと思う．
全数調査や抽出調査の大まかな手順
学術調査や世論調査での調査票調査においては，全数調査にしろ抽出調査にしろ，教科書的な作業の流れは次の通りだろう（相当にいい加減）．
- 調査目的を決める．
- 調査目的に沿って，目標母集団および調査単位を定める．例えば，「日本全国の有権者」や「愛媛県内の全世帯」など．
- 目標母集団を調査するための名簿（＝枠（フレーム））として何を用いるかを決める．例えば，住民基本台帳．
- 調査方式を決める．例えば，郵送調査，電話調査，ウェブ調査，または，それらの混合方式．
- 調査票を作成する．
- その他諸々のオプションを決めて，いろいろな準備して …
この調査の調査対象は？
質疑応答の議事録を見ると，この「市民アンケート調査」は，”全数”調査ではなく，”全戸”調査と呼ばれているようだ．この”全戸”調査での「アンケート調査対象」は「安芸高田市のお住まいの方（世帯）」となっており，調査単位が安芸高田市の「住民（人）」なのか「世帯」なのかが分からない．調査対象の単位が決まっていないのは，学術調査や世論調査ではたぶんない．チラシのポスティングならは特に調査単位なんて気にしてないので，その意味で，この「市民アンケート調査」はチラシ配りの感覚に近いのだろうと私は想像した．
この調査の回収率は？
調査対象が決まっていないと，回収率も求まらない．回収率だけで調査の品質が決まるわけではないが，学術調査や世論調査では回収率を報告するのが慣習である．＜回収率だけで調査の品質が決まるわけではないので，回収率を報告しないでいい＞という考えもあるだろうが，同じような調査対象・枠・調査票・調査方式・接触方法・報酬・再訪問方法を用いた調査で，回収率が5%の調査と，回収率が50%の調査では，やっぱり後者の方が品質が高いと判断できるので，まあ，回収率ぐらいは報告しておいてほしい（個人的な願望）．
調査結果のパワポには回収率は書いてなさそうだが（最初しか読んでいないので自信はない），質疑応答によると，回収率は30%ぐらいらしい．これは，回収調査票数が「3,750票（3,709世帯）」で，2021年12月ごろの「全世帯の世帯数」が「1万2,758世帯」だから，3750÷12758 もしくは 3709÷12758で約30%としたっぽい．
この計算は，通常の学術調査などで行われている回収率の計算方法とは異なる．回収率の計算は，通常，枠（名簿）のなかから選択された調査単位の個数を分母にして，多くの質問へ回答がなされている調査票の個数を分子にして計算する．分母に用いている12,758は「住民基本台帳等」から数えているようだが，この「市民アンケート調査」は「住民基本台帳等」を枠としてない．
この調査では紙の調査票が郵送され，それとは別にネット上にGoogleフォームが準備されたようだ．紙の調査票のほうは，「配達地域指定郵便」によって，郵便ポストに投入されている（この配達地域指定郵便なるものを私は知らないのだが，いわゆるピザ屋などのチラシのポスティングと同じだと私は想像している．少なくとも学術調査や世論調査で配達地域指定郵便が使われることはないんじゃないかと思う）．Googleフォームはネットで公開されていたようだ（「安芸高田市のお住まいの方」以外でも誰でも答えられたのではと私は疑っている）．紙の調査票の先頭に，Googleフォームのアドレスが書いてあり，そちらでも回答できたようである（...流石にそんなに酷いことはないと信じたいが… ）．「3,750票（3,709世帯）」という謎の数字を（重複していないかどうか，同一世帯かどうか，適格かどうか（安芸高田市のお住まいの方かどうか）をどのように分からないため）どうやって求めたかは分からないが，たぶん有効回答数ではないだろう．それを無視しても，まず，この調査では，郵便受けを枠としているので，世帯が調査単位になっていない．
さらに，もしこの調査の調査対象が「安芸高田市のお住まいの方」つまり個人だとしたら，回収率はもっと低いものになるだろう．2021年（令和3年）12月1日の住民基本台帳の人口が27,584人（0歳以上）なので，それを分母に計算したら，約13.6%である．20歳以上に絞っても，3750 ÷ (27584 - 670 - 935 - 1083 - 1179)で15.8%ぐらいである．
なお，回収数は「3,750票（3,709世帯）」なので，1戸内で複数人が回答したものがかなり少ないようである．
この"調査"は全数調査なの？
この「市民アンケート調査」が＜安芸高田市のお住まいの方全員に対する全数調査＞と呼べるならば，世の中には「全数調査」に含まれる調査が非常に増えるだろう．例えば，レストランでテーブルにアンケート用紙をおいて，「アンケート調査」を実施しているとしよう（もしくはタッチパネルでメニューを注文するレストランで，会計を選択した時にアンケートに協力してももらうようになっているとしよう）．原理的にはレストランに来たお客さん全員が対象で，全員がアンケートに答えられるが，しかし，私個人的にはこの調査を「全数調査」と呼びたくない．あくまで程度によるが，なるべく全数を取得することを努力している時に限り，「全数調査」と私は呼びたい．調査票を全調査単位にばら撒いただけなら，それは全数調査と私は呼びたくない．「なるべく全数を取得することを努力」とは，例えば，未回答者には催促状を出すとか，郵送方式から面接方式に切り替えるとか，報酬を付けるとかなどである．
ちなみに，全国センサスは「全数調査」と呼ばれることが多いが，さすがに，配達地域指定郵便で配って終わり，というわけではないはずだ．
全数調査は常に抽出調査よりも総調査誤差が小さいのか？
数理統計学の入門書や統計学料理本には抽出誤差しか触れないものが多いが，統計学的には調査誤差には様々なものが含まれる．それらの誤差を総合的に考えるのは「総調査誤差アプローチ（total survey error approach）」などと教科書では呼ばれている．極端な話，たとえ，全数調査で全員が調査票に回答してくれたとしても，全数調査よりも抽出調査の方が誤差が小さい場合も考えうる（例えば，戦後における米の生産量調査で全数調査していたが農家が米の供出を恐れて過小申告していたらしい．竹内啓編『統計学の未来』pp.66-67を参照のこと．） そこまで大袈裟でなくても，尋ねたい質問内容が複雑であったりして補足説明が必要な時には，ある程度の母集団サイズが大きくなれば，郵送調査で催促なしの全数調査（←ちゃんとした全数調査という意味です）の予算があれば，抽出調査に変更することで催促ありの郵送式に切り替えられるかもしれない（予算的に厳しくなるが，調査員調査にさえ切り替えれるかもしれない）．その場合，総調査誤差は，全数調査よりも抽出調査の方が小さくなるだろう．品質の悪い全数調査よりも，品質の高い抽出調査の方が誤差は小さくなる．
余談だが，全数調査と抽出調査を混ぜることも考えられる．例えば，全数調査で回答が戻ってきたていない調査単位から無作為抽出して，催促状を郵送したりするという方式も考えられる（ただし，今回の場合は，どの個人が，もしくは，どの世帯が答えていないか管理できていないから，この混ぜ合わせ方式はできない）．
補正をしないという方針について
品質が悪いデータを補正することは難しいというのは，非常に理解できる．データは収集する過程のほうが重要であり，その後の分析テクニックでできることは限られている．配達地域指定郵便で紙の調査票を配布する，ネットで回答したい人が誰でもGoogleフォームで回答できる，催促状も送らない，回収率さえ算出できない．そんな調査で，どんな補正を行えるというのだろうか？ また，ウェブ調査の分野でも，補正しても，ベンチマーク調査の結果に近づけることができないという研究報告もある．どうせ補正しても駄目なものは駄目だし，そもそも調査じゃなくて宣伝やマーケティングなのだから，面倒くさい補正なんてしないという気持ちもよく理解できる．しかし，私個人的には，もし結果を見ないといけないならば（私は結果を見ていないし，今後もたぶん見ないけど），年齢・性別・居住地域ぐらいで補正した結果としなかった結果の両方を見比べてみたい．
幅広い人から意見を聞きたいのであれば...
幅広い人々から意見を聞きたいのであれば，一部の陳情を聞いたり，パーティーで立ち話するよりは，配達地域指定郵便アンケートの方がいいと私は思う．しかし，ちゃんとした抽出調査と配達地域指定郵便アンケートのどちらがいいかと言えば，なるべく幅広い人々から意見を聞きたいのであれば，ちゃんとした抽出調査の方がいいんじゃないかと私は思う．ただし，今回の目的は宣伝ビラのポスティングに近いものだったろうか，配達地域指定郵便アンケートが十分に合理的であったのだろう．
なお，私自身は，統計学的に見たら品質が悪い”調査”を見たとしても，それを批判するつもりはない．そのような”調査”（例えば，テレビでの駅前インタビューや，民間企業で見込み客を取るためのアンケート）をする人は，それなりの合理的な理由があってそのような”調査”を行っているのだと思っている．ただ，そのような”調査”を統計学的に正当化しようとするのを見ると，個人的には首を傾げてしまう．
利益相反
統計学関連の営利企業に勤めており，そこから給与をもらっている．そのため，統計学に不利なこと，および，所属企業に不利なことは言わない方向へのバイアスがある．今回の話題の関係者（YouTuberの方，政治家の方，公務員の方）から，金銭をはじめとした利益供与は一切，受けていない．どこかの政党の党員にはなっておらず，また，政治家や政党から金銭を授与したりはしていない．
