www.crosshyou.info の続きです。今回は回帰分析をしてみます。 lm()関数でモデルを作ります。 このモデルは、 電子レンジ所有数量 = β0 + β1 x 年ダミー + β2 x 人口密度の対数 + β3 x コンビニエンスストアの数 + β4 x 単身世帯の割合 + β5 x 1人当たり県…

www.crosshyou.info の続きです。前回は各変数同士の相関係数と分布のヒストグラムを描きました。 今回は、電子レンジ所有数と他の変数の散布図を描くことから始めてみます。 はじめは、l_mitsudo: 人口密度の対数との散布図です。 少し、右肩下がりの散布図…

www.crosshyou.info の続きです。前回の操作でデータフレームが整いました。今回から実際の分析に入ります。 まず、電子レンジの所有の多いところ、少ないところを確認しておきましょう。 2014年度で見てみると、茨城県が1105台で一番多いです。徳島県、福井…

www.crosshyou.info の続きです。前回はCSVファイルのデータをRに読み込ませました。そうしたら、単身世帯の割合のデータが、電子レンジ所有数量のデータと調査年が重なっていないことが判明しました。今回はこの問題に対処しようと思います。 まず、単身世…

今回からしばらくは、都道府県別の電子レンジ所有数量を分析してみようと思います。 いつものように、政府統計の総合窓口からデータを取得します。 説明変数に人口密度、県民所得、コンビニエンスストア数、単独世帯割合を選んでみました。 ダウンロードした…

ルポ トランプ王国２ ラストベルト再訪 (岩波新書) 作者:金成 隆一 岩波書店 Amazon トランプが2016年に大統領になって、その後のアメリカのルポルタージュです。前著のトランプ王国と同じく、ラストベルトの人たちへにインタビューに加えて、今回はバイブル…

www.crosshyou.info の続きです。今回はランダムフォレストモデルで分析してみます。 まず、トレーニング用のデータフレームとテスト用のデータフレームを用意します。 モデルを設定します。rand_forest()でエンジンはrangerを使います。 レシピを設定します…

www.crosshyou.info の続きです。前回、前々回と線形モデルで予測してみました。80%よりちょっと下の正解率でした。今回は線形モデルでなく、決定木モデルで予測してみます。 まず、トレーニング用のデータフレームとテスト用のデータフレームを用意します。…

www.crosshyou.info の続きです。今回はglmnetエンジンでペナルティ付きのロジスティクス回帰モデルを試してみます。 まず、トレーニング用のデータフレームとテスト用のデータフレームを作ります。 glmnetエンジンでペナルティ付きのロジスティクス回帰モデ…

日本のバス問題 高度成長期の隆盛から経営破綻、再生の時代へ (中公新書) 作者:佐藤信之 中央公論新社 Amazon 日本のバスの輸送人員数のピークは1970年ということです。今から50年以上も前にピークをつけたことになります。日本の人口のピークはもっと後です…

www.crosshyou.info の続きです。前回はDonated_Bloodと他の変数の関係を箱ひげ図で視覚化しました。今回はDonated_Bloodを予測するモデルを作ります。まずは、2値の分類問題では基本のロジスティクスモデルを試します。 前もって、tidymodelsパッケージの読…

www.crosshyou.info の続きです。前回はテキストファイルのデータをRに読み込みました。今回はデータをグラフなどにして、EDA(Exploratory Data Analysis: 探索的データ分析)をします。 このデータは、Donated_Bloodを正しく分類する、というのが目標になり…

今回からしばらくは、UCI Machine Learning RepositoryにあるBlood Transfusion Service Centerのデータを使って、分類(Classification)をしてみようと思います。 Yeh, I. (2008). Blood Transfusion Service Center [Dataset]. UCI Machine Learning Reposi…

www.crosshyou.info の続きです。前回まではクロスセクションのデータとみなして回帰分析をしました。前回の回帰分析では、人口密度が高いと、平均気温が高いと、日照時間が短いと交際・付き合いの平均時間が長い、という結果でした。 今回はパネルデータと…

www.crosshyou.info の続きです。前回、説明変数にtemp:平均気温とsun:日照時間を加えるのを忘れていましたので、この2つも加えてみます。 tempもsunもp値が0.05よりも小さく、統計学的に有意な変数ですね。tempの符号は正の符号なので、平均気温が上がると…

www.crosshyou.info の続きです。前回の分析で男女の違いや調査年の違いによって交際・付き合いの平均時間は違うことが確認できました。 今回からはいよいよ人口密度や一人当り県内総生産額が交際・付き合いの平均時間に影響を与えているかをみていきましょ…

死者と霊性 近代を問い直す (岩波新書) 岩波書店 Amazon 編者の末木文美士と中島隆博司、若松英輔、安藤礼二、中島岳志の対談と末木文美士以外の4人の論説からなる本です。 柳田国男とか折口信夫とか鈴木大拙とか大川周明とか西田幾多郎とかの話がいっぱい話…

www.crosshyou.info 前回までの分析で、交際・付き合いの平均時間は男性よりも女性のほうが長いことや年度を経るにつれて時間が短くなっていることが観察されました。今回は統計学的に有意にそれらのことが言えるのか、それとも誤差の範囲なのかを確認したい…

www.crosshyou.info の続きです。前回はCSVファイルにあったデータをRに読み込ませました。今回は交際・付き合いの平均時間がどのような分布なのか、グラフで視覚化してデータの土地勘というかデータ勘を把握しましょう。 まずは、男性の交際時間のヒストグ…

今回からしばらくは、都道府県別の交際・つきあいの時間のデータを分析してみたいと思います。 政府統計の総合窓口(www.e-stat.go.jp)からデータをダウンロードします。 ダウンロードしたデータは以下になります。 交際・付き合いに関係のありそうな変数とし…

www.crosshyou.info の続きです。前回は温室効果ガスの排出量のヒストグラムを描きました。分布は対数正規分布に近い分布でした。対数正規分布は企業の売上高のような毎年毎年の成長率の積み重ねの性質のデータにみられる分布です。温室効果ガスの排出量も前…

就職氷河期世代 データで読み解く所得・家族形成・格差 (中公新書) 作者:近藤絢子 中央公論新社 Amazon 就職氷河期世代というのは、1993年から2004年に学校を卒業した世代を言うということで、この世代がその前のバブル世代、その後の世代と所得や婚姻などの…

www.crosshyou.info の続きです。 前回までで、データフレームの体裁は整いました。今回からは実際にデータをみていきます。 まず、tCO2, これが温室効果ガスの排出量ですが排出量の多い事業者を確認します。 arrange()関数とdesc()関数で並び替えします。 …

www.crosshyou.info の続きです。前回はCSVファイルをRに読み込ませました。今回は読み込んだデータの体裁を整えましょう。 まず、会社の名前から、"株式会社"を削除します。str_remove()関数を使います。 次は会社の所在地から都道府県名だけの列を作ります…

富士山噴火 その日に備える (岩波新書) 作者:藤井 敏嗣 岩波書店 Amazon 私が子どもの頃は富士山は休火山と教わりましたが、今では休火山という分類は無いそうです。 一般的に火山の寿命は１００万年くらいですが、富士山はまだ１０万年ほどの年齢なので、と…

今回からしばらくは、事業者別の温室効果ガスの排出量のデータを分析してみます。 温室効果ガス排出量算定・報告・公表制度 フロン類算定漏えい量報告・公表制度ウェブサイト - 事業者（事業所）別排出量等の公表 https://eegs.env.go.jp/ghg-santeikohyo-re…

www.crosshyou.info の続きです。今回はナイーブ・ベイズモデルで分類してみましょう。 使用するパッケージは、e1071を使います。 モデルを生成する関数は、naiveBayes()です。そのままの名前ですね。 predict()関数で予測して、table()関数で結果を確認しま…

www.crosshyou.info の続きです。今回はrangerパッケージでランダムフォレスト分類してみましょう。OLSでは53.9%, LASSO回帰では54.7%, k-NNでは62.8%でしたがランダムフォレストではこれらの正解率よりも高い正解率になるでしょうか？ まず、rangerパッケー…

www.crosshyou.info の続きです。前回はglmnetパッケージでLASSO回帰で分類してみました。lm()関数によるOLSでの推計では53.9%、cv.glmnet()関数によるLASSOでの推計では54.7%と線形モデルではこれ以上の正解率の向上は見込めそうにないので、今回は線形モデ…

はてなブログをしている人はご存じだと思いますが、アクセス解析でアクセス元サイトという情報があります。今日、私のブログ開設以来、はじめてBingがGoogleを上回りました。記録しておきます。