統計学が分からないのが気持ち悪くて勉強したいと思ったのですが、統計学を学ぶためにはその基礎である確率論が必要、確率論をちゃんとやりたければ測度論が必要、測度をしりたければ、位相、集合と結局は集合論から学ばなければいけないような気がしてきました。仕事で使いたいのは多変量解析が多いので、線形代数も必要です。全部大学時代に勉強しておけばよかったのですが、大人になってからこれらの教科書をちゃんと読む時間はありません。まあ自己満足にしかならないのですが、虫食いにはなりますが、気になる部分だけちょこちょこと教科書を齧っていきたいと思います。読んでみたい本を並べるとこんな感じ。ちなみに測度論を使わない数理統計学の本を読む場合には、測度論の勉強はいりません。

栗山 憲『論理・集合と位相空間入門』2012年　共立出版

この本は図書館で見かけて借りてみたら、とても説明が丁寧で気に入りました。書名にあるとおり位相空間を学ぶ一冊目の本として良いのではないかと思います。2012年出版ですが、まだアマゾンで新品が入手可能（2750円）。メルカリでも1500円程度から出品されていました。

尾畑 伸明『集合・写像・数の体系―数学リテラシーとして 』2019年　牧野書店

この本はとても説明がわかりやすくて、図書館で最初借りて読んでいたのでが、結局買ってしまいました。現在、古書であっても入手困難なようです。ヤフオクやメルカリ、古本屋などをネット検索しても、ほぼ全く見かけません。一見当たり前に見えることでも、定義に戻って証明するという数学的な態度を身に付けるのにピッタリの一冊です。

宮原孝夫, 松本裕行『数理統計入門』1999年　学術図書出版社

統計学をちゃんと勉強したいと思ってあれこれ数理統計学の本を見てみたのですが、この本は内容を絞りこんで、その分紙面も詰め込みすぎなくて見やすく、日本語の説明も丁寧でわかりやすいです。統計学も数学なんだということを実感できて、読んだ満足感があります。最初にコルモゴロフ式の確率の定義が与えてあって、自分は初めてそんな定義を見たので結構頭が混乱しましたが、サイコロを振るといった非常に簡単な例で、何が何（集合）に対応するのかを考えてみて、なるほどうまく定義されているものなんだと感動しました。

古い本ですが自分はたまたま図書館で見つけて、これはきっちりと読み込みたいと思って、買いました。数学はやはり本に書いてある内容を100%理解するということが大事なんじゃないかと思います。分厚い本だとすぐに挫折してしまってそれが叶わないわけですが、この本は120ページなので頑張れば、この本に出てくる全ての数式の完全理解が現実的に可能かもしれません。

竹村 彰通『現代数理統計学』

日本統計学会編『日本統計学会公式認定 統計検定1級対応 統計学』 2013年

統計検定1級を目指す人のための教科書。トピックが網羅的に詰め込まれていますが、案外説明も親切で、1級を受けるための教科書として、これだけでもなんとかいけるのではないかと思わせられました。準一級ワークブックと内容が当然かぶる部分もあるのですが、著者が違うせいか読んだ印象が異なります。どっちも膨大な範囲を緻密に簡潔に纏めたいい本だと思います。別に辞書的な本でもありません。Readableに書かれています。

久保川 達也『現代数理統計学の基礎』

統計検定1級合格者が、”久保川統計”を教科書として使っている例が多いみたいです。

吉田 洋一『ルベグ積分入門 』

ルベーグ積分の教科書としては定評があります。筑摩学芸文庫から新版が出ていますが、大きさが小さくて読みにくいので、自分は中古で探して買いました。

M.ツァピンスキ, E.コップ『測度と積分―入門から確率論へ』

舟木 直久『確率論 講座数学の考え方』2004年

確率論の教科書としては、一番読み易いというアマゾンレビューがありました。

清水泰隆『統計学への確率論,その先へ ゼロからの測度論的理解と漸近理論への架け橋』

途中の重要な定理の証明を思い切ってスキップすることで、とにかく先に進むことを重視した構成。途中で挫折するよりもいいと思います。

小谷 眞一『測度と確率 』岩波書店

岩波講座　現代数学の基礎のシリーズで測度と確率 １，測度と確率 ２（1997年9月8日刊行）と分冊になっています。一冊にまとまったもの（『測度と確率』オンデマンド2005年岩波書店）もあるようです。数学書と言えば、味も素っ気もなく書かれていて自分には絶対に一行も読めないものと思い込んでいたのですが、この本をチラッと開いてみたら、日本語での説明がところどころにあって、歴史的なことや見通しなど理解の助けになることも書かれていて、思ったより親切なんだなという印象を持ちました。１が測度で、２が確率の内容です。確率のほうは、極限定理など数理統計学のメイントピックも解説されているので、数理統計学の教科書と考えてもいいのではないかと思いました。

伊藤清『確率論の基礎』

伊藤 清『確率論』 (岩波基礎数学選書)

確率論I,II,III（1976, 1977, 1978）。確率論 (岩波基礎数学選書) 1991年　は、I,II,IIIの合冊版。

Jun Shao『Mathematical Statistics』2nd Edition

測度論に基づく数理統計学みたいです。2nd edition (PDF)で内容を確認できます。