夫婦喧嘩について相談させてください。夜の話があります。結婚4年目です。

旦那；会社員 29歳
私 ；会社員 31歳

結婚してすぐに私の仕事が忙しくなり、夫婦の時間があまり取れなくなりました。(土日も出なければならない事が多かったです)
それでも旦那は自分の負担を増やして、私の負担を減らしたり、晩ご飯を作って待ってくれて一緒に晩ご飯を食べることでできるだけ2人の時間の確保に努めてくれましたし、私もそれに甘えていました。
また丸一日使うような種類の趣味も理解してくれて、やっと取れた休みの日に趣味に行く私を快く送り出してくれました。
それらはありがたかったのですが、夫婦生活を誘われるのがすごく嫌でした。
それ自体が嫌という訳ではなかったのですが、私にも次の日の仕事もあるし、少しでも寝たかったのでほとんど断っていました。
しかし、最近やっと忙しさから解放されると同時に、子供も欲しくなりました。
そこで、子供が欲しいことを旦那に告げると喧嘩になりました。
結婚3年目に私があまりに疲れていたときに誘われたので、
「これで処理して欲しい」
と自慰を助けるおもちゃ(以下おもちゃ)を渡したことや、忙しさが緩和された最近まででおそらく両手で十分足りる回数しかできなかったことを持ち出され、
「何で今更そんなこと言うの？」
「僕がどれだけ誘っても全く取りあってくれなかったのに、あまりにも自分勝手だ。」
「自分の愛してる人を誘ったのに、おもちゃを渡される人間の惨めさとか虚しさとか考えたことあるの？」
と関をきったように泣きながら言われました。
旦那におもちゃを渡した以降はあまり誘ってこなくなったので、満足してもらえたんだと思っていたので
「そんなの言ってくれなきゃ分からないよ。」
と言ったのですが、
「何回話し合いを持ちかけても、疲れているからで全く取り合ってもくれなかったじゃん。」
と言い返されました(事実です)。
「今までは夫婦生活がなくても、仕事で忙しいんだからできるだけ支えよう。一緒に晩ご飯を食べれるだけでも幸せだって自分に言い聞かせてきた。」
「仕事で疲れてるんだしストレスもあるだろう。と思って、趣味の事だって口も一切出さなかった。趣味の時間を少しだけでも自分に割り振って欲しかった。愛してる人がいるのに、休日いつもひとりで過ごす人間の気持ちも、
仕事･趣味･自分って並べられて、自分が一番下に持ってこられる気持ちも、いつかは振り向いて貰えると信じたあげく、私もそろそろ子供が欲しいとだけ言われる人間の気持ちもそれを耐えてる僕の気持ちも何で分かってくれないの？」
「身体目当てで結婚したわけじゃない。でもいつもけんもほろろに断られて、あげくおもちゃまで渡されて、僕に誘う勇気はでない。
僕らが夫婦でいる意味ってあるの？毎日仕事に行って、2人分の家事して、作った晩ご飯食べて、寝るだけ。一日の生活の中にほとんど私はでてこないんだよ？」
と、旦那が感情的になるところを初めて見ました。
その日は最終的に、言いすぎたと誤ってもらえ、子供の事にも同意してもらえました。旦那も、次の日からも笑顔で接してくれたのですが、どこかぎこちなかったので、
「もしかして好きな人とかできたの？いるなら離婚も受けるから言ってね」
と申し訳なくて言ったのですが、
「何でそんなこと言うの？本当に僕の気持ちなんか何も分かってないじゃん。」
「こんな事言っちゃいけないんだけど、本当に好きで結婚したのに、失敗したかもしれない。もう限界だよ…」
とまた泣かれ、本格的に夫婦関係も冷え込んでしまいました。
どうすれば今までの失点を取り返せるでしょうか？