ハジメさんこんにちは。いつも楽しく読ませていただいてます！

私は今大学1年生なのですが、中学校と高校が同じだった男の子がいます。その子とは中学ではほとんど関わりが無かったのですが、高校で偶然同じバイト先で働き始めたのをきっかけに仲良くなり、そのバイト先の共通の女友達とその男の子と私の3人でご飯に行ったりもしていました。

高3の夏休みでバイトを辞め、あまり会うことはなくなったのですがずっとLINEはしていました。こないだその男の子から「また3人でご飯行く？」ときたので、もう1人の女の子にその話をしたのですが、その女の子には彼氏がいるため男の子とご飯は行けないと断られました。そのことを男の子に話し、ご飯に行くのはなくなりました。
その話題が終わって違う話題のLINEをしていたのですが、その男の子から急に遊ぼうときました。でも男の子には彼女がいるので2人で遊ぶのはマズいと思ったのですが、彼女は怒らへんから大丈夫と言っていたので遊ぶことになりました。
そして「何する？」と聞いたら、家に来てと言われました。私の考えすぎかもしれませんが、男だし2人きりだしそういう雰囲気になってしまったらどうしようと考えてしまいます。今までその男の子のことは恋愛として意識したことはないし仲のいい男友達だと思っていました。相手には彼女もいるし手を出されることはないかもしれません。でもそうなる可能性もゼロではないし、今まではただの友達だと思っていたのでLINEも楽しかったのですが、そのお誘いがきてからは気持ち悪いという感情が大きく、少し怖いです。

でも向こうがそういう目的ではなく誘ったとしたら、家に行くのを断ると、下心があると思われた と嫌な気持ちになるかもしれないので、断れません。
こういう場合どうしたらいいですか？

長文になってしまいすみません。
よろしくお願いします。