Planterade chili i kruka och tog för ett par veckor sedan in dessa från trädgården. Lite nervös eftersom dom tappar blommor och blad. vad gör jag för fel?

Jag planterade chili i april i fyra krukor och de kom upp fint. I början av juni satte jag ut dem på balkongen i ett miniväxthus och där har de fått sol och värme och vatten hela sommaren, oftast med uppfälld läm då det varit soligt. De har växt bra och nu i september har det blommar och några har små chilifrukter på ett par cm. Det har dock stått still under senaste veckornas regnperiod, varför jag funderar på att ta in dem.
Frågan är om det är så bra idé att ta in dem, om de liksom för dig kommer att tappa blad ? Skall jag ha kvar dem i miniväxthuset även om det blivit höst ?

Tilläggas bör att jag planterade dem 1-2 månader för sent, så därför har de blivit så sena med fruktbildningen. Annars har jag vattnat dem varje dag och de har verkat trivas i mitt miniväxthus. (nästa år blir det tidigare sådd)