นอกจากความสัมพันธ์กับฝ่ายทหารในด้านหน้าที่การงานแล้ว ในด้านความประพฤติส่วนตัวนั้น วิมล ขณะดำรงตำแหน่งสมาชิกวุฒิสภา ยังเคยถูกศาลฎีกาพิพากษาว่าเป็นชู้กับนายทหารซึ่งเป็นเพื่อนสมาชิกวุฒิสภาด้วยกัน และให้หย่าขาดจากสามีด้วย คดีนี้เป็นที่รู้จักกันในชื่อ คดีทมยันตี หรือ คดีชู้รักบันลือโลก