จากนั้นไม่นาน ภรรยาของเจ้านายก็มองโยเซฟและพูดว่า “มานอนกับฉันสิ!”
แต่โยเซฟปฏิเสธ บอกเธอว่า “เมื่อมีข้าจัดการดูแล นายไม่ต้องกังวลเรื่องใดในบ้านเลย ทรัพย์สินของเขาก็มอบหมายให้ข้าจัดการ ในบ้านนี้ไม่มีใครใหญ่กว่าข้า นายไม่หวงสิ่งใดกับข้าเลยนอกจากท่าน เพราะท่านคือภรรยาของเขา แล้วข้าจะทำสิ่งชั่วร้ายและทำบาปต่อพระเจ้าได้อย่างไร”