De pårørende til mannen som ble knivdrept på Drammen sykehus, ønsker ikke lenger å møte sykehusledelsen.