之前在深圳请律师，当时该未通过律师事务所直接接案，未给我收费发票只给了一张手写的收据，连委托合同都没给。在办案过程中不积极不主动，对案子准备不充分，上庭时连审判员提出某项证据他都不知道是指的哪一个，所以最后一次调解我没通知他参加。现案已结，请问跟据他这种情况律师费我能不能要求退还一部分？