根据中国相关法规,所有在中国境内提供网站、服务器等互联网基础设施服务的机构和个人,都需要进行备案。因此,如果您的香港服务器提供服务对象是中国大陆用户,那么需要进行备案。但是如果您的服务对象是国外用户,就不需要进行备案。