如果栀子花叶子上有虫子，可以采取以下措施：

1.手动摘除虫子：使用手工蘸湿纸巾或手套，轻轻摘下叶子上的虫子。

2.使用农药：如果手动摘除虫子无效，可以使用有机或化学农药，但使用前需了解农药的使用方法和注意事项，以免对周围环境和人体造成危害。

3.改善树的环境：保持树周围的环境干燥和清洁，及时清除落叶和烂果，避免虫害滋生和扩散。

4.增强植物的自身免疫力：适当施肥和浇水，增强树的养分和水分吸收能力，提高耐病能力。

5.引入天敌：有些昆虫天敌对某些虫害有吃掉的作用，可以考虑引入这些天敌来控制栀子花的虫害。