红绿灯上下人肯定是违章行为，要扣分罚款的。根据《道路交通安全法》的有关规定，此类情况属于违章行为。

【法律依据】

《中华人民共和国道路交通安全法实施条例》第六十三条 机动车在道路上临时停车，应当遵守下列规定：

(一)在设有禁停标志、标线的路段，在机动车道与非机动车道、人行道之间设有隔离设施的路段以及人行横道、施工地段，不得停车；

(二)交叉路口、铁路道口、急弯路、宽度不足4米的窄路、桥梁、陡坡、隧道以及距离上述地点50米以内的路段，不得停车；

(三)公共汽车站、急救站、加油站、消防栓或者消防队(站)门前以及距离上述地点30米以内的路段，除使用上述设施的以外，不得停车；

(四)车辆停稳前不得开车门和上下人员，开关车门不得妨碍其他车辆和行人通行；

(五)路边停车应当紧靠道路右侧，机动车驾驶人不得离车，上下人员或者装卸物品后，立即驶离；

(六)城市公共汽车不得在站点以外的路段停车上下乘客。