酒醒香销愁不胜，如何更向落花行。去年高摘斗轻盈。
夜雨几番销瘦了，繁华如梦总无凭。人间何处问多情。
光绪二十一年后，先后任湖广道监察御史，代理陕西道监察御史、刑科给事中、吏部掌印给事中等职。他以言官职便奏请保护华侨、惩处任意敲诈勒索华侨的官吏。他也主张把台湾暂租给西方列强，以避免落入日本之手。光绪二十二年三月，奉命管理街道事务。六月回闽奔丧，见福建船政局造船业不景气，曾三次奏请整顿船政，提出“开自然之利”的改革方案，力主开采侯官县穆源铁矿，利用船政局现有的机械设备进行冶炼，产品供船政局使用，并由船政局铸造洋钱流通市场，以增加财政收入。他还建议利用现有船政局闲置船只，发展客、货运输；利用船厂机器设备优势，兼营民用产品，并奏请朝廷委派大臣整顿厂风。他的主张先后被采纳施行，对促进福建船政局资本主义经营方式的发展起重要作用。光绪二十三年，他主讲凤池书院，增设时务、论策等讲习新内容，使“闽中学风为之一变”。同时，他还创建苍霞精舍，授以英文、算学新课程，是福建创办近代学堂的先声。次年，受命在籍创办地方团练，并赴建宁黎山试开煤矿。
光绪二十五年，陈璧回京销假，调任山西道监察御史。次年，奉旨在京办理团练，力主对义和团运动加以镇压，曾率团勇打死义和团10余名。七月二十日，慈禧太后出逃西安，陈璧留守北京。八国联军侵占北京期间，他主持总理公所，所出告示均列“大清年号”。他还联合在京的33名官员，电请李鸿章回京主持“和局”，因此，得到清政府赏识。
光绪二十七年七月，陈璧升任太仆寺少卿兼顺天府尹，受命会办五城事宜，主持修建东西陵工程。此期间，他重视教育和实业的发展，先后创办京师工艺局、顺天中学堂、金台校士馆及五城中学。在顺天中学堂开设英文、日文、法文等新学科。工艺局是一所半工半读的新型学校，招收少年游民编织景泰蓝、刻字、制作木器、织布等，并教以物理、化学、算学、机械学、绘图学等专业知识，还设有专利权，鼓励学员的创造性和积极性。同年六月，他在工艺局中腾出地方创办农务学堂，聘用日本农业专家教授农、桑、水利、饲养的新方法，另在南苑建立农业科学试验场，还计划在迁安县(今属河北省)试验科学养蚕。光绪二十九年八月，清政府新设商部，陈璧任右侍郎，参与定官制、订商律、兴商会、保侨民以及制订土货等章程。十月，卸顺天府尹任，十二月转商部左侍郎。
光绪三十一年九月，他任户部右侍郎，补授度支部右侍郎，参与开办天津造币厂及大清银行。十一月，奉命到南方各省考察造币厂，先后到开封、武昌、南京、清江浦、广州、福州、安庆等地的铸币厂考察，认为各厂贪污风行，厂务废弛，急需整顿。他揭发福建铜元局马景融贪污集团，全国22个银元局核定留办7局，其他各局责令停止。为杜绝流弊，他制定善后办法，如规定银元成色，限制各厂铸币数额，统一铸模等，为币制统一奠定基础。
光绪三十二年，清政府成立邮传部，作为管理全国邮电、轮船、铁路的重要行政权力机构。次年四月，陈璧升任邮传部尚书兼参预政务大臣。他力行改革，严禁官吏挪用公款，贪污腐败等行为，废除官吏乘火车、运货免价特权，实行存款保密等一系列措施。五月间，他在《整顿币制以维圜法》的奏折里，提出金融改革计划，颁布《币制则例》，规定以银元为本位制。七月，陈璧奏请清政府铺设铁路四大主干线及支线，建议以北京为中心，南由京汉路接粤汉路；北由京张路至库伦、哈克图；东由京奉铁路至绥芬；西从正太路接至伊犁。他还积极争取将列强在中国的路权逐步收归国有。年底，他奏准创立交通银行，作为筹集路政、邮电资金的金融机构。清政府批准在全国试行他提出的印花税法。
光绪三十四年，他根据中比借款合同规定，提前将借款全部还清，收回京汉铁路经营权，改订沪宁路章程，收回用人权。同时，他奏准由邮传部以优惠价收回靠近边境的商办电线。经他努力，“路已成八千里而远，电报所达六万里有奇，邮政则在都会郡城大半设立，航业则长江内海渐次推行，虽发达未敢骤言，规模实已粗具”。他在任内十分重视科学研究，设立交通研究所，奖励学者、科技人员对邮电、水陆交通进行研究、改革。为筹措兴办邮、电、轮、路的大额资金，他提出借外债和内债的主张，他认为借外债必须力杜“债东干涉事权”，“方足取益防损”。按此原则，他先后向英国汇丰银行借款500万英磅，分30年还清。此款除作为还清京汉铁路的借款外，余额充作筹办实业之用。他推行国内第一期公债，总额1000万元，规定年息7厘，12年期，可以自由买卖。他对此颇有信心，曾宣称：“将来各项振兴实业需要，皆可取给于此”。把发行公债作为发展实业筹措资金的主要财源。
陈璧为官清正，他推行兴利除弊的改革措施，触犯一些满洲贵族官僚的利益，遭到激烈反对。光绪三十五年，御史谢远涵劾奏陈璧“滥用私人，糜费公款”等罪名，命大学士那同、孙家鼐查办，复奏：“该尚书才优于德，办事操切，不恤人言”，交部议，革职罢官。
陈璧被罢官后，寓居苏州。宣统三年(1911年)，移居天津。民国元年(1912年)，由津迁沪，翌年移居北京，于西城筑“苏园”寓居，日以“种花莳蔬”自娱。晚年，他不忘乡梓教育，曾写信建议苏坂学堂改革课程，增设学科，使“里中子弟益得向学之途”。还修刊族谱，捐产立义庄赡养本族孤寡。民国十一年再由北京迁天津，民国十七年3月26日病逝。著有《望岩堂奏稿》。
木之生，或蘖而殇，或拱而夭；幸而至于任为栋梁，则伐；不幸而为风之所拔，水之所漂，或破折或腐；幸而得不破折不腐，则为人之所材，而有斧斤之患。其最幸者，漂沉汩没于湍沙之间，不知其几百年，而其激射啮食之馀，或仿佛于山者，则为好事者取去，强之以为山，然后可以脱泥沙而远斧斤。而荒江之濆，如此者几何，不为好事者所见，而为樵夫野人所薪者，何可胜数？则其最幸者之中，又有不幸者焉。
予家有三峰。予每思之，则疑其有数存乎其间。且其孽而不殇，拱而不夭，任为栋梁而不伐；风拔水漂而不破折不腐，不破折不腐而不为人之所材，以及于斧斤之，出于湍沙之间，而不为樵夫野人之所薪，而后得至乎此，则其理似不偶然也。
然予之爱之，则非徒爱其似山，而又有所感焉；非徒爱之而又有所敬焉。予见中峰，魁岸踞肆，意气端重，若有以服其旁之二峰。二峰者，庄栗刻削，凛乎不可犯，虽其势服于中峰，而岌然决无阿附意。吁！其可敬也夫！其可以有所感也夫！