QBUS6860 清洗、敏感性和局限三栏,看的是你怎么核对这份数据
这份 project 的分数有一大块落在你怎么对待数据里靠不住的部分。rubric 七栏每栏 5 分,Data Cleaning、Thoroughness of Analysis 和 Discussion of Shortcomings 三栏看的都是这件事;brief 也写明,instructor 手工加的坐标和车站距离要 be sceptical,觉得可疑就自己核对。
公交距离先核对,再决定当不当可及性
KBQ 1 的原话拿 average distance to nearest train/bus station 举例,照着做,就会把 DistanceToBusStation_km 汇总到 LGA 当交通可及性。先在 Python 里数一下最近公交站有几个不同的值:整张服务表只有 147 个,最近火车站有 1,102 个。NSW 有 727 家服务的最近公交站是 UTS Shuttle Bus,距离中位数约 12 km。拿它算可及性,悉尼不少城区都会被判成交通不便。
我会在数据清洗那一节放一张三列小表:查了什么、看到什么、怎么处理。公交距离这一行写明只留作附录参考,正文改用火车站距离,并写一句理由;Tasmania 单独一行,那里没有通勤铁路。marker 读到这张表,就知道 brief 那句 double check 你们真做了,而 described and justified 正好是 Data Cleaning 栏 Exceeds 和 Meets 两档的分界。
图:数据清洗节的三列核对表:查了什么、看到什么、怎么处理,三行分别是公交站数量、UTS Shuttle Bus 和 Tasmania 的火车站。
实际数据 · 核对表的写法。数字来自对 Education Services 服务表的计数,处理方式是建议。
DV2 排名并排放比例和人数
按 DV2 比例直接排,排在前面的几乎都是儿童不到 100 人的偏远 LGA,一两个孩子就能让比例变好几个百分点。只放这一张排名,marker 看到的是一个顺序,看不出预算该往哪投。我会做成左右两栏:左边按比例排,加一个儿童数门槛并写进图注;右边按脆弱儿童人数排,前面会换成大城市周边的 LGA。图下一句话说明两栏各对应什么决定:比例高的地方要综合干预,人数多的地方适合扩学位。KBQ 栏 Meets 档扣的 superficial insight,差的就是这一句。门槛换一个值重排的结果放附录,正文交代名单变了几个。排名之前,# 和 * 按缺失处理,填 0 会把这些偏远 LGA 排成全国表现好的地方。
Google Reviews 先比标题,再按服务汇总
选 KBQ 6 的组,合并前把 ServiceName 和 TitleShownOnGoogleMaps 并排过一遍。有 4 家托育服务在 Google 上对到的是 Target,Magpie OSHClub 对到的是 Magpie Sports Club;还有 17 个 Google 标题挂在不止一个 ServiceName 下面,同一批评论会被算两次。
清洗节写清匹配规则和剔除了多少条。汇总时先在每家服务内平均星级,再在 LGA 内对服务平均,写明这样每家服务权重相同。每家服务的评论在 40 到 100 条之间,53 家正好 100 条,抓取时很可能设了上限,这一句放进局限:评论代表的是城市里评论多的服务。






