Cancers 2021, 13, 156. https://doi.org/10.3390/cancers13010156  www.mdpi.com/journal/cancers 
Article 
Prolonged Diagnostic Intervals as Marker of Missed Diagnostic 
Opportunities in Bladder and Kidney Cancer Patients with 
Alarm Features: A Longitudinal Linked Data Study 
Yin Zhou 1,*, Fiona M. Walter 1, Hardeep Singh 2, William Hamilton 3, Gary A. Abel 3 and Georgios Lyratzopoulos 4 
1  Primary Care Unit, Department of Public Health and Primary Care, University of Cambridge, Worts’ 
Causeway, Cambridge CB1 8RN, UK; ykz21@medschl.cam.ac.uk (Y.Z.);   
fmw22@medschl.cam.ac.uk (F.M.W.) 
2  Center for Innovations in Quality, Effectiveness and Safety, Michael E. DeBakey Veterans Affairs Medical 
Center and Baylor College of Medicine, Houston, TX 77030, USA; hardeeps@bcm.edu   
3  College of Medicine and Health, University of Exeter Medical School (Primary Care), Exeter EX1 1TX, UK;   
W.Hamilton@exeter.ac.uk (W.H.); g.a.abel@exeter.ac.uk (G.A.A.) 
4  Epidemiology of Cancer Healthcare and Outcomes (ECHO) Research Group, Department of Behavioural 
Science and Health, University College London, London WC1E 6BT, UK; y.lyratzopoulos@ucl.ac.uk 
*  Correspondence: ykz21@medschl.cam.ac.uk   
Simple Summary:  In England, patients with  alarm  features  of  cancer  should  be  assessed  by  a 
specialist within 14 days based on national guidelines. However, it is not known how quickly these 
patients are actually diagnosed. We therefore examined how quickly patients who met these fast‐
track  referral  criteria  were  actually  diagnosed,  using  bladder  and  kidney  cancer  patients  as 
exemplars. We found that of the patients who qualified for fast‐track referral, more than one‐quarter 
did not receive a timely diagnosis. Those with recurrent urinary tract infections, of female sex and 
in the extremes of age, were most likely to have a non‐timely diagnosis. Our findings suggest that 
opportunities exist to improve timely referral in patients with bladder and kidney cancer. 
Abstract:  Background:  In  England,  patients  who  meet  National  Institute  for  Health  and  Care 
Excellence  (NICE) guideline  criteria  for  suspected  cancer  should  receive a  specialist assessment 
within 14 days. We examined how quickly bladder and kidney cancer patients who met fast‐track 
referral  criteria  were  actually  diagnosed.  Methods:  We  used  linked  primary  care  and  cancer 
registration data on bladder and kidney  cancer patients who met  fast‐track  referral  criteria and 
examined  the  time  from  their  first presentation with alarm  features  to diagnosis. Using  logistic 
regression we examined factors most likely to be associated with non‐timely diagnosis (defined as 
intervals exceeding 90 days), adjusting for age, sex and cancer type, positing that such occurrences 
represent missed opportunity for timely referral, possibly due to sub‐optimal guideline adherence. 
Results: 28%, 42% and 31% of all urological cancer patients reported no, one or two or more relevant 
symptoms  respectively  in  the  year  before  diagnosis.  Of  the  2105  patients  with  alarm  features 
warranting  fast‐track assessment, 1373 (65%) presented with unexplained haematuria, 382  (18%) 
with recurrent urinary tract infections (UTIs), 303 (14%) with visible haematuria, and 45 (2%) with 
an abdominal mass. 27% overall, and 24%, 45%, 18% and 27% of each group respectively, had a non‐
timely diagnosis. Presentation with recurrent UTI was associated with longest median diagnostic 
interval (median 83 days, IQR 43–151) and visible haematuria with the shortest (median 50 days, 
IQR 30–79). After adjustment, presentation with recurrent UTIs, being in the youngest or oldest age 
group, female sex, and diagnosis of kidney and upper tract urothelial cancer, were associated with 
greater odds of non‐timely diagnosis. Conclusion: More than a quarter of patients presenting with 
fast‐track  referral  features did not  achieve  a  timely diagnosis,  suggesting  inadequate  guideline 
adherence  for  some  patients.  The  findings  highlight  a  substantial  number  of  opportunities  for 
expediting the diagnosis of patients with bladder or kidney cancers. 
Citation: Zhou, Y.; Walter, F.M.; 
Singh, H.; Hamilton, W.; Abel, G.A.; 
Lyratzopoulos, G. Prolonged 
Diagnostic Intervals as Marker of 
Missed Diagnostic Opportunities in 
Bladder and Kidney Cancer Patients 
with Alarm Features: A 
Longitudinal Linked Data Study. 
Cancers 2021, 13, 156. 
https://doi.org/10.3390/ 
cancers13010156 
Received: 15 December 2020 
Accepted: 30 December 2020 
Published: 5 January 2021 
Publisher’s Note: MDPI stays 
neutral with regard to jurisdictional 
claims in published maps and 
institutional affiliations. 
 
Copyright: © 2021 by the authors. 
Licensee MDPI, Basel, Switzerland. 
This article is an open access article 
distributed under the terms and 
conditions of the Creative Commons 
Attribution (CC BY) license 
(http://creativecommons.org/licenses
/by/4.0/). 
Cancers 2021, 13, 156  2  of  13  
Keywords:  bladder  cancer;  kidney  cancer;  early  diagnosis;  diagnostic  timeliness;  missed 
opportunity 
 
1. Background 
Timeliness has been regarded as one of the important domains of high quality health 
care  [1], and is particularly relevant  for evaluating the diagnostic process  in cancer  [2]. 
Timely diagnosis of cancer is crucial for improving clinical and patient‐reported outcomes 
[3,4]. Bladder and kidney cancers, with 5‐year survival rates of about 53% and 64%  in 
England respectively [5], can be challenging to diagnose as about a third of patients with 
bladder and three quarters of patients with kidney cancer present without haematuria [6]. 
Urinary tract infections (UTIs) and benign prostatic conditions are common and can both 
mimic and co‐occur with underlying cancer [7,8]. 
Timely  referral  to  secondary  care  for  suspected cases  is  important, given  that  the 
majority of urological cancers are diagnosed following a referral by a general practitioner 
(GP) in England [9,10]. The National Institute of Clinical Excellence (NICE) has produced 
guidelines to help identify patients with high risk of cancer based on the presence of alarm 
symptoms and signs (clinical features which carry a positive predictive value (PPV) for 
cancer of 3% or greater in the 2015 guidelines, and 5% of greater in the 2005 guidelines) 
[11]  in order  to  improve  timely diagnosis of cancer. Patients with clinical  features  that 
meet the NICE guidelines ought to be referred by their GPs on a fast‐track system (the 
two‐week‐wait pathway),  to be assessed by a specialist within  two weeks. Despite  the 
existence of these guidelines since 2005, with an update in 2015, timely diagnosis may be 
challenging due to system, clinical or patient factors, with large variations observed in the 
odds of  fast‐track referrals by cancer  [12]. Given  that women with urological cancer  in 
general  experience a  longer  time  to diagnosis  than men  [8] and are more  likely  to be 
diagnosed  through  an  emergency  presentation  [13],  we  were  interested  to  find  out 
whether this gender inequality existed even among patients of either sex with the same 
presenting features which met fast‐track referral criteria. Despite evidence of diagnostic 
delay  in patients with other cancers who presented with alarm features [14,15],  little  is 
known about the timeliness of diagnosis  in patients with potential bladder and kidney 
cancer  who  fulfil  the  fast‐track  referral  criteria,  and  whether  sub‐optimal  guideline 
adherence could be a marker for missed opportunity in achieving a timely diagnosis. 
In this study, we examined the frequency of relevant clinical features and diagnostic 
timeliness  among  patients  diagnosed  with  bladder  and  kidney  cancer,  focusing  on 
patients who presented with alarm features warranting a fast‐track referral. We examined 
whether these patients received a diagnosis reasonably soon after a presentation meriting 
prompt specialist assessment, and  factors  that predict  increased  risk of  longer  interval 
from presentation  to diagnosis, positing  that non‐timely diagnosis  in  these  cases may 
signal missed opportunities for timely referral. 
2. Method 
2.1. Data 
Linked data from primary care records (Clinical Practice Research Datalink, CPRD) 
and  Cancer  Registry  were  obtained  for  a  series  of  studies,  with  details  of  the  data 
extraction process  and  cancer  cohort  identification previously described  [16]. Patients 
aged 25 and above who were diagnosed with bladder and kidney cancer between April 
2012 and December 2015 were extracted from the CPRD. These data were linked at source 
to the Cancer Registry, from which additional cases were identified using ICD‐10 cancer 
codes. We  used  the  Cancer  Registry  diagnosis  and  date  where  available,  and  CPRD 
diagnosis  and  date  in  patients  without  linked  data.  Cancers  were  sub‐divided  into 
Cancers 2021, 13, 156  3  of  13  
bladder, kidney or upper urinary  tract urothelial  cell  cancer  (UUTUCC,  subsequently 
referred to as upper tract urothelial cancer, or UTUC). 
Symptoms,  signs  and  diagnoses  were  extracted  from  coded  information  within 
CPRD (Table S1 for code lists). As our data comprised patients diagnosed before or just 
after the newly updated NICE guidelines in 2015, we used the 2005 NICE guidelines CG27 
as  the  basis  for  creating  scenario  groups  of  patients  who  met  the  fast‐track  referral 
guidelines, using operational definitions  (detailed below, and  in Table 1) agreed by all 
clinical  co‐authors  (YZ,  FMW,  HS,  WH,  GL),  three  of  whom  are  GPs  in  England. 
Demographic variables including age and sex were obtained from CPRD. 
This work  uses  data  provided  by  patients  and  collected  by  the National Health 
Service as part of their care and support. A study protocol (17_107R) was submitted to 
and approved by CPRD prior to study commencement. Ethical review and approval were 
waived for this study, due to the data being provided to researchers in an anonmyised 
form, and individual consent not required. 
2.2. Defining Fast‐Track Scenarios 
Five clinical scenarios were initially created based on the four key recommendations 
from the fast‐track guidelines for suspected bladder or kidney cancer (Table 1). Patients 
who qualified for the fast‐track referral criteria were regarded as “scenario positive”. 
Defining  ‘haematuria’ was complicated by  the high number of patients with non‐
specific haematuria codes (n = 1679 for unspecified, 421 for visible haematuria and 299 for 
non‐visible  haematuria).  Because  the  investigative  pattern  and  diagnostic  timeliness 
could  differ  across  the  haematuria  types, we  considered  patients with  a  non‐specific 
haematuria code separately instead of assuming visible or non‐visible. Once the clinical 
presentation  scenarios were defined, we  found  that  only  17 patients with non‐visible 
haematuria fulfilled fast‐track criteria; they were therefore excluded from further analysis 
due to the small number of patients, resulting in a total of four remaining scenarios for 
analysis.  The  remaining  group  of  patients,  with  visible  and  unspecified  haematuria, 
formed  scenarios  1  and  2  respectively  (Table  1).  Using  similar  approaches  based  on 
existing  literature  [17], we excluded patients with  record of diagnosis of either UTI or 
bladder/kidney‐lithiasis recorded within 30 days pre‐ and post‐ the haematuria episode 
to exclude haematuria due to an acute cause. Diagnostic interval was measured from the 
haematuria record to cancer diagnosis. 
Recurrent UTIs  (scenario  3) was defined  as  either  two  episodes  of UTI within  6 
months or three within 12 months [18], with the diagnostic interval being measured from 
the second or third UTI, respectively, to cancer diagnosis. At least one haematuria event 
during the qualifying period was also required to be regarded as “scenario positive” for 
having recurrent UTIs, concordant with  the  fast‐track guidelines which  included  those 
“aged 40+ with recurrent or persistent UTI associated with haematuria” (Table 1). 
Patients with a recorded abdominal mass were  included  in scenario 4. Diagnostic 
intervals were calculated from the date of this code being recorded in the patient’s record 
to the cancer diagnosis. 
In patients who qualified for two or more scenarios, we regarded the first scenario as 
the index scenario at which a fast‐track referral could be expected. 
  
Cancers 2021, 13, 156  4  of  13  
Table 1. Operational definitions for the fast‐track scenarios as per clinical guidelines. 
Scenario   
Fast‐Track 
Referral   
Criteria as Per 
NICE 
Guidelines 
Schematic Representation of Operational Definitions for Each Scenario 
Definition of 
NICE‐ 
Diagnostic 
Interval   
(NICE‐DI) 
1 
Visible 
haematuria 
Painless   
macroscopic 
haematuria   
   
From episode 
of visible 
haematuria to 
cancer 
diagnosis. 
2 
Unspecified 
haematuria 
(non‐visible 
haematuria 
also initially 
considered 
but excluded 
due to small 
numbers) 
Aged 50+ with 
unexplained 
microscopic 
haematuria 
 
 
From episode 
of haematuria 
to cancer   
diagnosis. 
3 
Recurrent 
urinary tract 
infections 
(UTIs) 
Aged 40+ with 
recurrent or 
persistent UTI 
associated with 
haematuria 
 
From second 
UTI (in 6 
months) or 
third UTI (in 
12 months), to 
cancer   
diagnosis.   
Visible 
haematuria 
No UTI or 
kidney 
stones 
No UTI or 
kidney 
stones 
30 days 30 days 
Diagnostic interval 
Any 
haematuria 
episode 
UTI 
Either: 2x UTI in 6 months, 
UTI UTI 
Or: 3x UTI in 12 months  
Diagnostic interval 
Diagnostic 
interval 
Diagnostic interval 
Haematuria (either 
non-visible or 
unspecified) 
No UTI or 
kidney 
stones 
30 days 
No UTI or 
kidney 
stones 
30 days 
Cancers 2021, 13, 156  5  of  13  
4 
Abdominal 
mass 
Abdominal 
mass identified 
clinically or on 
imaging that is 
thought to be 
arising from 
the urinary 
tract.   
 
 
From recorded 
abdominal 
mass to cancer 
diagnosis. 
2.3. Diagnostic Timeliness 
We  examined  diagnostic  timeliness  for  patients  with  one  of  the  four  studied 
presentation  scenarios, by  calculating  the median  and  the  accompanying  interquartile 
range for the number of days from the primary care consultation at which the patient first 
qualified  for  a  fast‐track  referral  to  cancer  diagnosis  (which  we  termed  the  NICE‐
diagnostic interval, NICE‐DI). 
There is evidence that patients with certain cancers (including bladder cancer) who 
are diagnosed more  than 3 months after  initial presentation have poorer survival rates 
than those diagnosed within 3 months [19,20]. We therefore defined a timely diagnosis as 
one that was made up to and including 90 days of meeting the referral criteria, which was 
also in line with previous similar studies [21,22]. Given that a fast‐track referral enables a 
patient to be assessed by a specialist and subsequent investigations to be initiated within 
14 days of a GP referral, we considered our 90‐day threshold for defining timeliness to be 
a conservative estimate. In cases where the NICE‐DI was beyond 90 days, we postulated 
that  probable  missed  opportunity  for  timely  referral  existed,  likely  resulting  from 
deviation from guideline recommended care. 
2.4. Analysis 
We first described the frequency of relevant clinical features present in all patients 
reported in the year before cancer diagnosis, and the number of patients who met each of 
the  four  scenarios  where  fast‐track  specialist  assessment  is  recommended.  We  then 
reported  the median  and  interquartile  ranges  for  the  NICE‐DI  in  patients  who were 
“scenario positive” by measuring  the  interval  from when  they qualified  for  fast‐track 
referral to diagnosis (Table 1). 
We used  logistic regression  to examine  the  factors  that were associated with non‐
timely diagnosis  (as  above, defined  as having  a NICE‐DI of more  than  90 days),  first 
crudely, then adjusting for cancer site, presenting clinical scenario, age and sex. Among 
patients with observed data we found no evidence for variation by deprivation group or 
ethnicity, and  therefore did not  include  these variables  in  subsequent  analyses. Socio‐
demographic  variables  were  chosen  as  covariates  due  to  prior  evidence  of  their 
associations with odds of fast‐track referral [12]. We then repeated the adjusted analysis 
using  different  cut‐offs  of  the  NICE‐DI,  45  and  60  days  respectively,  to  see  if  the 
associations remained between the explanatory and outcome variables. 
All analyses were performed using Stata version 15 (StataCorp LLC., Allen, TX, USA) 
3. Results 
3.1. Clinical Features 
5319 patients with urological cancer were examined for relevant clinical features pre‐
diagnosis (Table 2). 1464 patients (28%) had no relevant clinical features recorded in the 
12 months pre‐diagnosis. Of the 3855 patients with one or more relevant features (Table 
S2),  the mean number  of  recorded  symptoms was  1.6:  58% had  one  recorded  feature 
(higher proportion of bladder  than kidney cancer patients), and 42% had  two or more 
clinical features (Table 2). 
Almost two‐third of bladder cancer patients and 40% of upper tract urothelial cancer 
patients had at least one episode of haematuria, while about 16% of kidney cancer patients 
Abdominal 
mass 
Diagnostic interval 
Cancers 2021, 13, 156  6  of  13  
had haematuria. The symptom signature of bladder cancer was dominated by haematuria, 
while that of kidney cancer was broader, with similar proportions of people presenting 
with haematuria, UTI and abdominal pain (between 13–16%). (Table 2). 
Table 2. Number of patients with recorded relevant clinical features in the 12 months pre‐diagnosis. 
Clinical Feature ^  All Patients 
N = 5319 
Bladder Cancer 
N = 3397 
Kidney Cancer 
N = 1714 
UTUC 
N = 208  
N  %  N  %  N  %  N  % 
Number of features 
None  1464  27.5  755  22.2  649  37.9  60  28.8 
One  2231  41.9  1518  44.7  637  37.2  76  36.5 
Two or more    1624  30.5  1124  33.1  428  25.0  72  34.6 
Alarm clinical features 
Haematuria  2137  40.2  1773 *  61.2 *  279 *  16.3 *  85 *  40.9 * 
Urinary tract infection 
^^ 
1149  21.6  885 *  30.6 *  217 *  12.7 *  47 *  22.8 * 
Abdominal mass  50  0.9  11  0.4  37  2.2  2  1.0 
Other urinary symptoms 
Nocturia  101  1.9  74  2.6  26  1.5  1  0.5 
Poor stream  18  0.3  15  0.5  0  ‐  3  1.4 
Hesitancy  0  ‐  ‐  ‐  ‐  ‐  ‐  ‐ 
Urinary retention  90  1.7  63  2.2  25  1.5  2  1.0 
Urinary incontinence    67  1.3  50  1.7  16  0.9  1  0.5 
Pain 
Kidney stone/loin pain  187  3.5  77  2.7  96  5.6  14  6.7 
Biliary colic  10  0.2  2  0.1  8  0.5  0  ‐ 
Pelvic pain  83  1.6  45  1.6  32  1.9  6  2.9 
Abdominal pain  500  9.4  250 *  8.6 *  226 *  13.2 *  24 *  11.5 * 
Low back pain  408  7.7  220  7.6  168  9.8  20  9.6 
Others 
Abd. distension  15  0.3  8  0.3  6  0.4  1  0.5 
Fatigue  178  3.3  85  2.9  85  5.0  8  3.8 
Weight loss  131  2.5  61  2.1  62  3.6  8  3.8 
Loss of appetite  28  0.5  11  0.4  16  0.9  1  0.5 
Fever/night sweats  47  0.9  21  0.7  24  1.4  2  1.0 
Anaemia **  219  4.1  58  2.0  50  2.9  6  2.9 
UTUC: Upper tract urothelial cancer. * Top three most frequent clinical features for each cancer type. ** Clinical codes of 
anaemia included only, not including lab results for low haemoglobin. ^  Patients with more than one clinical feature coded 
are represented in all of their relevant features (i.e., multiple rows within table). ^^ UTI consists of codes for UTI, dysuria, 
urinary frequency, urinary urgency and malodourous urine (see S1 for full list of codes). 
  
Cancers 2021, 13, 156  7  of  13  
3.2. Patients Who Met Fast‐Track Referral Criteria 
2105  patients  met  one  of  the  fast‐track  referral  criteria  and  were  included  in 
subsequent analyses. Their distribution was as following: Bladder cancer (N = 1713, 81%), 
kidney cancer (N = 311, 15%) and upper tract urothelial cancer (N = 81, 4%). Of all patients 
with  bladder  and  kidney  cancer  in  our  original  sample,  the most  common  fast‐track 
scenario was unspecified haematuria  (Scenario  1,  25.8%)  and  the  least  common  (only 
0.8%) was abdominal mass (Scenario 4) (Table 3). 
Patients with recurrent UTIs had the longest NICE‐DI, with a median duration of 83 
days  (IQR  43‐151);  this  contrasted  with  those  with  visible  haematuria,  in  whom  the 
median  NICE‐DI  was  the  shortest  at  50  days  (IQR  30‐79).  Relatedly,  patients  with 
recurrent UTIs were the most likely, while those with visible haematuria were the least 
likely, to have a non‐timely diagnosis. Around a fifth to a quarter of patients with visible 
haematuria,  unspecified  haematuria  and  abdominal  mass,  (18%,  24%  and  27% 
respectively) and almost half (45%) of  those with recurrent UTIs received a non‐timely 
diagnosis. 
The highest proportions of patients across all clinical scenarios were between 65 and 
84 years of age. There was a higher proportion of men compared to women in those with 
visible haematuria (78%), unspecified haematuria (78%) and abdominal mass (56%), and 
lower proportion in those with recurrent UTIs (48%). 
Table 3. Frequency of patients by fast‐track scenario types, stratified by cancer site, age and sex.   
    Number of Patients (%) for Each Scenario  
All Scenarios 
(n = 2105, 39.6% *) 
Visible Haematuria 
(n = 305, 5.7% *) 
Unspecified 
Haematuria 
(n = 1373, 25.8% *) 
Recurrent UTIs 
(n = 382, 7.2% *) 
Abdominal Mass 
(n = 45, 0.8% *) 
Cancer Site         
Bladder  1713 (81.4%)  264 (86.6%)  1129 (82.2%)  310 (81.2%)  10 (22.2%) 
Kidney  311 (14.8%)  29 (9.5%)  194 (14.1%)  54 (14.1%)  34 (75.6%) 
UTUC  81 (3.8%)  12 (3.9%)  50 (3.6%)  18 (4.7%)  1 (2.2%) 
Time to diagnosis 
Days (IQR)  55 (34–95)  50 (30–79)  52 (33–89)  83 (43–151)  60 (26–92) 
Diagnosis beyond 
90 days  571 (27.1%)  54 (17.7%)  332 (24.2%)  173 (45.3%)  12 (26.7%) 
Age groups         
<35  7 (0.3%)  2 (0.7%)  5 (0.4%)  0 (0.0%)  0 (0.0%) 
35–44  32 (1.5%)  5 (1.6%)  18 (1.3%)  9 (2.4%)  0 (0.0%) 
45–54  141 (6.7%)  23 (7.5%)  85 (6.2%)  29 (7.6%)  4 (8.9%) 
55–64  330 (15.7%)  51 (16.7%)  231 (16.8%)  39 (10.2%)  9 (20.0%) 
65–74  688 (32.7%)  94 (30.8%)  463 (33.7%)  119 (31.2%)  12 (26.7%) 
75–84  664 (31.5%)  94 (30.8%)  433 (31.5%)  123 (32.2%)  14 (31.1%) 
85+  243 (11.5%)  36 (11.8%)  138 (10.1%)  63 (16.5%)  6 (13.3%) 
Sex           
Male  1511 (71.8%)  237 (77.7%)  1068 (77.8%)  181 (47.4%)  25 (55.6%) 
Female  594 (28.2%)  68 (22.3%)  293 (21.3%)  201 (52.6%)  20 (44.4%) 
Cancers 2021, 13, 156  8  of  13  
IQR: Interquartile range; UTIs: Urinary tract infections; UTUC: Upper tract urothelial cancer. * Percentages calculated 
against total cohort of 5319 patient. 
3.3. Factors Associated with Non‐Timely Diagnosis 
There was a similar direction of associations between cancer site, scenario and sex, 
with non‐timely diagnosis  in  the  crude and adjusted models, with kidney and UTUC 
cancer, scenarios other than visible haematuria, and female sex predicting higher odds of 
a  non‐timely diagnosis  (Table  4). However,  the  effect  size  for  sex was  smaller  in  the 
adjusted than crude models. This was largely due to higher proportions of recurrent UTIs 
in women (34% compared with 12% in men), and to a smaller extent, of kidney cancer in 
women (18% compared with 14% in men). In both crude and adjusted models, patients 
with recurrent UTIs had the highest odds of having a non‐timely diagnosis (adjusted OR 
3.46, CI 2.40–5.00; p < 0.0001). 
Considering  the  adjusted  model,  patients  subsequently  diagnosed  with  kidney 
cancer  who  met  fast‐track  referral  criteria  had  higher  odds  of  having  a  non‐timely 
diagnosis  than  those with bladder  cancer  (adjusted OR 2.00, CI 1.52–2.63, p <  0.0001). 
Patients with recurrent UTIs had almost 3.5 times and those with unspecified haematuria 
1.5 times greater odds of having a non‐timely diagnosis, compared to people with visible 
haematuria who met fast‐track criteria (adjusted OR 1.43, CI 1.04–1.98 for unspecified vs. 
visible haematuria, p < 0.0001). Compared to men, women had greater odds of having a 
non‐timely diagnosis  (adjusted OR 1.33, CI 1.09–1.66, p = 0.011). When applying more 
stringent cut‐offs for timely diagnosis (45 and 60 days), the overall patterns of association 
between exposure and outcome variables remained the same for each model, although the 
effect of sex was greatest and strongest when considering a longer delay (90‐day cut‐off) (in 
Table S3). 
There was an inverse J‐shaped association between age groups and having a non‐timely 
diagnosis, with the youngest and oldest patients having the highest odds (p = 0.047). 
Table 4. Association between scenario, patient and cancer characteristics and non‐timely diagnosis. 
  Number of Patients  Time to Diagnosis  Predictors of a Non‐Timely Diagnosis,   Odds Ratio (95% CI) 
  Total 
N 
Non‐Timely 
Diagnosis   
n (%) 
Median Days 
(IQR)  Crude ORs  p‐Value *  Adjusted ORs  p‐Value * 
Cancer site               
Bladder  1713  418 (24.4)  51 (33–90)  Reference  <0.0001  Reference  <0.0001 
Kidney  311  115 (37.0)  70 (41–115)  1.82 (1.41, 2.35)    2.00 (1.52, 2.63)   
UTUC  81  38 (46.9)  85 (57–137)  2.74 (1.75, 4.29)    2.75 (1.72, 4.38)   
Scenario               
Visible haematuria  305  54 (17.7)  50 (30–79)  Reference  <0.0001  Reference  <0.0001 
Unspecified haematuria  1373  173 (45.3)  52 (33–89)  1.48 (1.08, 2.04)    1.43 (1.04, 1.98)   
Recurrent UTIs  382  332 (24.2)  83 (43–151)  3.85 (2.69, 5.49)    3.46 (2.40, 5.00)   
Abdominal mass  45  12 (26.7)  60 (26–92)  1.69 (0.82, 3.48)    1.03 (0.49, 2.20)   
Sex               
Male  1511  365 (24.2)  52 (33–89)  Reference  <0.0001  Reference  0.0112 
Female  594  206 (34.7)  65 (37–119)  1.67 (1.36, 2.05)    1.33 (1.07, 1.66)   
Age group               
<35  7  2 (28.6)  46 (22–93)  1.02 (0.20, 5.29)  0.1325  1.31 (0.24, 7.04)  0.0471 
35–44  32  8 (25.0)  60.5 (42.5–90)  0.85 (0.37, 1.92)    0.75 (0.32, 1.73)   
45–54  141  25 (17.7)  52 (34–78)  0.55 (0.35, 0.87)    0.48 (0.30, 0.77)   
55–64  330  80 (24.2)  50 (30–88)  0.81 (0.60, 1.10)    0.83 (0.61, 1.14)   
65–74  688  194 (28.2)  56 (35–97)  Reference    Reference   
75–84  664  188 (28.3)  56 (34–101)  1.01 (0.79, 1.27)    1.05 (0.82, 1.34)   
85+  243  74 (30.5)  61 (38–126)  1.11 (0.81, 1.54)    1.06 (0.76, 1.48)   
CI: Confidence interval; IQR: Interquartile range; ORs: Odds ratios; UTI: Urinary tract infections; UTUC: Upper tract 
urothelial cancer. * Joint Wald tests performed for categorical variables. 
Cancers 2021, 13, 156  9  of  13  
4. Discussion 
About a quarter of patients with bladder and kidney cancer who had presented with 
features which warranted a fast‐track referral did not receive a timely diagnosis, and such 
occurrences were  likely to represent missed opportunity for timely referral due to sub‐
optimal guideline adherence. Those with guideline‐recommended fast‐track referral for 
recurrent UTIs  associated with haematuria had  the  longest NICE‐DI while  those with 
visible haematuria the shortest. Nearly one in five of those with visible haematuria and 
half  of all patients with  recurrent UTIs had a non‐timely diagnosis.  In adjusted analysis, 
patients with recurrent UTIs, women, and patients at the extremes of ages were most likely to 
have a non‐timely diagnosis, as were patients subsequently found to have kidney cancer. 
4.1. Strengths and Limitations 
To our knowledge this is the first study to use a large representative cohort to study 
how  often  bladder  and  kidney  cancer  patients  warranting  a  fast‐track  referral  are 
diagnosed  in  a  non‐timely  fashion,  as  a  marker  of  clinician  guidelines  adherence  in 
patients  who  qualify  for  guideline  recommended  specialist  diagnostic  assessment. 
Despite challenges with identifying signals of missed diagnostic opportunities using large 
electronic health records  [23], we were able  to develop clinically adjudicated scenarios 
that captured  the  recurrence and unexplained nature of clinical  features. Our  findings 
highlight the patient groups who were most at risk of having a non‐timely GP referral, so 
that we can better understand how and why non‐timely diagnosis of bladder and kidney 
cancer might occur. Similar methods could be applied to diagnosis of other cancers. 
Only coded  information on presenting clinical  features was available  from CPRD, 
which might  lead  to both under‐ and over‐estimation of  the  true effects of presenting 
clinical features. A previous study found that about 37% of visible haematuria records in 
bladder cancer patients were within hidden text  in CPRD [24]. Given the possibility of 
variation in coding behaviour in clinical practice, all chosen variables and scenarios were 
considered and refined by clinician co‐authors to ensure that the operational definitions 
were as  representative and valid as possible. Furthermore, our  study objective was  to 
examine  the patterns  of variation  instead  of measuring  an  outcome measure of  these 
clinical features, and therefore the data can still be informative for our purpose of enquiry. 
4.2. Implications 
Consistent with evidence showing patients presenting with UTI were likely to have 
a longer time to diagnosis [8,22], we found that patients with recurrent UTIs who qualified 
for  fast‐track referral were also the most  likely to have a  longer time to diagnosis than 
those  with  other  alarm  clinical  features.  Diagnostic  reasoning  for  possible  urological 
cancer  may  be  particularly  challenging  when  a  UTI  is  present  as  it  can  represent  a 
concomitant unrelated condition or similar symptoms be related to the underlying cancer, 
for example, due to irritation or urinary stasis [25]. Nevertheless, our findings imply that 
this group of patients was less likely to receive guideline concordant care than patients 
with other alarm features. 
Patients with unspecified haematuria  (with visible and non‐visible haematuria  in 
unknown proportions) had  a  longer diagnostic  interval and 1.5  times greater odds of 
having a non‐timely diagnosis than those with visible haematuria. This is likely to reflect 
lower positive predictive value of non‐visible haematuria for cancer compared to the other 
fast‐track qualifying scenarios [26], which may result in clinicians not acting swiftly or not 
adhering  to guidelines when  the chances of cancer are smaller  [10]. The updated 2015 
NICE guidelines and the 2020 American Urological Association include additional clinical 
criteria to further risk stratify patients with non‐visible haematuria, in order to increase 
the diagnostic yield of cancer in the referred population [11,27]. Clinical decision aids such 
as risk prediction tools incorporating multiple biological and patient risk factors may help 
Cancers 2021, 13, 156  10  of  13  
in situations where diagnostic reasoning is challenging, such as by identifying patients with 
non‐visible haematuria and recurrent UTIs who are at higher risk of bladder cancer [28,29]. 
Women meeting fast‐track criteria had higher odds of having a non‐timely diagnosis 
than men. Assuming that fast‐track referrals resulted in similar secondary care intervals 
(from referral to diagnosis), it is likely that the timeliness of the primary to secondary care 
referral  was  the  main  contributor  to  the  sex  difference  seen  in  the  overall  NICE‐DI. 
Women are more likely to have 3 or more pre‐referral consultations than men before their 
urological cancer diagnosis, supporting  this argument  [30]. Women’s predisposition  to 
UTIs may play a role in them being referred and diagnosed later than men [8]. Indeed we 
found that around half of the sex difference (which was more pronounced among patients 
with  the  longest delays) could be explained by adjustments  for presenting  features. A 
further explanation  for  lower guideline adherence  in women  than men  is  that primary 
care clinicians may be conscious that the risk of urological cancer in women is lower than 
men, even when women and men present with the same symptoms, resulting in differing 
thresholds for referral. 
Our study highlighted that despite meeting fast‐track referral guideline criteria (with 
which positive predictive value  for  cancer was of  5% or greater),  some patients were 
disadvantaged with respect  to having a  timely referral. Rigid consultation norms  (such as 
short consultation duration), suboptimal history taking and examination, language barriers, 
clinician cognitive biases, and health system constraints have been  found  to contribute  to 
missed diagnostic opportunities in the initial assessment and referral of cancer patients [31–
33]. 
Measurement methodologies that identify signals for potential missed opportunities, 
such as the one described here, can provide the data needed to guide improvement. Use 
of  electronic data,  including  information  available  in  clinical  notes,  can  help  identify 
situations where action  is needed on  alarm  features  [34]. For  instance,  in‐consultation 
electronic  triggers highlighting men and women who meet  referral  criteria, as well as 
post‐consultation  triggers  flagging  up  patients with  alarm  features  but who  have  no 
subsequent  investigative or  referral actions may  serve  as helpful  reminders  to GPs  to 
consider further investigations, during and after the index consultation, in order to reduce 
missed diagnostic  opportunities  [35,36]. Post‐consultation  electronic  triggers  based  on 
algorithms could identify and reduce missed follow‐up of cases resulting from patient, 
clinician or system  factors  that  lead  to  the  failure of closure of the diagnostic  loop  (for 
example, when a requested test or referral has not taken place because of administrative 
delays or patient no‐show) [2,34,37]. 
Although our findings highlighted inequalities in cancer patients who were at risk of 
having a non‐timely referral, it is possible that missed diagnostic opportunities due to a 
missed or non‐timely referral could also occur in patients subsequently diagnosed with 
disease  other  than  cancer.  Further  population‐based  research  to  determine  which 
symptomatic patients are at risk of having a non‐timely referral, complemented by in‐depth 
record review and/or qualitative studies to explore how and why they occur, are paramount 
[23]. 
5. Conclusions 
At least one in four patients with bladder and kidney cancer with alarm symptoms 
were diagnosed more than 90 days after meeting fast‐track referral guidelines. Patients 
with kidney cancer, and women with  recurrent UTIs were most  likely  to have a non‐
timely diagnosis, possibly as a result of a delayed referral due to guideline deviation. The 
co‐presence of benign and malignant disease (e.g., recurrent UTI as a genuine presenting 
feature  of  bladder  cancer) poses  challenges  for diagnostic  reasoning. Measurement  of 
presentation to diagnosis intervals using routinely available electronic health record data 
can be a promising avenue for health system‐wide monitoring of diagnostic quality and 
safety. Risk prediction  tools,  in‐consultation  alerts  and post‐consultation  triggers may 
help  clinicians minimise  some of  the potential  contributors  to a non‐timely  referral  in 
Cancers 2021, 13, 156  11  of  13  
patients with urological alarm symptoms, paving an important step towards reducing the 
overall sex inequality seen in diagnostic timeliness of urological cancer patients. 
Supplementary  Materials:  The  following  are  available  online  at  www.mdpi.com/2072‐
6694/13/1/156/s1, Table S1: List of CPRD Medcodes used to define clinical features, Table S2: Sample 
derivation flowchart, Table S3: Association between patient and cancer characteristics and time to 
diagnosis beyond 45, 60 and 90 days.   
Author Contributions: Conceptualization, Y.Z., F.M.W., and G.L.; Data curation, Y.Z.; Formal 
analysis, Y.Z.; Methodology, Y.Z., F.M.W., G.A.A., and G.L.; Supervision, F.M.W. and G.L.; 
Writing–original draft, Y.Z., F.M.W., and G.L.; Writing—review and editing, Y.Z., F.M.W., H.S., W.H., 
G.A.A., and G.L. All authors have read and agreed to the published version of the manuscript. 
Funding: This work was supported by the NIHR School for Primary Care Research (FR13/Grant 
Ref 346). YZ is funded by a Wellcome Trust Primary Care Clinician PhD Fellowship 
(203921/Z/16/Z). This research is linked to the CanTest Collaborative, which is funded by Cancer 
Research UK [C8640/A23385], for which FMW and WH are CoDirectors, GL an Associate Director 
and GAA and HS Collaborators. GL is supported by a Cancer Research UK Advanced Clinician 
Scientist Fellowship Award (C18081/A18180). HS is supported by the VA Health Services 
Research and Development Service (Presidential Early Career Award for Scientists and Engineers 
USA 14‐274), the VA National Center for Patient Safety, the Agency for Health Care Research and 
Quality (R01HS022087), the Gordon and Betty Moore Foundation and the Houston VA HSR&D 
Center for Innovations in Quality, Effectiveness and Safety (CIN 13‐413). 
Institutional Review Board Statement: This work uses data provided by patients and collected by 
the National Health Service as part of their care and support. A study protocol (17_107R) was 
submitted to and approved by CPRD prior to study commencement. Ethical review and approval 
were waived for this study, due to the data being provided to researchers in an anonmyised form, 
and individual consent not required.   
Informed Consent Statement: As above. 
Data Availability Statement: The data presented in this study are available on request from the 
corresponding author. The data are not publicly available due to prior approval necessary from 
CPRD. 
Conflicts of  Interest: The authors declare no conflict of  interest. The  funders had no role  in  the 
design of the study; or in the collection, analyses, or interpretation of data; and in the writing of the 
manuscript, and in the decision to publish the results. 
References 
1. Wolfe, A. Institute of Medicine Report: Crossing the Quality Chasm: A New Health Care System for the 21st Century. Policy 
Politics Nurs. Pract. 2001, 2, 233–235, doi:10.1177/152715440100200312. 
2. Institute  of Medicine.  Improving Diagnosis  in Health Care. National Academies  of  Sciences,  Engineering,  and Medicine. 
Available online: https://www.nap.edu/catalog/21794/improving‐diagnosis‐in‐health‐care (accessed on 1 December 2020). 
3. Hamilton, W.; Walter, F.M.; Rubin, G.; Neal, R.D. Improving early diagnosis of symptomatic cancer. Nat. Rev. Clin. Oncol. 2016, 
13, 740–749, doi:10.1038/nrclinonc.2016.109. 
4. Neal, R.; Tharmanathan, P.; France, B.; Din, N.; Cotton, S.; Fallon‐Ferguson, J.; Hamilton, W.; Hendry, A.; Hendry, M.; Lewis, 
R. Is increased time to diagnosis and treatment in symptomatic cancer associated with poorer outomes? Sys‐tematic review. Br. 
J. Cancer 2015, 112, S92–S107. 
5. Cancer  Research  UK.  Statistics  by  Cancer  Type.  Cancer  Research  UK.  Available  online: 
https://www.cancerresearchuk.org/health‐professional/cancer‐statistics/statistics‐by‐cancer‐type  (accessed  on  1  December 
2020). 
6. Koo, M.M.; Hamilton, W.; Walter, F.M.; Rubin, G.P.; Lyratzopoulos, G. Symptom signatures and diagnostic timeli‐ness in cancer 
patients: A review of current evidence. Neoplasia 2018, 20, 165–174. 
7. National Institute for Clinical Excellence. Improving Outcomes for Urological Cancers, National Institute for Clinical Excellence, 
London, 2002. Available online: https://www.nice.org.uk/guidance/csg2/resources/improving‐outcomes‐in‐urological‐cancers‐
pdf‐773372413 (accessed on 1 December 2020). 
8. Zhou, Y.; Van Melle, M.; Singh, H.; Hamilton, W.; Lyratzopoulos, G.; Walter, F.M. Quality of the diagnostic process in patients 
presenting  with  symptoms  suggestive  of  bladder  or  kidney  cancer:  A  systematic  review.  BMJ  Open  2019,  9,  e029143, 
doi:10.1136/bmjopen‐2019‐029143. 
Cancers 2021, 13, 156  12  of  13  
9. Arhi, C.S.; Burns, E.M.; Bottle, A.; Bouras, G.; Aylin, P.; Ziprin, P.; Darzi, A. Delays in referral from primary care worsen survival 
for patients with colorectal cancer: A retrospective cohort study. Br. J. Gen. Prac. 2020, 70, e463–e471, doi:10.3399/bjgp20x710441. 
10. Zhou, Y.; Funston, G.; Lyratzopoulos, G.; Walter, F.M. Improving the timely detection of bladder and kidney cancer in primary 
care. Adv. Ther. 2019, 36, 1778–1785. 
11. National Institute for Clinical Excellence. Nice Guidelines [ng12]: Suspected Cancer: Recognition and Referral. Available online: 
http://www.nice.org.uk/guidance/NG12/ (accessed on 1 December 2020). 
12. Zhou, Y.; Mendonca,  S.C.; Abel, G.A.; Hamilton, W.; Walter,  F.M.;  Johnson,  S.;  Shelton,  J.; Elliss‐Brookes, L.; McPhail,  S.; 
Lyatzopoulos, G. Variation in ‘fast‐track’ referrals for suspected cancer by patient characteristic and cancer diagnosis: Evidence 
from 670 000 patients with cancers of 35 different sites. Br. J. Cancer 2017, 118, 24–31, doi:10.1038/bjc.2017.381. 
13. Abel, G.; Shelton, J.; Johnson, S.; Elliss‐Brookes, L.; Lyratzopoulos, G. Cancer‐specific variation in emergency presentation by 
sex, age and deprivation across 27 common and rarer cancers. Br. J. Cancer 2015, 112, S129–S136, doi:10.1038/bjc.2015.52. 
14. Choi, D.T.; Davila, J.A.; Sansgiry, S.; David, E.; Singh, H.; El‐Serag, H.B.; Sada, Y.H. Factors associated with delay of diagnosis 
of hepatocellular carcinoma in patients with cirrhosis. Clin. Gastroenterol. Hepatol. 2020, doi:10.1016/j.cgh.2020.07.026. 
15. Singh, H.; Hirani, K.; Kadiyala, H.; Rudomiotov, O.; Davis, T.; Khan, M.M.; Wahls, T.L. Characteristics and Predictors of Missed 
Opportunities  in  Lung  Cancer  Diagnosis:  An  Electronic  Health  Record–Based  Study.  J.  Clin. Oncol.  2010,  28,  3307–3315, 
doi:10.1200/jco.2009.25.6636. 
16. Zhou, Y.; Abel, G.; Hamilton, W.;  Singh, H.; Walter,  F.M.; Lyratzopoulos, G.  Imaging  activity  possibly  signalling missed 
diagnostic opportunities in bladder and kidney cancer: A longitudinal data‐linkage study using primary care electronic health 
records. Cancer Epidemiol. 2020, 66, 101703, doi:10.1016/j.canep.2020.101703. 
17. Ark, J.T.; Alvarez, J.R.; Koyama, T.; Bassett, J.C.; Blot, W.J.; Mumma, M.T.; Resnick, M.J.; You, C.; Penson, D.F.; Barocas, D.A. 
Variation in the Diagnostic Evaluation among Persons with Hematuria: Influence of Gender, Race and Risk Factors for Bladder 
Cancer. J. Urol. 2017, 198, 1033–1038, doi:10.1016/j.juro.2017.06.083. 
18. European  Association  of  Urology.  Guideline  on  Urological  Infections.  Available  online: 
https://uroweb.org/guideline/urological‐infections/ (accessed on 1 December 2020). 
19. Hollenbeck, B.K.; Dunn, R.L.; Ye, Z.; Hollingsworth, J.M.; Skolarus, T.A.; Kim, S.P.; Montie, J.E.; Lee, C.T.; Wood, D.P.; Miller, 
D.C. Delays in diagnosis and bladder cancer mortality. Cancer 2010, 116, 5235–5242, doi:10.1002/cncr.25310. 
20. Richards, M.A.; Westcombe, A.M.; Love, S.B.; Littlejohns, P.; Ramirez, A.J. Influence of delay on survival in patients with breast 
cancer: A systematic review. Lancet 1999, 353, 1119–1126, doi:10.1016/s0140‐6736(99)02143‐1. 
21. Chappidi, M.R.; Kates, M.; Tosoian, J.J.; Johnson, M.H.; Hahn, N.M.; Bivalacqua, T.J.; Pierorazio, P.M. Evaluation of gender‐
based disparities  in  time  from  initial haematuria presentation  to upper  tract urothelial carcinoma diagnosis: Analysis of a 
nationwide insurance claims database. BJU Int. 2017, 120, 377–386, doi:10.1111/bju.13878. 
22. Cohn,  J.A.; Vekhter,  B.; Ms, C.L.;  Steinberg, G.D.;  Large, M.C.  Sex  disparities  in  diagnosis  of  bladder  cancer  after  initial 
presentation with hematuria: A nationwide claims‐based investigation. Cancer 2014, 120, 555–561, doi:10.1002/cncr.28416. 
23. Singh, H.; Bradford, A.; Goeschel, C. Operational measurement of diagnostic safety: State of  the science. Diagnosis 2020, 1, 
doi:10.1515/dx‐2020‐0045. 
24. Price, S.; Stapley, S.A.; Shephard, E.; Barraclough, K.; Hamilton, W.T. Is omission of free text records a possible source of data 
loss  and  bias  in  Clinical  Practice  Research  Datalink  studies?  A  case–control  study.  BMJ  Open  2016,  6,  e011664, 
doi:10.1136/bmjopen‐2016‐011664. 
25. Ball, M.W. Editorial Comment to Urinary tract infection‐like symptom is associated with worse bladder cancer outcomes in the 
Medicare population: Implications for sex disparities. Int. J. Urol. 2015, 23, 48, doi:10.1111/iju.12964. 
26. Jubber, I.; Shariat, S.F.; Conroy, S.; Tan, W.S.; Gordon, P.C.; Lotan, Y.; Messing, E.M.; Stenzl, A.; Van Rhijn, B.; Kelly, J.D.; et al. 
Non‐visible haematuria for the Detection of Bladder, Upper Tract, and Kidney Cancer: An Updated Systematic Review and 
Meta‐analysis. Eur. Urol. 2020, 77, 583–598, doi:10.1016/j.eururo.2019.10.010. 
27. American Urological Association. Diagnosis, Evaluation and Follow‐up of Asymptomatic Microhematuria  (amh)  in Adults. 
American Urological Association. Available online: https://www.auanet.org/guidelines/asymptomatic‐microhematuria‐(2012‐
reviewed‐for‐currency‐2016) (accessed on 1 December 2020). 
28. Loo, R.K.; Lieberman, S.F.; Slezak, J.M.; Landa, H.M.; Mariani, A.J.; Nicolaisen, G.; Aspera, A.M.; Jacobsen, S.J. Strati‐fying risk 
of urinary tract malignant tumors in patients with asymptomatic microscopic hematuria. Mayo Clin. Proc. 2013, 88, 129–138. 
29. Tan, W.S.; Ahmad, A.; Feber, A.; Mostafid, H.; Cresswell, J.; Fankhauser, C.D.; Waisbrod, S.; Hermanns, T.; Sasieni, P.; Kelly, 
J.D.; et al. Development and validation of a haematuria cancer risk score to identify patients at risk of harbouring cancer. J. 
Intern. Med. 2019, 285, 436–445, doi:10.1111/joim.12868. 
30. Lyratzopoulos, G.; Abel, G.A.; McPhail, S.; Neal, R.D.; Rubin, G.P. Gender inequalities in the promptness of diagnosis of bladder 
and renal cancer after symptomatic presentation: Evidence from secondary analysis of an English primary care audit survey. 
BMJ Open 2013, 3, e002861, doi:10.1136/bmjopen‐2013‐002861. 
31. Amelung, D.; Whitaker, K.L.; Lennard, D.; Ogden, M.; Sheringham, J.; Zhou, Y.; Walter, F.M.; Singh, H.; Vincent, C.; Black, G. 
Influence of doctor‐patient conversations on behaviours of patients presenting to primary care with new or persistent symptoms: 
A video observation study. BMJ Qual. Saf. 2019, 29, 198–208, doi:10.1136/bmjqs‐2019‐009485. 
32. Lyratzopoulos,  G.;  Vedsted,  P.;  Singh,  H.B.  Understanding  missed  opportunities  for  more  timely  diagnosis  of  cancer  in 
symptomatic patients after presentation. Br. J. Cancer 2015, 112, S84–S91, doi:10.1038/bjc.2015.47. 
Cancers 2021, 13, 156  13  of  13  
33. Singh, H.; Daci, K.;  Petersen, L.A.; Collins, C.;  Petersen, N.J.;  Shethia, A.; El‐Serag, H.B. Missed  opportunities  to  initi‐ate 
endoscopic evaluation for colorectal cancer diagnosis. Am. J. Gastroenterol. 2009, 104, 2543. 
34. Murphy, D.R.; Meyer, A.N.; Sittig, D.F.; Meeks, D.W.; Thomas, E.J.; Singh, H. Application of electronic trigger tools to identify 
targets for improving diagnostic safety. BMJ Qual. Saf. 2019, 28, 151–159, doi:10.1136/bmjqs‐2018‐008086. 
35. Murphy, D.R.; Meyer, A.N.; Vaghani, V.; Russo, E.;  Sittig, D.F.; Richards, K.A.; Wei, L.; Wu, L.;  Singh, H. Application of 
Electronic  Algorithms  to  Improve  Diagnostic  Evaluation  for  Bladder  Cancer.  Appl.  Clin.  Informatics  2017,  8,  279–290, 
doi:10.4338/ACI‐2016‐10‐RA‐0176. 
36. Richards, K.A.; Ruiz, V.L.; Murphy, D.R.; Downs, T.M.; Abel, E.J.;  Jarrard, D.F.; Singh, H. Diagnostic evaluation of patients 
presenting with hematuria: An electronic health record‐based study. Urol. Oncol. Semin. Orig. Investig. 2018, 36, 88.e19–88.e25, 
doi:10.1016/j.urolonc.2017.11.004. 
37. McCombie, S.; Bangash, H.K.; Kuan, M.; Thyer, I.; Lee, F.; Hayne, D. Delays in the diagnosis and initial treatment of bladder 
cancer in Western Australia. BJU Int. 2017, 120, 28–34, doi:10.1111/bju.13939.