NHST foundations

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.14%22%0A%23%20dependencies%20%3D%20%5B%22marimo%3E%3D0.24%22%2C%20%22matplotlib%3E%3D3.11%22%2C%20%22numpy%3E%3D2.5%22%2C%20%22pandas%3E%3D3.0%22%2C%20%22scipy%3E%3D1.18%22%2C%20%22companion_style%20%40%20..%2Fpublic%2Fwheels%2Fcompanion_style-0.0.0%252Bmarimo.1f64c7673fa5-py3-none-any.whl%22%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.24.2%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20width%3D%22medium%22%2C%0A%20%20%20%20app_title%3D%22NHST%20foundations%22%2C%0A%20%20%20%20css_file%3D%22site%2Fassets%2Fnotebook.css%22%2C%0A)%0A%0A%0A%40app.cell%0Adef%20chapter_header()%3A%0A%20%20%20%20from%20companion_style%20import%20notebook_header%0A%0A%20%20%20%20notebook_header(%0A%20%20%20%20%20%20%20%204%2C%0A%20%20%20%20%20%20%20%20%22Null-hypothesis%20significance%20testing%22%2C%0A%20%20%20%20%20%20%20%20%22Foundations%3A%20null%20models%2C%20p-values%2C%20decisions%2C%20and%20power%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20pandas%20as%20pd%0A%20%20%20%20from%20scipy%20import%20stats%0A%0A%20%20%20%20from%20companion_style%20import%20(%0A%20%20%20%20%20%20%20%20COLORS%2C%0A%20%20%20%20%20%20%20%20FIGURE_SIZE_LINKED%2C%0A%20%20%20%20%20%20%20%20FIGURE_SIZE_SHALLOW%2C%0A%20%20%20%20%20%20%20%20FIGURE_SIZE_STANDARD%2C%0A%20%20%20%20%20%20%20%20compact_table%2C%0A%20%20%20%20%20%20%20%20review_feedback%2C%0A%20%20%20%20%20%20%20%20two_column_panel%2C%0A%20%20%20%20)%0A%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20COLORS%2C%0A%20%20%20%20%20%20%20%20FIGURE_SIZE_LINKED%2C%0A%20%20%20%20%20%20%20%20FIGURE_SIZE_SHALLOW%2C%0A%20%20%20%20%20%20%20%20FIGURE_SIZE_STANDARD%2C%0A%20%20%20%20%20%20%20%20compact_table%2C%0A%20%20%20%20%20%20%20%20np%2C%0A%20%20%20%20%20%20%20%20pd%2C%0A%20%20%20%20%20%20%20%20plt%2C%0A%20%20%20%20%20%20%20%20review_feedback%2C%0A%20%20%20%20%20%20%20%20stats%2C%0A%20%20%20%20%20%20%20%20two_column_panel%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(np%2C%20stats)%3A%0A%20%20%20%20def%20exact_binomial_details(successes%2C%20trials%2C%20null_probability%2C%20alternative)%3A%0A%20%20%20%20%20%20%20%20outcome_values%20%3D%20np.arange(trials%20%2B%201)%0A%20%20%20%20%20%20%20%20outcome_probabilities%20%3D%20stats.binom.pmf(%0A%20%20%20%20%20%20%20%20%20%20%20%20outcome_values%2C%20trials%2C%20null_probability%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20observed_probability%20%3D%20float(%0A%20%20%20%20%20%20%20%20%20%20%20%20stats.binom.pmf(successes%2C%20trials%2C%20null_probability)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20if%20alternative%20%3D%3D%20%22greater%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20included_mask%20%3D%20outcome_values%20%3E%3D%20successes%0A%20%20%20%20%20%20%20%20elif%20alternative%20%3D%3D%20%22less%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20included_mask%20%3D%20outcome_values%20%3C%3D%20successes%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20included_mask%20%3D%20outcome_probabilities%20%3C%3D%20observed_probability%20%2B%201e-14%0A%20%20%20%20%20%20%20%20exact_result%20%3D%20stats.binomtest(%0A%20%20%20%20%20%20%20%20%20%20%20%20successes%2C%20trials%2C%20null_probability%2C%20alternative%3Dalternative%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20included_probability%20%3D%20float(outcome_probabilities%5Bincluded_mask%5D.sum())%0A%20%20%20%20%20%20%20%20assert%20np.isclose(included_probability%2C%20exact_result.pvalue)%0A%20%20%20%20%20%20%20%20return%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22outcomes%22%3A%20outcome_values%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22probabilities%22%3A%20outcome_probabilities%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22included%22%3A%20included_mask%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22p_value%22%3A%20float(exact_result.pvalue)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20def%20one_sample_mean_test(%0A%20%20%20%20%20%20%20%20observed_mean%2C%0A%20%20%20%20%20%20%20%20null_mean%2C%0A%20%20%20%20%20%20%20%20scale%2C%0A%20%20%20%20%20%20%20%20sample_size%2C%0A%20%20%20%20%20%20%20%20test_type%2C%0A%20%20%20%20%20%20%20%20alternative%2C%0A%20%20%20%20%20%20%20%20alpha%2C%0A%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20standard_error%20%3D%20scale%20%2F%20np.sqrt(sample_size)%0A%20%20%20%20%20%20%20%20statistic%20%3D%20(observed_mean%20-%20null_mean)%20%2F%20standard_error%0A%20%20%20%20%20%20%20%20reference%20%3D%20stats.norm%20if%20test_type%20%3D%3D%20%22z%22%20else%20stats.t(df%3Dsample_size%20-%201)%0A%20%20%20%20%20%20%20%20if%20alternative%20%3D%3D%20%22greater%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20p_value%20%3D%20float(reference.sf(statistic))%0A%20%20%20%20%20%20%20%20elif%20alternative%20%3D%3D%20%22less%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20p_value%20%3D%20float(reference.cdf(statistic))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20p_value%20%3D%20float(2%20*%20reference.sf(abs(statistic)))%0A%20%20%20%20%20%20%20%20difference%20%3D%20float(observed_mean%20-%20null_mean)%0A%20%20%20%20%20%20%20%20critical%20%3D%20reference.isf(alpha%20%2F%202%20if%20alternative%20%3D%3D%20%22two-sided%22%20else%20alpha)%0A%20%20%20%20%20%20%20%20margin%20%3D%20float(critical%20*%20standard_error)%0A%20%20%20%20%20%20%20%20interval%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20-np.inf%20if%20alternative%20%3D%3D%20%22less%22%20else%20difference%20-%20margin%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20np.inf%20if%20alternative%20%3D%3D%20%22greater%22%20else%20difference%20%2B%20margin%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22difference%22%3A%20difference%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22standardized_effect%22%3A%20difference%20%2F%20scale%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22difference_interval%22%3A%20interval%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22interval_width%22%3A%20float(interval%5B1%5D%20-%20interval%5B0%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22standard_error%22%3A%20float(standard_error)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22statistic%22%3A%20float(statistic)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22degrees_of_freedom%22%3A%20None%20if%20test_type%20%3D%3D%20%22z%22%20else%20sample_size%20-%201%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22p_value%22%3A%20min(1.0%2C%20p_value)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22reject%22%3A%20bool(p_value%20%3C%3D%20alpha)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20def%20z_test_power(effect%2C%20scale%2C%20sample_size%2C%20alpha%2C%20alternative)%3A%0A%20%20%20%20%20%20%20%20standard_error%20%3D%20scale%20%2F%20np.sqrt(sample_size)%0A%20%20%20%20%20%20%20%20null_reference%20%3D%20stats.norm(loc%3D0.0%2C%20scale%3Dstandard_error)%0A%20%20%20%20%20%20%20%20if%20alternative%20%3D%3D%20%22greater%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20true_change%20%3D%20effect%0A%20%20%20%20%20%20%20%20%20%20%20%20lower_critical%20%3D%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20upper_critical%20%3D%20float(null_reference.ppf(1.0%20-%20alpha))%0A%20%20%20%20%20%20%20%20%20%20%20%20power%20%3D%20float(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20stats.norm(loc%3Dtrue_change%2C%20scale%3Dstandard_error).sf(upper_critical)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20elif%20alternative%20%3D%3D%20%22less%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20true_change%20%3D%20-effect%0A%20%20%20%20%20%20%20%20%20%20%20%20lower_critical%20%3D%20float(null_reference.ppf(alpha))%0A%20%20%20%20%20%20%20%20%20%20%20%20upper_critical%20%3D%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20power%20%3D%20float(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20stats.norm(loc%3Dtrue_change%2C%20scale%3Dstandard_error).cdf(lower_critical)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20true_change%20%3D%20effect%0A%20%20%20%20%20%20%20%20%20%20%20%20lower_critical%20%3D%20float(null_reference.ppf(alpha%20%2F%202.0))%0A%20%20%20%20%20%20%20%20%20%20%20%20upper_critical%20%3D%20float(null_reference.ppf(1.0%20-%20alpha%20%2F%202.0))%0A%20%20%20%20%20%20%20%20%20%20%20%20alternative_reference%20%3D%20stats.norm(loc%3Dtrue_change%2C%20scale%3Dstandard_error)%0A%20%20%20%20%20%20%20%20%20%20%20%20power%20%3D%20float(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alternative_reference.cdf(lower_critical)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20alternative_reference.sf(upper_critical)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22standard_error%22%3A%20float(standard_error)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22true_change%22%3A%20float(true_change)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22lower_critical%22%3A%20lower_critical%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22upper_critical%22%3A%20upper_critical%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22power%22%3A%20power%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22beta%22%3A%201.0%20-%20power%2C%0A%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20def%20minimum_sample_size(effect%2C%20scale%2C%20alpha%2C%20alternative%2C%20target_power)%3A%0A%20%20%20%20%20%20%20%20for%20candidate_size%20in%20range(2%2C%202001)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20candidate_power%20%3D%20z_test_power(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20effect%2C%20scale%2C%20candidate_size%2C%20alpha%2C%20alternative%0A%20%20%20%20%20%20%20%20%20%20%20%20)%5B%22power%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20candidate_power%20%3E%3D%20target_power%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20candidate_size%0A%20%20%20%20%20%20%20%20return%20None%0A%0A%20%20%20%20def%20one_sample_t_pvalues(samples)%3A%0A%20%20%20%20%20%20%20%20sample_means%20%3D%20samples.mean(axis%3D-1)%0A%20%20%20%20%20%20%20%20sample_sds%20%3D%20samples.std(axis%3D-1%2C%20ddof%3D1)%0A%20%20%20%20%20%20%20%20sample_sizes%20%3D%20samples.shape%5B-1%5D%0A%20%20%20%20%20%20%20%20t_statistics%20%3D%20sample_means%20%2F%20(sample_sds%20%2F%20np.sqrt(sample_sizes))%0A%20%20%20%20%20%20%20%20return%202.0%20*%20stats.t.sf(np.abs(t_statistics)%2C%20df%3Dsample_sizes%20-%201)%0A%0A%20%20%20%20def%20simulate_pvalue_experiment(%0A%20%20%20%20%20%20%20%20sample_size%2C%20repetitions%2C%20strategy%2C%20alpha%2C%20seed%2C%20max_tests%3D5%0A%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20if%20strategy%20%3D%3D%20%22interim%22%20and%20not%201%20%3C%3D%20max_tests%20%3C%3D%20sample_size%20-%204%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20raise%20ValueError(%22Repeated%20checks%20require%201%20to%20n%20%E2%88%92%204%20distinct%20tests.%22)%0A%20%20%20%20%20%20%20%20simulation_rng%20%3D%20np.random.default_rng(seed)%0A%20%20%20%20%20%20%20%20reported_pvalues%20%3D%20np.empty(repetitions%2C%20dtype%3Dfloat)%0A%20%20%20%20%20%20%20%20test_count%20%3D%201%20if%20strategy%20%3D%3D%20%22single%22%20else%20max_tests%0A%20%20%20%20%20%20%20%20look_sizes%20%3D%20np.linspace(sample_size%2C%205%2C%20test_count%2C%20dtype%3Dint)%0A%20%20%20%20%20%20%20%20rejection_counts%20%3D%20np.zeros(test_count%2C%20dtype%3Dint)%0A%20%20%20%20%20%20%20%20chunk_size%20%3D%20500%0A%20%20%20%20%20%20%20%20for%20chunk_start%20in%20range(0%2C%20repetitions%2C%20chunk_size)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20chunk_stop%20%3D%20min(chunk_start%20%2B%20chunk_size%2C%20repetitions)%0A%20%20%20%20%20%20%20%20%20%20%20%20chunk_count%20%3D%20chunk_stop%20-%20chunk_start%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20strategy%20%3D%3D%20%22single%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20simulated_samples%20%3D%20simulation_rng.normal(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%200.0%2C%201.0%2C%20size%3D(chunk_count%2C%20sample_size)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20test_pvalues%20%3D%20one_sample_t_pvalues(simulated_samples)%5B%3A%2C%20None%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20elif%20strategy%20%3D%3D%20%22interim%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20simulated_samples%20%3D%20simulation_rng.normal(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%200.0%2C%201.0%2C%20size%3D(chunk_count%2C%20sample_size)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20test_pvalues%20%3D%20np.column_stack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20one_sample_t_pvalues(simulated_samples%5B%3A%2C%20%3Alook_size%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20look_size%20in%20look_sizes%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20simulated_samples%20%3D%20simulation_rng.normal(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%200.0%2C%201.0%2C%20size%3D(chunk_count%2C%20test_count%2C%20sample_size)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20test_pvalues%20%3D%20one_sample_t_pvalues(simulated_samples)%0A%20%20%20%20%20%20%20%20%20%20%20%20cumulative_pvalues%20%3D%20np.minimum.accumulate(test_pvalues%2C%20axis%3D1)%0A%20%20%20%20%20%20%20%20%20%20%20%20rejection_counts%20%2B%3D%20(cumulative_pvalues%20%3C%3D%20alpha).sum(axis%3D0)%0A%20%20%20%20%20%20%20%20%20%20%20%20reported_pvalues%5Bchunk_start%3Achunk_stop%5D%20%3D%20cumulative_pvalues%5B%3A%2C%20-1%5D%0A%20%20%20%20%20%20%20%20curve_rates%20%3D%20rejection_counts%20%2F%20repetitions%0A%20%20%20%20%20%20%20%20curve_mcse%20%3D%20np.sqrt(curve_rates%20*%20(1%20-%20curve_rates)%20%2F%20repetitions)%0A%20%20%20%20%20%20%20%20rejection_rate%20%3D%20float(np.mean(reported_pvalues%20%3C%3D%20alpha))%0A%20%20%20%20%20%20%20%20monte_carlo_se%20%3D%20float(%0A%20%20%20%20%20%20%20%20%20%20%20%20np.sqrt(rejection_rate%20*%20(1.0%20-%20rejection_rate)%20%2F%20repetitions)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22p_values%22%3A%20reported_pvalues%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22sample_size%22%3A%20int(sample_size)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22repetitions%22%3A%20int(repetitions)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22strategy%22%3A%20strategy%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22alpha%22%3A%20float(alpha)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22rejection_rate%22%3A%20rejection_rate%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22monte_carlo_se%22%3A%20monte_carlo_se%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22seed%22%3A%20int(seed)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22test_counts%22%3A%20np.arange(1%2C%20test_count%20%2B%201)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22curve_rates%22%3A%20curve_rates%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22curve_mcse%22%3A%20curve_mcse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22look_sizes%22%3A%20look_sizes%20if%20strategy%20%3D%3D%20%22interim%22%20else%20None%2C%0A%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20lecture_coin%20%3D%20exact_binomial_details(13%2C%2020%2C%200.5%2C%20%22greater%22)%0A%20%20%20%20lecture_z%20%3D%20one_sample_mean_test(2200%2C%203000%2C%201000%2C%2010%2C%20%22z%22%2C%20%22two-sided%22%2C%200.05)%0A%20%20%20%20lecture_t%20%3D%20one_sample_mean_test(2200%2C%203000%2C%20900%2C%2010%2C%20%22t%22%2C%20%22two-sided%22%2C%200.05)%0A%20%20%20%20lecture_t_margin%20%3D%20float(stats.t.ppf(0.975%2C%209)%20*%20900%20%2F%20np.sqrt(10))%0A%20%20%20%20lecture_t_interval%20%3D%20(2200%20-%20lecture_t_margin%2C%202200%20%2B%20lecture_t_margin)%0A%20%20%20%20assert%20np.isclose(lecture_coin%5B%22p_value%22%5D%2C%200.13158798217773438)%0A%20%20%20%20assert%20np.isclose(lecture_z%5B%22statistic%22%5D%2C%20-2.5298221281)%0A%20%20%20%20assert%20np.isclose(lecture_z%5B%22p_value%22%5D%2C%200.0114120364)%0A%20%20%20%20assert%20np.isclose(lecture_t%5B%22statistic%22%5D%2C%20-2.8109134757)%0A%20%20%20%20assert%20np.isclose(lecture_t%5B%22p_value%22%5D%2C%200.0203466769)%0A%20%20%20%20assert%20np.allclose(lecture_t_interval%2C%20(1556.18%2C%202843.82)%2C%20atol%3D0.01)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20exact_binomial_details%2C%0A%20%20%20%20%20%20%20%20minimum_sample_size%2C%0A%20%20%20%20%20%20%20%20one_sample_mean_test%2C%0A%20%20%20%20%20%20%20%20simulate_pvalue_experiment%2C%0A%20%20%20%20%20%20%20%20z_test_power%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Does%20a%20treatment%20change%20enzyme%20activity%2C%20or%20could%20the%20observed%20difference%20be%0A%20%20%20%20consistent%20with%20ordinary%20variation%20between%20samples%3F%20**Null-hypothesis%0A%20%20%20%20significance%20testing%20(NHST)**%20helps%20us%20assess%20this%20question.%20We%20start%20with%20a%0A%20%20%20%20specific%20claim%2C%20often%20%E2%80%9Cno%20change%E2%80%9D%2C%20and%20ask%20how%20unusual%20our%20result%20would%20be%20if%0A%20%20%20%20that%20claim%20and%20the%20test's%20assumptions%20were%20correct.%0A%0A%20%20%20%20By%20the%20end%20of%20the%20chapter%2C%20you%20should%20be%20able%20to%3A%0A%0A%20%20%20%201.%20explain%20a%20null%20hypothesis%2C%20test%20statistic%2C%20and%20p-value%20in%20your%20own%20words%3B%0A%20%20%20%202.%20choose%20a%20test%20for%20a%20change%20in%20one%20direction%20or%20in%20either%20direction%3B%0A%20%20%20%203.%20use%20z%20and%20t%20tests%20to%20compare%20a%20sample%20mean%20with%20a%20reference%20value%3B%0A%20%20%20%204.%20explain%20how%20a%20confidence%20interval%20relates%20to%20a%20test%20result%3B%0A%20%20%20%205.%20distinguish%20false%20alarms%2C%20missed%20effects%2C%20and%20the%20ability%20to%20detect%20an%20effect%3B%0A%20%20%20%206.%20recognize%20misleading%20interpretations%20of%20p-values%20and%20problems%20caused%20by%0A%20%20%20%20%20%20%20choosing%20analyses%20after%20seeing%20the%20results.%0A%0A%20%20%20%20%3E%20**Keep%20the%20biological%20question%20in%20view%3A**%20A%20test%20result%20alone%20cannot%20tell%0A%20%20%20%20%3E%20you%20whether%20an%20effect%20is%20large%20enough%20to%20matter.%20Report%20the%20estimated%20change%0A%20%20%20%20%3E%20in%20meaningful%20units%2C%20such%20as%20enzyme%20activity%20or%20growth%20rate%2C%20together%20with%20a%0A%20%20%20%20%3E%20confidence%20interval%20showing%20its%20uncertainty.%0A%0A%20%20%20%20**Prerequisites%3A**%20probability%20distributions%2C%20sampling%20distributions%2C%20standard%0A%20%20%20%20errors%2C%20t-distributions%2C%20and%20confidence%20intervals%20from%20Chapter%202.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%0A%20%20%20%20%23%23%201.%20Null%20models%20and%20exact%20p-values%0A%0A%20%20%20%20The%20**null%20hypothesis**%2C%20written%20%24H_0%24%20(%E2%80%9CH%20zero%E2%80%9D)%2C%20is%20the%20specific%20claim%20we%0A%20%20%20%20test.%20For%20example%2C%20it%20might%20say%20that%20mean%20enzyme%20activity%20equals%20a%20reference%0A%20%20%20%20value.%20The%20**alternative%20hypothesis**%2C%20%24H_1%24%2C%20describes%20the%20change%20we%20are%0A%20%20%20%20looking%20for%2C%20such%20as%20higher%20activity%20or%20a%20difference%20in%20either%20direction.%0A%0A%20%20%20%20The%20null%20hypothesis%20together%20with%20assumptions%20about%20how%20measurements%20vary%0A%20%20%20%20forms%20the%20**null%20model**.%20A%20**test%20statistic**%20is%20a%20number%20calculated%20from%20the%0A%20%20%20%20data%2C%20such%20as%20a%20count%20or%20a%20mean%20difference.%20Its%20**null%20distribution**%20describes%0A%20%20%20%20the%20values%20we%20would%20expect%20across%20repeated%20studies%20if%20the%20null%20model%20were%20true.%0A%0A%20%20%20%20We%20begin%20with%20coin%20tosses%20because%20their%20probabilities%20are%20easy%20to%20calculate.%0A%20%20%20%20For%20a%20fair%20coin%2C%20%24H_0%3Ap%3D0.5%24%2C%20where%20%24p%24%20is%20the%20probability%20of%20heads%20on%20each%20toss.%0A%20%20%20%20With%20independent%20tosses%20and%20a%20common%20heads%20probability%2C%20the%20count%20follows%0A%20%20%20%20the%20**binomial%20model**%20from%20Chapter%202%2C%20Section%203.%20Here%20that%20model%20supplies%20a%0A%20%20%20%20null%20distribution%20against%20which%20to%20assess%20the%20observed%20count.%0A%0A%20%20%20%20A%20**p-value**%20is%20the%20probability%2C%20assuming%20the%20null%20model%20is%20true%2C%20of%20obtaining%0A%20%20%20%20the%20observed%20test%20statistic%20or%20a%20result%20more%20extreme%20in%20the%20direction(s)%20being%0A%20%20%20%20tested.%20For%20%24H_1%3Ap%3E0.5%24%2C%20%E2%80%9Cmore%20extreme%E2%80%9D%20means%20more%20heads.%20With%2013%20heads%20in%2020%0A%20%20%20%20tosses%2C%20we%20therefore%20add%20the%20probabilities%20of%2013%2C%2014%2C%20...%2C%2020%20heads.%20The%20sum%20is%0A%20%20%20%20about%200.132.%20**Exact**%20means%20we%20calculate%20directly%20from%20the%20binomial%20model%0A%20%20%20%20without%20a%20large-sample%20approximation%3B%20the%20model%20assumptions%20still%20matter.%0A%20%20%20%20Here%2C%20%24p%24%20in%20%24H_0%3Ap%3D0.5%24%20is%20the%20heads%20probability%2C%20not%20the%20p-value%20of%20the%20test.%0A%0A%20%20%20%20**Try%20this%3A**%20keep%20%24n%3D20%24%20and%20%24p_0%3D0.5%24%2C%20choose%20**More%20heads**%2C%20and%20move%20the%0A%20%20%20%20observed%20count%20from%2010%20to%2013%20to%2018.%20Follow%20the%20highlighted%20outcomes%20and%20their%0A%20%20%20%20summed%20probability.%20At%2013%20heads%2C%20compare%20the%20one-sided%20and%20two-sided%0A%20%20%20%20alternatives.%20Then%20change%20%24p_0%24%20to%200.7%3A%20the%20same%20observation%20is%20assessed%0A%20%20%20%20against%20a%20different%20null%20model.%20Every%20control%20updates%20immediately%3B%20changing%0A%20%20%20%20%24n%24%20resets%20the%20observed-count%20control%2C%20so%20check%20it%20before%20comparing%20results.%0A%20%20%20%20These%20are%20hypothetical%20comparisons%20for%20learning%3B%20a%20real%20test's%20direction%0A%20%20%20%20must%20be%20specified%20before%20inspecting%20its%20data.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20coin_trials%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%205%2C%0A%20%20%20%20%20%20%20%20100%2C%0A%20%20%20%20%20%20%20%20value%3D20%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20label%3D%22Number%20of%20tosses%20n%22%2C%0A%20%20%20%20)%0A%20%20%20%20coin_null_probability%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%200.1%2C%0A%20%20%20%20%20%20%20%200.9%2C%0A%20%20%20%20%20%20%20%20step%3D0.05%2C%0A%20%20%20%20%20%20%20%20value%3D0.5%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20label%3D%22Null%20probability%20p%E2%82%80%22%2C%0A%20%20%20%20)%0A%20%20%20%20coin_alternative%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22More%20heads%20(greater)%22%3A%20%22greater%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Fewer%20heads%20(less)%22%3A%20%22less%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Either%20direction%20(two-sided)%22%3A%20%22two-sided%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22More%20heads%20(greater)%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Alternative%20hypothesis%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20coin_alternative%2C%20coin_null_probability%2C%20coin_trials%0A%0A%0A%40app.cell%0Adef%20_(coin_trials%2C%20mo)%3A%0A%20%20%20%20selected_coin_trials%20%3D%20int(coin_trials.value)%0A%20%20%20%20coin_heads%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%200%2C%0A%20%20%20%20%20%20%20%20selected_coin_trials%2C%0A%20%20%20%20%20%20%20%20value%3Dmin(13%2C%20selected_coin_trials)%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20label%3D%22Observed%20heads%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(coin_heads%2C)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20FIGURE_SIZE_STANDARD%2C%0A%20%20%20%20coin_alternative%2C%0A%20%20%20%20coin_heads%2C%0A%20%20%20%20coin_null_probability%2C%0A%20%20%20%20coin_trials%2C%0A%20%20%20%20compact_table%2C%0A%20%20%20%20exact_binomial_details%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20pd%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20two_column_panel%2C%0A)%3A%0A%20%20%20%20coin_n%20%3D%20int(coin_trials.value)%0A%20%20%20%20coin_k%20%3D%20int(coin_heads.value)%0A%20%20%20%20coin_p0%20%3D%20float(coin_null_probability.value)%0A%20%20%20%20coin_direction%20%3D%20coin_alternative.value%0A%20%20%20%20coin_result%20%3D%20exact_binomial_details(coin_k%2C%20coin_n%2C%20coin_p0%2C%20coin_direction)%0A%0A%20%20%20%20coin_colors%20%3D%20np.where(%0A%20%20%20%20%20%20%20%20coin_result%5B%22included%22%5D%2C%20COLORS%5B%22vermillion%22%5D%2C%20COLORS%5B%22purple%22%5D%0A%20%20%20%20)%0A%20%20%20%20coin_figure%2C%20coin_axis%20%3D%20plt.subplots(figsize%3DFIGURE_SIZE_STANDARD)%0A%20%20%20%20coin_axis.bar(%0A%20%20%20%20%20%20%20%20coin_result%5B%22outcomes%22%5D%2C%0A%20%20%20%20%20%20%20%20coin_result%5B%22probabilities%22%5D%2C%0A%20%20%20%20%20%20%20%20width%3D0.78%2C%0A%20%20%20%20%20%20%20%20color%3Dcoin_colors%2C%0A%20%20%20%20%20%20%20%20edgecolor%3D%22white%22%2C%0A%20%20%20%20%20%20%20%20linewidth%3D0.5%2C%0A%20%20%20%20)%0A%20%20%20%20coin_axis.axvline(%0A%20%20%20%20%20%20%20%20coin_k%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22blue%22%5D%2C%0A%20%20%20%20%20%20%20%20linestyle%3D%22--%22%2C%0A%20%20%20%20%20%20%20%20linewidth%3D1.7%2C%0A%20%20%20%20%20%20%20%20label%3Df%22Observed%3A%20%7Bcoin_k%7D%20heads%22%2C%0A%20%20%20%20)%0A%20%20%20%20coin_axis.set(%0A%20%20%20%20%20%20%20%20xlabel%3Df%22Number%20of%20heads%20in%20%7Bcoin_n%7D%20tosses%22%2C%0A%20%20%20%20%20%20%20%20ylabel%3D%22Probability%22%2C%0A%20%20%20%20%20%20%20%20xlim%3D(-0.8%2C%20coin_n%20%2B%200.8)%2C%0A%20%20%20%20%20%20%20%20ylim%3D(0%2C%20max(coin_result%5B%22probabilities%22%5D)%20*%201.13)%2C%0A%20%20%20%20)%0A%20%20%20%20coin_axis.grid(axis%3D%22y%22%2C%20linestyle%3D%22%3A%22%2C%20alpha%3D0.35)%0A%20%20%20%20coin_axis.legend(frameon%3DFalse%2C%20fontsize%3D8)%0A%20%20%20%20coin_figure.tight_layout()%0A%0A%20%20%20%20included_outcomes%20%3D%20coin_result%5B%22outcomes%22%5D%5Bcoin_result%5B%22included%22%5D%5D%0A%20%20%20%20coin_summary_data%20%3D%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Quantity%22%3A%20%5B%22Null%20hypothesis%22%2C%20%22Included%20outcomes%22%2C%20%22Exact%20p-value%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Value%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22p%20%3D%20%7Bcoin_p0%3A.2f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%2C%20%22.join(map(str%2C%20included_outcomes%5B%3A8%5D))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20(%22%2C%20%E2%80%A6%22%20if%20included_outcomes.size%20%3E%208%20else%20%22%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bcoin_result%5B'p_value'%5D%3A.5f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20coin_summary_table%20%3D%20compact_table(%0A%20%20%20%20%20%20%20%20coin_summary_data%2C%0A%20%20%20%20%20%20%20%20column_widths%3D%7B%22Quantity%22%3A%20135%2C%20%22Value%22%3A%20170%7D%2C%0A%20%20%20%20)%0A%20%20%20%20coin_controls%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20coin_trials%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20coin_heads%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20coin_null_probability%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20coin_alternative%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20coin_summary_table%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20coin_note_text%20%3D%20(%0A%20%20%20%20%20%20%20%20%22The%20orange%20bars%20mark%20the%20observed%20count%20and%20all%20counts%20further%20in%20the%20tested%20direction.%20%22%0A%20%20%20%20%20%20%20%20%22Their%20probabilities%20sum%20to%20the%20p-value.%22%0A%20%20%20%20%20%20%20%20if%20coin_direction%20!%3D%20%22two-sided%22%0A%20%20%20%20%20%20%20%20else%20%22For%20this%20two-sided%20binomial%20test%2C%20the%20orange%20bars%20mark%20counts%20that%20are%20%22%0A%20%20%20%20%20%20%20%20%22no%20more%20likely%20than%20the%20observed%20count%20under%20the%20null%20model.%20Their%20%22%0A%20%20%20%20%20%20%20%20%22probabilities%20sum%20to%20the%20p-value.%20Counts%20are%20whole%20numbers%2C%20so%20the%20%22%0A%20%20%20%20%20%20%20%20%22p-value%20changes%20in%20steps%20and%20need%20not%20equal%20twice%20a%20one-sided%20p-value.%22%0A%20%20%20%20)%0A%20%20%20%20coin_note%20%3D%20mo.callout(mo.md(coin_note_text)%2C%20kind%3D%22info%22)%0A%20%20%20%20two_column_panel(%0A%20%20%20%20%20%20%20%20coin_controls%2C%0A%20%20%20%20%20%20%20%20mo.vstack(%5Bcoin_figure%2C%20coin_note%5D)%2C%0A%20%20%20%20%20%20%20%20widths%3D(1%2C%202)%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20conditional_checkpoint%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Assuming%2020%20independent%20fair-coin%20tosses%2C%20the%20probability%20of%2013%20or%20more%20heads%20is%20about%200.132.%22%3A%20%22conditional%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22After%20observing%2013%20heads%2C%20the%20probability%20that%20the%20coin%20is%20fair%20is%20about%200.132.%22%3A%20%22reversed%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22There%20is%20a%2013.2%25%20probability%20that%20chance%20caused%20the%20observation.%22%3A%20%22chance%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3DNone%2C%0A%20%20%20%20%20%20%20%20label%3D%22Choose%20the%20valid%20interpretation%22%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%23%23%23%20Checkpoint%3A%20what%20does%20the%20p-value%20assume%2C%20and%20what%20does%20it%20tell%20us%3F%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20conditional_checkpoint%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%20(conditional_checkpoint%2C)%0A%0A%0A%40app.cell%0Adef%20_(conditional_checkpoint%2C%20review_feedback)%3A%0A%20%20%20%20conditional_feedback%20%3D%20review_feedback(%0A%20%20%20%20%20%20%20%20conditional_checkpoint.value%2C%0A%20%20%20%20%20%20%20%20correct_value%3D%22conditional%22%2C%0A%20%20%20%20%20%20%20%20correct_text%3D%22**Correct.**%20If%20we%20repeated%20sets%20of%2020%20independent%20fair-coin%20tosses%2C%20about%2013.2%25%20would%20produce%2013%20or%20more%20heads.%20We%20include%20the%20observed%20count%20and%20all%20higher%20counts%2C%20not%20just%20exactly%2013%20heads.%22%2C%0A%20%20%20%20%20%20%20%20incorrect_text%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22reversed%22%3A%20%22The%20calculation%20starts%20by%20assuming%20the%20coin%20is%20fair%20and%20asks%20how%20often%2013%20or%20more%20heads%20would%20occur.%20It%20does%20not%20calculate%20the%20probability%20that%20the%20coin%20is%20fair%20after%20seeing%20the%20tosses.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22chance%22%3A%20%22The%2013.2%25%20describes%20how%20often%20a%20fair%20coin%20would%20give%2013%20or%20more%20heads%20in%2020%20independent%20tosses.%20It%20does%20not%20give%20the%20probability%20that%20chance%20caused%20this%20particular%20result.%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20)%0A%20%20%20%20conditional_feedback%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%0A%20%20%20%20%23%23%202.%20One-sided%20and%20two-sided%20tails%0A%0A%20%20%20%20A%20**tail**%20is%20an%20end%20of%20a%20distribution%2C%20where%20unusually%20low%20or%20high%20values%20lie.%0A%20%20%20%20A%20**one-sided%20test**%20asks%20about%20a%20change%20in%20one%20chosen%20direction%3A%20a%20lower-tailed%0A%20%20%20%20test%20looks%20for%20a%20decrease%2C%20and%20an%20upper-tailed%20test%20looks%20for%20an%20increase.%0A%20%20%20%20A%20**two-sided%20test**%20looks%20for%20either.%20Choose%20the%20direction%20from%20the%20biological%0A%20%20%20%20question%20before%20inspecting%20the%20data.%20If%20either%20increased%20or%20decreased%20enzyme%0A%20%20%20%20activity%20would%20answer%20your%20question%2C%20use%20a%20two-sided%20test%20even%20if%20you%20expect%0A%20%20%20%20a%20decrease.%0A%0A%20%20%20%20Use%20the%20density%20and%20**cumulative%20distribution%20function%20(CDF)**%20from%20Chapter%202%0A%20%20%20%20to%20read%20the%20p-value%3A%20the%20left%20plot%20shades%20the%20relevant%20area%3B%20the%20right%20gives%0A%20%20%20%20%24F(x)%24%2C%20the%20probability%20at%20or%20below%20%24x%24.%20Thus%20%24F(2)%24%20is%20the%20left-tail%20area%0A%20%20%20%20and%20%241-F(2)%24%20the%20right-tail%20area.%0A%0A%20%20%20%20Compare%20the%20**standard%20normal**%20reference%20with%20the%20heavier-tailed%0A%20%20%20%20**t-distribution**%20from%20Chapter%202%2C%20Section%205.%20For%20a%20one-sample%20t%20test%2C%0A%20%20%20%20**degrees%20of%20freedom%20(df)**%20are%20%24n-1%24%3B%20larger%20df%20bring%20the%20t%20curve%20closer%20to%0A%20%20%20%20the%20normal%20curve.%20The%20explorer%20also%20previews%20the%20asymmetric%20chi-squared%0A%20%20%20%20(%24%5Cchi%5E2%24)%20and%20F%20distributions%20used%20in%20Chapter%205.%20The%20F%20distribution%20has%0A%20%20%20%20two%20df%20settings%2C%20one%20for%20each%20variation%20estimate%20being%20compared.%0A%0A%20%20%20%20**Try%20this%3A**%20use%20the%20standard%20normal%20model%20and%20statistic%202.0.%20Compare%0A%20%20%20%20**Upper%20tail**%2C%20**Lower%20tail**%2C%20and%20**Two-sided**%3B%20match%20the%20shaded%20area%20to%0A%20%20%20%20%241-F(2)%24%2C%20%24F(2)%24%2C%20or%20the%20two%20tails%20combined.%20Move%20the%20statistic%20to%20%E2%88%922%20and%0A%20%20%20%20check%20which%20directional%20tail%20becomes%20small.%20Switch%20to%20a%20t-distribution%20and%0A%20%20%20%20reduce%20degrees%20of%20freedom%20to%20see%20the%20effect%20of%20heavier%20tails.%20The%20first%0A%20%20%20%20degrees-of-freedom%20control%20affects%20t%2C%20chi-squared%2C%20and%20F%20models%3B%20the%20second%0A%20%20%20%20affects%20F%20only%2C%20and%20neither%20affects%20the%20standard%20normal.%20Switching%20models%0A%20%20%20%20resets%20the%20statistic%20and%20tail%20controls%20to%20suitable%20defaults.%20Changes%20update%0A%20%20%20%20immediately%3B%20the%20selected%20tail%20determines%20which%20area%20is%20shaded.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20tail_distribution%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Standard%20normal%22%3A%20%22normal%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22t-distribution%22%3A%20%22t%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Chi-squared%20distribution%22%3A%20%22chi2%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22F-distribution%22%3A%20%22f%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Standard%20normal%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Null%20distribution%22%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20tail_df_1%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%201%2C%0A%20%20%20%20%20%20%20%2030%2C%0A%20%20%20%20%20%20%20%20value%3D5%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20label%3D%22Degrees%20of%20freedom%201%22%2C%0A%20%20%20%20)%0A%20%20%20%20tail_df_2%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%201%2C%0A%20%20%20%20%20%20%20%2040%2C%0A%20%20%20%20%20%20%20%20value%3D15%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20label%3D%22Degrees%20of%20freedom%202%20(F%20only)%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20tail_df_1%2C%20tail_df_2%2C%20tail_distribution%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20tail_distribution)%3A%0A%20%20%20%20selected_tail_distribution%20%3D%20tail_distribution.value%0A%20%20%20%20if%20selected_tail_distribution%20in%20%7B%22normal%22%2C%20%22t%22%7D%3A%0A%20%20%20%20%20%20%20%20tail_observed%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20%20%20%20%20-4.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%204.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20step%3D0.1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20value%3D2.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Observed%20statistic%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20tail_alternative%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Lower%20tail%22%3A%20%22less%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Upper%20tail%22%3A%20%22greater%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Two-sided%22%3A%20%22two-sided%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20value%3D%22Two-sided%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Alternative%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20elif%20selected_tail_distribution%20%3D%3D%20%22chi2%22%3A%0A%20%20%20%20%20%20%20%20tail_observed%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20%20%20%20%200.1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%2015.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20step%3D0.1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20value%3D6.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Observed%20statistic%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20tail_alternative%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Lower%20tail%22%3A%20%22less%22%2C%20%22Upper%20tail%22%3A%20%22greater%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20value%3D%22Upper%20tail%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Alternative%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20tail_observed%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20%20%20%20%200.1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%205.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20step%3D0.1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20value%3D2.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Observed%20statistic%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20tail_alternative%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Lower%20tail%22%3A%20%22less%22%2C%20%22Upper%20tail%22%3A%20%22greater%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20value%3D%22Upper%20tail%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Alternative%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20return%20tail_alternative%2C%20tail_observed%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20FIGURE_SIZE_LINKED%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20stats%2C%0A%20%20%20%20tail_alternative%2C%0A%20%20%20%20tail_df_1%2C%0A%20%20%20%20tail_df_2%2C%0A%20%20%20%20tail_distribution%2C%0A%20%20%20%20tail_observed%2C%0A%20%20%20%20two_column_panel%2C%0A)%3A%0A%20%20%20%20tail_name%20%3D%20tail_distribution.value%0A%20%20%20%20tail_df1_value%20%3D%20int(tail_df_1.value)%0A%20%20%20%20tail_df2_value%20%3D%20int(tail_df_2.value)%0A%20%20%20%20tail_observed_value%20%3D%20float(tail_observed.value)%0A%20%20%20%20tail_direction%20%3D%20tail_alternative.value%0A%20%20%20%20if%20tail_name%20%3D%3D%20%22normal%22%3A%0A%20%20%20%20%20%20%20%20tail_reference%20%3D%20stats.norm()%0A%20%20%20%20%20%20%20%20tail_grid%20%3D%20np.linspace(-4.5%2C%204.5%2C%201_000)%0A%20%20%20%20%20%20%20%20tail_title%20%3D%20%22Standard%20normal%20distribution%22%0A%20%20%20%20elif%20tail_name%20%3D%3D%20%22t%22%3A%0A%20%20%20%20%20%20%20%20tail_reference%20%3D%20stats.t(df%3Dtail_df1_value)%0A%20%20%20%20%20%20%20%20tail_grid%20%3D%20np.linspace(-5.5%2C%205.5%2C%201_000)%0A%20%20%20%20%20%20%20%20tail_title%20%3D%20f%22t-distribution%20(df%20%3D%20%7Btail_df1_value%7D)%22%0A%20%20%20%20elif%20tail_name%20%3D%3D%20%22chi2%22%3A%0A%20%20%20%20%20%20%20%20tail_reference%20%3D%20stats.chi2(df%3Dtail_df1_value)%0A%20%20%20%20%20%20%20%20tail_grid%20%3D%20np.linspace(0%2C%20max(15%2C%20tail_reference.ppf(0.997))%2C%201_000)%0A%20%20%20%20%20%20%20%20tail_title%20%3D%20rf%22%24%5Cchi%5E2%24%20distribution%20(df%20%3D%20%7Btail_df1_value%7D)%22%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20tail_reference%20%3D%20stats.f(dfn%3Dtail_df1_value%2C%20dfd%3Dtail_df2_value)%0A%20%20%20%20%20%20%20%20tail_grid%20%3D%20np.linspace(0.01%2C%20max(5%2C%20tail_reference.ppf(0.995))%2C%201_000)%0A%20%20%20%20%20%20%20%20tail_title%20%3D%20f%22F%20distribution%20(%7Btail_df1_value%7D%2C%20%7Btail_df2_value%7D%20df)%22%0A%0A%20%20%20%20tail_density%20%3D%20tail_reference.pdf(tail_grid)%0A%20%20%20%20tail_cdf_values%20%3D%20tail_reference.cdf(tail_grid)%0A%20%20%20%20if%20tail_direction%20%3D%3D%20%22less%22%3A%0A%20%20%20%20%20%20%20%20tail_p_value%20%3D%20float(tail_reference.cdf(tail_observed_value))%0A%20%20%20%20%20%20%20%20tail_mask%20%3D%20tail_grid%20%3C%3D%20tail_observed_value%0A%20%20%20%20elif%20tail_direction%20%3D%3D%20%22greater%22%3A%0A%20%20%20%20%20%20%20%20tail_p_value%20%3D%20float(tail_reference.sf(tail_observed_value))%0A%20%20%20%20%20%20%20%20tail_mask%20%3D%20tail_grid%20%3E%3D%20tail_observed_value%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20tail_p_value%20%3D%20float(%0A%20%20%20%20%20%20%20%20%20%20%20%20min(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%201.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%202%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20*%20min(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tail_reference.cdf(tail_observed_value)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tail_reference.sf(tail_observed_value)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20tail_mask%20%3D%20np.abs(tail_grid)%20%3E%3D%20abs(tail_observed_value)%0A%0A%20%20%20%20tail_figure%2C%20(tail_pdf_axis%2C%20tail_cdf_axis)%20%3D%20plt.subplots(%0A%20%20%20%20%20%20%20%201%2C%202%2C%20figsize%3DFIGURE_SIZE_LINKED%0A%20%20%20%20)%0A%20%20%20%20tail_pdf_axis.plot(tail_grid%2C%20tail_density%2C%20color%3DCOLORS%5B%22purple%22%5D%2C%20linewidth%3D2.2)%0A%20%20%20%20tail_pdf_axis.fill_between(%0A%20%20%20%20%20%20%20%20tail_grid%2C%0A%20%20%20%20%20%20%20%200%2C%0A%20%20%20%20%20%20%20%20tail_density%2C%0A%20%20%20%20%20%20%20%20where%3Dtail_mask%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22vermillion%22%5D%2C%0A%20%20%20%20%20%20%20%20alpha%3D0.5%2C%0A%20%20%20%20%20%20%20%20label%3D%22p-value%20area%22%2C%0A%20%20%20%20)%0A%20%20%20%20tail_pdf_axis.axvline(%0A%20%20%20%20%20%20%20%20tail_observed_value%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22blue%22%5D%2C%0A%20%20%20%20%20%20%20%20linestyle%3D%22--%22%2C%0A%20%20%20%20%20%20%20%20linewidth%3D1.5%2C%0A%20%20%20%20%20%20%20%20label%3D%22Observed%20statistic%22%2C%0A%20%20%20%20)%0A%20%20%20%20if%20tail_direction%20%3D%3D%20%22two-sided%22%3A%0A%20%20%20%20%20%20%20%20tail_pdf_axis.axvline(%0A%20%20%20%20%20%20%20%20%20%20%20%20-tail_observed_value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22blue%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20linestyle%3D%22--%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20linewidth%3D1.5%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20tail_pdf_axis.set(%0A%20%20%20%20%20%20%20%20title%3D%22Probability%20density%22%2C%0A%20%20%20%20%20%20%20%20xlabel%3D%22Test%20statistic%22%2C%0A%20%20%20%20%20%20%20%20ylabel%3D%22Density%22%2C%0A%20%20%20%20%20%20%20%20xlim%3D(tail_grid%5B0%5D%2C%20tail_grid%5B-1%5D)%2C%0A%20%20%20%20%20%20%20%20ylim%3D(0%2C%20np.nanmax(tail_density)%20*%201.12)%2C%0A%20%20%20%20)%0A%20%20%20%20tail_pdf_axis.grid(axis%3D%22y%22%2C%20linestyle%3D%22%3A%22%2C%20alpha%3D0.35)%0A%20%20%20%20tail_pdf_axis.legend(frameon%3DFalse%2C%20fontsize%3D7)%0A%0A%20%20%20%20tail_cdf_at_observed%20%3D%20float(tail_reference.cdf(tail_observed_value))%0A%20%20%20%20tail_cdf_axis.plot(tail_grid%2C%20tail_cdf_values%2C%20color%3DCOLORS%5B%22green%22%5D%2C%20linewidth%3D2.2)%0A%20%20%20%20tail_cdf_axis.plot(%0A%20%20%20%20%20%20%20%20%5Btail_observed_value%5D%2C%0A%20%20%20%20%20%20%20%20%5Btail_cdf_at_observed%5D%2C%0A%20%20%20%20%20%20%20%20marker%3D%22o%22%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22blue%22%5D%2C%0A%20%20%20%20%20%20%20%20markersize%3D6%2C%0A%20%20%20%20)%0A%20%20%20%20tail_cdf_axis.axvline(%0A%20%20%20%20%20%20%20%20tail_observed_value%2C%20color%3DCOLORS%5B%22gray%22%5D%2C%20linestyle%3D%22%3A%22%2C%20linewidth%3D1.2%0A%20%20%20%20)%0A%20%20%20%20tail_cdf_axis.axhline(%0A%20%20%20%20%20%20%20%20tail_cdf_at_observed%2C%20color%3DCOLORS%5B%22gray%22%5D%2C%20linestyle%3D%22%3A%22%2C%20linewidth%3D1.2%0A%20%20%20%20)%0A%20%20%20%20tail_cdf_axis.set(%0A%20%20%20%20%20%20%20%20title%3D%22Cumulative%20distribution%22%2C%0A%20%20%20%20%20%20%20%20xlabel%3D%22Test%20statistic%22%2C%0A%20%20%20%20%20%20%20%20ylabel%3D%22Cumulative%20probability%22%2C%0A%20%20%20%20%20%20%20%20xlim%3D(tail_grid%5B0%5D%2C%20tail_grid%5B-1%5D)%2C%0A%20%20%20%20%20%20%20%20ylim%3D(0%2C%201.02)%2C%0A%20%20%20%20)%0A%20%20%20%20tail_cdf_axis.grid(axis%3D%22y%22%2C%20linestyle%3D%22%3A%22%2C%20alpha%3D0.35)%0A%20%20%20%20tail_figure.suptitle(tail_title%2C%20fontsize%3D10)%0A%20%20%20%20tail_figure.tight_layout()%0A%0A%20%20%20%20tail_controls_items%20%3D%20%5B%0A%20%20%20%20%20%20%20%20tail_distribution%2C%0A%20%20%20%20%20%20%20%20tail_observed%2C%0A%20%20%20%20%20%20%20%20tail_alternative%2C%0A%20%20%20%20%20%20%20%20tail_df_1%2C%0A%20%20%20%20%5D%0A%20%20%20%20if%20tail_name%20%3D%3D%20%22f%22%3A%0A%20%20%20%20%20%20%20%20tail_controls_items.append(tail_df_2)%0A%20%20%20%20tail_controls_items.append(%0A%20%20%20%20%20%20%20%20mo.stat(f%22%7Btail_p_value%3A.4f%7D%22%2C%20label%3D%22Tail%20probability%22%2C%20bordered%3DTrue)%0A%20%20%20%20)%0A%20%20%20%20tail_asymmetry_note%20%3D%20(%0A%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22This%20curve%20has%20different%20shapes%20on%20its%20two%20sides%2C%20so%20the%20explorer%20shows%20one%20tail%20at%20a%20time.%20Whether%20small%20values%2C%20large%20values%2C%20or%20both%20count%20against%20the%20null%20depends%20on%20the%20particular%20test.%20Doubling%20the%20smaller%20tail%20area%20is%20not%20a%20general%20rule%20for%20every%20test.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20if%20tail_name%20in%20%7B%22chi2%22%2C%20%22f%22%7D%0A%20%20%20%20%20%20%20%20else%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22These%20curves%20are%20symmetric%20around%20zero.%20The%20two-sided%20p-value%20adds%20the%20areas%20at%20least%20as%20far%20from%20zero%20as%20the%20observed%20statistic%2C%20on%20both%20sides.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20two_column_panel(%0A%20%20%20%20%20%20%20%20mo.vstack(tail_controls_items)%2C%0A%20%20%20%20%20%20%20%20mo.vstack(%5Btail_figure%2C%20tail_asymmetry_note%5D)%2C%0A%20%20%20%20%20%20%20%20widths%3D(1%2C%203)%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20scenario_direction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Lower%20%2F%20greater%20%2F%20two-sided%22%3A%20%22wrong_1%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Lower%20%2F%20lower%20%2F%20two-sided%22%3A%20%22correct%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Two-sided%20%2F%20lower%20%2F%20greater%22%3A%20%22wrong_2%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3DNone%2C%0A%20%20%20%20%20%20%20%20label%3D%22Choose%20the%20three%20alternatives%20in%20order%22%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%23%23%20Checkpoint%3A%20choose%20the%20alternatives%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20Calculate%20each%20difference%20as%20intervention%20minus%20reference%2C%20and%20decide%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20scientific%20question%20before%20examining%20outcomes.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%201.%20Does%20a%20treatment%20**reduce**%20mean%20blood%20pressure%3F%0A%20%20%20%20%20%20%20%20%20%20%20%202.%20Does%20a%20mutation%20**decrease**%20enzyme%20activity%3F%0A%20%20%20%20%20%20%20%20%20%20%20%203.%20Does%20a%20culture%20condition%20**change**%20mean%20growth%20rate%20in%20either%20direction%3F%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20scenario_direction%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%20(scenario_direction%2C)%0A%0A%0A%40app.cell%0Adef%20_(review_feedback%2C%20scenario_direction)%3A%0A%20%20%20%20scenario_result%20%3D%20review_feedback(%0A%20%20%20%20%20%20%20%20scenario_direction.value%2C%0A%20%20%20%20%20%20%20%20correct_value%3D%22correct%22%2C%0A%20%20%20%20%20%20%20%20correct_text%3D%22**Correct.**%20For%20intervention%20minus%20reference%2C%20reductions%20in%20blood%20pressure%20and%20enzyme%20activity%20correspond%20to%20negative%20differences%20and%20lower-tailed%20alternatives.%20A%20growth-rate%20change%20in%20either%20direction%20requires%20a%20two-sided%20alternative.%20Reversing%20the%20subtraction%20would%20reverse%20the%20one-sided%20directions.%22%2C%0A%20%20%20%20%20%20%20%20incorrect_text%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22wrong_1%22%3A%20%22The%20blood-pressure%20and%20growth-rate%20directions%20are%20right.%20For%20mutation%20minus%20reference%2C%20decreased%20enzyme%20activity%20gives%20a%20negative%20difference%2C%20so%20the%20second%20alternative%20must%20also%20be%20lower-tailed%2C%20not%20greater-tailed.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22wrong_2%22%3A%20%22The%20enzyme-activity%20direction%20is%20right.%20The%20first%20question%20asks%20specifically%20for%20a%20reduction%2C%20so%20its%20alternative%20is%20lower-tailed%3B%20the%20third%20includes%20both%20an%20increase%20and%20a%20decrease%2C%20so%20it%20must%20be%20two-sided%20rather%20than%20greater-tailed.%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20)%0A%20%20%20%20scenario_result%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%0A%20%20%20%20%23%23%203.%20A%20testing%20workflow%20and%20one-sample%20mean%20tests%0A%0A%20%20%20%20Plan%20the%20test%20around%20the%20biological%20question%3A%0A%0A%20%20%20%201.%20define%20what%20you%20want%20to%20measure%2C%20which%20population%20you%20want%20to%20learn%20about%2C%0A%20%20%20%20%20%20%20and%20how%20you%20will%20obtain%20independent%20observations%3B%0A%20%20%20%202.%20state%20%24H_0%24%20and%20%24H_1%24%2C%20choose%20a%20test%20suited%20to%20the%20measurements%20and%20design%2C%0A%20%20%20%20%20%20%20and%20set%20the%20decision%20threshold%20%24%5Calpha%24%20(%E2%80%9Calpha%E2%80%9D)%3B%0A%20%20%20%203.%20collect%20the%20data%2C%20check%20the%20assumptions%20that%20can%20be%20assessed%20from%20them%2C%0A%20%20%20%20%20%20%20and%20calculate%20the%20test%20statistic%20and%20p-value%3B%0A%20%20%20%204.%20compare%20the%20p-value%20with%20the%20planned%20threshold%3B%0A%20%20%20%205.%20report%20the%20estimated%20effect%2C%20confidence%20interval%2C%20test%20result%2C%20and%20limitations.%0A%0A%20%20%20%20The%20**significance%20level**%2C%20%24%5Calpha%24%2C%20is%20the%20threshold%20used%20to%20make%20the%20decision.%0A%20%20%20%20This%20chapter%20calls%20a%20result%20**statistically%20significant**%20when%20%24p%5Cleq%5Calpha%24%2C%0A%20%20%20%20and%20we%20**reject%20%24H_0%24**.%20Otherwise%2C%20we%20**fail%20to%20reject%20%24H_0%24**%3A%20the%20data%20do%20not%0A%20%20%20%20provide%20enough%20evidence%20against%20it%20with%20this%20test.%20This%20does%20not%20establish%20that%0A%20%20%20%20%24H_0%24%20is%20true.%20Section%205%20explains%20how%20%24%5Calpha%24%20relates%20to%20false%20alarms.%0A%0A%20%20%20%20Use%20the%20independent%20biological%20units%20identified%20in%20Chapter%202%2C%20Section%201%2C%0A%20%20%20%20as%20the%20sample%20size%3B%20technical%20replicates%20do%20not%20increase%20that%20count.%0A%20%20%20%20Independence%20comes%20from%20the%20design%2C%20not%20a%20normality%20check.%20Choosing%20the%20test%0A%20%20%20%20direction%20or%20threshold%20after%20seeing%20the%20result%20can%20increase%20false%20alarms.%0A%0A%20%20%20%20%23%23%23%20Worked%20example%3A%20birth%20weight%0A%0A%20%20%20%20In%20this%20teaching%20example%2C%20ten%20newborns%20have%20a%20mean%20birth%20weight%20of%202200%20g%2C%0A%20%20%20%20compared%20with%20a%20fixed%20reference%20of%203000%20g.%20A%20**one-sample%20test**%20compares%20the%0A%20%20%20%20mean%20of%20one%20sample%20with%20such%20a%20reference.%20Let%20%24%5Cbar%20x%24%20be%20the%20observed%20sample%0A%20%20%20%20mean%2C%20%24%5Cmu%24%20(%E2%80%9Cmu%E2%80%9D)%20the%20population%20mean%20we%20want%20to%20learn%20about%2C%20and%20%24%5Cmu_0%24%20the%0A%20%20%20%20value%20proposed%20by%20%24H_0%24.%20Here%20the%20estimated%20difference%20is%20%242200-3000%3D-800%24%20g.%0A%0A%20%20%20%20Apply%20Chapter%202's%20distinction%3A%20**SD**%20describes%20variation%20between%20newborns%3B%0A%20%20%20%20**SE**%20describes%20sampling%20uncertainty%20in%20their%20mean.%20The%20test%20statistic%20divides%0A%20%20%20%20the%20observed%20mean%20difference%20by%20its%20SE.%0A%0A%20%20%20%20With%20known%20population%20SD%20%24%5Csigma%24%2C%20use%20%24SE%3D%5Csigma%2F%5Csqrt%20n%24%20and%20a%20**z%20test**.%0A%20%20%20%20With%20SD%20estimated%20by%20sample%20%24s%24%2C%20use%20the%20estimated%20SE%20%24s%2F%5Csqrt%20n%24%20and%20a%0A%20%20%20%20**t%20test**%20with%20%24df%3Dn-1%24%20(here%209).%20These%20are%20the%20same%20two%20uncertainty%20models%0A%20%20%20%20used%20for%20the%20mean%20intervals%20in%20Chapter%202%2C%20Section%205.%0A%0A%20%20%20%20**Try%20this%3A**%20begin%20with%20the%20t%20test%20and%20move%20the%20observed%20mean%20towards%20the%0A%20%20%20%20null%20mean.%20The%20difference%20in%20standard-error%20units%20approaches%20zero%20and%20the%0A%20%20%20%20two-sided%20p-value%20grows.%20Restore%20the%20original%20means%2C%20then%20increase%20%24n%24%20or%20decrease%20the%0A%20%20%20%20sample%20SD%20to%20see%20stronger%20evidence%20for%20the%20same%20mean%20difference.%20Compare%0A%20%20%20%20z%20and%20t%20tests%20at%20the%20same%20SD%3A%20set%20the%20visible%20SD%20control%2C%20switch%20test%20type%2C%0A%20%20%20%20then%20set%20the%20newly%20visible%20SD%20control%20to%20the%20same%20value.%20Each%20test%20retains%0A%20%20%20%20its%20own%20SD%20setting%2C%20and%20only%20the%20selected%20test's%20SD%20enters%20its%20calculation.%20Finally%20vary%0A%20%20%20%20%24%5Calpha%24%3B%20the%20decision%20can%20change%20while%20the%20p-value%20stays%20fixed.%20These%20sliders%0A%20%20%20%20describe%20hypothetical%20sample%20summaries%20rather%20than%20resampling%20raw%20birth%20weights.%0A%0A%20%20%20%20**Effect%20versus%20precision%3A**%20keep%20both%20means%20and%20the%20selected%20SD%20fixed%2C%20then%0A%20%20%20%20compare%20%24n%3D10%24%20with%20%24n%3D40%24.%20The%20raw%20difference%20and%20standardized%20effect%20stay%0A%20%20%20%20constant%2C%20while%20the%20standard%20error%20halves%20and%20the%20interval%20narrows.%20For%20a%0A%20%20%20%20nonzero%20difference%20in%20a%20two-sided%20test%2C%20the%20p-value%20falls.%20This%20is%20a%20controlled%20illustration%2C%0A%20%20%20%20not%20a%20sequence%20of%20newly%20sampled%20data.%0A%0A%20%20%20%20The%20standardized%20effect%20expresses%20the%20observed%20difference%20in%20**SD%20units**.%0A%20%20%20%20For%20the%20t%20test%2C%20%24d%3D(%5Cbar%20x-%5Cmu_0)%2Fs%24%20is%20**Cohen's%20d%20for%20a%20one-sample%20comparison**%3A%0A%20%20%20%20it%20uses%20the%20SD%20estimated%20from%20the%20sample.%20For%20the%20z%20test%2C%0A%20%20%20%20%24(%5Cbar%20x-%5Cmu_0)%2F%5Csigma%24%20uses%20the%20known%20population%20SD%20instead.%0A%20%20%20%20The%20test%20statistic%20divides%20by%20**SE**%20rather%20than%20SD%2C%20so%20it%20changes%20with%20n%0A%20%20%20%20even%20when%20the%20standardized%20effect%20stays%20fixed.%0A%20%20%20%20Neither%20a%20small%20p-value%20nor%20a%20large%20n%20makes%20the%20observed%20effect%20larger%20or%0A%20%20%20%20establishes%20biological%20importance.%0A%0A%20%20%20%20The%20displayed%20confidence%20interval%2C%20with%20confidence%20level%20%241-%5Calpha%24%20(95%25%20when%0A%20%20%20%20%24%5Calpha%3D0.05%24)%2C%20estimates%20%24%5Cmu-%5Cmu_0%24%20in%20grams%2C%20treating%0A%20%20%20%20%24%5Cmu_0%24%20as%20fixed.%20It%20is%20two-sided%20for%20%E2%80%9CDifferent%20mean%E2%80%9D%2C%20a%20lower%20bound%20for%0A%20%20%20%20%E2%80%9CHigher%20mean%E2%80%9D%2C%20and%20an%20upper%20bound%20for%20%E2%80%9CLower%20mean%E2%80%9D.%20A%20one-sided%20interval%0A%20%20%20%20gives%20a%20limit%20in%20just%20one%20direction%3B%20the%20other%20end%20is%20unbounded%2C%20so%20its%20total%0A%20%20%20%20width%20is%20shown%20as%20infinite.%0A%0A%20%20%20%20**Connect%20the%20displays%3A**%20zero%20means%20no%20difference%20from%20the%20reference.%0A%20%20%20%20Compare%20its%20position%20relative%20to%20the%20interval%20with%20the%20test%20decision.%0A%20%20%20%20Section%204%20explains%20the%20correspondence%2C%20including%20the%20exact%20boundary.%0A%0A%20%20%20%20These%20calculations%20assume%20independent%20observations.%20With%20small%20samples%2C%20the%0A%20%20%20%20z%20and%20t%20tests%20used%20here%20require%20a%20normally%20distributed%20population%20for%20their%0A%20%20%20%20stated%20error%20rates%20to%20be%20exact.%20With%20larger%20samples%20they%20can%20be%20useful%0A%20%20%20%20approximations%2C%20but%20strong%20skew%20or%20extreme%20observations%20may%20still%20cause%20problems.%0A%20%20%20%20Here%20we%20treat%203000%20g%20as%20a%20fixed%20reference%3B%20comparing%20with%20a%20mean%20estimated%20from%0A%20%20%20%20another%20sample%20would%20also%20require%20accounting%20for%20that%20sample's%20uncertainty.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mean_test_type%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Known%20population%20SD%3A%20z%20test%22%3A%20%22z%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Estimated%20sample%20SD%3A%20t%20test%22%3A%20%22t%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Estimated%20sample%20SD%3A%20t%20test%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22One-sample%20test%22%2C%0A%20%20%20%20)%0A%20%20%20%20mean_observed%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%201500%2C%0A%20%20%20%20%20%20%20%203500%2C%0A%20%20%20%20%20%20%20%20step%3D50%2C%0A%20%20%20%20%20%20%20%20value%3D2200%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20label%3D%22Observed%20mean%20%5Bg%5D%22%2C%0A%20%20%20%20)%0A%20%20%20%20mean_null%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%202000%2C%0A%20%20%20%20%20%20%20%203500%2C%0A%20%20%20%20%20%20%20%20step%3D50%2C%0A%20%20%20%20%20%20%20%20value%3D3000%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20label%3D%22Null%20mean%20%CE%BC%E2%82%80%20%5Bg%5D%22%2C%0A%20%20%20%20)%0A%20%20%20%20mean_population_sd%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20300%2C%0A%20%20%20%20%20%20%20%201600%2C%0A%20%20%20%20%20%20%20%20step%3D50%2C%0A%20%20%20%20%20%20%20%20value%3D1000%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20label%3D%22Known%20population%20SD%20%CF%83%20%5Bg%5D%22%2C%0A%20%20%20%20)%0A%20%20%20%20mean_sample_sd%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20300%2C%0A%20%20%20%20%20%20%20%201600%2C%0A%20%20%20%20%20%20%20%20step%3D50%2C%0A%20%20%20%20%20%20%20%20value%3D900%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20label%3D%22Estimated%20sample%20SD%20s%20%5Bg%5D%22%2C%0A%20%20%20%20)%0A%20%20%20%20mean_sample_size%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%202%2C%0A%20%20%20%20%20%20%20%20100%2C%0A%20%20%20%20%20%20%20%20value%3D10%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20label%3D%22Sample%20size%20n%22%2C%0A%20%20%20%20)%0A%20%20%20%20mean_alpha%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%200.01%2C%0A%20%20%20%20%20%20%20%200.10%2C%0A%20%20%20%20%20%20%20%20step%3D0.01%2C%0A%20%20%20%20%20%20%20%20value%3D0.05%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20label%3D%22Decision%20threshold%20%CE%B1%22%2C%0A%20%20%20%20)%0A%20%20%20%20mean_alternative%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Lower%20mean%22%3A%20%22less%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Higher%20mean%22%3A%20%22greater%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Different%20mean%22%3A%20%22two-sided%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Different%20mean%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Alternative%20hypothesis%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20mean_alpha%2C%0A%20%20%20%20%20%20%20%20mean_alternative%2C%0A%20%20%20%20%20%20%20%20mean_null%2C%0A%20%20%20%20%20%20%20%20mean_observed%2C%0A%20%20%20%20%20%20%20%20mean_population_sd%2C%0A%20%20%20%20%20%20%20%20mean_sample_sd%2C%0A%20%20%20%20%20%20%20%20mean_sample_size%2C%0A%20%20%20%20%20%20%20%20mean_test_type%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20FIGURE_SIZE_STANDARD%2C%0A%20%20%20%20compact_table%2C%0A%20%20%20%20mean_alpha%2C%0A%20%20%20%20mean_alternative%2C%0A%20%20%20%20mean_null%2C%0A%20%20%20%20mean_observed%2C%0A%20%20%20%20mean_population_sd%2C%0A%20%20%20%20mean_sample_sd%2C%0A%20%20%20%20mean_sample_size%2C%0A%20%20%20%20mean_test_type%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20one_sample_mean_test%2C%0A%20%20%20%20pd%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20stats%2C%0A%20%20%20%20two_column_panel%2C%0A)%3A%0A%20%20%20%20anatomy_test_type%20%3D%20mean_test_type.value%0A%20%20%20%20anatomy_mean%20%3D%20float(mean_observed.value)%0A%20%20%20%20anatomy_null%20%3D%20float(mean_null.value)%0A%20%20%20%20anatomy_n%20%3D%20int(mean_sample_size.value)%0A%20%20%20%20anatomy_alpha%20%3D%20float(mean_alpha.value)%0A%20%20%20%20anatomy_alternative%20%3D%20mean_alternative.value%0A%20%20%20%20anatomy_scale%20%3D%20float(%0A%20%20%20%20%20%20%20%20mean_population_sd.value%20if%20anatomy_test_type%20%3D%3D%20%22z%22%20else%20mean_sample_sd.value%0A%20%20%20%20)%0A%20%20%20%20anatomy_result%20%3D%20one_sample_mean_test(%0A%20%20%20%20%20%20%20%20anatomy_mean%2C%0A%20%20%20%20%20%20%20%20anatomy_null%2C%0A%20%20%20%20%20%20%20%20anatomy_scale%2C%0A%20%20%20%20%20%20%20%20anatomy_n%2C%0A%20%20%20%20%20%20%20%20anatomy_test_type%2C%0A%20%20%20%20%20%20%20%20anatomy_alternative%2C%0A%20%20%20%20%20%20%20%20anatomy_alpha%2C%0A%20%20%20%20)%0A%20%20%20%20anatomy_reference%20%3D%20(%0A%20%20%20%20%20%20%20%20stats.norm%0A%20%20%20%20%20%20%20%20if%20anatomy_test_type%20%3D%3D%20%22z%22%0A%20%20%20%20%20%20%20%20else%20stats.t(df%3Danatomy_result%5B%22degrees_of_freedom%22%5D)%0A%20%20%20%20)%0A%20%20%20%20anatomy_grid%20%3D%20np.linspace(-5.5%2C%205.5%2C%201_000)%0A%20%20%20%20anatomy_density%20%3D%20anatomy_reference.pdf(anatomy_grid)%0A%20%20%20%20anatomy_statistic%20%3D%20anatomy_result%5B%22statistic%22%5D%0A%20%20%20%20if%20anatomy_alternative%20%3D%3D%20%22less%22%3A%0A%20%20%20%20%20%20%20%20anatomy_tail_mask%20%3D%20anatomy_grid%20%3C%3D%20anatomy_statistic%0A%20%20%20%20elif%20anatomy_alternative%20%3D%3D%20%22greater%22%3A%0A%20%20%20%20%20%20%20%20anatomy_tail_mask%20%3D%20anatomy_grid%20%3E%3D%20anatomy_statistic%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20anatomy_tail_mask%20%3D%20np.abs(anatomy_grid)%20%3E%3D%20abs(anatomy_statistic)%0A%0A%20%20%20%20anatomy_figure%2C%20anatomy_axis%20%3D%20plt.subplots(figsize%3DFIGURE_SIZE_STANDARD)%0A%20%20%20%20anatomy_axis.plot(%0A%20%20%20%20%20%20%20%20anatomy_grid%2C%0A%20%20%20%20%20%20%20%20anatomy_density%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22purple%22%5D%2C%0A%20%20%20%20%20%20%20%20linewidth%3D2.2%2C%0A%20%20%20%20%20%20%20%20label%3D(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Standard%20normal%22%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20anatomy_test_type%20%3D%3D%20%22z%22%0A%20%20%20%20%20%20%20%20%20%20%20%20else%20f%22t-distribution%20(df%20%3D%20%7Banatomy_n%20-%201%7D)%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20)%0A%20%20%20%20anatomy_axis.fill_between(%0A%20%20%20%20%20%20%20%20anatomy_grid%2C%0A%20%20%20%20%20%20%20%200%2C%0A%20%20%20%20%20%20%20%20anatomy_density%2C%0A%20%20%20%20%20%20%20%20where%3Danatomy_tail_mask%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22vermillion%22%5D%2C%0A%20%20%20%20%20%20%20%20alpha%3D0.5%2C%0A%20%20%20%20%20%20%20%20label%3D%22p-value%20area%22%2C%0A%20%20%20%20)%0A%20%20%20%20anatomy_axis.axvline(%0A%20%20%20%20%20%20%20%20anatomy_statistic%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22blue%22%5D%2C%0A%20%20%20%20%20%20%20%20linestyle%3D%22--%22%2C%0A%20%20%20%20%20%20%20%20linewidth%3D1.7%2C%0A%20%20%20%20%20%20%20%20label%3Df%22Observed%20%7Banatomy_test_type%7D%20%3D%20%7Banatomy_statistic%3A.2f%7D%22%2C%0A%20%20%20%20)%0A%20%20%20%20anatomy_axis.set(%0A%20%20%20%20%20%20%20%20xlabel%3D%22Standardized%20test%20statistic%22%2C%0A%20%20%20%20%20%20%20%20ylabel%3D%22Probability%20density%22%2C%0A%20%20%20%20%20%20%20%20xlim%3D(-5.5%2C%205.5)%2C%0A%20%20%20%20%20%20%20%20ylim%3D(0%2C%200.44)%2C%0A%20%20%20%20)%0A%20%20%20%20anatomy_axis.grid(axis%3D%22y%22%2C%20linestyle%3D%22%3A%22%2C%20alpha%3D0.35)%0A%20%20%20%20anatomy_axis.legend(frameon%3DFalse%2C%20fontsize%3D8)%0A%20%20%20%20anatomy_figure.tight_layout()%0A%0A%20%20%20%20anatomy_interval_low%2C%20anatomy_interval_high%20%3D%20anatomy_result%5B%22difference_interval%22%5D%0A%20%20%20%20anatomy_interval_text%20%3D%20(%0A%20%20%20%20%20%20%20%20f%22(%E2%88%92%E2%88%9E%2C%20%7Banatomy_interval_high%3A%2B.1f%7D%5D%20g%22%0A%20%20%20%20%20%20%20%20if%20anatomy_alternative%20%3D%3D%20%22less%22%0A%20%20%20%20%20%20%20%20else%20f%22%5B%7Banatomy_interval_low%3A%2B.1f%7D%2C%20%E2%88%9E)%20g%22%0A%20%20%20%20%20%20%20%20if%20anatomy_alternative%20%3D%3D%20%22greater%22%0A%20%20%20%20%20%20%20%20else%20f%22%5B%7Banatomy_interval_low%3A%2B.1f%7D%2C%20%7Banatomy_interval_high%3A%2B.1f%7D%5D%20g%22%0A%20%20%20%20)%0A%20%20%20%20anatomy_effect_label%20%3D%20(%0A%20%20%20%20%20%20%20%20%22Effect%20%2F%20population%20%CF%83%22%20if%20anatomy_test_type%20%3D%3D%20%22z%22%20else%20%22Sample%20Cohen's%20d%22%0A%20%20%20%20)%0A%20%20%20%20anatomy_rows%20%3D%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Component%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Difference%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20anatomy_effect_label%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B100%20*%20(1%20-%20anatomy_alpha)%3A.0f%7D%25%20CI%20for%20%CE%BC%20%E2%88%92%20%CE%BC%E2%82%80%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Interval%20width%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Standard%20error%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Test%20statistic%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Degrees%20of%20freedom%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22p-value%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Value%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Banatomy_result%5B'difference'%5D%3A%2B.0f%7D%20g%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Banatomy_result%5B'standardized_effect'%5D%3A%2B.3f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20anatomy_interval_text%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Banatomy_result%5B'interval_width'%5D%3A.1f%7D%20g%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20anatomy_alternative%20%3D%3D%20%22two-sided%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22%E2%88%9E%20(one-sided)%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Banatomy_result%5B'standard_error'%5D%3A.1f%7D%20g%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Banatomy_result%5B'statistic'%5D%3A.3f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22not%20applicable%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20anatomy_result%5B%22degrees_of_freedom%22%5D%20is%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20str(anatomy_result%5B%22degrees_of_freedom%22%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Banatomy_result%5B'p_value'%5D%3A.4f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20anatomy_table%20%3D%20compact_table(%0A%20%20%20%20%20%20%20%20anatomy_rows%2C%0A%20%20%20%20%20%20%20%20column_widths%3D%7B%22Component%22%3A%20180%2C%20%22Value%22%3A%20210%7D%2C%0A%20%20%20%20)%0A%20%20%20%20anatomy_decision%20%3D%20%22reject%22%20if%20anatomy_result%5B%22reject%22%5D%20else%20%22fail%20to%20reject%22%0A%20%20%20%20anatomy_symbol%20%3D%20%22z%22%20if%20anatomy_test_type%20%3D%3D%20%22z%22%20else%20%22t%22%0A%20%20%20%20anatomy_df_text%20%3D%20(%0A%20%20%20%20%20%20%20%20%22%22%20if%20anatomy_test_type%20%3D%3D%20%22z%22%20else%20f%22(%7Banatomy_result%5B'degrees_of_freedom'%5D%7D)%22%0A%20%20%20%20)%0A%20%20%20%20anatomy_report%20%3D%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22The%20estimated%20difference%20was%20%7Banatomy_result%5B'difference'%5D%3A%2B.0f%7D%20g%3B%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Banatomy_symbol%7D%7Banatomy_df_text%7D%20%3D%20%7Banatomy_statistic%3A.2f%7D%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22p%20%3D%20%7Banatomy_result%5B'p_value'%5D%3A.4f%7D.%20At%20%CE%B1%20%3D%20%7Banatomy_alpha%3A.2f%7D%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22we%20**%7Banatomy_decision%7D%20%24H_0%24**.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20kind%3D%22info%22%20if%20anatomy_result%5B%22reject%22%5D%20else%20%22warn%22%2C%0A%20%20%20%20)%0A%20%20%20%20anatomy_controls%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mean_test_type%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mean_observed%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mean_null%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mean_population_sd%20if%20anatomy_test_type%20%3D%3D%20%22z%22%20else%20mean_sample_sd%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mean_sample_size%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mean_alpha%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mean_alternative%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20two_column_panel(%0A%20%20%20%20%20%20%20%20anatomy_controls%2C%0A%20%20%20%20%20%20%20%20mo.vstack(%5Banatomy_figure%2C%20anatomy_table%2C%20anatomy_report%5D)%2C%0A%20%20%20%20%20%20%20%20widths%3D(1%2C%202)%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20test_statistic_derivation%20%3D%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Where%20the%20formulas%20come%20from%3A%20difference%20divided%20by%20uncertainty%0A%0A%20%20%20%20Under%20%24H_0%3A%5Cmu%3D%5Cmu_0%24%2C%20the%20sample%20mean%20has%20expected%20value%20%24%5Cmu_0%24%20and%20standard%0A%20%20%20%20error%20%24%5Csigma%2F%5Csqrt%20n%24.%20Subtract%20the%20null%20value%20and%20divide%20by%20that%20standard%20error%3A%0A%0A%20%20%20%20%24%24Z%3D%5Cfrac%7B%5Cbar%20X-%5Cmu_0%7D%7B%5Csigma%2F%5Csqrt%20n%7D.%24%24%0A%0A%20%20%20%20Here%20%24%5Cbar%20X%24%20represents%20the%20sample%20mean.%20If%20the%20population%20SD%20is%20unknown%2C%0A%20%20%20%20replace%20it%20with%20the%20sample%20SD%2C%20%24S%24%20(written%20%24s%24%20for%20an%20observed%20sample)%3A%0A%0A%20%20%20%20%24%24T%3D%5Cfrac%7B%5Cbar%20X-%5Cmu_0%7D%7BS%2F%5Csqrt%20n%7D%2C%5Cqquad%20df%3Dn-1.%24%24%0A%0A%20%20%20%20When%20independent%20observations%20come%20from%20a%20normal%20population%2C%20%24Z%24%20follows%20the%0A%20%20%20%20standard%20normal%20distribution%20and%20%24T%24%20follows%20a%20t-distribution%20with%20%24n-1%24%20degrees%0A%20%20%20%20of%20freedom.%20The%20t%20curve%20allows%20more%20values%20far%20from%20zero%20because%20the%20SD%20in%20the%0A%20%20%20%20denominator%20is%20itself%20estimated%20from%20the%20sample.%20Both%20statistics%20express%20the%0A%20%20%20%20observed%20difference%20in%20**standard-error%20units**.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20mo.accordion(%0A%20%20%20%20%20%20%20%20%7B%22Derivation%20%E2%80%94%20one-sample%20z%20and%20t%20statistics%22%3A%20test_statistic_derivation%7D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%0A%20%20%20%20%23%23%204.%20Tests%20and%20confidence%20intervals%0A%0A%20%20%20%20Chapter%202%20introduced%20confidence%20intervals%20through%20repeated-sampling%20coverage.%0A%20%20%20%20Here%20we%20connect%20them%20to%20tests%3A%20which%20proposed%20population%20means%20are%20compatible%0A%20%20%20%20with%20the%20data%20at%20the%20matching%20threshold%3F%20This%20panel%20shows%20an%20interval%20for%0A%20%20%20%20%24%5Cmu%24%20itself%2C%20rather%20than%20for%20the%20difference%20%24%5Cmu-%5Cmu_0%24%20shown%20above.%0A%0A%20%20%20%20For%20the%20same%20data%20and%20assumptions%2C%20a%20two-sided%2095%25%20t%20interval%20and%20a%20two-sided%0A%20%20%20%20t%20test%20at%20%24%5Calpha%3D0.05%24%20answer%20related%20questions.%20A%20null%20mean%20strictly%20outside%0A%20%20%20%20the%20interval%20gives%20%24p%3C0.05%24%3B%20one%20strictly%20inside%20gives%20%24p%3E0.05%24.%20At%20an%20endpoint%2C%0A%20%20%20%20%24p%3D0.05%24%2C%20which%20this%20notebook%20counts%20as%20rejection.%20The%20confidence%20level%2C%20test%0A%20%20%20%20type%2C%20and%20choice%20of%20one%20or%20two%20sides%20must%20match%20for%20this%20connection%20to%20hold.%0A%0A%20%20%20%20The%20interval%20also%20helps%20answer%20the%20biological%20question%3A%20does%20the%20range%20include%0A%20%20%20%20only%20changes%20large%20enough%20to%20matter%2C%20or%20both%20negligible%20and%20important%20changes%3F%0A%20%20%20%20This%20information%20is%20lost%20when%20we%20report%20only%20%E2%80%9Csignificant%E2%80%9D%20or%20%E2%80%9Cnot%20significant%E2%80%9D.%0A%0A%20%20%20%20**Try%20this%3A**%20at%2095%25%20confidence%2C%20slide%20the%20null%20mean%20across%20the%20interval%20and%0A%20%20%20%20observe%20where%20the%20two-sided%20decision%20changes.%20The%20estimate%2C%20SD%2C%20and%20sample%0A%20%20%20%20size%20are%20fixed%20here%20at%202200%20g%2C%20900%20g%2C%20and%2010%3B%20moving%20the%20null%20does%20not%20move%0A%20%20%20%20the%20interval.%20Increase%20confidence%20to%2099%25%20and%20compare%20the%20wider%20interval%20with%0A%20%20%20%20the%20stricter%20matching%20threshold%20%24%5Calpha%3D0.01%24.%20This%20panel%20is%20independent%20of%0A%20%20%20%20the%20hypothetical%20summaries%20selected%20in%20the%20preceding%20activity.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20duality_null%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%201500%2C%0A%20%20%20%20%20%20%20%203500%2C%0A%20%20%20%20%20%20%20%20step%3D25%2C%0A%20%20%20%20%20%20%20%20value%3D3000%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20label%3D%22Null%20mean%20%CE%BC%E2%82%80%20%5Bg%5D%22%2C%0A%20%20%20%20)%0A%20%20%20%20duality_confidence%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%200.80%2C%0A%20%20%20%20%20%20%20%200.99%2C%0A%20%20%20%20%20%20%20%20step%3D0.01%2C%0A%20%20%20%20%20%20%20%20value%3D0.95%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20label%3D%22Confidence%20level%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20duality_confidence%2C%20duality_null%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20FIGURE_SIZE_SHALLOW%2C%0A%20%20%20%20duality_confidence%2C%0A%20%20%20%20duality_null%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20one_sample_mean_test%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20stats%2C%0A%20%20%20%20two_column_panel%2C%0A)%3A%0A%20%20%20%20duality_mean_value%20%3D%202200.0%0A%20%20%20%20duality_sd_value%20%3D%20900.0%0A%20%20%20%20duality_n_value%20%3D%2010%0A%20%20%20%20duality_null_value%20%3D%20float(duality_null.value)%0A%20%20%20%20duality_level%20%3D%20float(duality_confidence.value)%0A%20%20%20%20duality_alpha_value%20%3D%201.0%20-%20duality_level%0A%20%20%20%20duality_test_result%20%3D%20one_sample_mean_test(%0A%20%20%20%20%20%20%20%20duality_mean_value%2C%0A%20%20%20%20%20%20%20%20duality_null_value%2C%0A%20%20%20%20%20%20%20%20duality_sd_value%2C%0A%20%20%20%20%20%20%20%20duality_n_value%2C%0A%20%20%20%20%20%20%20%20%22t%22%2C%0A%20%20%20%20%20%20%20%20%22two-sided%22%2C%0A%20%20%20%20%20%20%20%20duality_alpha_value%2C%0A%20%20%20%20)%0A%20%20%20%20duality_critical%20%3D%20float(%0A%20%20%20%20%20%20%20%20stats.t.ppf(1.0%20-%20duality_alpha_value%20%2F%202.0%2C%20df%3Dduality_n_value%20-%201)%0A%20%20%20%20)%0A%20%20%20%20duality_margin%20%3D%20duality_critical%20*%20duality_sd_value%20%2F%20np.sqrt(duality_n_value)%0A%20%20%20%20duality_interval%20%3D%20(%0A%20%20%20%20%20%20%20%20duality_mean_value%20-%20duality_margin%2C%0A%20%20%20%20%20%20%20%20duality_mean_value%20%2B%20duality_margin%2C%0A%20%20%20%20)%0A%20%20%20%20duality_null_inside%20%3D%20bool(%0A%20%20%20%20%20%20%20%20duality_interval%5B0%5D%20%3C%3D%20duality_null_value%20%3C%3D%20duality_interval%5B1%5D%0A%20%20%20%20)%0A%20%20%20%20assert%20duality_test_result%5B%22reject%22%5D%20%3D%3D%20(not%20duality_null_inside)%0A%0A%20%20%20%20duality_figure%2C%20duality_axis%20%3D%20plt.subplots(figsize%3DFIGURE_SIZE_SHALLOW)%0A%20%20%20%20duality_axis.errorbar(%0A%20%20%20%20%20%20%20%20duality_mean_value%2C%0A%20%20%20%20%20%20%20%200%2C%0A%20%20%20%20%20%20%20%20xerr%3Dduality_margin%2C%0A%20%20%20%20%20%20%20%20fmt%3D%22o%22%2C%0A%20%20%20%20%20%20%20%20capsize%3D7%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22blue%22%5D%2C%0A%20%20%20%20%20%20%20%20linewidth%3D2.5%2C%0A%20%20%20%20%20%20%20%20label%3Df%22%7B100%20*%20duality_level%3A.0f%7D%25%20t%20confidence%20interval%22%2C%0A%20%20%20%20)%0A%20%20%20%20duality_axis.axvline(%0A%20%20%20%20%20%20%20%20duality_null_value%2C%0A%20%20%20%20%20%20%20%20color%3D(COLORS%5B%22green%22%5D%20if%20duality_null_inside%20else%20COLORS%5B%22vermillion%22%5D)%2C%0A%20%20%20%20%20%20%20%20linestyle%3D%22--%22%2C%0A%20%20%20%20%20%20%20%20linewidth%3D2%2C%0A%20%20%20%20%20%20%20%20label%3Df%22Null%20value%3A%20%7Bduality_null_value%3A.0f%7D%20g%22%2C%0A%20%20%20%20)%0A%20%20%20%20duality_axis.set(%0A%20%20%20%20%20%20%20%20xlabel%3D%22Population%20mean%20birth%20weight%20%5Bg%5D%22%2C%0A%20%20%20%20%20%20%20%20yticks%3D%5B%5D%2C%0A%20%20%20%20%20%20%20%20ylim%3D(-0.6%2C%200.6)%2C%0A%20%20%20%20%20%20%20%20xlim%3D(1200%2C%203700)%2C%0A%20%20%20%20)%0A%20%20%20%20duality_axis.grid(axis%3D%22x%22%2C%20linestyle%3D%22%3A%22%2C%20alpha%3D0.35)%0A%20%20%20%20duality_axis.legend(frameon%3DFalse%2C%20fontsize%3D8%2C%20loc%3D%22upper%20left%22)%0A%20%20%20%20duality_figure.tight_layout()%0A%0A%20%20%20%20duality_decision_text%20%3D%20(%0A%20%20%20%20%20%20%20%20%22outside%20the%20interval%2C%20and%20the%20matching%20test%20rejects%22%0A%20%20%20%20%20%20%20%20if%20not%20duality_null_inside%0A%20%20%20%20%20%20%20%20else%20%22inside%20the%20interval%2C%20and%20the%20matching%20test%20fails%20to%20reject%22%0A%20%20%20%20)%0A%20%20%20%20duality_note%20%3D%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22The%20interval%20is%20**%5B%7Bduality_interval%5B0%5D%3A.0f%7D%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bduality_interval%5B1%5D%3A.0f%7D%5D%20g**.%20The%20null%20value%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bduality_decision_text%7D%20at%20%CE%B1%20%3D%20%7Bduality_alpha_value%3A.2f%7D%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22(two-sided%20p%20%3D%20%7Bduality_test_result%5B'p_value'%5D%3A.4f%7D).%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20kind%3D%22success%22%20if%20not%20duality_null_inside%20else%20%22info%22%2C%0A%20%20%20%20)%0A%20%20%20%20duality_controls%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22Fixed%20data%3A%20mean%202200%20g%2C%20SD%20900%20g%2C%20n%20%3D%2010%22)%2C%20kind%3D%22neutral%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20duality_null%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20duality_confidence%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(f%22%7Bduality_alpha_value%3A.2f%7D%22%2C%20label%3D%22Matching%20%CE%B1%22%2C%20bordered%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bduality_test_result%5B'p_value'%5D%3A.4f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Two-sided%20p-value%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bordered%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20two_column_panel(%0A%20%20%20%20%20%20%20%20duality_controls%2C%0A%20%20%20%20%20%20%20%20mo.vstack(%5Bduality_figure%2C%20duality_note%5D)%2C%0A%20%20%20%20%20%20%20%20widths%3D(1%2C%203)%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%0A%20%20%20%20%23%23%205.%20Type-I%20error%2C%20Type-II%20error%2C%20and%20power%0A%0A%20%20%20%20Even%20a%20well-designed%20study%20can%20lead%20to%20an%20incorrect%20decision%20because%20samples%0A%20%20%20%20vary.%20There%20are%20two%20kinds%20of%20error%3A%0A%0A%20%20%20%20-%20A%20**type-I%20error%20(false%20positive%20or%20false%20alarm)**%20occurs%20when%20we%20reject%20a%0A%20%20%20%20%20%20true%20null%20hypothesis.%20A%20test%20at%20%24%5Calpha%3D0.05%24%20is%20designed%20to%20do%20this%20in%20at%0A%20%20%20%20%20%20most%205%25%20of%20repeated%20studies%20when%20%24H_0%24%20and%20the%20assumptions%20hold.%20Some%20tests%2C%0A%20%20%20%20%20%20including%20tests%20of%20whole-number%20counts%2C%20may%20have%20a%20lower%20false-alarm%20rate.%0A%20%20%20%20-%20A%20**type-II%20error%20(false%20negative%20or%20missed%20effect)**%20occurs%20when%20we%20fail%20to%0A%20%20%20%20%20%20reject%20%24H_0%24%20even%20though%20a%20specified%20effect%20is%20present.%20Its%20probability%20is%0A%20%20%20%20%20%20%24%5Cbeta%24%20(%E2%80%9Cbeta%E2%80%9D).%20**Power**%2C%20%241-%5Cbeta%24%2C%20is%20the%20probability%20of%20detecting%20that%0A%20%20%20%20%20%20effect%20by%20rejecting%20%24H_0%24.%20For%20example%2C%2080%25%20power%20means%20about%2080%20of%20100%0A%20%20%20%20%20%20repeated%20studies%20would%20detect%20that%20particular%20effect%20under%20the%20assumptions.%0A%0A%20%20%20%20Neither%20rate%20tells%20us%20the%20probability%20that%20the%20conclusion%20of%20this%20one%20study%0A%20%20%20%20is%20wrong.%20Power%20depends%20on%20the%20true%20effect%3A%20a%20design%20may%20readily%20detect%20a%20large%0A%20%20%20%20change%20in%20enzyme%20activity%20but%20often%20miss%20a%20small%20change.%0A%0A%20%20%20%20Use%20power%20when%20planning%20a%20study.%20Choose%20a%20change%20that%20would%20matter%20biologically%0A%20%20%20%20and%20a%20realistic%20SD%2C%20then%20work%20out%20the%20sample%20size%20needed.%20For%20an%20effect%20in%20the%0A%20%20%20%20tested%20direction%2C%20power%20increases%20with%20a%20larger%20effect%2C%20less%20variation%2C%20more%0A%20%20%20%20independent%20observations%2C%20or%20a%20higher%20%24%5Calpha%24.%20Raising%20%24%5Calpha%24%20also%20allows%0A%20%20%20%20more%20false%20alarms.%20After%20collecting%20data%2C%20use%20the%20effect%20estimate%20and%20confidence%0A%20%20%20%20interval%20to%20assess%20what%20the%20study%20tells%20you%3B%20recalculating%20power%20from%20the%0A%20%20%20%20observed%20effect%20adds%20little%20information.%0A%0A%20%20%20%20This%20explorer%20uses%20a%20**z%20test%20with%20known%20population%20SD**%20and%20independent%2C%0A%20%20%20%20normally%20distributed%20observations.%20Its%20sample-size%20result%20applies%20to%20that%0A%20%20%20%20simplified%20design.%20A%20study%20using%20a%20t%20test%20or%20a%20different%20design%20needs%20a%0A%20%20%20%20corresponding%20power%20calculation.%20For%20a%20one-sided%20test%2C%20the%20explorer%20places%0A%20%20%20%20the%20true%20change%20in%20the%20chosen%20direction.%0A%0A%20%20%20%20**Try%20this%3A**%20keep%20the%20effect%20and%20SD%20at%20their%20defaults%20and%20compare%20%24n%3D10%24%0A%20%20%20%20with%20%24n%3D40%24.%20The%20**rejection%20region**%20contains%20the%20observed%20mean%20differences%0A%20%20%20%20that%20would%20produce%20a%20significant%20result.%20Under%20the%20curve%20for%20a%20real%20effect%2C%0A%20%20%20%20the%20area%20in%20that%20region%20is%20power.%20Restore%20%24n%3D10%24%2C%20halve%20the%20true%20change%2C%20and%20check%20the%20loss%20of%20power.%20Next%20raise%20the%0A%20%20%20%20target-power%20control%3B%20it%20changes%20the%20sample-size%20recommendation%2C%20not%20the%0A%20%20%20%20power%20of%20the%20currently%20selected%20%24n%24.%20Compare%20planned%20one-%20and%20two-sided%0A%20%20%20%20alternatives%2C%20then%20lower%20%24%5Calpha%24%20to%20see%20the%20trade-off%20between%20false%0A%20%20%20%20positives%20and%20detection.%20All%20calculations%20update%20immediately.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20power_effect%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20100%2C%0A%20%20%20%20%20%20%20%201200%2C%0A%20%20%20%20%20%20%20%20step%3D50%2C%0A%20%20%20%20%20%20%20%20value%3D800%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20label%3D%22True%20change%20magnitude%20%5Bg%5D%22%2C%0A%20%20%20%20)%0A%20%20%20%20power_scale%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20400%2C%0A%20%20%20%20%20%20%20%201600%2C%0A%20%20%20%20%20%20%20%20step%3D50%2C%0A%20%20%20%20%20%20%20%20value%3D1000%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20label%3D%22Population%20SD%20%CF%83%20%5Bg%5D%22%2C%0A%20%20%20%20)%0A%20%20%20%20power_sample_size%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%205%2C%0A%20%20%20%20%20%20%20%20200%2C%0A%20%20%20%20%20%20%20%20value%3D10%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20label%3D%22Sample%20size%20n%22%2C%0A%20%20%20%20)%0A%20%20%20%20power_alpha%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%200.01%2C%0A%20%20%20%20%20%20%20%200.10%2C%0A%20%20%20%20%20%20%20%20step%3D0.01%2C%0A%20%20%20%20%20%20%20%20value%3D0.05%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20label%3D%22Significance%20threshold%20%CE%B1%22%2C%0A%20%20%20%20)%0A%20%20%20%20power_alternative%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Detect%20a%20decrease%22%3A%20%22less%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Detect%20an%20increase%22%3A%20%22greater%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Detect%20either%20direction%22%3A%20%22two-sided%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Detect%20a%20decrease%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Planned%20alternative%22%2C%0A%20%20%20%20)%0A%20%20%20%20power_target%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%200.70%2C%0A%20%20%20%20%20%20%20%200.95%2C%0A%20%20%20%20%20%20%20%20step%3D0.05%2C%0A%20%20%20%20%20%20%20%20value%3D0.80%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20label%3D%22Target%20power%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20power_alpha%2C%0A%20%20%20%20%20%20%20%20power_alternative%2C%0A%20%20%20%20%20%20%20%20power_effect%2C%0A%20%20%20%20%20%20%20%20power_sample_size%2C%0A%20%20%20%20%20%20%20%20power_scale%2C%0A%20%20%20%20%20%20%20%20power_target%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20FIGURE_SIZE_STANDARD%2C%0A%20%20%20%20minimum_sample_size%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20power_alpha%2C%0A%20%20%20%20power_alternative%2C%0A%20%20%20%20power_effect%2C%0A%20%20%20%20power_sample_size%2C%0A%20%20%20%20power_scale%2C%0A%20%20%20%20power_target%2C%0A%20%20%20%20stats%2C%0A%20%20%20%20two_column_panel%2C%0A%20%20%20%20z_test_power%2C%0A)%3A%0A%20%20%20%20power_effect_value%20%3D%20float(power_effect.value)%0A%20%20%20%20power_scale_value%20%3D%20float(power_scale.value)%0A%20%20%20%20power_n_value%20%3D%20int(power_sample_size.value)%0A%20%20%20%20power_alpha_value%20%3D%20float(power_alpha.value)%0A%20%20%20%20power_direction%20%3D%20power_alternative.value%0A%20%20%20%20power_target_value%20%3D%20float(power_target.value)%0A%20%20%20%20power_result%20%3D%20z_test_power(%0A%20%20%20%20%20%20%20%20power_effect_value%2C%0A%20%20%20%20%20%20%20%20power_scale_value%2C%0A%20%20%20%20%20%20%20%20power_n_value%2C%0A%20%20%20%20%20%20%20%20power_alpha_value%2C%0A%20%20%20%20%20%20%20%20power_direction%2C%0A%20%20%20%20)%0A%20%20%20%20power_required_n%20%3D%20minimum_sample_size(%0A%20%20%20%20%20%20%20%20power_effect_value%2C%0A%20%20%20%20%20%20%20%20power_scale_value%2C%0A%20%20%20%20%20%20%20%20power_alpha_value%2C%0A%20%20%20%20%20%20%20%20power_direction%2C%0A%20%20%20%20%20%20%20%20power_target_value%2C%0A%20%20%20%20)%0A%20%20%20%20power_grid%20%3D%20np.linspace(-3200%2C%203200%2C%201_400)%0A%20%20%20%20power_null_density%20%3D%20stats.norm.pdf(%0A%20%20%20%20%20%20%20%20power_grid%2C%20loc%3D0.0%2C%20scale%3Dpower_result%5B%22standard_error%22%5D%0A%20%20%20%20)%0A%20%20%20%20power_alt_density%20%3D%20stats.norm.pdf(%0A%20%20%20%20%20%20%20%20power_grid%2C%0A%20%20%20%20%20%20%20%20loc%3Dpower_result%5B%22true_change%22%5D%2C%0A%20%20%20%20%20%20%20%20scale%3Dpower_result%5B%22standard_error%22%5D%2C%0A%20%20%20%20)%0A%20%20%20%20if%20power_direction%20%3D%3D%20%22greater%22%3A%0A%20%20%20%20%20%20%20%20power_rejection_mask%20%3D%20power_grid%20%3E%3D%20power_result%5B%22upper_critical%22%5D%0A%20%20%20%20%20%20%20%20power_acceptance_mask%20%3D%20~power_rejection_mask%0A%20%20%20%20%20%20%20%20power_critical_values%20%3D%20%5Bpower_result%5B%22upper_critical%22%5D%5D%0A%20%20%20%20%20%20%20%20power_achieved_alpha%20%3D%20float(%0A%20%20%20%20%20%20%20%20%20%20%20%20stats.norm(scale%3Dpower_result%5B%22standard_error%22%5D).sf(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20power_result%5B%22upper_critical%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20elif%20power_direction%20%3D%3D%20%22less%22%3A%0A%20%20%20%20%20%20%20%20power_rejection_mask%20%3D%20power_grid%20%3C%3D%20power_result%5B%22lower_critical%22%5D%0A%20%20%20%20%20%20%20%20power_acceptance_mask%20%3D%20~power_rejection_mask%0A%20%20%20%20%20%20%20%20power_critical_values%20%3D%20%5Bpower_result%5B%22lower_critical%22%5D%5D%0A%20%20%20%20%20%20%20%20power_achieved_alpha%20%3D%20float(%0A%20%20%20%20%20%20%20%20%20%20%20%20stats.norm(scale%3Dpower_result%5B%22standard_error%22%5D).cdf(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20power_result%5B%22lower_critical%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20power_rejection_mask%20%3D%20(power_grid%20%3C%3D%20power_result%5B%22lower_critical%22%5D)%20%7C%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20power_grid%20%3E%3D%20power_result%5B%22upper_critical%22%5D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20power_acceptance_mask%20%3D%20~power_rejection_mask%0A%20%20%20%20%20%20%20%20power_critical_values%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20power_result%5B%22lower_critical%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20power_result%5B%22upper_critical%22%5D%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20power_null_model%20%3D%20stats.norm(scale%3Dpower_result%5B%22standard_error%22%5D)%0A%20%20%20%20%20%20%20%20power_achieved_alpha%20%3D%20float(%0A%20%20%20%20%20%20%20%20%20%20%20%20power_null_model.cdf(power_result%5B%22lower_critical%22%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20power_null_model.sf(power_result%5B%22upper_critical%22%5D)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20assert%20np.isclose(power_achieved_alpha%2C%20power_alpha_value)%0A%20%20%20%20assert%20np.isclose(power_result%5B%22beta%22%5D%20%2B%20power_result%5B%22power%22%5D%2C%201.0)%0A%0A%20%20%20%20power_figure%2C%20power_axis%20%3D%20plt.subplots(figsize%3DFIGURE_SIZE_STANDARD)%0A%20%20%20%20power_axis.plot(%0A%20%20%20%20%20%20%20%20power_grid%2C%0A%20%20%20%20%20%20%20%20power_null_density%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22blue%22%5D%2C%0A%20%20%20%20%20%20%20%20linewidth%3D2.2%2C%0A%20%20%20%20%20%20%20%20label%3Dr%22Sampling%20distribution%20under%20%24H_0%24%22%2C%0A%20%20%20%20)%0A%20%20%20%20power_axis.plot(%0A%20%20%20%20%20%20%20%20power_grid%2C%0A%20%20%20%20%20%20%20%20power_alt_density%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22purple%22%5D%2C%0A%20%20%20%20%20%20%20%20linewidth%3D2.2%2C%0A%20%20%20%20%20%20%20%20label%3Dr%22Sampling%20distribution%20under%20%24H_1%24%22%2C%0A%20%20%20%20)%0A%20%20%20%20power_axis.fill_between(%0A%20%20%20%20%20%20%20%20power_grid%2C%0A%20%20%20%20%20%20%20%200%2C%0A%20%20%20%20%20%20%20%20power_null_density%2C%0A%20%20%20%20%20%20%20%20where%3Dpower_rejection_mask%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22vermillion%22%5D%2C%0A%20%20%20%20%20%20%20%20alpha%3D0.45%2C%0A%20%20%20%20%20%20%20%20label%3Drf%22Type-I%20error%20%24%5Calpha%3D%7Bpower_alpha_value%3A.2f%7D%24%22%2C%0A%20%20%20%20)%0A%20%20%20%20power_axis.fill_between(%0A%20%20%20%20%20%20%20%20power_grid%2C%0A%20%20%20%20%20%20%20%200%2C%0A%20%20%20%20%20%20%20%20power_alt_density%2C%0A%20%20%20%20%20%20%20%20where%3Dpower_acceptance_mask%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22gray%22%5D%2C%0A%20%20%20%20%20%20%20%20alpha%3D0.35%2C%0A%20%20%20%20%20%20%20%20hatch%3D%22%2F%2F%22%2C%0A%20%20%20%20%20%20%20%20label%3Drf%22Type-II%20error%20%24%5Cbeta%3D%7Bpower_result%5B'beta'%5D%3A.2f%7D%24%22%2C%0A%20%20%20%20)%0A%20%20%20%20power_axis.fill_between(%0A%20%20%20%20%20%20%20%20power_grid%2C%0A%20%20%20%20%20%20%20%200%2C%0A%20%20%20%20%20%20%20%20power_alt_density%2C%0A%20%20%20%20%20%20%20%20where%3Dpower_rejection_mask%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22green%22%5D%2C%0A%20%20%20%20%20%20%20%20alpha%3D0.28%2C%0A%20%20%20%20%20%20%20%20label%3Df%22Power%20%3D%20%7Bpower_result%5B'power'%5D%3A.2f%7D%22%2C%0A%20%20%20%20)%0A%20%20%20%20for%20power_critical_value%20in%20power_critical_values%3A%0A%20%20%20%20%20%20%20%20power_axis.axvline(%0A%20%20%20%20%20%20%20%20%20%20%20%20power_critical_value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22gray%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20linestyle%3D%22%3A%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20linewidth%3D1.4%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20power_axis.set(%0A%20%20%20%20%20%20%20%20xlabel%3D%22Observed%20difference%20in%20sample%20mean%20%5Bg%5D%22%2C%0A%20%20%20%20%20%20%20%20ylabel%3D%22Probability%20density%22%2C%0A%20%20%20%20%20%20%20%20xlim%3D(-3200%2C%203200)%2C%0A%20%20%20%20%20%20%20%20ylim%3D(0%2C%20max(power_null_density.max()%2C%20power_alt_density.max())%20*%201.12)%2C%0A%20%20%20%20)%0A%20%20%20%20power_axis.grid(axis%3D%22y%22%2C%20linestyle%3D%22%3A%22%2C%20alpha%3D0.35)%0A%20%20%20%20power_axis.legend(frameon%3DFalse%2C%20fontsize%3D7%2C%20loc%3D%22upper%20right%22)%0A%20%20%20%20power_figure.tight_layout()%0A%0A%20%20%20%20power_required_text%20%3D%20(%0A%20%20%20%20%20%20%20%20f%22%7Bpower_required_n%7D%22%20if%20power_required_n%20is%20not%20None%20else%20%22more%20than%202000%22%0A%20%20%20%20)%0A%20%20%20%20power_controls%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20power_effect%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20power_scale%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20power_sample_size%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20power_alpha%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20power_alternative%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20power_target%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B100%20*%20power_result%5B'power'%5D%3A.1f%7D%25%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Power%20at%20current%20n%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bordered%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20power_required_text%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Df%22Minimum%20n%20for%20%7B100%20*%20power_target_value%3A.0f%7D%25%20power%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bordered%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20power_note%20%3D%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22With%20a%20true%20change%20of%20%7Bpower_result%5B'true_change'%5D%3A%2B.0f%7D%20g%20and%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22SE%20%3D%20%7Bpower_result%5B'standard_error'%5D%3A.1f%7D%20g%2C%20this%20design%20has%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B100%20*%20power_result%5B'power'%5D%3A.1f%7D%25%20power%20and%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B100%20*%20power_result%5B'beta'%5D%3A.1f%7D%25%20type-II%20error%20probability.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20)%0A%20%20%20%20two_column_panel(%0A%20%20%20%20%20%20%20%20power_controls%2C%0A%20%20%20%20%20%20%20%20mo.vstack(%5Bpower_figure%2C%20power_note%5D)%2C%0A%20%20%20%20%20%20%20%20widths%3D(1%2C%202)%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%0A%20%20%20%20%23%23%206.%20Diagnostic-test%20analogy%0A%0A%20%20%20%20A%20laboratory%20test%20can%20also%20make%20false-positive%20and%20false-negative%20decisions.%0A%20%20%20%20In%20this%20simplified%20illustration%2C%20a%20concentration%20above%20a%20chosen%20threshold%20is%0A%20%20%20%20called%20positive.%20We%20compare%20people%20without%20porphyria%20with%20people%20who%20have%0A%20%20%20%20porphyria%2C%20a%20disorder%20of%20haem%20production.%20The%20concentration%20distributions%20and%0A%20%20%20%20thresholds%20here%20are%20invented%20for%20teaching%2C%20not%20clinical%20reference%20values.%0A%0A%20%20%20%20-%20**Sensitivity**%20is%20the%20fraction%20of%20people%20with%20the%20disease%20who%20test%20positive.%0A%20%20%20%20%20%20It%20is%20analogous%20to%20power%2C%20%241-%5Cbeta%24.%20The%20remaining%20fraction%2C%20%24%5Cbeta%24%2C%20consists%0A%20%20%20%20%20%20of%20false%20negatives%3A%20people%20with%20the%20disease%20whose%20tests%20are%20negative.%0A%20%20%20%20-%20**Specificity**%20is%20the%20fraction%20of%20people%20without%20the%20disease%20who%20test%0A%20%20%20%20%20%20negative.%20It%20is%20analogous%20to%20%241-%5Calpha%24.%20The%20remaining%20fraction%2C%20%24%5Calpha%24%2C%0A%20%20%20%20%20%20consists%20of%20false%20positives%3A%20people%20without%20the%20disease%20whose%20tests%20are%20positive.%0A%0A%20%20%20%20The%20right-hand%20**ROC%20curve**%20(receiver%20operating%20characteristic%20curve)%20plots%0A%20%20%20%20sensitivity%20against%20the%20false-positive%20rate%20across%20thresholds.%20Each%20point%0A%20%20%20%20represents%20one%20threshold%3B%20the%20highlighted%20point%20matches%20the%20slider.%20The%20upper%0A%20%20%20%20left%20corner%20represents%20perfect%20detection%20with%20no%20false%20positives.%0A%0A%20%20%20%20The%20analogy%20treats%20%E2%80%9Cno%20disease%E2%80%9D%20like%20%24H_0%24%20and%20%E2%80%9Cdisease%20present%E2%80%9D%20like%20%24H_1%24.%0A%20%20%20%20Sensitivity%20is%20not%20the%20probability%20that%20a%20person%20with%20a%20positive%20result%20has%20the%0A%20%20%20%20disease.%20That%20probability%20also%20depends%20on%20**prevalence**%2C%20the%20proportion%20of%0A%20%20%20%20people%20with%20the%20disease%20in%20the%20population%20being%20tested.%20Chapter%206%20returns%20to%0A%20%20%20%20this%20distinction.%0A%0A%20%20%20%20**Try%20this%3A**%20move%20the%20positive-test%20threshold%20from%2076%20towards%2040%2C%20then%0A%20%20%20%20towards%20120%20%C2%B5mol%2FL.%20A%20lower%20threshold%20detects%20more%20people%20with%20the%20disease%20but%0A%20%20%20%20also%20labels%20more%20people%20without%20the%20disease%20positive.%20Follow%20sensitivity%20and%0A%20%20%20%20false-positive%20rate%20on%20the%20distribution%20plot%20and%20the%20linked%20ROC%20point.%20Raising%20the%0A%20%20%20%20threshold%20reverses%20the%20trade-off%3B%20it%20does%20not%20change%20either%20group's%0A%20%20%20%20underlying%20concentration%20distribution.%20Decide%20which%20type%20of%20error%20would%0A%20%20%20%20matter%20more%20for%20a%20proposed%20use%20before%20choosing%20a%20threshold.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20diagnostic_threshold%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%2040%2C%0A%20%20%20%20%20%20%20%20120%2C%0A%20%20%20%20%20%20%20%20step%3D1%2C%0A%20%20%20%20%20%20%20%20value%3D76%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20label%3D%22Positive-test%20threshold%20%5B%C2%B5mol%2FL%5D%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(diagnostic_threshold%2C)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20FIGURE_SIZE_LINKED%2C%0A%20%20%20%20compact_table%2C%0A%20%20%20%20diagnostic_threshold%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20pd%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20stats%2C%0A%20%20%20%20two_column_panel%2C%0A)%3A%0A%20%20%20%20diagnostic_cutoff%20%3D%20float(diagnostic_threshold.value)%0A%20%20%20%20healthy_reference%20%3D%20stats.norm(loc%3D60.0%2C%20scale%3D10.0)%0A%20%20%20%20porphyria_reference%20%3D%20stats.norm(loc%3D100.0%2C%20scale%3D10.0)%0A%20%20%20%20diagnostic_false_positive%20%3D%20float(healthy_reference.sf(diagnostic_cutoff))%0A%20%20%20%20diagnostic_false_negative%20%3D%20float(porphyria_reference.cdf(diagnostic_cutoff))%0A%20%20%20%20diagnostic_specificity%20%3D%20float(healthy_reference.cdf(diagnostic_cutoff))%0A%20%20%20%20diagnostic_sensitivity%20%3D%20float(porphyria_reference.sf(diagnostic_cutoff))%0A%20%20%20%20assert%20np.isclose(diagnostic_false_positive%20%2B%20diagnostic_specificity%2C%201.0)%0A%20%20%20%20assert%20np.isclose(diagnostic_false_negative%20%2B%20diagnostic_sensitivity%2C%201.0)%0A%0A%20%20%20%20diagnostic_grid%20%3D%20np.linspace(20%2C%20140%2C%201_000)%0A%20%20%20%20healthy_density%20%3D%20healthy_reference.pdf(diagnostic_grid)%0A%20%20%20%20porphyria_density%20%3D%20porphyria_reference.pdf(diagnostic_grid)%0A%20%20%20%20roc_thresholds%20%3D%20np.linspace(20%2C%20140%2C%20400)%0A%20%20%20%20roc_false_positive%20%3D%20healthy_reference.sf(roc_thresholds)%0A%20%20%20%20roc_sensitivity%20%3D%20porphyria_reference.sf(roc_thresholds)%0A%0A%20%20%20%20diagnostic_figure%2C%20(diagnostic_axis%2C%20roc_axis)%20%3D%20plt.subplots(%0A%20%20%20%20%20%20%20%201%2C%202%2C%20figsize%3DFIGURE_SIZE_LINKED%0A%20%20%20%20)%0A%20%20%20%20diagnostic_axis.plot(%0A%20%20%20%20%20%20%20%20diagnostic_grid%2C%0A%20%20%20%20%20%20%20%20healthy_density%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22sky%22%5D%2C%0A%20%20%20%20%20%20%20%20linewidth%3D2.2%2C%0A%20%20%20%20%20%20%20%20label%3D%22Healthy%22%2C%0A%20%20%20%20)%0A%20%20%20%20diagnostic_axis.plot(%0A%20%20%20%20%20%20%20%20diagnostic_grid%2C%0A%20%20%20%20%20%20%20%20porphyria_density%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22purple%22%5D%2C%0A%20%20%20%20%20%20%20%20linewidth%3D2.2%2C%0A%20%20%20%20%20%20%20%20label%3D%22Porphyria%22%2C%0A%20%20%20%20)%0A%20%20%20%20diagnostic_axis.fill_between(%0A%20%20%20%20%20%20%20%20diagnostic_grid%2C%0A%20%20%20%20%20%20%20%200%2C%0A%20%20%20%20%20%20%20%20healthy_density%2C%0A%20%20%20%20%20%20%20%20where%3Ddiagnostic_grid%20%3E%3D%20diagnostic_cutoff%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22vermillion%22%5D%2C%0A%20%20%20%20%20%20%20%20alpha%3D0.45%2C%0A%20%20%20%20%20%20%20%20label%3D%22False%20positive%22%2C%0A%20%20%20%20)%0A%20%20%20%20diagnostic_axis.fill_between(%0A%20%20%20%20%20%20%20%20diagnostic_grid%2C%0A%20%20%20%20%20%20%20%200%2C%0A%20%20%20%20%20%20%20%20porphyria_density%2C%0A%20%20%20%20%20%20%20%20where%3Ddiagnostic_grid%20%3C%20diagnostic_cutoff%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22gray%22%5D%2C%0A%20%20%20%20%20%20%20%20alpha%3D0.4%2C%0A%20%20%20%20%20%20%20%20hatch%3D%22%2F%2F%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22False%20negative%22%2C%0A%20%20%20%20)%0A%20%20%20%20diagnostic_axis.axvline(%0A%20%20%20%20%20%20%20%20diagnostic_cutoff%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22blue%22%5D%2C%0A%20%20%20%20%20%20%20%20linestyle%3D%22--%22%2C%0A%20%20%20%20%20%20%20%20linewidth%3D1.7%2C%0A%20%20%20%20%20%20%20%20label%3D%22Threshold%22%2C%0A%20%20%20%20)%0A%20%20%20%20diagnostic_axis.set(%0A%20%20%20%20%20%20%20%20title%3D%22Measurement%20distributions%22%2C%0A%20%20%20%20%20%20%20%20xlabel%3D%22Porphyrin-precursor%20concentration%20%5B%C2%B5mol%2FL%5D%22%2C%0A%20%20%20%20%20%20%20%20ylabel%3D%22Probability%20density%22%2C%0A%20%20%20%20%20%20%20%20xlim%3D(20%2C%20140)%2C%0A%20%20%20%20%20%20%20%20ylim%3D(0%2C%200.043)%2C%0A%20%20%20%20)%0A%20%20%20%20diagnostic_axis.grid(axis%3D%22y%22%2C%20linestyle%3D%22%3A%22%2C%20alpha%3D0.35)%0A%20%20%20%20diagnostic_axis.legend(frameon%3DFalse%2C%20fontsize%3D6.8)%0A%0A%20%20%20%20roc_axis.plot(%0A%20%20%20%20%20%20%20%20roc_false_positive%2C%0A%20%20%20%20%20%20%20%20roc_sensitivity%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22blue%22%5D%2C%0A%20%20%20%20%20%20%20%20linewidth%3D2.2%2C%0A%20%20%20%20%20%20%20%20label%3D%22ROC%20curve%22%2C%0A%20%20%20%20)%0A%20%20%20%20roc_axis.plot(%0A%20%20%20%20%20%20%20%20%5Bdiagnostic_false_positive%5D%2C%0A%20%20%20%20%20%20%20%20%5Bdiagnostic_sensitivity%5D%2C%0A%20%20%20%20%20%20%20%20marker%3D%22o%22%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22vermillion%22%5D%2C%0A%20%20%20%20%20%20%20%20markersize%3D7%2C%0A%20%20%20%20%20%20%20%20label%3D%22Current%20threshold%22%2C%0A%20%20%20%20)%0A%20%20%20%20roc_axis.plot(%0A%20%20%20%20%20%20%20%20%5B0%2C%201%5D%2C%0A%20%20%20%20%20%20%20%20%5B0%2C%201%5D%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22gray%22%5D%2C%0A%20%20%20%20%20%20%20%20linestyle%3D%22%3A%22%2C%0A%20%20%20%20%20%20%20%20linewidth%3D1.2%2C%0A%20%20%20%20%20%20%20%20label%3D%22No%20discrimination%22%2C%0A%20%20%20%20)%0A%20%20%20%20roc_axis.set(%0A%20%20%20%20%20%20%20%20title%3D%22Threshold%20on%20the%20ROC%20curve%22%2C%0A%20%20%20%20%20%20%20%20xlabel%3D%22False-positive%20rate%20(1%20%E2%88%92%20specificity)%22%2C%0A%20%20%20%20%20%20%20%20ylabel%3D%22Sensitivity%20(analogous%20to%20power)%22%2C%0A%20%20%20%20%20%20%20%20xlim%3D(-0.02%2C%201.02)%2C%0A%20%20%20%20%20%20%20%20ylim%3D(-0.02%2C%201.02)%2C%0A%20%20%20%20)%0A%20%20%20%20roc_axis.set_aspect(%22equal%22%2C%20adjustable%3D%22box%22)%0A%20%20%20%20roc_axis.grid(linestyle%3D%22%3A%22%2C%20alpha%3D0.35)%0A%20%20%20%20roc_axis.legend(frameon%3DFalse%2C%20fontsize%3D7%2C%20loc%3D%22lower%20right%22)%0A%20%20%20%20diagnostic_figure.tight_layout()%0A%0A%20%20%20%20diagnostic_metrics_data%20%3D%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Quantity%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22False%20positive%20(%CE%B1)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Specificity%20(1%20%E2%88%92%20%CE%B1)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22False%20negative%20(%CE%B2)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Sensitivity%20(1%20%E2%88%92%20%CE%B2)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Value%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20diagnostic_false_positive%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20diagnostic_specificity%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20diagnostic_false_negative%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20diagnostic_sensitivity%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20diagnostic_metrics%20%3D%20compact_table(%0A%20%20%20%20%20%20%20%20diagnostic_metrics_data%2C%0A%20%20%20%20%20%20%20%20column_widths%3D%7B%22Quantity%22%3A%20165%2C%20%22Value%22%3A%2095%7D%2C%0A%20%20%20%20%20%20%20%20format_mapping%3D%7B%22Value%22%3A%20%22%7B%3A.1%25%7D%22%7D%2C%0A%20%20%20%20)%0A%20%20%20%20diagnostic_controls%20%3D%20mo.vstack(%5Bdiagnostic_threshold%2C%20diagnostic_metrics%5D)%0A%20%20%20%20diagnostic_note%20%3D%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Moving%20the%20threshold%20trades%20sensitivity%20against%20specificity.%20At%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bdiagnostic_cutoff%3A.0f%7D%20%C2%B5mol%2FL%2C%20sensitivity%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bdiagnostic_sensitivity%3A.1%25%7D%20and%20specificity%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bdiagnostic_specificity%3A.1%25%7D.%20This%20says%20nothing%20yet%20about%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22probability%20of%20disease%20after%20a%20positive%20result.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20)%0A%20%20%20%20two_column_panel(%0A%20%20%20%20%20%20%20%20diagnostic_controls%2C%0A%20%20%20%20%20%20%20%20mo.vstack(%5Bdiagnostic_figure%2C%20diagnostic_note%5D)%2C%0A%20%20%20%20%20%20%20%20widths%3D(1%2C%203)%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%0A%20%20%20%20%23%23%207.%20What%20a%20p-value%20does%20not%20mean%0A%0A%20%20%20%20A%20p-value%20is%20not%20the%20probability%20that%20%24H_0%24%20is%20true%2C%20and%20%241-p%24%20is%20not%20the%0A%20%20%20%20probability%20that%20%24H_1%24%20is%20true.%20Failure%20to%20reject%20does%20not%20prove%20equality.%20A%0A%20%20%20%20small%20p-value%20does%20not%20establish%20a%20large%20or%20important%20effect%2C%20or%20rule%20out%0A%20%20%20%20systematic%20errors%20such%20as%20measuring%20all%20treated%20samples%20in%20one%20batch%20and%20all%0A%20%20%20%20controls%20in%20another.%0A%20%20%20%20Nor%20does%20a%20p-value%20tell%20you%20the%20probability%20that%20'chance%20caused'%20your%20result.%0A%20%20%20%20Instead%2C%20the%20null%20model%20describes%20how%20observations%20would%20vary%20across%20samples.%20The%0A%20%20%20%20p-value%20is%20the%20probability%2C%20under%20that%20null%20model%2C%20of%20a%20test%20statistic%20at%0A%20%20%20%20least%20as%20extreme%20as%20the%20observed%20one%20in%20the%20direction(s)%20of%20the%20alternative.%0A%0A%20%20%20%20These%20statements%20assume%20that%20the%20analysis%20procedure%20was%20specified%20and%20applied%20as%0A%20%20%20%20claimed.%20Repeated%20looks%2C%20selective%20outcome%20reporting%2C%20and%20trying%20many%20analyses%20can%0A%20%20%20%20increase%20the%20chance%20of%20finding%20at%20least%20one%20small%20reported%20p-value%20under%20a%20true%0A%20%20%20%20null.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20**Try%20the%20misconception%20clinic%3A**%20choose%20the%20statement%20you%20think%20is%20valid%0A%20%20%20%20and%20read%20its%20feedback%2C%20then%20inspect%20the%20corrections%20for%20the%20other%20claims.%0A%20%20%20%20For%20each%2C%20identify%20whether%20it%20confuses%20probability%20of%20data%20with%20probability%0A%20%20%20%20of%20a%20hypothesis%2C%20an%20uncertain%20result%20with%20evidence%20of%20similar%20effects%2C%20or%0A%20%20%20%20statistical%20significance%20with%20biological%20importance.%0A%20%20%20%20Selecting%20an%20answer%20immediately%20reveals%20its%20explanation.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20misconception_choice%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22p%20%3D%200.03%20means%20a%203%25%20probability%20that%20H%E2%82%80%20is%20true.%22%3A%20%22hypothesis_probability%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%221%20%E2%88%92%20p%20is%20the%20probability%20that%20H%E2%82%81%20is%20true.%22%3A%20%22alternative_probability%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Failure%20to%20reject%20H%E2%82%80%20proves%20that%20the%20groups%20are%20equivalent.%22%3A%20%22equivalence%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A%20small%20p-value%20means%20the%20effect%20is%20scientifically%20important.%22%3A%20%22importance%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Assuming%20H%E2%82%80%20and%20the%20test%20assumptions%2C%20p%20is%20the%20probability%20of%20a%20statistic%20at%20least%20as%20extreme%20as%20observed.%22%3A%20%22valid%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3DNone%2C%0A%20%20%20%20%20%20%20%20label%3D%22Choose%20the%20valid%20interpretation%22%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20Misconception%20clinic%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20misconception_choice%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%20(misconception_choice%2C)%0A%0A%0A%40app.cell%0Adef%20_(misconception_choice%2C%20review_feedback)%3A%0A%20%20%20%20misconception_corrections%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22hypothesis_probability%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A%20p-value%20starts%20by%20assuming%20the%20null%20model%20is%20true%20and%20asks%20about%20possible%20data.%20It%20does%20not%20calculate%20the%20probability%20that%20the%20null%20hypothesis%20is%20true%20after%20seeing%20the%20data.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%22alternative_probability%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Neither%20%24p%24%20nor%20%241-p%24%20assigns%20a%20probability%20to%20a%20hypothesis.%20To%20calculate%20probabilities%20for%20hypotheses%2C%20we%20need%20a%20different%20approach%20that%20combines%20assumptions%20about%20their%20probabilities%20before%20the%20study%20with%20a%20model%20for%20the%20data%20(Chapter%206).%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%22equivalence%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20study%20may%20simply%20be%20too%20imprecise%20to%20detect%20a%20difference.%20To%20establish%20equivalence%E2%80%94effects%20similar%20enough%20for%20the%20biological%20purpose%E2%80%94define%20the%20largest%20difference%20you%20would%20consider%20negligible%20before%20the%20study%2C%20then%20use%20an%20analysis%20that%20tests%20whether%20the%20effect%20lies%20within%20those%20limits.%20A%20difference-test%20p-value%20above%200.05%20is%20insufficient.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%22importance%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A%20tiny%20effect%20can%20have%20a%20small%20p-value%20with%20a%20large%2C%20precise%20sample.%20Inspect%20the%20effect%20in%20measurement%20units%2C%20its%20interval%2C%20and%20the%20biological%20context%20to%20judge%20importance%3B%20statistical%20significance%20alone%20cannot%20do%20that.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%7D%0A%20%20%20%20misconception_feedback%20%3D%20review_feedback(%0A%20%20%20%20%20%20%20%20misconception_choice.value%2C%0A%20%20%20%20%20%20%20%20correct_value%3D%22valid%22%2C%0A%20%20%20%20%20%20%20%20correct_text%3D%22**Correct.**%20Start%20by%20assuming%20the%20null%20model%20is%20true.%20The%20test%20and%20the%20direction%20chosen%20before%20the%20study%20determine%20which%20results%20count%20as%20at%20least%20as%20extreme%20as%20the%20observed%20one.%20The%20p-value%20adds%20up%20their%20probabilities%20under%20that%20model.%22%2C%0A%20%20%20%20%20%20%20%20incorrect_text%3Dmisconception_corrections%2C%0A%20%20%20%20%20%20%20%20unanswered_text%3D%22Select%20an%20interpretation%20above.%22%2C%0A%20%20%20%20)%0A%20%20%20%20misconception_feedback%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Interactive%20laboratory%3A%20more%20tests%2C%20more%20false%20alarms%0A%0A%20%20%20%20**There%20is%20no%20real%20effect%20in%20any%20of%20these%20simulated%20studies.**%20The%20population%0A%20%20%20%20mean%20is%20always%20zero%2C%20but%20individual%20measurements%20vary%20randomly%20around%20it.%0A%20%20%20%20A%20statistically%20significant%20result%20is%20therefore%20a%20**false%20positive**%3A%20the%20test%0A%20%20%20%20suggests%20a%20difference%20when%20none%20exists.%0A%20%20%20%20We%20generate%20normally%20distributed%20measurements%20and%20use%20two-sided%20t%20tests%2C%0A%20%20%20%20so%20a%20change%20in%20either%20direction%20can%20count%20as%20significant.%0A%0A%20%20%20%20Imagine%20measuring%20the%20change%20in%20blood%20pressure%20after%20a%20treatment%20that%20actually%0A%20%20%20%20has%20no%20effect.%20We%20can%20use%20three%20testing%20strategies%3A%0A%0A%20%20%20%20-%20**Test%20once%20at%20the%20end.**%20Plan%20to%20study%2020%20people%2C%20collect%20all%2020%20measurements%2C%0A%20%20%20%20%20%20and%20test%20whether%20the%20mean%20change%20differs%20from%20zero.%20There%20is%20just%20one%20chance%0A%20%20%20%20%20%20to%20get%20a%20significant%20result.%0A%20%20%20%20-%20**Test%20repeatedly%20as%20data%20arrive.**%20Test%20after%205%20people%2C%20again%20after%2010%2C%20and%0A%20%20%20%20%20%20again%20after%20all%2020.%20Count%20the%20study%20as%20significant%20if%20any%20test%20is%20significant.%0A%20%20%20%20%20%20The%20later%20tests%20include%20the%20earlier%20participants%2C%20so%20these%20are%20related%20checks%0A%20%20%20%20%20%20of%20the%20same%20data%2C%20not%20three%20separate%20studies.%0A%20%20%20%20-%20**Test%20several%20independent%20outcomes.**%20Imagine%20separate%20experiments%20measuring%0A%20%20%20%20%20%20blood-pressure%20change%2C%20heart-rate%20change%2C%20and%20cholesterol%20change%2C%20each%20in%20a%0A%20%20%20%20%20%20different%20group%20of%20people.%20None%20has%20a%20real%20effect.%20Test%20each%20outcome%20and%20report%0A%20%20%20%20%20%20whichever%20gives%20the%20smallest%20p-value.%20This%20simulation%20treats%20the%20outcomes%20as%0A%20%20%20%20%20%20independent%3A%20knowing%20one%20result%20tells%20us%20nothing%20about%20the%20others.%20Measurements%0A%20%20%20%20%20%20taken%20from%20the%20same%20people%20would%20often%20be%20related%20instead.%0A%0A%20%20%20%20In%20every%20strategy%2C%20each%20test%20uses%20the%20same%20threshold%20%CE%B1.%20For%20example%2C%20%CE%B1%20%3D%200.05%0A%20%20%20%20allows%20a%205%25%20false-positive%20rate%20for%20**one%20planned%20test**.%20It%20does%20not%20guarantee%0A%20%20%20%20a%205%25%20rate%20for%20a%20study%20that%20tries%20several%20tests%20and%20reports%20any%20significant%20result.%0A%20%20%20%20We%20make%20no%20correction%20for%20the%20extra%20tests%20here%2C%20so%20we%20can%20see%20what%20happens.%0A%0A%20%20%20%20**Try%20this%3A**%20run%20**Test%20once%20at%20the%20end**%20with%20%CE%B1%20%3D%200.05.%20About%205%20in%20100%20studies%0A%20%20%20%20should%20give%20a%20false%20alarm.%20Then%20select%20**Test%20several%20independent%20outcomes**%2C%0A%20%20%20%20set%20the%20number%20of%20tests%20to%2010%2C%20and%20rerun.%20About%2040%20in%20100%20studies%20will%20give%20at%0A%20%20%20%20least%20one%20false%20alarm.%20Try%20**Test%20repeatedly%20as%20data%20arrive**%20too%3A%20the%20checks%20share%20data%2C%0A%20%20%20%20so%20the%20increase%20is%20different%20from%20that%20for%20independent%20outcomes.%0A%0A%20%20%20%20**Reading%20the%20figures%3A**%20the%20first%20plot%20shows%20the%20fraction%20of%20studies%20with%20at%0A%20%20%20%20least%20one%20false%20alarm.%20Its%20first%20point%20always%20represents%20one%20test.%20The%20small%0A%20%20%20%20vertical%20bars%20show%20uncertainty%20due%20to%20the%20limited%20number%20of%20simulated%20studies%0A%20%20%20%20(approximate%2095%25%20intervals%20for%20each%20point).%20More%20simulated%20studies%20make%20these%0A%20%20%20%20bars%20smaller%3B%20they%20do%20not%20remove%20the%20problem%20of%20false%20alarms%20from%20extra%20tests.%0A%20%20%20%20The%20second%20plot%20shows%20the%20reported%20p-values%3A%20one%20per%20study%2C%20taking%20the%20smallest%0A%20%20%20%20if%20several%20tests%20were%20tried.%20The%20shaded%20area%20marks%20significant%20results.%20The%0A%20%20%20%20vertical%20axis%20is%20density%3A%20the%20area%20of%20a%20bar%2C%20rather%20than%20its%20height%20alone%2C%0A%20%20%20%20represents%20the%20fraction%20of%20studies%0A%20%20%20%20in%20that%20p-value%20range.%20With%20one%20planned%20test%20and%20no%20effect%2C%20p-values%20spread%20evenly%0A%20%20%20%20from%200%20to%201%20in%20this%20simulation%3B%20selecting%20the%20smallest%20of%20several%20shifts%20them%0A%20%20%20%20towards%20zero.%0A%0A%20%20%20%20Repeated%20checks%20start%20after%20at%20least%20five%20people%2C%20with%20at%20least%20one%20new%20person%0A%20%20%20%20between%20checks.%20With%2010%20people%2C%20at%20most%20six%20checks%20are%20possible%20(at%205%20through%0A%20%20%20%2010%20people).%20To%20try%20ten%20checks%2C%20set%20the%20final%20sample%20size%20to%20at%20least%2014.%0A%20%20%20%20The%20number-of-tests%20slider%20adjusts%20to%20the%20selected%20strategy%20and%20sample%20size.%0A%0A%20%20%20%20Click%20**Run%20%2F%20resimulate%20studies**%20to%20apply%20changed%20settings.%20Until%20then%2C%20the%0A%20%20%20%20figures%20show%20the%20previous%20run.%20Running%20again%20gives%20slightly%20different%20results%0A%20%20%20%20because%20new%20random%20measurements%20are%20generated.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20simulation_sample_size%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%205%2C%0A%20%20%20%20%20%20%20%2080%2C%0A%20%20%20%20%20%20%20%20value%3D20%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20label%3D%22Final%20sample%20size%20n%22%2C%0A%20%20%20%20)%0A%20%20%20%20simulation_alpha%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%200.01%2C%0A%20%20%20%20%20%20%20%200.10%2C%0A%20%20%20%20%20%20%20%20step%3D0.01%2C%0A%20%20%20%20%20%20%20%20value%3D0.05%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20label%3D%22Decision%20threshold%20%CE%B1%22%2C%0A%20%20%20%20)%0A%20%20%20%20simulation_repetitions%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%201_000%2C%0A%20%20%20%20%20%20%20%2050_000%2C%0A%20%20%20%20%20%20%20%20step%3D1_000%2C%0A%20%20%20%20%20%20%20%20value%3D10_000%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20label%3D%22Simulated%20studies%22%2C%0A%20%20%20%20)%0A%20%20%20%20simulation_strategy%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Test%20once%20at%20the%20end%22%3A%20%22single%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Test%20repeatedly%20as%20data%20arrive%22%3A%20%22interim%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Test%20several%20independent%20outcomes%22%3A%20%22outcomes%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Test%20once%20at%20the%20end%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Testing%20strategy%22%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20simulation_alpha%2C%0A%20%20%20%20%20%20%20%20simulation_repetitions%2C%0A%20%20%20%20%20%20%20%20simulation_sample_size%2C%0A%20%20%20%20%20%20%20%20simulation_strategy%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20simulation_sample_size%2C%20simulation_strategy)%3A%0A%20%20%20%20simulation_test_limit%20%3D%20(%0A%20%20%20%20%20%20%20%20min(10%2C%20int(simulation_sample_size.value)%20-%204)%0A%20%20%20%20%20%20%20%20if%20simulation_strategy.value%20%3D%3D%20%22interim%22%0A%20%20%20%20%20%20%20%20else%201%0A%20%20%20%20%20%20%20%20if%20simulation_strategy.value%20%3D%3D%20%22single%22%0A%20%20%20%20%20%20%20%20else%2010%0A%20%20%20%20)%0A%20%20%20%20simulation_max_tests%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%201%2C%0A%20%20%20%20%20%20%20%20simulation_test_limit%2C%0A%20%20%20%20%20%20%20%20value%3Dmin(5%2C%20simulation_test_limit)%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20disabled%3Dsimulation_test_limit%20%3D%3D%201%2C%0A%20%20%20%20%20%20%20%20label%3Df%22Number%20of%20tests%20(maximum%20%7Bsimulation_test_limit%7D%20for%20these%20settings)%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(simulation_max_tests%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20simulate_pvalue_experiment)%3A%0A%20%20%20%20initial_simulation_result%20%3D%20simulate_pvalue_experiment(%0A%20%20%20%20%20%20%20%20sample_size%3D20%2C%0A%20%20%20%20%20%20%20%20repetitions%3D10_000%2C%0A%20%20%20%20%20%20%20%20strategy%3D%22single%22%2C%0A%20%20%20%20%20%20%20%20alpha%3D0.05%2C%0A%20%20%20%20%20%20%20%20seed%3D82404%2C%0A%20%20%20%20)%0A%20%20%20%20get_simulation_result%2C%20set_simulation_result%20%3D%20mo.state(initial_simulation_result)%0A%20%20%20%20return%20get_simulation_result%2C%20set_simulation_result%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20set_simulation_result%2C%0A%20%20%20%20simulate_pvalue_experiment%2C%0A%20%20%20%20simulation_alpha%2C%0A%20%20%20%20simulation_max_tests%2C%0A%20%20%20%20simulation_repetitions%2C%0A%20%20%20%20simulation_sample_size%2C%0A%20%20%20%20simulation_strategy%2C%0A)%3A%0A%20%20%20%20def%20run_pvalue_simulation(_value)%3A%0A%20%20%20%20%20%20%20%20fresh_seed%20%3D%20int(np.random.default_rng().integers(0%2C%202**32%20-%201))%0A%20%20%20%20%20%20%20%20set_simulation_result(%0A%20%20%20%20%20%20%20%20%20%20%20%20simulate_pvalue_experiment(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sample_size%3Dint(simulation_sample_size.value)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20repetitions%3Dint(simulation_repetitions.value)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20strategy%3Dsimulation_strategy.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alpha%3Dfloat(simulation_alpha.value)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20seed%3Dfresh_seed%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20max_tests%3Dint(simulation_max_tests.value)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20simulation_run_button%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Run%20%2F%20resimulate%20studies%22%2C%0A%20%20%20%20%20%20%20%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20on_click%3Drun_pvalue_simulation%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(simulation_run_button%2C)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20FIGURE_SIZE_STANDARD%2C%0A%20%20%20%20get_simulation_result%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20simulation_alpha%2C%0A%20%20%20%20simulation_max_tests%2C%0A%20%20%20%20simulation_repetitions%2C%0A%20%20%20%20simulation_run_button%2C%0A%20%20%20%20simulation_sample_size%2C%0A%20%20%20%20simulation_strategy%2C%0A%20%20%20%20two_column_panel%2C%0A)%3A%0A%20%20%20%20pvalue_simulation_result%20%3D%20get_simulation_result()%0A%20%20%20%20pvalue_array%20%3D%20pvalue_simulation_result%5B%22p_values%22%5D%0A%20%20%20%20assert%20pvalue_array.shape%20%3D%3D%20(pvalue_simulation_result%5B%22repetitions%22%5D%2C)%0A%20%20%20%20assert%20np.all((pvalue_array%20%3E%3D%200.0)%20%26%20(pvalue_array%20%3C%3D%201.0))%0A%20%20%20%20assert%200.0%20%3C%3D%20pvalue_simulation_result%5B%22rejection_rate%22%5D%20%3C%3D%201.0%0A%0A%20%20%20%20pvalue_histogram_density%2C%20_%20%3D%20np.histogram(%0A%20%20%20%20%20%20%20%20pvalue_array%2C%20bins%3Dnp.linspace(0%2C%201%2C%2031)%2C%20density%3DTrue%0A%20%20%20%20)%0A%20%20%20%20pvalue_figure%2C%20pvalue_axis%20%3D%20plt.subplots(figsize%3DFIGURE_SIZE_STANDARD)%0A%20%20%20%20pvalue_axis.hist(%0A%20%20%20%20%20%20%20%20pvalue_array%2C%0A%20%20%20%20%20%20%20%20bins%3Dnp.linspace(0%2C%201%2C%2031)%2C%0A%20%20%20%20%20%20%20%20density%3DTrue%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22purple%22%5D%2C%0A%20%20%20%20%20%20%20%20alpha%3D0.75%2C%0A%20%20%20%20%20%20%20%20edgecolor%3D%22white%22%2C%0A%20%20%20%20%20%20%20%20linewidth%3D0.5%2C%0A%20%20%20%20%20%20%20%20label%3D%22Reported%20p-values%22%2C%0A%20%20%20%20)%0A%20%20%20%20pvalue_axis.axvspan(%0A%20%20%20%20%20%20%20%200%2C%0A%20%20%20%20%20%20%20%20pvalue_simulation_result%5B%22alpha%22%5D%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22vermillion%22%5D%2C%0A%20%20%20%20%20%20%20%20alpha%3D0.18%2C%0A%20%20%20%20%20%20%20%20label%3Dr%22Reported%20%24p%5Cleq%5Calpha%24%22%2C%0A%20%20%20%20)%0A%20%20%20%20if%20pvalue_simulation_result%5B%22strategy%22%5D%20%3D%3D%20%22single%22%3A%0A%20%20%20%20%20%20%20%20pvalue_axis.axhline(%0A%20%20%20%20%20%20%20%20%20%20%20%201.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22gray%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20linestyle%3D%22--%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20linewidth%3D1.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Expected%20pattern%20with%20one%20test%20and%20no%20effect%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20pvalue_axis.set(%0A%20%20%20%20%20%20%20%20xlabel%3D%22Reported%20p-value%22%2C%0A%20%20%20%20%20%20%20%20ylabel%3D%22Density%22%2C%0A%20%20%20%20%20%20%20%20xlim%3D(0%2C%201)%2C%0A%20%20%20%20%20%20%20%20ylim%3D(0%2C%20max(1.35%2C%201.28%20*%20pvalue_histogram_density.max()))%2C%0A%20%20%20%20)%0A%20%20%20%20pvalue_axis.grid(axis%3D%22y%22%2C%20linestyle%3D%22%3A%22%2C%20alpha%3D0.35)%0A%20%20%20%20pvalue_axis.legend(frameon%3DFalse%2C%20fontsize%3D8%2C%20loc%3D%22upper%20right%22)%0A%20%20%20%20pvalue_figure.tight_layout()%0A%0A%20%20%20%20pvalue_curve_figure%2C%20pvalue_curve_axis%20%3D%20plt.subplots(figsize%3DFIGURE_SIZE_STANDARD)%0A%20%20%20%20pvalue_counts%20%3D%20pvalue_simulation_result%5B%22test_counts%22%5D%0A%20%20%20%20pvalue_rates%20%3D%20pvalue_simulation_result%5B%22curve_rates%22%5D%0A%20%20%20%20pvalue_margins%20%3D%201.96%20*%20pvalue_simulation_result%5B%22curve_mcse%22%5D%0A%20%20%20%20pvalue_curve_axis.errorbar(%0A%20%20%20%20%20%20%20%20pvalue_counts%2C%0A%20%20%20%20%20%20%20%20pvalue_rates%2C%0A%20%20%20%20%20%20%20%20yerr%3Dnp.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20np.minimum(pvalue_margins%2C%20pvalue_rates)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20np.minimum(pvalue_margins%2C%201%20-%20pvalue_rates)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20fmt%3D%22o-%22%2C%0A%20%20%20%20%20%20%20%20capsize%3D4%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22blue%22%5D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Simulated%20false%20alarms%20(95%25%20intervals)%22%2C%0A%20%20%20%20)%0A%20%20%20%20pvalue_curve_axis.axhline(%0A%20%20%20%20%20%20%20%20pvalue_simulation_result%5B%22alpha%22%5D%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22gray%22%5D%2C%0A%20%20%20%20%20%20%20%20linestyle%3D%22%3A%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Expected%20false%20alarms%20with%20one%20test%3A%20%CE%B1%22%2C%0A%20%20%20%20)%0A%20%20%20%20if%20pvalue_simulation_result%5B%22strategy%22%5D%20%3D%3D%20%22outcomes%22%3A%0A%20%20%20%20%20%20%20%20pvalue_curve_axis.plot(%0A%20%20%20%20%20%20%20%20%20%20%20%20pvalue_counts%2C%0A%20%20%20%20%20%20%20%20%20%20%20%201%20-%20(1%20-%20pvalue_simulation_result%5B%22alpha%22%5D)%20**%20pvalue_counts%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22--%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22vermillion%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Expected%20for%20independent%20outcomes%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20pvalue_curve_axis.set(%0A%20%20%20%20%20%20%20%20xlabel%3D%22Number%20of%20tests%20included%20(k)%22%2C%0A%20%20%20%20%20%20%20%20ylabel%3D%22Fraction%20of%20studies%20with%20a%20false%20alarm%22%2C%0A%20%20%20%20%20%20%20%20xticks%3Dpvalue_counts%2C%0A%20%20%20%20%20%20%20%20xlim%3D(0.7%2C%20max(pvalue_counts)%20%2B%200.3)%2C%0A%20%20%20%20%20%20%20%20ylim%3D(0%2C%201)%2C%0A%20%20%20%20)%0A%20%20%20%20pvalue_curve_axis.grid(axis%3D%22y%22%2C%20linestyle%3D%22%3A%22%2C%20alpha%3D0.35)%0A%20%20%20%20pvalue_curve_axis.legend(frameon%3DFalse%2C%20fontsize%3D8)%0A%20%20%20%20pvalue_curve_figure.tight_layout()%0A%20%20%20%20pvalue_schedule_note%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20%22**How%20to%20read%20this%20curve%3A**%20start%20with%20the%20final%20test%2C%20then%20add%20earlier%20checks.%20Sample%20sizes%2C%20in%20the%20order%20added%3A%20%22%0A%20%20%20%20%20%20%20%20%2B%20%22%2C%20%22.join(str(size)%20for%20size%20in%20pvalue_simulation_result%5B%22look_sizes%22%5D)%0A%20%20%20%20%20%20%20%20%2B%20%22.%20Each%20point%20keeps%20all%20previous%20checks.%20Checks%20are%20at%20least%20one%20person%20apart%20and%20start%20no%20earlier%20than%205%20people%2C%20so%20small%20samples%20allow%20fewer%20checks.%22%0A%20%20%20%20%20%20%20%20if%20pvalue_simulation_result%5B%22strategy%22%5D%20%3D%3D%20%22interim%22%0A%20%20%20%20%20%20%20%20else%20%22**Completed%20run%3A**%20the%20first%20point%20tests%20one%20outcome%3B%20each%20further%20point%20adds%20another%20independent%20outcome.%22%0A%20%20%20%20%20%20%20%20if%20pvalue_simulation_result%5B%22strategy%22%5D%20%3D%3D%20%22outcomes%22%0A%20%20%20%20%20%20%20%20else%20%22**Completed%20run%3A**%20one%20planned%20test%20after%20all%20measurements%20are%20collected.%22%0A%20%20%20%20)%0A%0A%20%20%20%20strategy_labels%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22single%22%3A%20%22Test%20once%20at%20the%20end%22%2C%0A%20%20%20%20%20%20%20%20%22interim%22%3A%20%22Test%20repeatedly%20as%20data%20arrive%22%2C%0A%20%20%20%20%20%20%20%20%22outcomes%22%3A%20%22Test%20several%20independent%20outcomes%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20pvalue_rate%20%3D%20pvalue_simulation_result%5B%22rejection_rate%22%5D%0A%20%20%20%20pvalue_mcse%20%3D%20pvalue_simulation_result%5B%22monte_carlo_se%22%5D%0A%20%20%20%20pvalue_note_kind%20%3D%20(%0A%20%20%20%20%20%20%20%20%22info%22%20if%20pvalue_simulation_result%5B%22strategy%22%5D%20%3D%3D%20%22single%22%20else%20%22warn%22%0A%20%20%20%20)%0A%20%20%20%20pvalue_note%20%3D%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22The%20last%20run%20used%20**%7Bstrategy_labels%5Bpvalue_simulation_result%5B'strategy'%5D%5D%7D**%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Blen(pvalue_simulation_result%5B'test_counts'%5D)%7D%20test(s)%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22no%20real%20effect%2C%20n%20%3D%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bpvalue_simulation_result%5B'sample_size'%5D%7D%2C%20and%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bpvalue_simulation_result%5B'repetitions'%5D%3A%2C%7D%20studies.%20The%20fraction%20with%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22at%20least%20one%20false%20alarm%20(p%20%E2%89%A4%20%7Bpvalue_simulation_result%5B'alpha'%5D%3A.2f%7D)%20was%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7Bpvalue_rate%3A.1%25%7D%20%C2%B1%20%7B1.96%20*%20pvalue_mcse%3A.1%25%7D**%20(approximate%2095%25%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22simulation%20margin).%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20kind%3Dpvalue_note_kind%2C%0A%20%20%20%20)%0A%20%20%20%20pvalue_controls%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20simulation_sample_size%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20simulation_alpha%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20simulation_repetitions%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20simulation_strategy%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20simulation_max_tests%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20simulation_run_button%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Controls%20describe%20the%20**next**%20run.%20The%20figure%20remains%20stable%20until%20the%20button%20is%20clicked.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22neutral%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bpvalue_rate%3A.1%25%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Studies%20with%20a%20false%20alarm%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bordered%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%C2%B1%7B1.96%20*%20pvalue_mcse%3A.1%25%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%2295%25%20simulation%20margin%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bordered%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20two_column_panel(%0A%20%20%20%20%20%20%20%20pvalue_controls%2C%0A%20%20%20%20%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5Bpvalue_curve_figure%2C%20pvalue_schedule_note%2C%20pvalue_figure%2C%20pvalue_note%5D%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20widths%3D(1%2C%202)%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%0A%20%20%20%20%23%23%208.%20Review%20questions%0A%0A%20%20%20%20Choose%20one%20answer%20for%20each%20question.%20Feedback%20appears%20immediately%20and%20explains%0A%20%20%20%20the%20underlying%20reasoning.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20review_question_1%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20null%20hypothesis%20has%20a%203%25%20probability%20of%20being%20true%22%3A%20%22null_probability%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Assuming%20H%E2%82%80%20and%20the%20model%2C%20data%20at%20least%20this%20extreme%20have%20probability%200.03%22%3A%20%22conditional%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Chance%20caused%20the%20result%20with%20probability%203%25%22%3A%20%22chance%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3DNone%2C%0A%20%20%20%20%20%20%20%20label%3D%22Choose%20one%20answer%22%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22**1.%20What%20does%20a%20two-sided%20p-value%20of%200.03%20mean%3F**%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20review_question_1%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%20(review_question_1%2C)%0A%0A%0A%40app.cell%0Adef%20_(review_feedback%2C%20review_question_1)%3A%0A%20%20%20%20review_feedback(%0A%20%20%20%20%20%20%20%20review_question_1.value%2C%0A%20%20%20%20%20%20%20%20correct_value%3D%22conditional%22%2C%0A%20%20%20%20%20%20%20%20correct_text%3D%22**Correct.**%20If%20the%20null%20model%20were%20true%2C%20results%20at%20least%20this%20far%20from%20the%20null%20value%2C%20in%20either%20direction%2C%20would%20occur%20in%203%25%20of%20repeated%20studies%20using%20this%20test.%22%2C%0A%20%20%20%20%20%20%20%20incorrect_text%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22null_probability%22%3A%20%22The%20calculation%20assumes%20H%E2%82%80%20is%20true%20and%20obtains%20a%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22probability%20for%20the%20observed%20statistic%20or%20more%20extreme%20values%3B%20it%20does%20not%20calculate%20a%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22probability%20that%20H%E2%82%80%20is%20true.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22chance%22%3A%20%22%E2%80%9CChance%20caused%20the%20result%E2%80%9D%20is%20not%20an%20event%20defined%20by%20this%20test.%20The%20value%200.03%20is%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22probability%20of%20a%20statistic%20at%20least%20as%20extreme%2C%20in%20either%20tested%20direction%2C%20under%20H%E2%82%80%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22and%20the%20model%20assumptions.%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20review_question_2%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20pre-specified%20claim%20is%20a%20reduction%3B%20an%20increase%20would%20not%20count%20as%20evidence%20for%20that%20claim%22%3A%20%22lower%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Either%20an%20increase%20or%20decrease%20would%20be%20scientifically%20important%22%3A%20%22two_sided%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20observed%20mean%20happened%20to%20be%20lower%22%3A%20%22posthoc%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3DNone%2C%0A%20%20%20%20%20%20%20%20label%3D%22Choose%20one%20answer%22%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**2.%20Which%20research%20question%20calls%20for%20a%20lower-tailed%20test%20chosen%20before%20seeing%20the%20data%3F**%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20review_question_2%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%20(review_question_2%2C)%0A%0A%0A%40app.cell%0Adef%20_(review_feedback%2C%20review_question_2)%3A%0A%20%20%20%20review_feedback(%0A%20%20%20%20%20%20%20%20review_question_2.value%2C%0A%20%20%20%20%20%20%20%20correct_value%3D%22lower%22%2C%0A%20%20%20%20%20%20%20%20correct_text%3D%22**Correct.**%20A%20lower-tailed%20test%20addresses%20the%20pre-specified%20claim%20of%20a%20reduction%2C%20with%20increases%20providing%20no%20evidence%20for%20that%20claim.%20Merely%20expecting%20a%20decrease%20is%20insufficient%20if%20either%20direction%20would%20answer%20the%20research%20question%3B%20unexpected%20increases%20can%20still%20matter%20scientifically.%22%2C%0A%20%20%20%20%20%20%20%20incorrect_text%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22two_sided%22%3A%20%22If%20increases%20and%20decreases%20both%20answer%20the%20scientific%20question%2C%20the%20alternative%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22should%20include%20both%20directions.%20A%20lower-tailed%20test%20would%20not%20test%20for%20an%20increase.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22posthoc%22%3A%20%22Choosing%20the%20direction%20after%20seeing%20whether%20the%20result%20increased%20or%20decreased%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22can%20increase%20false%20alarms.%20Specify%20the%20direction%20before%20examining%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22outcomes.%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20review_question_3%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Use%20z%20because%20every%20sample%20mean%20is%20normal%22%3A%20%22always_z%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Use%20t%20because%20the%20population%20SD%20is%20estimated%20from%20the%20sample%22%3A%20%22use_t%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Either%20distribution%20gives%20exactly%20the%20same%20p-value%20at%20n%20%3D%2010%22%3A%20%22same%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3DNone%2C%0A%20%20%20%20%20%20%20%20label%3D%22Choose%20one%20answer%22%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**3.%20In%20the%20birth-weight%20example%2C%20assume%20independent%20observations%20from%20a%20normal%20population.%20The%20population%20SD%20is%20unknown%20and%20n%20%3D%2010.%20Why%20use%20a%20one-sample%20t%20test%3F**%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20review_question_3%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%20(review_question_3%2C)%0A%0A%0A%40app.cell%0Adef%20_(review_feedback%2C%20review_question_3)%3A%0A%20%20%20%20review_feedback(%0A%20%20%20%20%20%20%20%20review_question_3.value%2C%0A%20%20%20%20%20%20%20%20correct_value%3D%22use_t%22%2C%0A%20%20%20%20%20%20%20%20correct_text%3D%22**Correct.**%20Replacing%20%CF%83%20with%20sample%20s%20adds%20uncertainty.%20Under%20the%20stated%20assumptions%2C%20(mean%20%E2%88%92%20null%20mean)%2F(s%2F%E2%88%9An)%20follows%20a%20t%20distribution%20with%20n%20%E2%88%92%201%20%3D%209%20degrees%20of%20freedom.%20Small%20n%20alone%20does%20not%20justify%20the%20normal-population%20assumption.%22%2C%0A%20%20%20%20%20%20%20%20incorrect_text%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22always_z%22%3A%20%22A%20sample%20mean%20is%20not%20automatically%20normal.%20Even%20under%20a%20normal%20population%20model%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22replacing%20the%20unknown%20%CF%83%20with%20sample%20s%20makes%20the%20standardized%20statistic%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22t-distributed%2C%20with%209%20degrees%20of%20freedom%20here.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22same%22%3A%20%22At%209%20degrees%20of%20freedom%20the%20t%20distribution%20has%20heavier%20tails%20than%20the%20standard%20normal.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22For%20the%20same%20nonzero%20statistic%20its%20two-sided%20p-value%20is%20larger%3B%20the%20distributions%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22approach%20one%20another%20as%20degrees%20of%20freedom%20increase.%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20review_question_4%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Reject%20in%20the%20matching%20two-sided%205%25%20test%22%3A%20%22reject%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Fail%20to%20reject%20because%20the%20interval%20is%20wide%22%3A%20%22fail%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20test%20decision%20cannot%20be%20related%20to%20the%20interval%22%3A%20%22unrelated%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3DNone%2C%0A%20%20%20%20%20%20%20%20label%3D%22Choose%20one%20answer%22%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**4.%20A%20null%20mean%20lies%20strictly%20outside%20a%20two-sided%2095%25%20t%20confidence%20interval.%20What%20is%20the%20decision%20in%20the%20matching%20two-sided%20t%20test%20at%20%CE%B1%20%3D%200.05%3F**%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20review_question_4%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%20(review_question_4%2C)%0A%0A%0A%40app.cell%0Adef%20_(review_feedback%2C%20review_question_4)%3A%0A%20%20%20%20review_feedback(%0A%20%20%20%20%20%20%20%20review_question_4.value%2C%0A%20%20%20%20%20%20%20%20correct_value%3D%22reject%22%2C%0A%20%20%20%20%20%20%20%20correct_text%3D%22**Correct.**%20Using%20the%20same%20data%20and%20assumptions%2C%20a%20null%20mean%20strictly%20outside%20the%2095%25%20t%20interval%20gives%20p%20%3C%200.05.%20At%20an%20endpoint%2C%20p%20%3D%200.05%3B%20this%20notebook%20counts%20equality%20as%20rejection.%22%2C%0A%20%20%20%20%20%20%20%20incorrect_text%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22fail%22%3A%20%22Width%20describes%20precision%2C%20but%20the%20test%20decision%20depends%20on%20whether%20the%20interval%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22includes%20the%20null%20value.%20A%20matching%20interval%20can%20be%20wide%20and%20still%20exclude%20that%20value%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22implying%20rejection.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22unrelated%22%3A%20%22The%20interval%20contains%20the%20null%20means%20for%20which%20the%20matching%20two-sided%20t%20test%20gives%20p%20%E2%89%A5%200.05.%20A%20value%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22strictly%20outside%20the%2095%25%20interval%20gives%20p%20%3C%200.05%3B%20at%20an%20endpoint%20p%20%3D%200.05.%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20review_question_5%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Sensitivity%20%E2%86%94%20power%3B%20specificity%20%E2%86%94%201%20%E2%88%92%20%CE%B1%22%3A%20%22correct_map%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Sensitivity%20%E2%86%94%20%CE%B1%3B%20specificity%20%E2%86%94%20%CE%B2%22%3A%20%22reversed%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Sensitivity%20and%20specificity%20alone%20tell%20us%20the%20probability%20of%20disease%20after%20a%20positive%20result%22%3A%20%22posterior%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3DNone%2C%0A%20%20%20%20%20%20%20%20label%3D%22Choose%20one%20answer%22%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**5.%20Which%20statement%20correctly%20connects%20diagnostic%20testing%20with%20hypothesis-test%20errors%3F**%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20review_question_5%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%20(review_question_5%2C)%0A%0A%0A%40app.cell%0Adef%20_(review_feedback%2C%20review_question_5)%3A%0A%20%20%20%20review_feedback(%0A%20%20%20%20%20%20%20%20review_question_5.value%2C%0A%20%20%20%20%20%20%20%20correct_value%3D%22correct_map%22%2C%0A%20%20%20%20%20%20%20%20correct_text%3D%22**Correct.**%20Sensitivity%20is%20the%20probability%20of%20detection%20when%20disease%20is%20present%2C%20analogous%20to%20power%3B%20specificity%20is%20the%20true-negative%20rate%2C%201%20%E2%88%92%20%CE%B1.%22%2C%0A%20%20%20%20%20%20%20%20incorrect_text%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22reversed%22%3A%20%22Sensitivity%20is%20a%20true-positive%20rate%2C%20corresponding%20to%20power%201%20%E2%88%92%20%CE%B2%3B%20specificity%20is%20a%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22true-negative%20rate%2C%20corresponding%20to%201%20%E2%88%92%20%CE%B1.%20The%20corresponding%20error%20rates%20are%20one%20minus%20these%20values.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22posterior%22%3A%20%22Sensitivity%20and%20specificity%20describe%20results%20for%20people%20whose%20disease%20status%20is%20known.%20The%20probability%20of%20disease%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22after%20a%20positive%20result%20also%20depends%20on%20prevalence%3A%20how%20common%20the%20disease%20is%20in%20the%20tested%20population.%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%0A%20%20%20%20%23%23%209.%20Take-home%20messages%0A%0A%20%20%20%20-%20A%20null%20model%20describes%20what%20results%20we%20would%20expect%20if%20a%20specific%20claim%2C%0A%20%20%20%20%20%20often%20%E2%80%9Cno%20change%E2%80%9D%2C%20and%20the%20test's%20assumptions%20were%20true.%0A%20%20%20%20-%20A%20p-value%20asks%20how%20often%20that%20model%20would%20produce%20a%20test%20statistic%20as%20extreme%0A%20%20%20%20%20%20as%20the%20observed%20one%20or%20more%20so%2C%20in%20the%20direction(s)%20chosen%20before%20the%20study.%0A%20%20%20%20%20%20It%20is%20not%20the%20probability%20that%20the%20null%20hypothesis%20is%20true.%0A%20%20%20%20-%20Plan%20the%20direction%2C%20test%2C%20and%20decision%20threshold%20%24%5Calpha%24%20before%20examining%0A%20%20%20%20%20%20the%20results.%20Check%20that%20the%20design%20and%20measurements%20support%20the%20assumptions.%0A%20%20%20%20-%20SD%20describes%20variation%20between%20observations%3B%20SE%20describes%20uncertainty%20in%20the%0A%20%20%20%20%20%20sample%20mean.%20A%20one-sample%20z%20or%20t%20statistic%20expresses%20the%20difference%20from%20a%0A%20%20%20%20%20%20reference%20mean%20in%20SE%20units.%20Use%20t%20when%20estimating%20population%20SD%20from%20the%20sample.%0A%20%20%20%20-%20A%20confidence%20interval%20shows%20the%20size%2C%20direction%2C%20and%20precision%20of%20the%0A%20%20%20%20%20%20estimated%20effect.%20Matching%20tests%20and%20intervals%20agree%20apart%20from%20the%20stated%0A%20%20%20%20%20%20convention%20at%20the%20exact%20decision%20boundary.%0A%20%20%20%20-%20%24%5Calpha%24%20controls%20false%20alarms%20when%20the%20null%20is%20true.%20Power%2C%20%241-%5Cbeta%24%2C%20is%20the%0A%20%20%20%20%20%20chance%20of%20detecting%20a%20specified%20real%20effect%3B%20%24%5Cbeta%24%20is%20the%20chance%20of%20missing%20it.%0A%20%20%20%20-%20Statistical%20significance%20does%20not%20establish%20biological%20importance.%20Report%0A%20%20%20%20%20%20the%20estimated%20effect%2C%20confidence%20interval%2C%20and%20study%20limitations%20together.%0A%20%20%20%20%20%20A%20result%20that%20is%20not%20significant%20does%20not%20establish%20%E2%80%9Cno%20effect%E2%80%9D.%0A%20%20%20%20-%20Trying%20more%20tests%20and%20reporting%20whichever%20is%20significant%20increases%20false%0A%20%20%20%20%20%20alarms%20unless%20the%20analysis%20accounts%20for%20those%20extra%20opportunities.%0A%0A%20%20%20%20**Next%3A**%20Chapter%205%20applies%20these%20ideas%20to%20comparisons%20between%20groups%2C%20paired%0A%20%20%20%20measurements%2C%20relationships%20between%20variables%2C%20and%20counts.%20It%20also%20covers%20how%0A%20%20%20%20to%20compare%20several%20groups%2C%20account%20for%20multiple%20tests%2C%20and%20assess%20whether%0A%20%20%20%20differences%20are%20small%20enough%20to%20be%20considered%20biologically%20negligible.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A