NHST examples

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.14%22%0A%23%20dependencies%20%3D%20%5B%22marimo%3E%3D0.24%22%2C%20%22matplotlib%3E%3D3.11%22%2C%20%22numpy%3E%3D2.5%22%2C%20%22pandas%3E%3D3.0%22%2C%20%22scipy%3E%3D1.18%22%2C%20%22companion_data%20%40%20..%2Fpublic%2Fwheels%2Fcompanion_data-0.0.0%252Bmarimo.fe02cf64de77-py3-none-any.whl%22%2C%20%22companion_statistics%20%40%20..%2Fpublic%2Fwheels%2Fcompanion_statistics-0.0.0%252Bmarimo.c0a603b2d35b-py3-none-any.whl%22%2C%20%22companion_style%20%40%20..%2Fpublic%2Fwheels%2Fcompanion_style-0.0.0%252Bmarimo.1f64c7673fa5-py3-none-any.whl%22%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.24.2%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20width%3D%22medium%22%2C%0A%20%20%20%20app_title%3D%22NHST%20examples%22%2C%0A%20%20%20%20css_file%3D%22site%2Fassets%2Fnotebook.css%22%2C%0A)%0A%0A%0A%40app.cell%0Adef%20chapter_header()%3A%0A%20%20%20%20from%20companion_style%20import%20notebook_header%0A%0A%20%20%20%20notebook_header(%0A%20%20%20%20%20%20%20%205%2C%0A%20%20%20%20%20%20%20%20%22Null-hypothesis%20significance%20testing%22%2C%0A%20%20%20%20%20%20%20%20%22Examples%3A%20groups%2C%20counts%2C%20ranks%2C%20and%20analysis%20of%20variance%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20from%20itertools%20import%20combinations%0A%20%20%20%20from%20math%20import%20comb%0A%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20pandas%20as%20pd%0A%20%20%20%20from%20scipy%20import%20stats%0A%0A%20%20%20%20from%20companion_data%20import%20read_csv%0A%20%20%20%20from%20companion_statistics%20import%20cohen_d_sample%0A%20%20%20%20from%20companion_style%20import%20(%0A%20%20%20%20%20%20%20%20COLORS%2C%0A%20%20%20%20%20%20%20%20FIGURE_SIZE_LINKED%2C%0A%20%20%20%20%20%20%20%20FIGURE_SIZE_SHALLOW%2C%0A%20%20%20%20%20%20%20%20FIGURE_SIZE_STANDARD%2C%0A%20%20%20%20%20%20%20%20compact_table%2C%0A%20%20%20%20%20%20%20%20review_feedback%2C%0A%20%20%20%20%20%20%20%20two_column_panel%2C%0A%20%20%20%20)%0A%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20COLORS%2C%0A%20%20%20%20%20%20%20%20FIGURE_SIZE_LINKED%2C%0A%20%20%20%20%20%20%20%20FIGURE_SIZE_SHALLOW%2C%0A%20%20%20%20%20%20%20%20FIGURE_SIZE_STANDARD%2C%0A%20%20%20%20%20%20%20%20cohen_d_sample%2C%0A%20%20%20%20%20%20%20%20comb%2C%0A%20%20%20%20%20%20%20%20combinations%2C%0A%20%20%20%20%20%20%20%20compact_table%2C%0A%20%20%20%20%20%20%20%20np%2C%0A%20%20%20%20%20%20%20%20pd%2C%0A%20%20%20%20%20%20%20%20plt%2C%0A%20%20%20%20%20%20%20%20read_csv%2C%0A%20%20%20%20%20%20%20%20review_feedback%2C%0A%20%20%20%20%20%20%20%20stats%2C%0A%20%20%20%20%20%20%20%20two_column_panel%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20np%2C%20read_csv)%3A%0A%20%20%20%20data_directory%20%3D%20mo.notebook_location()%20%2F%20%22public%22%0A%20%20%20%20rat_data%20%3D%20read_csv(data_directory%20%2F%20%22rat_data.csv%22%2C%20comment%3D%22%23%22)%0A%20%20%20%20peroxidase_data%20%3D%20read_csv(data_directory%20%2F%20%22peroxidase.csv%22)%0A%20%20%20%20water_data%20%3D%20read_csv(data_directory%20%2F%20%22waterquality.csv%22)%0A%0A%20%20%20%20assert%20list(rat_data.columns)%20%3D%3D%20%5B%22age%22%2C%20%22relax%22%5D%0A%20%20%20%20assert%20len(rat_data)%20%3D%3D%2017%0A%20%20%20%20assert%20set(rat_data%5B%22age%22%5D)%20%3D%3D%20%7B%22old%22%2C%20%22young%22%7D%0A%20%20%20%20assert%20rat_data.groupby(%22age%22).size().to_dict()%20%3D%3D%20%7B%22old%22%3A%209%2C%20%22young%22%3A%208%7D%0A%20%20%20%20assert%20np.isfinite(rat_data%5B%22relax%22%5D).all()%0A%0A%20%20%20%20assert%20list(peroxidase_data.columns)%20%3D%3D%20%5B%0A%20%20%20%20%20%20%20%20%22light_conditions%22%2C%0A%20%20%20%20%20%20%20%20%22tissue%22%2C%0A%20%20%20%20%20%20%20%20%22peroxidase_amount%22%2C%0A%20%20%20%20%5D%0A%20%20%20%20assert%20len(peroxidase_data)%20%3D%3D%2060%0A%20%20%20%20assert%20set(peroxidase_data%5B%22light_conditions%22%5D)%20%3D%3D%20%7B%22light%22%2C%20%22dark%22%7D%0A%20%20%20%20assert%20set(peroxidase_data%5B%22tissue%22%5D)%20%3D%3D%20%7B%0A%20%20%20%20%20%20%20%20%22root%22%2C%0A%20%20%20%20%20%20%20%20%22mesocotyl%22%2C%0A%20%20%20%20%20%20%20%20%22primary%20leaf%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20assert%20set(peroxidase_data.groupby(%5B%22light_conditions%22%2C%20%22tissue%22%5D).size())%20%3D%3D%20%7B10%7D%0A%20%20%20%20assert%20np.isfinite(peroxidase_data%5B%22peroxidase_amount%22%5D).all()%0A%0A%20%20%20%20nitrate_column%20%3D%20%22nitrate_mg_l%22%0A%20%20%20%20phosphate_column%20%3D%20%22phosphate_ug_l%22%0A%20%20%20%20assert%20%7Bnitrate_column%2C%20phosphate_column%7D.issubset(water_data.columns)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20nitrate_column%2C%0A%20%20%20%20%20%20%20%20peroxidase_data%2C%0A%20%20%20%20%20%20%20%20phosphate_column%2C%0A%20%20%20%20%20%20%20%20rat_data%2C%0A%20%20%20%20%20%20%20%20water_data%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(comb%2C%20combinations%2C%20np%2C%20stats)%3A%0A%20%20%20%20def%20welch_mean_difference(group_1%2C%20group_2%2C%20confidence%3D0.95)%3A%0A%20%20%20%20%20%20%20%20sample_1%20%3D%20np.asarray(group_1%2C%20dtype%3Dfloat)%0A%20%20%20%20%20%20%20%20sample_2%20%3D%20np.asarray(group_2%2C%20dtype%3Dfloat)%0A%20%20%20%20%20%20%20%20n_1%2C%20n_2%20%3D%20sample_1.size%2C%20sample_2.size%0A%20%20%20%20%20%20%20%20variance_1%20%3D%20float(sample_1.var(ddof%3D1))%0A%20%20%20%20%20%20%20%20variance_2%20%3D%20float(sample_2.var(ddof%3D1))%0A%20%20%20%20%20%20%20%20standard_error%20%3D%20np.sqrt(variance_1%20%2F%20n_1%20%2B%20variance_2%20%2F%20n_2)%0A%20%20%20%20%20%20%20%20difference%20%3D%20float(sample_2.mean()%20-%20sample_1.mean())%0A%20%20%20%20%20%20%20%20statistic%20%3D%20difference%20%2F%20standard_error%0A%20%20%20%20%20%20%20%20numerator%20%3D%20(variance_1%20%2F%20n_1%20%2B%20variance_2%20%2F%20n_2)%20**%202%0A%20%20%20%20%20%20%20%20denominator%20%3D%20(variance_1%20%2F%20n_1)%20**%202%20%2F%20(n_1%20-%201)%20%2B%20(variance_2%20%2F%20n_2)%20**%202%20%2F%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20n_2%20-%201%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20degrees_of_freedom%20%3D%20numerator%20%2F%20denominator%0A%20%20%20%20%20%20%20%20alpha%20%3D%201.0%20-%20confidence%0A%20%20%20%20%20%20%20%20critical%20%3D%20float(stats.t.ppf(1.0%20-%20alpha%20%2F%202.0%2C%20degrees_of_freedom))%0A%20%20%20%20%20%20%20%20interval%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20difference%20-%20critical%20*%20standard_error%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20difference%20%2B%20critical%20*%20standard_error%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20p_value%20%3D%20float(2.0%20*%20stats.t.sf(abs(statistic)%2C%20degrees_of_freedom))%0A%20%20%20%20%20%20%20%20return%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22difference%22%3A%20difference%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22standard_error%22%3A%20float(standard_error)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22statistic%22%3A%20float(statistic)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22degrees_of_freedom%22%3A%20float(degrees_of_freedom)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22p_value%22%3A%20p_value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22interval%22%3A%20tuple(map(float%2C%20interval))%2C%0A%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20def%20exact_mean_difference_permutation(values%2C%20group_2_size)%3A%0A%20%20%20%20%20%20%20%20observations%20%3D%20np.asarray(values%2C%20dtype%3Dfloat)%0A%20%20%20%20%20%20%20%20total_sum%20%3D%20float(observations.sum())%0A%20%20%20%20%20%20%20%20group_1_size%20%3D%20observations.size%20-%20group_2_size%0A%20%20%20%20%20%20%20%20differences%20%3D%20np.empty(comb(observations.size%2C%20group_2_size)%2C%20dtype%3Dfloat)%0A%20%20%20%20%20%20%20%20for%20index%2C%20group_2_indices%20in%20enumerate(%0A%20%20%20%20%20%20%20%20%20%20%20%20combinations(range(observations.size)%2C%20group_2_size)%0A%20%20%20%20%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20group_2_sum%20%3D%20float(observations%5Blist(group_2_indices)%5D.sum())%0A%20%20%20%20%20%20%20%20%20%20%20%20differences%5Bindex%5D%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20group_2_sum%20%2F%20group_2_size%20-%20(total_sum%20-%20group_2_sum)%20%2F%20group_1_size%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20differences%0A%0A%20%20%20%20def%20qq_gallery_sample(pattern%2C%20sample_size%2C%20seed%3D82405)%3A%0A%20%20%20%20%20%20%20%20gallery_rng%20%3D%20np.random.default_rng(seed)%0A%20%20%20%20%20%20%20%20if%20pattern%20%3D%3D%20%22normal%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sample%20%3D%20gallery_rng.normal(size%3Dsample_size)%0A%20%20%20%20%20%20%20%20elif%20pattern%20%3D%3D%20%22skewed%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sample%20%3D%20gallery_rng.lognormal(mean%3D0.0%2C%20sigma%3D0.75%2C%20size%3Dsample_size)%0A%20%20%20%20%20%20%20%20elif%20pattern%20%3D%3D%20%22heavy%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sample%20%3D%20gallery_rng.standard_t(df%3D3%2C%20size%3Dsample_size)%0A%20%20%20%20%20%20%20%20elif%20pattern%20%3D%3D%20%22bimodal%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20component%20%3D%20gallery_rng.integers(0%2C%202%2C%20size%3Dsample_size)%0A%20%20%20%20%20%20%20%20%20%20%20%20sample%20%3D%20gallery_rng.normal(2.8%20*%20component%20-%201.4%2C%200.65)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sample%20%3D%20gallery_rng.normal(size%3Dsample_size)%0A%20%20%20%20%20%20%20%20%20%20%20%20sample%5Bnp.argmax(sample)%5D%20%3D%205.5%0A%20%20%20%20%20%20%20%20return%20np.asarray(sample%2C%20dtype%3Dfloat)%0A%0A%20%20%20%20def%20simulate_variance_imbalance(%0A%20%20%20%20%20%20%20%20small_n%2C%20large_n%2C%20small_sd%2C%20large_sd%2C%20repetitions%2C%20seed%0A%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20simulation_rng%20%3D%20np.random.default_rng(seed)%0A%20%20%20%20%20%20%20%20group_small%20%3D%20simulation_rng.normal(0.0%2C%20small_sd%2C%20size%3D(repetitions%2C%20small_n))%0A%20%20%20%20%20%20%20%20group_large%20%3D%20simulation_rng.normal(0.0%2C%20large_sd%2C%20size%3D(repetitions%2C%20large_n))%0A%20%20%20%20%20%20%20%20welch_p_values%20%3D%20stats.ttest_ind(%0A%20%20%20%20%20%20%20%20%20%20%20%20group_small%2C%20group_large%2C%20axis%3D1%2C%20equal_var%3DFalse%0A%20%20%20%20%20%20%20%20).pvalue%0A%20%20%20%20%20%20%20%20pooled_p_values%20%3D%20stats.ttest_ind(%0A%20%20%20%20%20%20%20%20%20%20%20%20group_small%2C%20group_large%2C%20axis%3D1%2C%20equal_var%3DTrue%0A%20%20%20%20%20%20%20%20).pvalue%0A%20%20%20%20%20%20%20%20alpha%20%3D%200.05%0A%20%20%20%20%20%20%20%20welch_rate%20%3D%20float(np.mean(welch_p_values%20%3C%3D%20alpha))%0A%20%20%20%20%20%20%20%20pooled_rate%20%3D%20float(np.mean(pooled_p_values%20%3C%3D%20alpha))%0A%20%20%20%20%20%20%20%20return%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22small_n%22%3A%20int(small_n)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22large_n%22%3A%20int(large_n)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22small_sd%22%3A%20float(small_sd)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22large_sd%22%3A%20float(large_sd)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22repetitions%22%3A%20int(repetitions)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22seed%22%3A%20int(seed)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22welch_rate%22%3A%20welch_rate%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22pooled_rate%22%3A%20pooled_rate%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22welch_mcse%22%3A%20float(np.sqrt(welch_rate%20*%20(1.0%20-%20welch_rate)%20%2F%20repetitions))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22pooled_mcse%22%3A%20float(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20np.sqrt(pooled_rate%20*%20(1.0%20-%20pooled_rate)%20%2F%20repetitions)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20def%20one_way_anova_details(frame%2C%20group_column%2C%20outcome_column%2C%20order)%3A%0A%20%20%20%20%20%20%20%20groups%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20frame.loc%5Bframe%5Bgroup_column%5D%20%3D%3D%20label%2C%20outcome_column%5D.to_numpy(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20dtype%3Dfloat%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20label%20in%20order%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20counts%20%3D%20np.array(%5Bgroup.size%20for%20group%20in%20groups%5D%2C%20dtype%3Dint)%0A%20%20%20%20%20%20%20%20means%20%3D%20np.array(%5Bgroup.mean()%20for%20group%20in%20groups%5D%2C%20dtype%3Dfloat)%0A%20%20%20%20%20%20%20%20grand_mean%20%3D%20float(np.concatenate(groups).mean())%0A%20%20%20%20%20%20%20%20ss_between%20%3D%20float(np.sum(counts%20*%20(means%20-%20grand_mean)%20**%202))%0A%20%20%20%20%20%20%20%20ss_within%20%3D%20float(sum(np.sum((group%20-%20group.mean())%20**%202)%20for%20group%20in%20groups))%0A%20%20%20%20%20%20%20%20ss_total%20%3D%20float(sum(np.sum((group%20-%20grand_mean)%20**%202)%20for%20group%20in%20groups))%0A%20%20%20%20%20%20%20%20df_between%20%3D%20len(groups)%20-%201%0A%20%20%20%20%20%20%20%20df_within%20%3D%20int(counts.sum()%20-%20len(groups))%0A%20%20%20%20%20%20%20%20ms_between%20%3D%20ss_between%20%2F%20df_between%0A%20%20%20%20%20%20%20%20ms_within%20%3D%20ss_within%20%2F%20df_within%0A%20%20%20%20%20%20%20%20statistic%20%3D%20ms_between%20%2F%20ms_within%0A%20%20%20%20%20%20%20%20p_value%20%3D%20float(stats.f.sf(statistic%2C%20df_between%2C%20df_within))%0A%20%20%20%20%20%20%20%20fitted%20%3D%20np.concatenate(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5Bnp.full(group.size%2C%20mean)%20for%20group%2C%20mean%20in%20zip(groups%2C%20means)%5D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20residuals%20%3D%20np.concatenate(%5Bgroup%20-%20mean%20for%20group%2C%20mean%20in%20zip(groups%2C%20means)%5D)%0A%20%20%20%20%20%20%20%20assert%20np.isclose(ss_total%2C%20ss_between%20%2B%20ss_within)%0A%20%20%20%20%20%20%20%20return%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22groups%22%3A%20groups%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22counts%22%3A%20counts%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22means%22%3A%20means%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22grand_mean%22%3A%20grand_mean%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22ss_between%22%3A%20ss_between%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22ss_within%22%3A%20ss_within%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22ss_total%22%3A%20ss_total%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22df_between%22%3A%20df_between%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22df_within%22%3A%20df_within%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22ms_between%22%3A%20ms_between%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22ms_within%22%3A%20ms_within%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22statistic%22%3A%20float(statistic)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22p_value%22%3A%20p_value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22fitted%22%3A%20fitted%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22residuals%22%3A%20residuals%2C%0A%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20def%20holm_adjust(p_values)%3A%0A%20%20%20%20%20%20%20%20raw%20%3D%20np.asarray(p_values%2C%20dtype%3Dfloat)%0A%20%20%20%20%20%20%20%20order%20%3D%20np.argsort(raw)%0A%20%20%20%20%20%20%20%20ordered%20%3D%20raw%5Border%5D%0A%20%20%20%20%20%20%20%20scaled%20%3D%20(raw.size%20-%20np.arange(raw.size))%20*%20ordered%0A%20%20%20%20%20%20%20%20adjusted_ordered%20%3D%20np.minimum(1.0%2C%20np.maximum.accumulate(scaled))%0A%20%20%20%20%20%20%20%20adjusted%20%3D%20np.empty_like(adjusted_ordered)%0A%20%20%20%20%20%20%20%20adjusted%5Border%5D%20%3D%20adjusted_ordered%0A%20%20%20%20%20%20%20%20return%20adjusted%0A%0A%20%20%20%20def%20two_way_balanced_details(%0A%20%20%20%20%20%20%20%20frame%2C%20factor_a%2C%20factor_b%2C%20outcome%2C%20levels_a%2C%20levels_b%0A%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20values%20%3D%20frame%5Boutcome%5D.to_numpy(dtype%3Dfloat)%0A%20%20%20%20%20%20%20%20grand_mean%20%3D%20float(values.mean())%0A%20%20%20%20%20%20%20%20cell_counts%20%3D%20frame.groupby(%5Bfactor_a%2C%20factor_b%5D).size()%0A%20%20%20%20%20%20%20%20assert%20cell_counts.nunique()%20%3D%3D%201%0A%20%20%20%20%20%20%20%20replicates%20%3D%20int(cell_counts.iloc%5B0%5D)%0A%20%20%20%20%20%20%20%20means_a%20%3D%20frame.groupby(factor_a)%5Boutcome%5D.mean()%0A%20%20%20%20%20%20%20%20means_b%20%3D%20frame.groupby(factor_b)%5Boutcome%5D.mean()%0A%20%20%20%20%20%20%20%20cell_means%20%3D%20frame.groupby(%5Bfactor_a%2C%20factor_b%5D)%5Boutcome%5D.mean()%0A%20%20%20%20%20%20%20%20a_count%2C%20b_count%20%3D%20len(levels_a)%2C%20len(levels_b)%0A%20%20%20%20%20%20%20%20ss_a%20%3D%20float(%0A%20%20%20%20%20%20%20%20%20%20%20%20b_count%0A%20%20%20%20%20%20%20%20%20%20%20%20*%20replicates%0A%20%20%20%20%20%20%20%20%20%20%20%20*%20sum((means_a%5Blevel%5D%20-%20grand_mean)%20**%202%20for%20level%20in%20levels_a)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20ss_b%20%3D%20float(%0A%20%20%20%20%20%20%20%20%20%20%20%20a_count%0A%20%20%20%20%20%20%20%20%20%20%20%20*%20replicates%0A%20%20%20%20%20%20%20%20%20%20%20%20*%20sum((means_b%5Blevel%5D%20-%20grand_mean)%20**%202%20for%20level%20in%20levels_b)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20ss_interaction%20%3D%20float(%0A%20%20%20%20%20%20%20%20%20%20%20%20replicates%0A%20%20%20%20%20%20%20%20%20%20%20%20*%20sum(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20cell_means%5Blevel_a%2C%20level_b%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20-%20means_a%5Blevel_a%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20-%20means_b%5Blevel_b%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20grand_mean%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20**%202%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20level_a%20in%20levels_a%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20level_b%20in%20levels_b%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20ss_error%20%3D%20float(%0A%20%20%20%20%20%20%20%20%20%20%20%20sum(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(row%5Boutcome%5D%20-%20cell_means%5Brow%5Bfactor_a%5D%2C%20row%5Bfactor_b%5D%5D)%20**%202%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20_%2C%20row%20in%20frame.iterrows()%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20ss_total%20%3D%20float(np.sum((values%20-%20grand_mean)%20**%202))%0A%20%20%20%20%20%20%20%20df_a%20%3D%20a_count%20-%201%0A%20%20%20%20%20%20%20%20df_b%20%3D%20b_count%20-%201%0A%20%20%20%20%20%20%20%20df_interaction%20%3D%20df_a%20*%20df_b%0A%20%20%20%20%20%20%20%20df_error%20%3D%20a_count%20*%20b_count%20*%20(replicates%20-%201)%0A%20%20%20%20%20%20%20%20ms_error%20%3D%20ss_error%20%2F%20df_error%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20source%2C%20sum_squares%2C%20degrees_of_freedom%20in%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Illumination%22%2C%20ss_a%2C%20df_a)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Tissue%22%2C%20ss_b%2C%20df_b)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Interaction%22%2C%20ss_interaction%2C%20df_interaction)%2C%0A%20%20%20%20%20%20%20%20%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20mean_square%20%3D%20sum_squares%20%2F%20degrees_of_freedom%0A%20%20%20%20%20%20%20%20%20%20%20%20statistic%20%3D%20mean_square%20%2F%20ms_error%0A%20%20%20%20%20%20%20%20%20%20%20%20rows.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Source%22%3A%20source%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22SS%22%3A%20sum_squares%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22df%22%3A%20degrees_of_freedom%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22MS%22%3A%20mean_square%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22F%22%3A%20statistic%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22p-value%22%3A%20float(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20stats.f.sf(statistic%2C%20degrees_of_freedom%2C%20df_error)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20rows.extend(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Source%22%3A%20%22Residual%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22SS%22%3A%20ss_error%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22df%22%3A%20df_error%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22MS%22%3A%20ms_error%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22F%22%3A%20np.nan%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22p-value%22%3A%20np.nan%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Source%22%3A%20%22Total%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22SS%22%3A%20ss_total%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22df%22%3A%20values.size%20-%201%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22MS%22%3A%20np.nan%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22F%22%3A%20np.nan%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22p-value%22%3A%20np.nan%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20assert%20np.isclose(ss_total%2C%20ss_a%20%2B%20ss_b%20%2B%20ss_interaction%20%2B%20ss_error)%0A%20%20%20%20%20%20%20%20return%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22rows%22%3A%20rows%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22cell_means%22%3A%20cell_means%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22grand_mean%22%3A%20grand_mean%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22residuals%22%3A%20frame.apply(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20lambda%20row%3A%20row%5Boutcome%5D%20-%20cell_means%5Brow%5Bfactor_a%5D%2C%20row%5Bfactor_b%5D%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20axis%3D1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20).to_numpy(dtype%3Dfloat)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20exact_mean_difference_permutation%2C%0A%20%20%20%20%20%20%20%20holm_adjust%2C%0A%20%20%20%20%20%20%20%20one_way_anova_details%2C%0A%20%20%20%20%20%20%20%20qq_gallery_sample%2C%0A%20%20%20%20%20%20%20%20simulate_variance_imbalance%2C%0A%20%20%20%20%20%20%20%20two_way_balanced_details%2C%0A%20%20%20%20%20%20%20%20welch_mean_difference%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20This%20chapter%20applies%20Chapter%204's%20testing%20framework%20to%20common%20biological%0A%20%20%20%20designs%2C%20keeping%20**estimated%20effects%2C%20uncertainty%2C%20raw%20observations%2C%20and%0A%20%20%20%20assumptions**%20beside%20every%20test%20result.%0A%0A%20%20%20%20By%20the%20end%20of%20the%20chapter%2C%20you%20should%20be%20able%20to%3A%0A%0A%20%20%20%201.%20choose%20an%20analysis%20that%20matches%20the%20measurements%20and%20experimental%20design%3B%0A%20%20%20%202.%20report%20a%20difference%20between%20means%20together%20with%20its%20units%20and%20uncertainty%3B%0A%20%20%20%203.%20check%20whether%20a%20test's%20assumptions%20are%20reasonable%3B%0A%20%20%20%204.%20explain%20tests%20that%20use%20the%20order%20of%20observations%20or%20shuffle%20group%20labels%3B%0A%20%20%20%205.%20compare%20several%20groups%20and%20examine%20whether%20a%20treatment%20acts%20differently%20across%20tissues%3B%0A%20%20%20%206.%20account%20for%20testing%20several%20questions%20and%20distinguish%20%E2%80%9Cno%20clear%20difference%E2%80%9D%20from%20%E2%80%9Csimilar%20enough.%E2%80%9D%0A%0A%20%20%20%20%3E%20**Start%20with%20the%20biology%3A**%20What%20is%20an%20independent%20sample%E2%80%94an%20animal%2C%20a%20culture%2C%0A%20%20%20%20%3E%20or%20a%20separately%20treated%20plant%3F%20What%20quantity%20do%20you%20want%20to%20estimate%E2%80%94for%0A%20%20%20%20%3E%20example%2C%20a%20change%20in%20enzyme%20activity%3F%20Plot%20the%20individual%20measurements%2C%20choose%0A%20%20%20%20%3E%20a%20suitable%20test%2C%20and%20report%20the%20estimated%20effect%20and%20its%20uncertainty.%0A%0A%20%20%20%20**Prerequisites%3A**%20sampling%20uncertainty%20and%20confidence%20intervals%20from%20Chapter%202%3B%0A%20%20%20%20correlation%2C%20ranks%2C%20and%20residuals%20from%20Chapter%203%3B%20null%20models%2C%20p-values%2C%20and%0A%20%20%20%20error%20rates%20from%20Chapter%204.%20For%20difference%20tests%2C%20we%20retain%20%24p%5Cleq%5Calpha%24.%0A%20%20%20%20For%20interpretation%20pitfalls%2C%20revisit%20Chapter%204%2C%20Section%207.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%0A%20%20%20%20%23%23%201.%20Comparing%20two%20independent%20groups%0A%0A%20%20%20%20The%20rat%20dataset%20records%20maximum%20relaxation%20of%20urinary-bladder%20muscle%20strips%0A%20%20%20%20during%20high-dose%20norepinephrine%20treatment.%20The%20independent%20units%20are%20rats%3B%20the%0A%20%20%20%20groups%20are%20old%20and%20young%20animals.%20The%20quantity%20we%20want%20to%20estimate%20is%20the%0A%20%20%20%20difference%20between%20the%20population%20means%20(%24%5Cmu%24)%2C%20always%20in%20this%20direction%3A%0A%0A%20%20%20%20%24%24%5CDelta%3D%5Cmu_%7B%5Cmathrm%7Byoung%7D%7D-%5Cmu_%7B%5Cmathrm%7Bold%7D%7D%2C%24%24%0A%0A%20%20%20%20measured%20in%20**percentage%20points%20of%20maximum%20relaxation**.%20Positive%20values%20mean%0A%20%20%20%20greater%20average%20relaxation%20in%20young%20rats.%20For%20example%2C%20a%20change%20from%2020%25%20to%0A%20%20%20%2030%25%20is%2010%20percentage%20points.%20We%20first%20inspect%20the%20individual%20measurements.%0A%0A%20%20%20%20**Welch's%20t-test**%20compares%20two%20independent%20population%20means%20while%20allowing%0A%20%20%20%20the%20groups%20to%20have%20different%20amounts%20of%20spread.%20Here%20the%20null%20hypothesis%20is%0A%20%20%20%20%24%5CDelta%3D0%24%2C%20and%20the%20two-sided%20test%20considers%20differences%20in%20either%20direction.%0A%20%20%20%20With%20these%20small%20groups%2C%20approximately%20normal%20(bell-shaped)%20measurements%0A%20%20%20%20within%20each%20group%20and%20the%20absence%20of%20extreme%20outliers%20matter.%0A%0A%20%20%20%20In%20the%20displays%2C%20**n**%20counts%20rats.%20Diamonds%20and%20%C2%B11%20**SD**%20bars%20show%20each%0A%20%20%20%20group's%20mean%20and%20individual%20spread%3B%20the%20**95%25%20confidence%20interval%20(CI)**%20on%0A%20%20%20%20the%20right%20concerns%20the%20population%20mean%20difference.%20The%20**pooled%20t-test**%0A%20%20%20%20assumes%20equal%20population%20variances%20and%20estimates%20one%20shared%20variance.%0A%0A%20%20%20%20As%20in%20Chapter%204%2C%20the%20**t%20statistic**%20divides%20the%20estimated%20difference%20by%20its%0A%20%20%20%20**standard%20error%20(SE)**.%20Here%20the%20SE%20includes%20uncertainty%20from%20both%20groups%3B%0A%20%20%20%20Welch's%20**degrees%20of%20freedom%20(df)**%20can%20be%20non-integer.%20**Cohen's%20d**%20uses%20the%0A%20%20%20%20pooled%20SD%20from%20Chapter%201%2C%20Section%207%2C%20while%20the%20difference%20in%20percentage%20points%0A%20%20%20%20retains%20the%20experiment's%20measurement%20scale.%0A%0A%20%20%20%20**Start%20here%3A**%20search%20the%20table%20for%20each%20age%20group%20and%20compare%20the%20individual%0A%20%20%20%20relaxation%20values%20before%20reading%20the%20summaries.%20Follow%20the%20same%20difference%0A%20%20%20%20direction%2C%20young%20minus%20old%2C%20through%20the%20estimate%2C%20interval%2C%20and%20tests%20below.%0A%20%20%20%20Sorting%20or%20searching%20only%20changes%20the%20table%20display%3B%20both%20groups%20remain%20in%0A%20%20%20%20the%20analysis.%20Compare%20effect%20magnitude%20and%20uncertainty%20as%20well%20as%20p-values.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20rat_data%2C%20two_column_panel)%3A%0A%20%20%20%20rat_table%20%3D%20mo.ui.table(%0A%20%20%20%20%20%20%20%20rat_data%2C%0A%20%20%20%20%20%20%20%20pagination%3DFalse%2C%0A%20%20%20%20%20%20%20%20selection%3DNone%2C%0A%20%20%20%20%20%20%20%20show_search%3DTrue%2C%0A%20%20%20%20%20%20%20%20show_column_summaries%3DTrue%2C%0A%20%20%20%20%20%20%20%20show_data_types%3DFalse%2C%0A%20%20%20%20%20%20%20%20show_download%3DTrue%2C%0A%20%20%20%20%20%20%20%20column_widths%3D%7B%22age%22%3A%2090%2C%20%22relax%22%3A%20130%7D%2C%0A%20%20%20%20)%0A%20%20%20%20rat_provenance%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Observed%20data%3A**%209%20old%20and%208%20young%20rats.%20%60relax%60%20is%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22maximum%20relaxation%20reported%20as%20a%20percentage.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Sort%20or%20search%20the%20table%2C%20but%20remember%20that%20rows%20are%20observations%E2%80%94not%20summaries.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20two_column_panel(rat_provenance%2C%20rat_table%2C%20widths%3D(1%2C%201.7))%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20FIGURE_SIZE_LINKED%2C%0A%20%20%20%20cohen_d_sample%2C%0A%20%20%20%20compact_table%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20pd%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20rat_data%2C%0A%20%20%20%20stats%2C%0A%20%20%20%20two_column_panel%2C%0A%20%20%20%20welch_mean_difference%2C%0A)%3A%0A%20%20%20%20rat_old%20%3D%20rat_data.loc%5Brat_data%5B%22age%22%5D%20%3D%3D%20%22old%22%2C%20%22relax%22%5D.to_numpy(dtype%3Dfloat)%0A%20%20%20%20rat_young%20%3D%20rat_data.loc%5Brat_data%5B%22age%22%5D%20%3D%3D%20%22young%22%2C%20%22relax%22%5D.to_numpy(dtype%3Dfloat)%0A%20%20%20%20rat_welch%20%3D%20welch_mean_difference(rat_old%2C%20rat_young)%0A%20%20%20%20rat_pooled_test%20%3D%20stats.ttest_ind(rat_young%2C%20rat_old%2C%20equal_var%3DTrue)%0A%20%20%20%20rat_effect_size%20%3D%20cohen_d_sample(rat_old%2C%20rat_young)%0A%0A%20%20%20%20assert%20np.isclose(rat_welch%5B%22difference%22%5D%2C%2023.545833333333327)%0A%20%20%20%20assert%20np.isclose(rat_welch%5B%22statistic%22%5D%2C%203.6242456851120375)%0A%20%20%20%20assert%20np.isclose(rat_welch%5B%22degrees_of_freedom%22%5D%2C%2013.777967606516512)%0A%20%20%20%20assert%20np.isclose(rat_welch%5B%22p_value%22%5D%2C%200.002828426914881653)%0A%20%20%20%20assert%20np.allclose(rat_welch%5B%22interval%22%5D%2C%20(9.590585553715373%2C%2037.50108111295128))%0A%0A%20%20%20%20rat_figure%2C%20(rat_group_axis%2C%20rat_difference_axis)%20%3D%20plt.subplots(%0A%20%20%20%20%20%20%20%201%2C%0A%20%20%20%20%20%20%20%202%2C%0A%20%20%20%20%20%20%20%20figsize%3DFIGURE_SIZE_LINKED%2C%0A%20%20%20%20%20%20%20%20gridspec_kw%3D%7B%22width_ratios%22%3A%20%5B1.55%2C%201%5D%7D%2C%0A%20%20%20%20)%0A%20%20%20%20rat_jitter_rng%20%3D%20np.random.default_rng(82405)%0A%20%20%20%20for%20rat_position%2C%20(rat_label%2C%20rat_values%2C%20rat_color)%20in%20enumerate(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Old%22%2C%20rat_old%2C%20COLORS%5B%22orange%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Young%22%2C%20rat_young%2C%20COLORS%5B%22sky%22%5D)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20rat_jitter%20%3D%20rat_jitter_rng.normal(0%2C%200.035%2C%20size%3Drat_values.size)%0A%20%20%20%20%20%20%20%20rat_group_axis.scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20np.full(rat_values.size%2C%20rat_position)%20%2B%20rat_jitter%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20rat_values%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Drat_color%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20edgecolor%3D%22white%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20linewidth%3D0.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20alpha%3D0.85%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20s%3D38%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3Df%22%7Brat_label%7D%3A%20raw%20observations%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20rat_group_axis.errorbar(%0A%20%20%20%20%20%20%20%20%20%20%20%20rat_position%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20rat_values.mean()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yerr%3Drat_values.std(ddof%3D1)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20fmt%3D%22D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20capsize%3D5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22blue%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20linewidth%3D1.8%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20markersize%3D5%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20rat_group_axis.set(%0A%20%20%20%20%20%20%20%20ylabel%3D%22Maximum%20relaxation%20%5B%25%5D%22%2C%0A%20%20%20%20%20%20%20%20xticks%3D%5B0%2C%201%5D%2C%0A%20%20%20%20%20%20%20%20xticklabels%3D%5B%22Old%22%2C%20%22Young%22%5D%2C%0A%20%20%20%20%20%20%20%20xlim%3D(-0.45%2C%201.45)%2C%0A%20%20%20%20%20%20%20%20ylim%3D(0%2C%2072)%2C%0A%20%20%20%20)%0A%20%20%20%20rat_group_axis.grid(axis%3D%22y%22%2C%20linestyle%3D%22%3A%22%2C%20alpha%3D0.35)%0A%0A%20%20%20%20rat_lower%2C%20rat_upper%20%3D%20rat_welch%5B%22interval%22%5D%0A%20%20%20%20rat_difference_axis.errorbar(%0A%20%20%20%20%20%20%20%20rat_welch%5B%22difference%22%5D%2C%0A%20%20%20%20%20%20%20%200%2C%0A%20%20%20%20%20%20%20%20xerr%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%5Brat_welch%5B%22difference%22%5D%20-%20rat_lower%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5Brat_upper%20-%20rat_welch%5B%22difference%22%5D%5D%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20fmt%3D%22o%22%2C%0A%20%20%20%20%20%20%20%20capsize%3D6%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22blue%22%5D%2C%0A%20%20%20%20%20%20%20%20linewidth%3D2.2%2C%0A%20%20%20%20%20%20%20%20label%3D%22Estimate%20and%2095%25%20Welch%20CI%22%2C%0A%20%20%20%20)%0A%20%20%20%20rat_difference_axis.axvline(%0A%20%20%20%20%20%20%20%200%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22gray%22%5D%2C%0A%20%20%20%20%20%20%20%20linestyle%3D%22--%22%2C%0A%20%20%20%20%20%20%20%20linewidth%3D1.5%2C%0A%20%20%20%20%20%20%20%20label%3D%22Null%20difference%22%2C%0A%20%20%20%20)%0A%20%20%20%20rat_difference_axis.set(%0A%20%20%20%20%20%20%20%20xlabel%3D%22Young%20%E2%88%92%20old%20%5Bpercentage%20points%5D%22%2C%0A%20%20%20%20%20%20%20%20yticks%3D%5B%5D%2C%0A%20%20%20%20%20%20%20%20ylim%3D(-0.55%2C%200.55)%2C%0A%20%20%20%20%20%20%20%20xlim%3D(-8%2C%2045)%2C%0A%20%20%20%20)%0A%20%20%20%20rat_difference_axis.grid(axis%3D%22x%22%2C%20linestyle%3D%22%3A%22%2C%20alpha%3D0.35)%0A%20%20%20%20rat_difference_axis.legend(frameon%3DFalse%2C%20fontsize%3D7%2C%20loc%3D%22upper%20left%22)%0A%20%20%20%20rat_figure.tight_layout()%0A%0A%20%20%20%20rat_summary%20%3D%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Group%22%3A%20%5B%22Old%22%2C%20%22Young%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22n%22%3A%20%5Brat_old.size%2C%20rat_young.size%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Mean%20%5B%25%5D%22%3A%20%5Brat_old.mean()%2C%20rat_young.mean()%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22SD%20%5B%25%5D%22%3A%20%5Brat_old.std(ddof%3D1)%2C%20rat_young.std(ddof%3D1)%5D%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20rat_summary_table%20%3D%20compact_table(%0A%20%20%20%20%20%20%20%20rat_summary%2C%0A%20%20%20%20%20%20%20%20column_widths%3D%7B%22Group%22%3A%2075%2C%20%22n%22%3A%2045%2C%20%22Mean%20%5B%25%5D%22%3A%2078%2C%20%22SD%20%5B%25%5D%22%3A%2070%7D%2C%0A%20%20%20%20%20%20%20%20format_mapping%3D%7B%22Mean%20%5B%25%5D%22%3A%20%22%7B%3A.2f%7D%22%2C%20%22SD%20%5B%25%5D%22%3A%20%22%7B%3A.2f%7D%22%7D%2C%0A%20%20%20%20)%0A%20%20%20%20rat_test_table%20%3D%20compact_table(%0A%20%20%20%20%20%20%20%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Method%22%3A%20%5B%22Welch%20(default)%22%2C%20%22Pooled%20t%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22t%22%3A%20%5Brat_welch%5B%22statistic%22%5D%2C%20float(rat_pooled_test.statistic)%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22df%22%3A%20%5Brat_welch%5B%22degrees_of_freedom%22%5D%2C%20float(rat_pooled_test.df)%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22p-value%22%3A%20%5Brat_welch%5B%22p_value%22%5D%2C%20float(rat_pooled_test.pvalue)%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20column_widths%3D%7B%22Method%22%3A%20110%2C%20%22t%22%3A%2058%2C%20%22df%22%3A%2062%2C%20%22p-value%22%3A%2075%7D%2C%0A%20%20%20%20%20%20%20%20format_mapping%3D%7B%22t%22%3A%20%22%7B%3A.3f%7D%22%2C%20%22df%22%3A%20%22%7B%3A.2f%7D%22%2C%20%22p-value%22%3A%20%22%7B%3A.4f%7D%22%7D%2C%0A%20%20%20%20)%0A%20%20%20%20rat_report%20%3D%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Young%20rats%20averaged%20**%7Brat_welch%5B'difference'%5D%3A.2f%7D%20percentage%20points**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22more%20relaxation%20than%20old%20rats%20(95%25%20CI%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Brat_lower%3A.2f%7D%20to%20%7Brat_upper%3A.2f%7D)%3B%20Welch%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%24t(%7Brat_welch%5B'degrees_of_freedom'%5D%3A.2f%7D)%3D%7Brat_welch%5B'statistic'%5D%3A.2f%7D%24%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%24p%3D%7Brat_welch%5B'p_value'%5D%3A.4f%7D%24.%20Sample%20Cohen's%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%24d%3D%7Brat_effect_size%3A.2f%7D%24.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20)%0A%20%20%20%20two_column_panel(%0A%20%20%20%20%20%20%20%20mo.vstack(%5Brat_summary_table%2C%20rat_test_table%5D)%2C%0A%20%20%20%20%20%20%20%20mo.vstack(%5Brat_figure%2C%20rat_report%5D)%2C%0A%20%20%20%20%20%20%20%20widths%3D(1.15%2C%202.85)%2C%0A%20%20%20%20)%0A%20%20%20%20return%20rat_old%2C%20rat_welch%2C%20rat_young%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20independent_derivation%20%3D%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Calculation%20details%3A%20two%20standard%20errors%20for%20the%20same%20mean%20difference%0A%0A%20%20%20%20Write%20%24%5Cbar%20x_1%24%20and%20%24%5Cbar%20x_2%24%20for%20the%20sample%20means%2C%20%24s_1%24%20and%20%24s_2%24%20for%0A%20%20%20%20their%20SDs%2C%20and%20%24n_1%24%20and%20%24n_2%24%20for%20their%20sample%20sizes%20(1%20%3D%20old%2C%202%20%3D%20young).%0A%20%20%20%20For%20independent%20samples%2C%20add%20the%20variances%20of%20the%20two%20means%20as%20in%20Chapter%202's%0A%20%20%20%20uncertainty%20propagation.%20The%20Welch%20standard%20error%20is%0A%0A%20%20%20%20%24%24SE_W%3D%5Csqrt%7B%5Cfrac%7Bs_1%5E2%7D%7Bn_1%7D%2B%5Cfrac%7Bs_2%5E2%7D%7Bn_2%7D%7D%2C%5Cqquad%0A%20%20%20%20t_W%3D%5Cfrac%7B%5Cbar%20x_2-%5Cbar%20x_1%7D%7BSE_W%7D.%24%24%0A%0A%20%20%20%20Its%20reference%20t-distribution%20uses%20the%20Welch%E2%80%93Satterthwaite%20approximation%0A%0A%20%20%20%20%24%24%5Cnu%3D%5Cfrac%7B(s_1%5E2%2Fn_1%2Bs_2%5E2%2Fn_2)%5E2%7D%0A%20%20%20%20%7B(s_1%5E2%2Fn_1)%5E2%2F(n_1-1)%2B(s_2%5E2%2Fn_2)%5E2%2F(n_2-1)%7D.%24%24%0A%0A%20%20%20%20If%20the%20scientific%20model%20instead%20asserts%20a%20common%20population%20variance%2C%20estimate%0A%20%20%20%20it%20by%0A%0A%20%20%20%20%24%24s_p%5E2%3D%5Cfrac%7B(n_1-1)s_1%5E2%2B(n_2-1)s_2%5E2%7D%7Bn_1%2Bn_2-2%7D%24%24%0A%0A%20%20%20%20and%20use%20%24SE_p%3Ds_p%5Csqrt%7B1%2Fn_1%2B1%2Fn_2%7D%24%20with%20%24n_1%2Bn_2-2%24%20degrees%20of%20freedom.%0A%20%20%20%20This%20**pooled%20t-test**%20combines%20both%20groups%20to%20estimate%20one%20shared%20variance.%0A%20%20%20%20A%20preliminary%20test%20that%20fails%20to%20detect%20unequal%20variances%20does%20not%20establish%0A%20%20%20%20that%20they%20are%20equal.%20Welch's%20test%20is%20a%20useful%20default%20for%20independent%20means.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20mo.accordion(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Derivation%20%E2%80%94%20Welch%20and%20pooled%20independent-sample%20t%20tests%22%3A%20independent_derivation%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Shuffling%20group%20labels%3A%20a%20permutation%20test%0A%0A%20%20%20%20Suppose%20the%20old%20and%20young%20rats'%20measurements%20came%20from%20the%20same%20population%0A%20%20%20%20distribution.%20Under%20this%20null%20hypothesis%2C%20the%20age%20labels%20would%20carry%20no%0A%20%20%20%20information%20about%20relaxation%3A%20we%20could%20exchange%20them%20without%20changing%20the%0A%20%20%20%20probability%20model.%20This%20assumption%20is%20called%20**exchangeability**.%20Equal%20means%0A%20%20%20%20alone%20are%20not%20enough%3B%20different%20group%20spreads%20can%20invalidate%20this%20simple%20shuffle.%0A%0A%20%20%20%20We%20can%20split%20the%2017%20measurements%20into%20groups%20of%208%20and%209%20in%0A%20%20%20%20%24%5Cbinom%7B17%7D%7B8%7D%3D24%7B%2C%7D310%24%20ways.%20For%20each%20split%2C%20we%20calculate%20young%20minus%20old.%0A%20%20%20%20The%20**permutation%20p-value**%20is%20the%20fraction%20of%20splits%20whose%20mean%20difference%20is%0A%20%20%20%20at%20least%20as%20far%20from%20zero%20as%20the%20observed%20difference%2C%20in%20either%20direction.%0A%20%20%20%20%E2%80%9CExact%E2%80%9D%20means%20we%20use%20every%20possible%20split%20rather%20than%20a%20random%20selection.%0A%0A%20%20%20%20Each%20shuffle%20uses%20every%20measurement%20once.%20A%20**bootstrap**%2C%20by%20comparison%2C%0A%20%20%20%20samples%20observations%20with%20replacement%20(so%20some%20appear%20more%20than%20once)%20to%0A%20%20%20%20estimate%20uncertainty.%20Here%20age%20was%20not%20randomly%20assigned%2C%20so%20shuffling%20labels%0A%20%20%20%20does%20not%20turn%20the%20study%20into%20a%20randomized%20experiment.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20FIGURE_SIZE_STANDARD%2C%0A%20%20%20%20compact_table%2C%0A%20%20%20%20exact_mean_difference_permutation%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20pd%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20rat_data%2C%0A%20%20%20%20rat_welch%2C%0A%20%20%20%20rat_young%2C%0A%20%20%20%20two_column_panel%2C%0A)%3A%0A%20%20%20%20rat_permutation_distribution%20%3D%20exact_mean_difference_permutation(%0A%20%20%20%20%20%20%20%20rat_data%5B%22relax%22%5D.to_numpy(dtype%3Dfloat)%2C%20rat_young.size%0A%20%20%20%20)%0A%20%20%20%20rat_observed_absolute%20%3D%20abs(rat_welch%5B%22difference%22%5D)%0A%20%20%20%20rat_extreme_count%20%3D%20int(%0A%20%20%20%20%20%20%20%20np.sum(np.abs(rat_permutation_distribution)%20%3E%3D%20rat_observed_absolute%20-%201e-12)%0A%20%20%20%20)%0A%20%20%20%20rat_permutation_p%20%3D%20rat_extreme_count%20%2F%20rat_permutation_distribution.size%0A%20%20%20%20assert%20rat_permutation_distribution.size%20%3D%3D%2024_310%0A%20%20%20%20assert%20rat_extreme_count%20%3D%3D%2084%0A%20%20%20%20assert%20np.isclose(rat_permutation_p%2C%200.003455368161250514)%0A%0A%20%20%20%20permutation_figure%2C%20permutation_axis%20%3D%20plt.subplots(figsize%3DFIGURE_SIZE_STANDARD)%0A%20%20%20%20permutation_axis.hist(%0A%20%20%20%20%20%20%20%20rat_permutation_distribution%2C%0A%20%20%20%20%20%20%20%20bins%3D48%2C%0A%20%20%20%20%20%20%20%20density%3DTrue%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22purple%22%5D%2C%0A%20%20%20%20%20%20%20%20alpha%3D0.78%2C%0A%20%20%20%20%20%20%20%20edgecolor%3D%22white%22%2C%0A%20%20%20%20%20%20%20%20linewidth%3D0.5%2C%0A%20%20%20%20%20%20%20%20label%3D%22All%20label%20assignments%22%2C%0A%20%20%20%20)%0A%20%20%20%20permutation_axis.axvspan(%0A%20%20%20%20%20%20%20%20permutation_figure.axes%5B0%5D.get_xlim()%5B0%5D%2C%0A%20%20%20%20%20%20%20%20-rat_observed_absolute%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22vermillion%22%5D%2C%0A%20%20%20%20%20%20%20%20alpha%3D0.20%2C%0A%20%20%20%20)%0A%20%20%20%20permutation_axis.axvspan(%0A%20%20%20%20%20%20%20%20rat_observed_absolute%2C%0A%20%20%20%20%20%20%20%20permutation_figure.axes%5B0%5D.get_xlim()%5B1%5D%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22vermillion%22%5D%2C%0A%20%20%20%20%20%20%20%20alpha%3D0.20%2C%0A%20%20%20%20%20%20%20%20label%3D%22At%20least%20as%20extreme%22%2C%0A%20%20%20%20)%0A%20%20%20%20permutation_axis.axvline(%0A%20%20%20%20%20%20%20%20rat_welch%5B%22difference%22%5D%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22blue%22%5D%2C%0A%20%20%20%20%20%20%20%20linestyle%3D%22--%22%2C%0A%20%20%20%20%20%20%20%20linewidth%3D2%2C%0A%20%20%20%20%20%20%20%20label%3D%22Observed%20young%20%E2%88%92%20old%22%2C%0A%20%20%20%20)%0A%20%20%20%20permutation_axis.set(%0A%20%20%20%20%20%20%20%20xlabel%3D%22Permuted%20mean%20difference%20%5Bpercentage%20points%5D%22%2C%0A%20%20%20%20%20%20%20%20ylabel%3D%22Density%22%2C%0A%20%20%20%20%20%20%20%20xlim%3D(-45%2C%2045)%2C%0A%20%20%20%20)%0A%20%20%20%20permutation_axis.grid(axis%3D%22y%22%2C%20linestyle%3D%22%3A%22%2C%20alpha%3D0.35)%0A%20%20%20%20permutation_axis.legend(frameon%3DFalse%2C%20fontsize%3D8)%0A%20%20%20%20permutation_figure.tight_layout()%0A%0A%20%20%20%20permutation_summary%20%3D%20compact_table(%0A%20%20%20%20%20%20%20%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Quantity%22%3A%20%5B%22Assignments%22%2C%20%22Extreme%20assignments%22%2C%20%22Exact%20p-value%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Value%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Brat_permutation_distribution.size%3A%2C%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20str(rat_extreme_count)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Brat_permutation_p%3A.6f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20column_widths%3D%7B%22Quantity%22%3A%20145%2C%20%22Value%22%3A%20110%7D%2C%0A%20%20%20%20)%0A%20%20%20%20permutation_note%20%3D%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Exactly%20**%7Brat_extreme_count%7D%20of%20%7Brat_permutation_distribution.size%3A%2C%7D**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22assignments%20are%20at%20least%20as%20extreme%20as%20the%20observed%20absolute%20mean%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22difference%2C%20giving%20%24p%3D%7Brat_permutation_p%3A.6f%7D%24.%20Shuffling%20cannot%20remove%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22confounding%3A%20other%20differences%20between%20the%20age%20groups%2C%20such%20as%20housing%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22or%20health%2C%20could%20also%20contribute%20to%20the%20observed%20association.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20)%0A%20%20%20%20two_column_panel(%0A%20%20%20%20%20%20%20%20permutation_summary%2C%0A%20%20%20%20%20%20%20%20mo.vstack(%5Bpermutation_figure%2C%20permutation_note%5D)%2C%0A%20%20%20%20%20%20%20%20widths%3D(1%2C%203)%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%0A%20%20%20%20%23%23%202.%20Assumptions%20and%20graphical%20diagnostics%0A%0A%20%20%20%20Check%20independence%20from%20the%20sampling%20and%20treatment%20design%20(Chapter%202%2C%0A%20%20%20%20Section%201).%20Shared%20animals%2C%20culture%20batches%2C%20or%20cages%20can%20link%20measurements%3B%0A%20%20%20%20no%20plot%20can%20establish%20independence.%0A%0A%20%20%20%20The%20normal%20**Q%E2%80%93Q%20plot**%20introduced%20for%20regression%20residuals%20in%20Chapter%203%0A%20%20%20%20also%20helps%20assess%20measurements%20within%20a%20group%20or%20within-pair%20differences.%0A%20%20%20%20It%20compares%20their%20ordered%20values%20with%20normal%20quantiles%3A%20a%20roughly%20straight%0A%20%20%20%20pattern%20supports%20a%20similar%20shape%2C%20while%20bends%20or%20isolated%20points%20suggest%0A%20%20%20%20departures.%20Small%20samples%20give%20limited%20information%3B%20very%20large%20samples%20can%0A%20%20%20%20make%20formal%20normality%20tests%20detect%20practically%20unimportant%20departures.%0A%0A%20%20%20%20**Try%20this%3A**%20select%20**Normal%20reference**%20with%20%24n%3D20%24%2C%20then%20compare%0A%20%20%20%20**Right-skewed**%2C%20**Heavy-tailed**%2C%20**Bimodal%20mixture**%2C%20and%20**One%20extreme%20observation**.%20Match%0A%20%20%20%20the%20histogram%20features%20to%20bends%20or%20isolated%20points%20in%20the%20Q%E2%80%93Q%20plot.%20Repeat%0A%20%20%20%20at%20%24n%3D8%24%20and%20%24n%3D200%24%3A%20a%20small%20sample%20can%20hide%20departures%20and%20also%20look%0A%20%20%20%20irregular%20by%20chance.%20Controls%20update%20immediately%20with%20reproducible%20simulated%0A%20%20%20%20examples.%20**Right-skewed**%20means%20a%20long%20tail%20towards%20high%20values%3B%20**heavy-tailed**%0A%20%20%20%20means%20more%20extreme%20values%20than%20a%20normal%20distribution%3B%20**bimodal**%20means%20two%20peaks.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20qq_pattern%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Normal%20reference%22%3A%20%22normal%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Right-skewed%22%3A%20%22skewed%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Heavy-tailed%22%3A%20%22heavy%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Bimodal%20mixture%22%3A%20%22bimodal%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22One%20extreme%20observation%22%3A%20%22outlier%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Normal%20reference%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Distribution%20pattern%22%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20qq_sample_size%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%208%2C%0A%20%20%20%20%20%20%20%20200%2C%0A%20%20%20%20%20%20%20%20value%3D20%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20label%3D%22Sample%20size%20n%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20qq_pattern%2C%20qq_sample_size%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20FIGURE_SIZE_LINKED%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20qq_gallery_sample%2C%0A%20%20%20%20qq_pattern%2C%0A%20%20%20%20qq_sample_size%2C%0A%20%20%20%20stats%2C%0A%20%20%20%20two_column_panel%2C%0A)%3A%0A%20%20%20%20qq_values%20%3D%20qq_gallery_sample(qq_pattern.value%2C%20int(qq_sample_size.value))%0A%20%20%20%20qq_figure%2C%20(qq_hist_axis%2C%20qq_axis)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3DFIGURE_SIZE_LINKED)%0A%20%20%20%20qq_hist_axis.hist(%0A%20%20%20%20%20%20%20%20qq_values%2C%0A%20%20%20%20%20%20%20%20bins%3D%22auto%22%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22sky%22%5D%2C%0A%20%20%20%20%20%20%20%20edgecolor%3D%22white%22%2C%0A%20%20%20%20%20%20%20%20alpha%3D0.8%2C%0A%20%20%20%20)%0A%20%20%20%20qq_hist_axis.plot(%0A%20%20%20%20%20%20%20%20qq_values%2C%0A%20%20%20%20%20%20%20%20np.full(qq_values.size%2C%20-0.015)%2C%0A%20%20%20%20%20%20%20%20%22%7C%22%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22blue%22%5D%2C%0A%20%20%20%20%20%20%20%20markersize%3D8%2C%0A%20%20%20%20)%0A%20%20%20%20qq_hist_axis.set(xlabel%3D%22Observed%20value%22%2C%20ylabel%3D%22Count%22)%0A%20%20%20%20qq_hist_axis.grid(axis%3D%22y%22%2C%20linestyle%3D%22%3A%22%2C%20alpha%3D0.35)%0A%0A%20%20%20%20(qq_theoretical%2C%20qq_ordered)%2C%20(qq_slope%2C%20qq_intercept%2C%20_qq_r)%20%3D%20stats.probplot(%0A%20%20%20%20%20%20%20%20qq_values%2C%20dist%3D%22norm%22%0A%20%20%20%20)%0A%20%20%20%20qq_axis.scatter(%0A%20%20%20%20%20%20%20%20qq_theoretical%2C%0A%20%20%20%20%20%20%20%20qq_ordered%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22orange%22%5D%2C%0A%20%20%20%20%20%20%20%20edgecolor%3D%22white%22%2C%0A%20%20%20%20%20%20%20%20linewidth%3D0.4%2C%0A%20%20%20%20)%0A%20%20%20%20qq_axis.plot(%0A%20%20%20%20%20%20%20%20qq_theoretical%2C%0A%20%20%20%20%20%20%20%20qq_intercept%20%2B%20qq_slope%20*%20qq_theoretical%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22gray%22%5D%2C%0A%20%20%20%20%20%20%20%20linestyle%3D%22--%22%2C%0A%20%20%20%20%20%20%20%20linewidth%3D1.5%2C%0A%20%20%20%20%20%20%20%20label%3D%22Normal%20reference%20line%22%2C%0A%20%20%20%20)%0A%20%20%20%20qq_axis.set(xlabel%3D%22Theoretical%20normal%20quantile%22%2C%20ylabel%3D%22Ordered%20observation%22)%0A%20%20%20%20qq_axis.grid(linestyle%3D%22%3A%22%2C%20alpha%3D0.35)%0A%20%20%20%20qq_axis.legend(frameon%3DFalse%2C%20fontsize%3D8)%0A%20%20%20%20qq_figure.tight_layout()%0A%0A%20%20%20%20qq_messages%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22normal%22%3A%20%22Random%20normal%20samples%20do%20not%20lie%20perfectly%20on%20a%20line.%20Small%20irregularities%20are%20expected.%22%2C%0A%20%20%20%20%20%20%20%20%22skewed%22%3A%20%22A%20bend%20across%20many%20points%20suggests%20a%20long%20tail%20on%20one%20side%20of%20the%20distribution.%22%2C%0A%20%20%20%20%20%20%20%20%22heavy%22%3A%20%22This%20model%20produces%20more%20extreme%20values%20than%20a%20normal%20distribution%3B%20look%20for%20departures%20at%20either%20end%20of%20the%20line.%22%2C%0A%20%20%20%20%20%20%20%20%22bimodal%22%3A%20%22Two%20clusters%20can%20be%20easier%20to%20see%20in%20the%20histogram%20than%20in%20the%20Q%E2%80%93Q%20plot.%22%2C%0A%20%20%20%20%20%20%20%20%22outlier%22%3A%20%22One%20extreme%20point%20can%20influence%20a%20mean%2C%20variance%2C%20fitted%20model%2C%20and%20test%20statistic.%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20qq_note%20%3D%20mo.callout(mo.md(qq_messages%5Bqq_pattern.value%5D)%2C%20kind%3D%22info%22)%0A%20%20%20%20two_column_panel(%0A%20%20%20%20%20%20%20%20mo.vstack(%5Bqq_pattern%2C%20qq_sample_size%5D)%2C%0A%20%20%20%20%20%20%20%20mo.vstack(%5Bqq_figure%2C%20qq_note%5D)%2C%0A%20%20%20%20%20%20%20%20widths%3D(1%2C%203)%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Interactive%20laboratory%3A%20variance%20and%20sample-size%20imbalance%0A%0A%20%20%20%20Both%20simulated%20populations%20have%20mean%20zero.%20Any%20test%20that%20declares%20a%20difference%0A%20%20%20%20therefore%20makes%20a%20**false%20positive**%2C%20also%20called%20a%20**type-I%20error**.%20The%20chosen%0A%20%20%20%20threshold%2C%20%24%5Calpha%3D0.05%24%2C%20aims%20for%20a%205%25%20false-positive%20rate%20when%20the%20assumptions%20hold.%0A%20%20%20%20The%20pooled%20t-test%20assumes%20equal%20population%20variances.%20When%20group%20spreads%20and%0A%20%20%20%20sample%20sizes%20differ%2C%20it%20can%20produce%20too%20many%20or%20too%20few%20false%20positives.%0A%20%20%20%20Welch's%20test%20allows%20the%20groups%20to%20have%20different%20variances.%0A%0A%20%20%20%20**Try%20this%3A**%20keep%20group%20sizes%20at%208%20and%2040%2C%20set%20both%20SDs%20to%201%2C%20and%20click%0A%20%20%20%20**Run%20%2F%20resimulate%20studies**.%20Compare%20the%20rejection%20rates%20with%20the%20nominal%0A%20%20%20%205%25%20target.%20Raise%20the%20small-group%20SD%20to%203%20and%20rerun%3B%20then%20exchange%20the%20SDs%0A%20%20%20%20so%20the%20larger%20group%20has%20SD%203.%20Compare%20the%20pooled%20and%20Welch%20results%20across%0A%20%20%20%20these%20scenarios.%20Both%20populations%20have%20equal%20means%20throughout%2C%20so%20these%0A%20%20%20%20are%20false-positive%20rates%2C%20not%20power%20(Chapter%204%2C%20Section%205).%0A%20%20%20%20Settings%20apply%20only%20after%20the%20button%20click.%20More%20simulated%20studies%20make%20the%0A%20%20%20%20estimated%20false-positive%20rates%20more%20precise%3B%20they%20do%20not%20increase%20the%20number%0A%20%20%20%20of%20observations%20in%20each%20study.%0A%20%20%20%20The%20error%20bars%20show%20uncertainty%20caused%20by%20running%20a%20finite%20number%20of%20simulations.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20stress_small_n%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%205%2C%2040%2C%20value%3D8%2C%20show_value%3DTrue%2C%20full_width%3DTrue%2C%20label%3D%22Small-group%20n%22%0A%20%20%20%20)%0A%20%20%20%20stress_large_n%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%2010%2C%20100%2C%20value%3D40%2C%20show_value%3DTrue%2C%20full_width%3DTrue%2C%20label%3D%22Large-group%20n%22%0A%20%20%20%20)%0A%20%20%20%20stress_small_sd%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%200.5%2C%0A%20%20%20%20%20%20%20%204.0%2C%0A%20%20%20%20%20%20%20%20step%3D0.25%2C%0A%20%20%20%20%20%20%20%20value%3D1.0%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20label%3D%22Small-group%20SD%22%2C%0A%20%20%20%20)%0A%20%20%20%20stress_large_sd%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%200.5%2C%0A%20%20%20%20%20%20%20%204.0%2C%0A%20%20%20%20%20%20%20%20step%3D0.25%2C%0A%20%20%20%20%20%20%20%20value%3D1.0%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20label%3D%22Large-group%20SD%22%2C%0A%20%20%20%20)%0A%20%20%20%20stress_repetitions%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%201_000%2C%0A%20%20%20%20%20%20%20%2050_000%2C%0A%20%20%20%20%20%20%20%20step%3D1_000%2C%0A%20%20%20%20%20%20%20%20value%3D10_000%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20label%3D%22Simulated%20studies%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20stress_large_n%2C%0A%20%20%20%20%20%20%20%20stress_large_sd%2C%0A%20%20%20%20%20%20%20%20stress_repetitions%2C%0A%20%20%20%20%20%20%20%20stress_small_n%2C%0A%20%20%20%20%20%20%20%20stress_small_sd%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20simulate_variance_imbalance)%3A%0A%20%20%20%20initial_stress_result%20%3D%20simulate_variance_imbalance(8%2C%2040%2C%201.0%2C%201.0%2C%2010_000%2C%2082405)%0A%20%20%20%20get_stress_result%2C%20set_stress_result%20%3D%20mo.state(initial_stress_result)%0A%20%20%20%20return%20get_stress_result%2C%20set_stress_result%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20set_stress_result%2C%0A%20%20%20%20simulate_variance_imbalance%2C%0A%20%20%20%20stress_large_n%2C%0A%20%20%20%20stress_large_sd%2C%0A%20%20%20%20stress_repetitions%2C%0A%20%20%20%20stress_small_n%2C%0A%20%20%20%20stress_small_sd%2C%0A)%3A%0A%20%20%20%20def%20run_stress_simulation(_value)%3A%0A%20%20%20%20%20%20%20%20stress_seed%20%3D%20int(np.random.default_rng().integers(0%2C%202**32%20-%201))%0A%20%20%20%20%20%20%20%20set_stress_result(%0A%20%20%20%20%20%20%20%20%20%20%20%20simulate_variance_imbalance(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20int(stress_small_n.value)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20int(stress_large_n.value)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20float(stress_small_sd.value)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20float(stress_large_sd.value)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20int(stress_repetitions.value)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20stress_seed%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20run_stress_button%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Run%20%2F%20resimulate%20studies%22%2C%0A%20%20%20%20%20%20%20%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20on_click%3Drun_stress_simulation%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(run_stress_button%2C)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20FIGURE_SIZE_SHALLOW%2C%0A%20%20%20%20get_stress_result%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20run_stress_button%2C%0A%20%20%20%20stress_large_n%2C%0A%20%20%20%20stress_large_sd%2C%0A%20%20%20%20stress_repetitions%2C%0A%20%20%20%20stress_small_n%2C%0A%20%20%20%20stress_small_sd%2C%0A%20%20%20%20two_column_panel%2C%0A)%3A%0A%20%20%20%20stress_result%20%3D%20get_stress_result()%0A%20%20%20%20assert%200%20%3C%3D%20stress_result%5B%22welch_rate%22%5D%20%3C%3D%201%0A%20%20%20%20assert%200%20%3C%3D%20stress_result%5B%22pooled_rate%22%5D%20%3C%3D%201%0A%0A%20%20%20%20stress_figure%2C%20stress_axis%20%3D%20plt.subplots(figsize%3DFIGURE_SIZE_SHALLOW)%0A%20%20%20%20stress_methods%20%3D%20%5B%22Welch%22%2C%20%22Pooled%22%5D%0A%20%20%20%20stress_rates%20%3D%20%5Bstress_result%5B%22welch_rate%22%5D%2C%20stress_result%5B%22pooled_rate%22%5D%5D%0A%20%20%20%20stress_errors%20%3D%20%5B%0A%20%20%20%20%20%20%20%201.96%20*%20stress_result%5B%22welch_mcse%22%5D%2C%0A%20%20%20%20%20%20%20%201.96%20*%20stress_result%5B%22pooled_mcse%22%5D%2C%0A%20%20%20%20%5D%0A%20%20%20%20stress_axis.bar(%0A%20%20%20%20%20%20%20%20stress_methods%2C%0A%20%20%20%20%20%20%20%20stress_rates%2C%0A%20%20%20%20%20%20%20%20yerr%3Dstress_errors%2C%0A%20%20%20%20%20%20%20%20capsize%3D5%2C%0A%20%20%20%20%20%20%20%20color%3D%5BCOLORS%5B%22sky%22%5D%2C%20COLORS%5B%22vermillion%22%5D%5D%2C%0A%20%20%20%20%20%20%20%20alpha%3D0.85%2C%0A%20%20%20%20)%0A%20%20%20%20stress_axis.axhline(%0A%20%20%20%20%20%20%20%200.05%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22gray%22%5D%2C%0A%20%20%20%20%20%20%20%20linestyle%3D%22--%22%2C%0A%20%20%20%20%20%20%20%20linewidth%3D1.5%2C%0A%20%20%20%20%20%20%20%20label%3D%22Nominal%20%CE%B1%20%3D%200.05%22%2C%0A%20%20%20%20)%0A%20%20%20%20stress_axis.set(%0A%20%20%20%20%20%20%20%20ylabel%3D%22Null%20rejection%20rate%22%2C%0A%20%20%20%20%20%20%20%20ylim%3D(0%2C%20max(0.12%2C%20max(stress_rates)%20*%201.25))%2C%0A%20%20%20%20)%0A%20%20%20%20stress_axis.grid(axis%3D%22y%22%2C%20linestyle%3D%22%3A%22%2C%20alpha%3D0.35)%0A%20%20%20%20stress_axis.legend(frameon%3DFalse%2C%20fontsize%3D8)%0A%20%20%20%20stress_figure.tight_layout()%0A%0A%20%20%20%20stress_note%20%3D%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Last%20run%3A%20small%20group%20%24n%3D%7Bstress_result%5B'small_n'%5D%7D%24%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22SD%20%7Bstress_result%5B'small_sd'%5D%3A.2f%7D%3B%20large%20group%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%24n%3D%7Bstress_result%5B'large_n'%5D%7D%24%2C%20SD%20%7Bstress_result%5B'large_sd'%5D%3A.2f%7D%3B%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bstress_result%5B'repetitions'%5D%3A%2C%7D%20null%20studies.%20Welch%20rejected%20in%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7Bstress_result%5B'welch_rate'%5D%3A.1%25%7D%20%C2%B1%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B1.96%20*%20stress_result%5B'welch_mcse'%5D%3A.1%25%7D**%20and%20the%20pooled%20test%20in%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7Bstress_result%5B'pooled_rate'%5D%3A.1%25%7D%20%C2%B1%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B1.96%20*%20stress_result%5B'pooled_mcse'%5D%3A.1%25%7D**%20(approximate%2095%25%20Monte%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Carlo%20margins%3A%20uncertainty%20from%20the%20finite%20number%20of%20simulated%20studies).%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20)%0A%20%20%20%20stress_controls%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20stress_small_n%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20stress_large_n%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20stress_small_sd%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20stress_large_sd%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20stress_repetitions%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20run_stress_button%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Controls%20describe%20the%20next%20run%3B%20the%20displayed%20result%20remains%20stable%20until%20the%20button%20is%20clicked.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22neutral%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20two_column_panel(%0A%20%20%20%20%20%20%20%20stress_controls%2C%0A%20%20%20%20%20%20%20%20mo.vstack(%5Bstress_figure%2C%20stress_note%5D)%2C%0A%20%20%20%20%20%20%20%20widths%3D(1%2C%202)%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%0A%20%20%20%20%23%23%203.%20Paired%20measurements%0A%0A%20%20%20%20**Paired%20measurements**%20are%20linked%20by%20the%20design%3A%20for%20example%2C%20enzyme%20activity%0A%20%20%20%20in%20the%20same%20independently%20grown%20culture%20before%20and%20after%20induction.%20Pairs%20can%0A%20%20%20%20also%20be%20deliberately%20matched%20units%2C%20such%20as%20treated%20and%20control%20samples%20from%0A%20%20%20%20the%20same%20donor.%20The%20paired%20t-test%20calculates%20one%20difference%20for%20each%20pair%3A%0A%0A%20%20%20%20%24%24D_i%3D%5Ctext%7Bafter%7D_i-%5Ctext%7Bbefore%7D_i%24%24%0A%0A%20%20%20%20It%20then%20tests%20whether%20the%20population%20mean%20difference%20is%20zero.%20Its%20sample%20size%0A%20%20%20%20is%20the%20number%20of%20independent%20**pairs**%2C%20not%20the%20total%20number%20of%20readings.%0A%20%20%20%20For%20small%20samples%2C%20the%20*differences*%20should%20be%20approximately%20normal%3B%20the%20before%0A%20%20%20%20and%20after%20measurements%20need%20not%20each%20be%20normal.%20Technical%20repeats%20from%20one%0A%20%20%20%20culture%20do%20not%20increase%20the%20number%20of%20independent%20pairs.%0A%0A%20%20%20%20Comparing%20each%20unit%20with%20itself%20removes%20stable%20differences%20between%20units.%0A%20%20%20%20The%20example%20below%20uses%20synthetic%20enzyme%20activities%20from%2012%20subjects%2C%20expressed%0A%20%20%20%20in%20arbitrary%20units%20(**a.u.**)%2C%20a%20relative%20measurement%20scale.%0A%0A%20%20%20%20**Try%20this%3A**%20start%20with%20**Preserve%20subject%20identities**%20and%20follow%20each%0A%20%20%20%20line%20connecting%20a%20subject's%20before%20and%20after%20measurements.%20Inspect%20the%0A%20%20%20%20distribution%20of%20within-subject%20differences%20and%20its%20confidence%20interval.%0A%20%20%20%20Select%20**Break%20pairs%20with%20a%20fixed%20shuffle**%20and%20compare%20the%20spread%20and%0A%20%20%20%20paired-test%20result.%20The%20separate%20before%2Fafter%20distributions%20and%20overall%0A%20%20%20%20mean%20difference%20stay%20fixed%2C%20but%20the%20differences%20now%20join%20unrelated%20subjects.%0A%20%20%20%20This%20is%20a%20demonstration%20of%20invalid%20pairing%2C%20not%20an%20alternative%20analysis%0A%20%20%20%20to%20choose%20for%20a%20preferable%20p-value.%20Switching%20back%20restores%20the%20original%20pairs.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np%2C%20pd)%3A%0A%20%20%20%20paired_data%20%3D%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22subject%22%3A%20np.arange(1%2C%2013)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22before%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20108.4%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20105.6%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20100.6%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2090.1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20107.7%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2075.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20118.1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20106.1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2094.7%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2098.9%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20112.8%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2087.8%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22after%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20100.2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20100.8%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2093.1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2078.2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20106.8%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2064.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20101.6%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20102.4%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2083.2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2095.6%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20110.4%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2081.8%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20paired_shuffle_order%20%3D%20np.array(%5B2%2C%207%2C%205%2C%209%2C%204%2C%201%2C%2010%2C%200%2C%206%2C%203%2C%208%2C%2011%5D)%0A%20%20%20%20assert%20sorted(paired_shuffle_order.tolist())%20%3D%3D%20list(range(12))%0A%20%20%20%20return%20paired_data%2C%20paired_shuffle_order%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20pairing_mode%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Preserve%20subject%20identities%22%3A%20%22correct%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Break%20pairs%20with%20a%20fixed%20shuffle%22%3A%20%22shuffled%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Preserve%20subject%20identities%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Pairing%20used%20in%20the%20analysis%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(pairing_mode%2C)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20compact_table%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20paired_data%2C%0A%20%20%20%20paired_shuffle_order%2C%0A%20%20%20%20pairing_mode%2C%0A%20%20%20%20pd%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20stats%2C%0A%20%20%20%20two_column_panel%2C%0A)%3A%0A%20%20%20%20paired_before%20%3D%20paired_data%5B%22before%22%5D.to_numpy(dtype%3Dfloat)%0A%20%20%20%20paired_after_original%20%3D%20paired_data%5B%22after%22%5D.to_numpy(dtype%3Dfloat)%0A%20%20%20%20paired_after%20%3D%20(%0A%20%20%20%20%20%20%20%20paired_after_original%0A%20%20%20%20%20%20%20%20if%20pairing_mode.value%20%3D%3D%20%22correct%22%0A%20%20%20%20%20%20%20%20else%20paired_after_original%5Bpaired_shuffle_order%5D%0A%20%20%20%20)%0A%20%20%20%20paired_differences%20%3D%20paired_after%20-%20paired_before%0A%20%20%20%20paired_test%20%3D%20stats.ttest_1samp(paired_differences%2C%200.0)%0A%20%20%20%20independent_test%20%3D%20stats.ttest_ind(%0A%20%20%20%20%20%20%20%20paired_after_original%2C%20paired_before%2C%20equal_var%3DFalse%0A%20%20%20%20)%0A%20%20%20%20paired_standard_error%20%3D%20float(%0A%20%20%20%20%20%20%20%20paired_differences.std(ddof%3D1)%20%2F%20np.sqrt(paired_differences.size)%0A%20%20%20%20)%0A%20%20%20%20paired_critical%20%3D%20float(stats.t.ppf(0.975%2C%20paired_differences.size%20-%201))%0A%20%20%20%20paired_interval%20%3D%20(%0A%20%20%20%20%20%20%20%20float(paired_differences.mean()%20-%20paired_critical%20*%20paired_standard_error)%2C%0A%20%20%20%20%20%20%20%20float(paired_differences.mean()%20%2B%20paired_critical%20*%20paired_standard_error)%2C%0A%20%20%20%20)%0A%20%20%20%20if%20pairing_mode.value%20%3D%3D%20%22correct%22%3A%0A%20%20%20%20%20%20%20%20assert%20np.isclose(paired_test.statistic%2C%20-5.42170902551117)%0A%20%20%20%20%20%20%20%20assert%20np.isclose(paired_test.pvalue%2C%200.00020963333759590366)%0A%0A%20%20%20%20paired_figure%2C%20(paired_connection_axis%2C%20paired_difference_axis)%20%3D%20plt.subplots(%0A%20%20%20%20%20%20%20%201%2C%0A%20%20%20%20%20%20%20%202%2C%0A%20%20%20%20%20%20%20%20figsize%3D(5.8%2C%203.8)%2C%0A%20%20%20%20%20%20%20%20gridspec_kw%3D%7B%22width_ratios%22%3A%20%5B1.45%2C%201%5D%7D%2C%0A%20%20%20%20)%0A%20%20%20%20for%20paired_index%2C%20(before_value%2C%20after_value)%20in%20enumerate(%0A%20%20%20%20%20%20%20%20zip(paired_before%2C%20paired_after)%0A%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20paired_connection_axis.plot(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B0%2C%201%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5Bbefore_value%2C%20after_value%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22gray%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20alpha%3D0.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20linewidth%3D1%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20paired_connection_axis.scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B0%2C%201%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5Bbefore_value%2C%20after_value%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3D%5BCOLORS%5B%22orange%22%5D%2C%20COLORS%5B%22sky%22%5D%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20edgecolor%3D%22white%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20linewidth%3D0.4%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20s%3D30%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20zorder%3D3%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20paired_connection_axis.set(%0A%20%20%20%20%20%20%20%20ylabel%3D%22Synthetic%20enzyme%20activity%20%5Ba.u.%5D%22%2C%0A%20%20%20%20%20%20%20%20xticks%3D%5B0%2C%201%5D%2C%0A%20%20%20%20%20%20%20%20xticklabels%3D%5B%22Before%22%2C%20%22After%22%5D%2C%0A%20%20%20%20%20%20%20%20xlim%3D(-0.35%2C%201.35)%2C%0A%20%20%20%20%20%20%20%20ylim%3D(58%2C%20122)%2C%0A%20%20%20%20)%0A%20%20%20%20paired_connection_axis.grid(axis%3D%22y%22%2C%20linestyle%3D%22%3A%22%2C%20alpha%3D0.35)%0A%0A%20%20%20%20paired_difference_axis.scatter(%0A%20%20%20%20%20%20%20%20np.zeros(paired_differences.size)%2C%0A%20%20%20%20%20%20%20%20paired_differences%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22purple%22%5D%2C%0A%20%20%20%20%20%20%20%20edgecolor%3D%22white%22%2C%0A%20%20%20%20%20%20%20%20linewidth%3D0.4%2C%0A%20%20%20%20%20%20%20%20alpha%3D0.8%2C%0A%20%20%20%20)%0A%20%20%20%20paired_difference_axis.errorbar(%0A%20%20%20%20%20%20%20%200.12%2C%0A%20%20%20%20%20%20%20%20paired_differences.mean()%2C%0A%20%20%20%20%20%20%20%20yerr%3Dpaired_critical%20*%20paired_standard_error%2C%0A%20%20%20%20%20%20%20%20fmt%3D%22D%22%2C%0A%20%20%20%20%20%20%20%20capsize%3D5%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22blue%22%5D%2C%0A%20%20%20%20%20%20%20%20linewidth%3D2%2C%0A%20%20%20%20%20%20%20%20label%3D%22Mean%20and%2095%25%20CI%22%2C%0A%20%20%20%20)%0A%20%20%20%20paired_difference_axis.axhline(%0A%20%20%20%20%20%20%20%200%2C%20color%3DCOLORS%5B%22gray%22%5D%2C%20linestyle%3D%22--%22%2C%20linewidth%3D1.4%0A%20%20%20%20)%0A%20%20%20%20paired_difference_axis.set(%0A%20%20%20%20%20%20%20%20ylabel%3D%22After%20%E2%88%92%20before%20%5Ba.u.%5D%22%2C%0A%20%20%20%20%20%20%20%20xticks%3D%5B%5D%2C%0A%20%20%20%20%20%20%20%20xlim%3D(-0.2%2C%200.32)%2C%0A%20%20%20%20%20%20%20%20ylim%3D(-42%2C%2028)%2C%0A%20%20%20%20)%0A%20%20%20%20paired_difference_axis.grid(axis%3D%22y%22%2C%20linestyle%3D%22%3A%22%2C%20alpha%3D0.35)%0A%20%20%20%20paired_difference_axis.legend(frameon%3DFalse%2C%20fontsize%3D8)%0A%20%20%20%20paired_figure.tight_layout()%0A%0A%20%20%20%20paired_results_table%20%3D%20compact_table(%0A%20%20%20%20%20%20%20%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Analysis%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Displayed%20pairing%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Ignore%20pairing%20(Welch)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Estimate%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20paired_differences.mean()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20paired_after_original.mean()%20-%20paired_before.mean()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Statistic%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20float(paired_test.statistic)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20float(independent_test.statistic)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22p-value%22%3A%20%5Bfloat(paired_test.pvalue)%2C%20float(independent_test.pvalue)%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20column_widths%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Analysis%22%3A%20145%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Estimate%22%3A%2075%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Statistic%22%3A%2075%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22p-value%22%3A%2075%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20format_mapping%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Estimate%22%3A%20%22%7B%3A%2B.2f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Statistic%22%3A%20%22%7B%3A.3f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22p-value%22%3A%20%22%7B%3A.4f%7D%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20)%0A%20%20%20%20paired_note_kind%20%3D%20%22info%22%20if%20pairing_mode.value%20%3D%3D%20%22correct%22%20else%20%22warn%22%0A%20%20%20%20paired_note%20%3D%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22The%20displayed%20mean%20difference%20is%20**%7Bpaired_differences.mean()%3A%2B.2f%7D%20a.u.**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22(95%25%20CI%20%7Bpaired_interval%5B0%5D%3A.2f%7D%20to%20%7Bpaired_interval%5B1%5D%3A.2f%7D)%3B%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%24t(11)%3D%7Bpaired_test.statistic%3A.2f%7D%24%2C%20%24p%3D%7Bpaired_test.pvalue%3A.4f%7D%24.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Preserving%20identity%20isolates%20the%20consistent%20within-subject%20change.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20pairing_mode.value%20%3D%3D%20%22correct%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22The%20group%20means%20are%20unchanged%2C%20but%20arbitrary%20pair%20differences%20inflate%20uncertainty%20and%20answer%20the%20wrong%20design%20question.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20kind%3Dpaired_note_kind%2C%0A%20%20%20%20)%0A%20%20%20%20two_column_panel(%0A%20%20%20%20%20%20%20%20mo.vstack(%5Bpairing_mode%2C%20paired_results_table%5D)%2C%0A%20%20%20%20%20%20%20%20mo.vstack(%5Bpaired_figure%2C%20paired_note%5D)%2C%0A%20%20%20%20%20%20%20%20widths%3D(1%2C%201)%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20paired_checkpoint%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Unmatched%20animals%20are%20individually%20randomized%20to%20treatment%20or%20control%22%3A%20%22independent%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Each%20patient%20is%20measured%20before%20and%20after%20treatment%22%3A%20%22paired%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Wells%20are%20matched%20only%20because%20they%20share%20a%20plate%20number%22%3A%20%22design%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3DNone%2C%0A%20%20%20%20%20%20%20%20label%3D%22Which%20design%20directly%20supports%20a%20within-specimen%20paired%20comparison%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20Checkpoint%3A%20when%20does%20the%20design%20justify%20pairing%3F%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20paired_checkpoint%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%20(paired_checkpoint%2C)%0A%0A%0A%40app.cell%0Adef%20_(paired_checkpoint%2C%20review_feedback)%3A%0A%20%20%20%20review_feedback(%0A%20%20%20%20%20%20%20%20paired_checkpoint.value%2C%0A%20%20%20%20%20%20%20%20correct_value%3D%22paired%22%2C%0A%20%20%20%20%20%20%20%20correct_text%3D%22**Correct.**%20Each%20patient%20supplies%20a%20before%E2%80%93after%20difference.%20A%20paired%20t%20analysis%20treats%20those%20differences%20as%20the%20observations%20and%20requires%20independence%20between%20patients%2C%20not%20between%20the%20two%20measurements%20within%20a%20patient.%22%2C%0A%20%20%20%20%20%20%20%20incorrect_text%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22independent%22%3A%20%22Individually%20assigned%20animals%20without%20matching%20provide%20separate%20observation%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22units%2C%20not%20one%20before%E2%80%93after%20difference%20per%20animal.%20Use%20an%20independent-group%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22analysis%20when%20the%20design%20supports%20independence.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22design%22%3A%20%22Sharing%20a%20plate%20can%20create%20a%20batch%20effect%2C%20but%20it%20does%20not%20define%20which%20treated%20well%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22is%20paired%20with%20which%20control%20well.%20A%20paired%20comparison%20needs%20a%20scientifically%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22specified%20match%20between%20samples%3B%20a%20different%20model%20may%20be%20needed%20to%20account%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22for%20measurements%20that%20share%20a%20plate.%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%0A%20%20%20%20%23%23%204.%20Testing%20a%20correlation%20coefficient%0A%0A%20%20%20%20Chapter%203%20described%20Pearson%20correlation%20and%20its%20uncertainty.%20Here%20we%20test%0A%20%20%20%20the%20raw%20nitrate%E2%80%93phosphate%20association%20from%20that%20chapter's%20river%20dataset%2C%0A%20%20%20%20without%20adjusting%20for%20distance%20from%20the%20source.%20The%20partial%20correlation%20in%0A%20%20%20%20Chapter%203%2C%20Section%209%20answers%20a%20different%2C%20adjusted%20question.%0A%0A%20%20%20%20The%20test%20asks%20whether%20the%20population%20correlation%2C%20%24%5Crho%24%2C%20is%20zero.%20The%20usual%0A%20%20%20%20test%20assumes%20independent%20pairs%20of%20measurements%20and%20a%20joint%20normal%20distribution%0A%20%20%20%20(a%20roughly%20elliptical%20cloud%20of%20points%2C%20without%20strong%20outliers).%20Under%20this%0A%20%20%20%20model%2C%20calculate%0A%0A%20%20%20%20%24%24t%3Dr%5Csqrt%7B%5Cfrac%7Bn-2%7D%7B1-r%5E2%7D%7D%2C%5Cqquad%20df%3Dn-2.%24%24%0A%0A%20%20%20%20The%20same%20observed%20correlation%20produces%20stronger%20evidence%20as%20sample%20size%20grows%2C%0A%20%20%20%20but%20neither%20a%20small%20p-value%20nor%20a%20narrow%20interval%20establishes%20causation.%0A%0A%20%20%20%20**Try%20this%3A**%20change%20the%20explorer%20correlation%20from%20its%20observed-data%20default%0A%20%20%20%20to%200.30%20and%20compare%20%24n%3D10%24%2C%0A%20%20%20%2024%2C%20and%20100.%20Follow%20the%20test%20statistic%20and%20p-value%20as%20sample%20size%0A%20%20%20%20increases%20for%20the%20same%20association%20strength.%20The%20table's%20approximate%2095%25%0A%20%20%20%20confidence%20interval%20uses%20Fisher's%20transformation%20and%20belongs%20to%20the%20observed%0A%20%20%20%20river%20data%3B%20it%20does%20not%20change%20with%20the%20controls.%20Then%20change%20%24r%24%20from%200.30%20to%0A%20%20%20%20%E2%88%920.30%3A%20a%20two-sided%20test%20keeps%20the%20same%20p-value%20while%20the%20direction%20reverses.%0A%20%20%20%20These%20controls%20update%20a%20hypothetical%20calculation%20immediately%3B%20they%20do%20not%0A%20%20%20%20alter%20the%20observed%20nitrate%E2%80%93phosphate%20scatter%20plot%20or%20its%20reference%20analysis.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20water_data)%3A%0A%20%20%20%20correlation_r_control%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20-0.95%2C%0A%20%20%20%20%20%20%20%200.95%2C%0A%20%20%20%20%20%20%20%20step%3D0.01%2C%0A%20%20%20%20%20%20%20%20value%3D0.86%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20label%3D%22Explorer%20correlation%20r%22%2C%0A%20%20%20%20)%0A%20%20%20%20correlation_n_control%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%204%2C%0A%20%20%20%20%20%20%20%20200%2C%0A%20%20%20%20%20%20%20%20value%3Dlen(water_data)%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20label%3D%22Explorer%20sample%20size%20n%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20correlation_n_control%2C%20correlation_r_control%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20FIGURE_SIZE_LINKED%2C%0A%20%20%20%20compact_table%2C%0A%20%20%20%20correlation_n_control%2C%0A%20%20%20%20correlation_r_control%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20nitrate_column%2C%0A%20%20%20%20np%2C%0A%20%20%20%20pd%2C%0A%20%20%20%20phosphate_column%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20stats%2C%0A%20%20%20%20two_column_panel%2C%0A%20%20%20%20water_data%2C%0A)%3A%0A%20%20%20%20correlation_x%20%3D%20water_data%5Bnitrate_column%5D.to_numpy(dtype%3Dfloat)%0A%20%20%20%20correlation_y%20%3D%20water_data%5Bphosphate_column%5D.to_numpy(dtype%3Dfloat)%0A%20%20%20%20correlation_observed%20%3D%20stats.pearsonr(correlation_x%2C%20correlation_y)%0A%20%20%20%20correlation_n_observed%20%3D%20correlation_x.size%0A%20%20%20%20correlation_t_observed%20%3D%20float(%0A%20%20%20%20%20%20%20%20correlation_observed.statistic%0A%20%20%20%20%20%20%20%20*%20np.sqrt(%0A%20%20%20%20%20%20%20%20%20%20%20%20(correlation_n_observed%20-%202)%20%2F%20(1.0%20-%20correlation_observed.statistic**2)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20correlation_fisher_center%20%3D%20float(np.arctanh(correlation_observed.statistic))%0A%20%20%20%20correlation_fisher_margin%20%3D%20float(%0A%20%20%20%20%20%20%20%20stats.norm.ppf(0.975)%20%2F%20np.sqrt(correlation_n_observed%20-%203)%0A%20%20%20%20)%0A%20%20%20%20correlation_interval%20%3D%20tuple(%0A%20%20%20%20%20%20%20%20np.tanh(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20correlation_fisher_center%20-%20correlation_fisher_margin%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20correlation_fisher_center%20%2B%20correlation_fisher_margin%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20assert%20np.isclose(correlation_observed.statistic%2C%200.862420484136013)%0A%20%20%20%20assert%20np.isclose(correlation_observed.pvalue%2C%206.011470439278001e-08)%0A%0A%20%20%20%20explorer_r%20%3D%20float(correlation_r_control.value)%0A%20%20%20%20explorer_n%20%3D%20int(correlation_n_control.value)%0A%20%20%20%20explorer_t%20%3D%20float(explorer_r%20*%20np.sqrt((explorer_n%20-%202)%20%2F%20(1%20-%20explorer_r**2)))%0A%20%20%20%20explorer_p%20%3D%20float(2%20*%20stats.t.sf(abs(explorer_t)%2C%20explorer_n%20-%202))%0A%0A%20%20%20%20correlation_figure%2C%20(correlation_scatter_axis%2C%20correlation_tail_axis)%20%3D%20(%0A%20%20%20%20%20%20%20%20plt.subplots(1%2C%202%2C%20figsize%3DFIGURE_SIZE_LINKED)%0A%20%20%20%20)%0A%20%20%20%20correlation_scatter_axis.scatter(%0A%20%20%20%20%20%20%20%20correlation_x%2C%0A%20%20%20%20%20%20%20%20correlation_y%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22sky%22%5D%2C%0A%20%20%20%20%20%20%20%20edgecolor%3D%22white%22%2C%0A%20%20%20%20%20%20%20%20linewidth%3D0.5%2C%0A%20%20%20%20%20%20%20%20s%3D36%2C%0A%20%20%20%20%20%20%20%20alpha%3D0.85%2C%0A%20%20%20%20)%0A%20%20%20%20correlation_slope%2C%20correlation_intercept%20%3D%20np.polyfit(%0A%20%20%20%20%20%20%20%20correlation_x%2C%20correlation_y%2C%201%0A%20%20%20%20)%0A%20%20%20%20correlation_grid%20%3D%20np.linspace(correlation_x.min()%2C%20correlation_x.max()%2C%20100)%0A%20%20%20%20correlation_scatter_axis.plot(%0A%20%20%20%20%20%20%20%20correlation_grid%2C%0A%20%20%20%20%20%20%20%20correlation_intercept%20%2B%20correlation_slope%20*%20correlation_grid%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22blue%22%5D%2C%0A%20%20%20%20%20%20%20%20linewidth%3D2%2C%0A%20%20%20%20%20%20%20%20label%3D%22Least-squares%20line%22%2C%0A%20%20%20%20)%0A%20%20%20%20correlation_scatter_axis.set(%0A%20%20%20%20%20%20%20%20xlabel%3D%22Nitrate%20concentration%20%5Bmg%2FL%5D%22%2C%0A%20%20%20%20%20%20%20%20ylabel%3D%22Phosphate%20concentration%20%5B%C2%B5g%2FL%5D%22%2C%0A%20%20%20%20)%0A%20%20%20%20correlation_scatter_axis.grid(linestyle%3D%22%3A%22%2C%20alpha%3D0.35)%0A%20%20%20%20correlation_scatter_axis.legend(frameon%3DFalse%2C%20fontsize%3D8)%0A%0A%20%20%20%20correlation_t_grid%20%3D%20np.linspace(-8%2C%208%2C%201_000)%0A%20%20%20%20correlation_t_density%20%3D%20stats.t.pdf(correlation_t_grid%2C%20explorer_n%20-%202)%0A%20%20%20%20correlation_tail_axis.plot(%0A%20%20%20%20%20%20%20%20correlation_t_grid%2C%0A%20%20%20%20%20%20%20%20correlation_t_density%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22purple%22%5D%2C%0A%20%20%20%20%20%20%20%20linewidth%3D2%2C%0A%20%20%20%20%20%20%20%20label%3Df%22t%20reference%20(df%20%3D%20%7Bexplorer_n%20-%202%7D)%22%2C%0A%20%20%20%20)%0A%20%20%20%20correlation_tail_axis.fill_between(%0A%20%20%20%20%20%20%20%20correlation_t_grid%2C%0A%20%20%20%20%20%20%20%200%2C%0A%20%20%20%20%20%20%20%20correlation_t_density%2C%0A%20%20%20%20%20%20%20%20where%3Dnp.abs(correlation_t_grid)%20%3E%3D%20abs(explorer_t)%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22vermillion%22%5D%2C%0A%20%20%20%20%20%20%20%20alpha%3D0.35%2C%0A%20%20%20%20%20%20%20%20label%3D%22Two-sided%20p-value%22%2C%0A%20%20%20%20)%0A%20%20%20%20correlation_tail_axis.axvline(%0A%20%20%20%20%20%20%20%20explorer_t%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22blue%22%5D%2C%0A%20%20%20%20%20%20%20%20linestyle%3D%22--%22%2C%0A%20%20%20%20%20%20%20%20linewidth%3D1.7%2C%0A%20%20%20%20%20%20%20%20label%3Df%22Selected%20t%20%3D%20%7Bexplorer_t%3A.2f%7D%22%2C%0A%20%20%20%20)%0A%20%20%20%20correlation_tail_axis.set(%0A%20%20%20%20%20%20%20%20xlabel%3D%22Correlation%20t%20statistic%22%2C%0A%20%20%20%20%20%20%20%20ylabel%3D%22Density%22%2C%0A%20%20%20%20%20%20%20%20xlim%3D(-8%2C%208)%2C%0A%20%20%20%20%20%20%20%20ylim%3D(0%2C%200.44)%2C%0A%20%20%20%20)%0A%20%20%20%20correlation_tail_axis.grid(axis%3D%22y%22%2C%20linestyle%3D%22%3A%22%2C%20alpha%3D0.35)%0A%20%20%20%20correlation_tail_axis.legend(frameon%3DFalse%2C%20fontsize%3D7)%0A%20%20%20%20correlation_figure.tight_layout()%0A%0A%20%20%20%20correlation_table%20%3D%20compact_table(%0A%20%20%20%20%20%20%20%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Quantity%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Observed%20rivers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Pearson%20r%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22t%20(df)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22p-value%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2295%25%20Fisher%20CI%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Value%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20str(correlation_n_observed)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bcorrelation_observed.statistic%3A.3f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bcorrelation_t_observed%3A.3f%7D%20(%7Bcorrelation_n_observed%20-%202%7D)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bcorrelation_observed.pvalue%3A.2e%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%5B%7Bcorrelation_interval%5B0%5D%3A.3f%7D%2C%20%7Bcorrelation_interval%5B1%5D%3A.3f%7D%5D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20column_widths%3D%7B%22Quantity%22%3A%20120%2C%20%22Value%22%3A%20125%7D%2C%0A%20%20%20%20)%0A%20%20%20%20correlation_note%20%3D%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Explorer%3A%20%24r%3D%7Bexplorer_r%3A.2f%7D%24%20and%20%24n%3D%7Bexplorer_n%7D%24%20imply%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%24t%3D%7Bexplorer_t%3A.2f%7D%24%20and%20%24p%3D%7Bexplorer_p%3A.4g%7D%24.%20The%20river%20result%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22an%20association.%20Shared%20nutrient%20sources%20could%20raise%20both%20concentrations%3B%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22this%20result%20alone%20does%20not%20show%20that%20one%20nutrient%20causes%20the%20other%20to%20increase.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20)%0A%20%20%20%20two_column_panel(%0A%20%20%20%20%20%20%20%20mo.vstack(%5Bcorrelation_r_control%2C%20correlation_n_control%2C%20correlation_table%5D)%2C%0A%20%20%20%20%20%20%20%20mo.vstack(%5Bcorrelation_figure%2C%20correlation_note%5D)%2C%0A%20%20%20%20%20%20%20%20widths%3D(1.15%2C%202.85)%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%0A%20%20%20%20%23%23%205.%20Counts%2C%20expected%20frequencies%2C%20and%20the%20chi-squared%20test%0A%0A%20%20%20%20Mendel%20observed%20four%20pea%20phenotypes%20in%20counts%20%24315%2C108%2C101%2C32%24.%20For%20a%20cross%0A%20%20%20%20between%20two%20double%20heterozygotes%2C%20independent%20assortment%20and%20complete%20dominance%0A%20%20%20%20predict%20the%20ratio%20%249%3A3%3A3%3A1%24.%20The%20null%20hypothesis%20specifies%20these%20proportions.%0A%20%20%20%20**Expected%20counts**%20are%20the%20total%20number%20of%20peas%20multiplied%20by%20%249%2F16%24%2C%20%243%2F16%24%2C%0A%20%20%20%20%243%2F16%24%2C%20and%20%241%2F16%24.%20For%20example%2C%20the%20expected%20round-yellow%20count%20is%0A%20%20%20%20%24556%5Ctimes9%2F16%3D312.75%24%3B%20an%20expectation%20need%20not%20be%20a%20whole%20number.%0A%0A%20%20%20%20The%20**chi-squared%20goodness-of-fit%20test**%20measures%20how%20far%20the%20observed%20counts%0A%20%20%20%20depart%20from%20those%20predictions.%20If%20%24O_i%24%20is%20the%20observed%20count%20and%20%24E_i%24%20the%0A%20%20%20%20expected%20count%20in%20category%20%24i%24%2C%20that%20category%20contributes%0A%0A%20%20%20%20%24%24%5Cfrac%7B(O_i-E_i)%5E2%7D%7BE_i%7D%24%24%0A%0A%20%20%20%20to%20the%20total%20%24%5Cchi%5E2%24%20statistic.%20Larger%20totals%20mean%20greater%20disagreement%20with%0A%20%20%20%20the%20predicted%20proportions.%20With%20the%20total%20count%20fixed%2C%20knowing%20three%20category%0A%20%20%20%20counts%20determines%20the%20fourth%2C%20giving%20%24df%3D4-1%3D3%24.%20This%20calculation%20assumes%0A%20%20%20%20independent%20observations%2C%20each%20counted%20in%20exactly%20one%20category%2C%20and%20proportions%0A%20%20%20%20specified%20before%20examining%20these%20counts.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20FIGURE_SIZE_STANDARD%2C%0A%20%20%20%20compact_table%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20pd%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20stats%2C%0A%20%20%20%20two_column_panel%2C%0A)%3A%0A%20%20%20%20mendel_labels%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%22Round%20yellow%22%2C%0A%20%20%20%20%20%20%20%20%22Round%20green%22%2C%0A%20%20%20%20%20%20%20%20%22Wrinkled%20yellow%22%2C%0A%20%20%20%20%20%20%20%20%22Wrinkled%20green%22%2C%0A%20%20%20%20%5D%0A%20%20%20%20mendel_observed%20%3D%20np.array(%5B315%2C%20108%2C%20101%2C%2032%5D%2C%20dtype%3Dfloat)%0A%20%20%20%20mendel_probabilities%20%3D%20np.array(%5B9%2C%203%2C%203%2C%201%5D%2C%20dtype%3Dfloat)%20%2F%2016%0A%20%20%20%20mendel_expected%20%3D%20mendel_observed.sum()%20*%20mendel_probabilities%0A%20%20%20%20mendel_contributions%20%3D%20(mendel_observed%20-%20mendel_expected)%20**%202%20%2F%20mendel_expected%0A%20%20%20%20mendel_result%20%3D%20stats.chisquare(mendel_observed%2C%20mendel_expected)%0A%20%20%20%20assert%20np.isclose(mendel_result.statistic%2C%200.4700239808153477)%0A%20%20%20%20assert%20np.isclose(mendel_result.pvalue%2C%200.925425895103616)%0A%0A%20%20%20%20mendel_table%20%3D%20compact_table(%0A%20%20%20%20%20%20%20%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Phenotype%22%3A%20mendel_labels%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Observed%22%3A%20mendel_observed.astype(int)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Expected%22%3A%20mendel_expected%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Contribution%22%3A%20mendel_contributions%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20column_widths%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Phenotype%22%3A%20135%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Observed%22%3A%2070%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Expected%22%3A%2070%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Contribution%22%3A%2085%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20format_mapping%3D%7B%22Expected%22%3A%20%22%7B%3A.2f%7D%22%2C%20%22Contribution%22%3A%20%22%7B%3A.3f%7D%22%7D%2C%0A%20%20%20%20)%0A%0A%20%20%20%20mendel_figure%2C%20mendel_axis%20%3D%20plt.subplots(figsize%3DFIGURE_SIZE_STANDARD)%0A%20%20%20%20mendel_positions%20%3D%20np.arange(len(mendel_labels))%0A%20%20%20%20mendel_width%20%3D%200.36%0A%20%20%20%20mendel_axis.bar(%0A%20%20%20%20%20%20%20%20mendel_positions%20-%20mendel_width%20%2F%202%2C%0A%20%20%20%20%20%20%20%20mendel_observed%2C%0A%20%20%20%20%20%20%20%20width%3Dmendel_width%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22orange%22%5D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Observed%20counts%22%2C%0A%20%20%20%20)%0A%20%20%20%20mendel_axis.bar(%0A%20%20%20%20%20%20%20%20mendel_positions%20%2B%20mendel_width%20%2F%202%2C%0A%20%20%20%20%20%20%20%20mendel_expected%2C%0A%20%20%20%20%20%20%20%20width%3Dmendel_width%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22sky%22%5D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Expected%20under%209%3A3%3A3%3A1%22%2C%0A%20%20%20%20)%0A%20%20%20%20for%20mendel_position%2C%20mendel_contribution%20in%20zip(%0A%20%20%20%20%20%20%20%20mendel_positions%2C%20mendel_contributions%0A%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20mendel_axis.text(%0A%20%20%20%20%20%20%20%20%20%20%20%20mendel_position%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20max(mendel_observed%5Bmendel_position%5D%2C%20mendel_expected%5Bmendel_position%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%2012%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%CF%87%C2%B2%20part%20%7Bmendel_contribution%3A.3f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20ha%3D%22center%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20fontsize%3D7%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20mendel_axis.set(%0A%20%20%20%20%20%20%20%20ylabel%3D%22Pea%20count%22%2C%0A%20%20%20%20%20%20%20%20xticks%3Dmendel_positions%2C%0A%20%20%20%20%20%20%20%20xticklabels%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Round%5Cnyellow%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Round%5Cngreen%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Wrinkled%5Cnyellow%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Wrinkled%5Cngreen%22%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20ylim%3D(0%2C%20365)%2C%0A%20%20%20%20)%0A%20%20%20%20mendel_axis.grid(axis%3D%22y%22%2C%20linestyle%3D%22%3A%22%2C%20alpha%3D0.35)%0A%20%20%20%20mendel_axis.legend(frameon%3DFalse%2C%20fontsize%3D8)%0A%20%20%20%20mendel_figure.tight_layout()%0A%0A%20%20%20%20expected_count_note%20%3D%20(%0A%20%20%20%20%20%20%20%20%22All%20expected%20counts%20exceed%20five%2C%20so%20the%20usual%20chi-squared%20approximation%20is%20reasonable%20here.%22%0A%20%20%20%20%20%20%20%20%22%20With%20small%20expected%20counts%2C%20calculate%20the%20p-value%20from%20exact%20count%20probabilities%20%22%0A%20%20%20%20%20%20%20%20%22or%20by%20simulating%20counts%20under%20the%20null%20model.%22%0A%20%20%20%20)%0A%20%20%20%20mendel_note%20%3D%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20rf%22%24%5Cchi%5E2(3)%3D%7Bmendel_result.statistic%3A.3f%7D%24%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%24p%3D%7Bmendel_result.pvalue%3A.3f%7D%24.%20%7Bexpected_count_note%7D%20Percentages%20alone%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22cannot%20replace%20counts%20because%20uncertainty%20depends%20on%20sample%20size.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20large%20p-value%20gives%20no%20evidence%20against%20the%209%3A3%3A3%3A1%20model%20here%3B%20it%20does%20not%20prove%20the%20model%20true.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20)%0A%20%20%20%20two_column_panel(%0A%20%20%20%20%20%20%20%20mendel_table%2C%0A%20%20%20%20%20%20%20%20mo.vstack(%5Bmendel_figure%2C%20mendel_note%5D)%2C%0A%20%20%20%20%20%20%20%20widths%3D(1.45%2C%202.55)%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%0A%20%20%20%20%23%23%206.%20Rank-based%20and%20permutation%20alternatives%0A%0A%20%20%20%20As%20in%20Chapter%203's%20Spearman%20correlation%2C%20**ranks**%20keep%20order%20rather%20than%0A%20%20%20%20numerical%20distances%2C%20and%20ties%20receive%20average%20ranks.%20The%20**Mann%E2%80%93Whitney%20test**%0A%20%20%20%20ranks%20measurements%20from%20two%20independent%20groups%20together%0A%20%20%20%20and%20asks%20whether%20one%20group%20tends%20to%20have%20higher%20ranks.%20Its%20usual%20null%20hypothesis%0A%20%20%20%20is%20that%20the%20two%20population%20distributions%20are%20the%20same.%20Interpreting%20a%20result%0A%20%20%20%20specifically%20as%20a%20difference%20in%20medians%20requires%20similarly%20shaped%20distributions%0A%20%20%20%20that%20differ%20only%20by%20a%20shift.%0A%0A%20%20%20%20For%20paired%20data%2C%20the%20**Wilcoxon%20signed-rank%20test**%20ranks%20the%20absolute%20within-pair%0A%20%20%20%20differences%20and%20retains%20their%20positive%20or%20negative%20signs.%20Its%20usual%20null%20model%0A%20%20%20%20has%20differences%20distributed%20symmetrically%20around%20zero%2C%20with%20independent%20pairs.%0A%20%20%20%20Neither%20rank%20test%20is%20assumption-free%2C%20and%20neither%20directly%20tests%20equal%20means.%0A%20%20%20%20The%20label-permutation%20test%20below%20uses%20the%20mean%20difference%20and%20the%20exchangeability%0A%20%20%20%20assumption%20explained%20in%20Section%201.%20Choose%20among%20these%20methods%20by%20the%20scientific%0A%20%20%20%20question%20and%20design%2C%20not%20by%20which%20gives%20the%20smallest%20p-value.%0A%0A%20%20%20%20**Try%20this%3A**%20move%20the%20largest%20young-rat%20observation%20from%2065.5%20towards%20100%0A%20%20%20%20and%20then%20150.%20The%20upper%20end%20is%20deliberately%20unrealistic%20for%20a%20percentage%2C%0A%20%20%20%20illustrating%20sensitivity%20rather%20than%20a%20plausible%20measurement.%20Compare%20the%0A%20%20%20%20mean-based%20results%20with%20Mann%E2%80%93Whitney%3A%20once%20that%20observation%20is%20the%20largest%2C%0A%20%20%20%20increasing%20its%20magnitude%20does%20not%20further%20increase%20its%20rank.%20Use%20the%20design%0A%20%20%20%20question%20to%20identify%20the%20design%20needed%20for%20the%20Mann%E2%80%93Whitney%20comparison%0A%20%20%20%20shown%20here.%20The%20feedback%20also%20explains%20the%20paired%20alternative%3B%20it%20does%20not%20switch%20the%0A%20%20%20%20analysis%20of%20the%20rat%20data.%20Only%20this%20activity%20uses%20the%20modified%20observation.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20rank_outlier_value%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%2065.5%2C%0A%20%20%20%20%20%20%20%20150.0%2C%0A%20%20%20%20%20%20%20%20step%3D0.5%2C%0A%20%20%20%20%20%20%20%20value%3D65.5%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20label%3D%22Largest%20young-rat%20observation%20%5B%25%5D%22%2C%0A%20%20%20%20)%0A%20%20%20%20rank_design%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Independent%20animals%20in%20two%20groups%22%3A%20%22mann_whitney%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Before%2Fafter%20measurements%20on%20the%20same%20animals%22%3A%20%22wilcoxon%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Only%20two%20group-average%20percentages%2C%20without%20unit-level%20measurements%22%3A%20%22invalid%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3DNone%2C%0A%20%20%20%20%20%20%20%20label%3D%22Which%20data%20support%20the%20independent-group%20Mann%E2%80%93Whitney%20comparison%20shown%20here%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20rank_design%2C%20rank_outlier_value%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20FIGURE_SIZE_SHALLOW%2C%0A%20%20%20%20compact_table%2C%0A%20%20%20%20exact_mean_difference_permutation%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20pd%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20rank_design%2C%0A%20%20%20%20rank_outlier_value%2C%0A%20%20%20%20rat_old%2C%0A%20%20%20%20rat_young%2C%0A%20%20%20%20review_feedback%2C%0A%20%20%20%20stats%2C%0A%20%20%20%20two_column_panel%2C%0A)%3A%0A%20%20%20%20rank_young_changed%20%3D%20rat_young.copy()%0A%20%20%20%20rank_young_changed%5Bnp.argmax(rank_young_changed)%5D%20%3D%20float(rank_outlier_value.value)%0A%20%20%20%20rank_welch%20%3D%20stats.ttest_ind(rank_young_changed%2C%20rat_old%2C%20equal_var%3DFalse)%0A%20%20%20%20rank_mann_whitney%20%3D%20stats.mannwhitneyu(%0A%20%20%20%20%20%20%20%20rank_young_changed%2C%20rat_old%2C%20alternative%3D%22two-sided%22%0A%20%20%20%20)%0A%20%20%20%20rank_permutation_distribution%20%3D%20exact_mean_difference_permutation(%0A%20%20%20%20%20%20%20%20np.concatenate(%5Brat_old%2C%20rank_young_changed%5D)%2C%20rank_young_changed.size%0A%20%20%20%20)%0A%20%20%20%20rank_observed_difference%20%3D%20float(rank_young_changed.mean()%20-%20rat_old.mean())%0A%20%20%20%20rank_permutation_p%20%3D%20float(%0A%20%20%20%20%20%20%20%20np.mean(%0A%20%20%20%20%20%20%20%20%20%20%20%20np.abs(rank_permutation_distribution)%0A%20%20%20%20%20%20%20%20%20%20%20%20%3E%3D%20abs(rank_observed_difference)%20-%201e-12%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%0A%20%20%20%20rank_table%20%3D%20compact_table(%0A%20%20%20%20%20%20%20%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Method%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Welch%20means%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Mann%E2%80%93Whitney%20ranks%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Exact%20label%20permutation%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Target%20summary%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Mean%20difference%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Relative%20ordering%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Mean%20difference%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22p-value%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20float(rank_welch.pvalue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20float(rank_mann_whitney.pvalue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rank_permutation_p%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20column_widths%3D%7B%22Method%22%3A%20145%2C%20%22Target%20summary%22%3A%20120%2C%20%22p-value%22%3A%2075%7D%2C%0A%20%20%20%20%20%20%20%20format_mapping%3D%7B%22p-value%22%3A%20%22%7B%3A.4f%7D%22%7D%2C%0A%20%20%20%20)%0A%0A%20%20%20%20rank_figure%2C%20rank_axis%20%3D%20plt.subplots(figsize%3DFIGURE_SIZE_SHALLOW)%0A%20%20%20%20rank_axis.scatter(%0A%20%20%20%20%20%20%20%20rat_old%2C%0A%20%20%20%20%20%20%20%20np.zeros(rat_old.size)%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22orange%22%5D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Old%20rats%22%2C%0A%20%20%20%20%20%20%20%20alpha%3D0.8%2C%0A%20%20%20%20%20%20%20%20edgecolor%3D%22white%22%2C%0A%20%20%20%20)%0A%20%20%20%20rank_axis.scatter(%0A%20%20%20%20%20%20%20%20rank_young_changed%2C%0A%20%20%20%20%20%20%20%20np.ones(rank_young_changed.size)%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22sky%22%5D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Young%20rats%22%2C%0A%20%20%20%20%20%20%20%20alpha%3D0.8%2C%0A%20%20%20%20%20%20%20%20edgecolor%3D%22white%22%2C%0A%20%20%20%20)%0A%20%20%20%20rank_axis.set(%0A%20%20%20%20%20%20%20%20xlabel%3D%22Maximum%20relaxation%20%5B%25%5D%22%2C%0A%20%20%20%20%20%20%20%20yticks%3D%5B0%2C%201%5D%2C%0A%20%20%20%20%20%20%20%20yticklabels%3D%5B%22Old%22%2C%20%22Young%22%5D%2C%0A%20%20%20%20%20%20%20%20ylim%3D(-0.55%2C%201.55)%2C%0A%20%20%20%20%20%20%20%20xlim%3D(0%2C%20158)%2C%0A%20%20%20%20)%0A%20%20%20%20rank_axis.grid(axis%3D%22x%22%2C%20linestyle%3D%22%3A%22%2C%20alpha%3D0.35)%0A%20%20%20%20rank_axis.legend(frameon%3DFalse%2C%20fontsize%3D8)%0A%20%20%20%20rank_figure.tight_layout()%0A%0A%20%20%20%20rank_design_feedback%20%3D%20review_feedback(%0A%20%20%20%20%20%20%20%20rank_design.value%2C%0A%20%20%20%20%20%20%20%20correct_value%3D%22mann_whitney%22%2C%0A%20%20%20%20%20%20%20%20correct_text%3D%22**Correct.**%20Mann%E2%80%93Whitney%20compares%20ranks%20from%20two%20independent%20groups.%20To%20interpret%20it%20specifically%20as%20a%20median%20difference%2C%20the%20population%20distributions%20should%20have%20the%20same%20shape%20and%20differ%20only%20by%20a%20shift.%22%2C%0A%20%20%20%20%20%20%20%20incorrect_text%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22wilcoxon%22%3A%20%22Before%20and%20after%20measurements%20on%20the%20same%20animals%20are%20paired%2C%20so%20an%20independent-group%20Mann%E2%80%93Whitney%20analysis%20would%20ignore%20their%20link.%20Wilcoxon%20signed-rank%20works%20on%20within-animal%20differences%20and%2C%20for%20a%20location%20interpretation%2C%20assumes%20their%20distribution%20is%20symmetric.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22invalid%22%3A%20%22Two%20group%20averages%20do%20not%20provide%20the%20individual%20observations%20needed%20to%20construct%20and%20compare%20ranks.%20Percentage-valued%20measurements%20can%20be%20ranked%20if%20they%20are%20recorded%20for%20independent%20units%3B%20the%20problem%20here%20is%20missing%20unit-level%20data%2C%20not%20the%20percentage%20scale%20itself.%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20unanswered_text%3D%22Choose%20a%20design%20above.%22%2C%0A%20%20%20%20)%0A%20%20%20%20rank_note%20%3D%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22The%20modified%20young-group%20mean%20difference%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7Brank_observed_difference%3A%2B.2f%7D%20percentage%20points**.%20Moving%20one%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22already-largest%20observation%20changes%20its%20distance%20from%20other%20values%20but%20leaves%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22all%20ranks%20unchanged.%20Mann%E2%80%93Whitney%20therefore%20stays%20unchanged%2C%20but%20it%20answers%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22a%20question%20about%20ordering%20rather%20than%20the%20mean%20difference.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20)%0A%20%20%20%20two_column_panel(%0A%20%20%20%20%20%20%20%20mo.vstack(%5Brank_outlier_value%2C%20rank_design%2C%20rank_design_feedback%2C%20rank_table%5D)%2C%0A%20%20%20%20%20%20%20%20mo.vstack(%5Brank_figure%2C%20rank_note%5D)%2C%0A%20%20%20%20%20%20%20%20widths%3D(1.35%2C%202.65)%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20equivalence_estimate%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20-3.0%2C%0A%20%20%20%20%20%20%20%203.0%2C%0A%20%20%20%20%20%20%20%20step%3D0.1%2C%0A%20%20%20%20%20%20%20%20value%3D0.2%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20label%3D%22Estimated%20difference%22%2C%0A%20%20%20%20)%0A%20%20%20%20equivalence_se%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%200.1%2C%0A%20%20%20%20%20%20%20%202.0%2C%0A%20%20%20%20%20%20%20%20step%3D0.1%2C%0A%20%20%20%20%20%20%20%20value%3D0.6%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20label%3D%22Standard%20error%22%2C%0A%20%20%20%20)%0A%20%20%20%20equivalence_margin%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%200.5%2C%0A%20%20%20%20%20%20%20%204.0%2C%0A%20%20%20%20%20%20%20%20step%3D0.25%2C%0A%20%20%20%20%20%20%20%20value%3D2.0%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20label%3D%22Equivalence%20margin%20%C2%B1M%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20equivalence_estimate%2C%20equivalence_margin%2C%20equivalence_se%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20FIGURE_SIZE_SHALLOW%2C%0A%20%20%20%20equivalence_estimate%2C%0A%20%20%20%20equivalence_margin%2C%0A%20%20%20%20equivalence_se%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20stats%2C%0A%20%20%20%20two_column_panel%2C%0A)%3A%0A%20%20%20%20equivalence_estimate_value%20%3D%20float(equivalence_estimate.value)%0A%20%20%20%20equivalence_se_value%20%3D%20float(equivalence_se.value)%0A%20%20%20%20equivalence_margin_value%20%3D%20float(equivalence_margin.value)%0A%20%20%20%20equivalence_critical%20%3D%20float(stats.norm.ppf(0.95))%0A%20%20%20%20equivalence_interval%20%3D%20(%0A%20%20%20%20%20%20%20%20equivalence_estimate_value%20-%20equivalence_critical%20*%20equivalence_se_value%2C%0A%20%20%20%20%20%20%20%20equivalence_estimate_value%20%2B%20equivalence_critical%20*%20equivalence_se_value%2C%0A%20%20%20%20)%0A%20%20%20%20equivalence_established%20%3D%20bool(%0A%20%20%20%20%20%20%20%20equivalence_interval%5B0%5D%20%3E%20-equivalence_margin_value%0A%20%20%20%20%20%20%20%20and%20equivalence_interval%5B1%5D%20%3C%20equivalence_margin_value%0A%20%20%20%20)%0A%20%20%20%20noninferiority_established%20%3D%20bool(%0A%20%20%20%20%20%20%20%20equivalence_interval%5B0%5D%20%3E%20-equivalence_margin_value%0A%20%20%20%20)%0A%0A%20%20%20%20equivalence_figure%2C%20equivalence_axis%20%3D%20plt.subplots(figsize%3DFIGURE_SIZE_SHALLOW)%0A%20%20%20%20equivalence_axis.axvspan(%0A%20%20%20%20%20%20%20%20-equivalence_margin_value%2C%0A%20%20%20%20%20%20%20%20equivalence_margin_value%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22green%22%5D%2C%0A%20%20%20%20%20%20%20%20alpha%3D0.16%2C%0A%20%20%20%20%20%20%20%20label%3D%22Pre-specified%20equivalence%20region%22%2C%0A%20%20%20%20)%0A%20%20%20%20equivalence_axis.axvline(0%2C%20color%3DCOLORS%5B%22gray%22%5D%2C%20linestyle%3D%22--%22%2C%20linewidth%3D1.3)%0A%20%20%20%20equivalence_axis.axvline(%0A%20%20%20%20%20%20%20%20-equivalence_margin_value%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22vermillion%22%5D%2C%0A%20%20%20%20%20%20%20%20linestyle%3D%22%3A%22%2C%0A%20%20%20%20%20%20%20%20linewidth%3D1.8%2C%0A%20%20%20%20)%0A%20%20%20%20equivalence_axis.axvline(%0A%20%20%20%20%20%20%20%20equivalence_margin_value%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22vermillion%22%5D%2C%0A%20%20%20%20%20%20%20%20linestyle%3D%22%3A%22%2C%0A%20%20%20%20%20%20%20%20linewidth%3D1.8%2C%0A%20%20%20%20)%0A%20%20%20%20equivalence_axis.errorbar(%0A%20%20%20%20%20%20%20%20equivalence_estimate_value%2C%0A%20%20%20%20%20%20%20%200%2C%0A%20%20%20%20%20%20%20%20xerr%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%5Bequivalence_estimate_value%20-%20equivalence_interval%5B0%5D%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5Bequivalence_interval%5B1%5D%20-%20equivalence_estimate_value%5D%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20fmt%3D%22o%22%2C%0A%20%20%20%20%20%20%20%20capsize%3D6%2C%0A%20%20%20%20%20%20%20%20linewidth%3D2.3%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22blue%22%5D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Estimate%20and%20matching%2090%25%20CI%22%2C%0A%20%20%20%20)%0A%20%20%20%20equivalence_axis.set(%0A%20%20%20%20%20%20%20%20xlabel%3D%22New%20%E2%88%92%20reference%20effect%22%2C%0A%20%20%20%20%20%20%20%20yticks%3D%5B%5D%2C%0A%20%20%20%20%20%20%20%20ylim%3D(-0.55%2C%200.55)%2C%0A%20%20%20%20%20%20%20%20xlim%3D(-7%2C%207)%2C%0A%20%20%20%20)%0A%20%20%20%20equivalence_axis.grid(axis%3D%22x%22%2C%20linestyle%3D%22%3A%22%2C%20alpha%3D0.35)%0A%20%20%20%20equivalence_axis.legend(frameon%3DFalse%2C%20fontsize%3D8%2C%20loc%3D%22upper%20left%22)%0A%20%20%20%20equivalence_figure.tight_layout()%0A%0A%20%20%20%20equivalence_conclusion%20%3D%20(%0A%20%20%20%20%20%20%20%20%22equivalence%20established%22%0A%20%20%20%20%20%20%20%20if%20equivalence_established%0A%20%20%20%20%20%20%20%20else%20%22non-inferiority%20only%22%0A%20%20%20%20%20%20%20%20if%20noninferiority_established%0A%20%20%20%20%20%20%20%20else%20%22inconclusive%20for%20both%20equivalence%20and%20non-inferiority%22%0A%20%20%20%20)%0A%20%20%20%20equivalence_note%20%3D%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22The%20illustrative%20normal-approximation%2090%25%20interval%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**%5B%7Bequivalence_interval%5B0%5D%3A.2f%7D%2C%20%7Bequivalence_interval%5B1%5D%3A.2f%7D%5D**%3A%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7Bequivalence_conclusion%7D**.%20The%20margin%20must%20be%20scientifically%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22justified%20before%20the%20data%20are%20examined.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20kind%3D%22info%22%20if%20equivalence_established%20else%20%22warn%22%2C%0A%20%20%20%20)%0A%20%20%20%20equivalence_panel%20%3D%20two_column_panel(%0A%20%20%20%20%20%20%20%20mo.vstack(%5Bequivalence_estimate%2C%20equivalence_se%2C%20equivalence_margin%5D)%2C%0A%20%20%20%20%20%20%20%20mo.vstack(%5Bequivalence_figure%2C%20equivalence_note%5D)%2C%0A%20%20%20%20%20%20%20%20widths%3D(1%2C%202.5)%2C%0A%20%20%20%20)%0A%20%20%20%20equivalence_content%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20A%20non-significant%20result%20can%20reflect%20imprecise%20measurements%2C%20so%20it%20does%0A%20%20%20%20%20%20%20%20%20%20%20%20not%20demonstrate%20similarity.%20**Equivalence**%20asks%20whether%20a%20difference%0A%20%20%20%20%20%20%20%20%20%20%20%20is%20small%20enough%20to%20be%20scientifically%20unimportant.%20For%20example%2C%20when%0A%20%20%20%20%20%20%20%20%20%20%20%20comparing%20enzyme%20assays%2C%20decide%20in%20advance%20the%20largest%20acceptable%0A%20%20%20%20%20%20%20%20%20%20%20%20difference%2C%20%24M%24%2C%20in%20the%20measurement's%20units.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20**Two%20one-sided%20tests%20(TOST)**%20ask%20whether%20the%20true%20difference%20is%20above%0A%20%20%20%20%20%20%20%20%20%20%20%20%24-M%24%20and%20below%20%24%2BM%24.%20Each%20test%20uses%20%24%5Calpha%3D0.05%24.%20Equivalence%20is%20supported%0A%20%20%20%20%20%20%20%20%20%20%20%20when%20both%20tests%20reject%20their%20null%20hypotheses%2C%20which%20happens%20when%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20matching%20**90%25%20CI**%20lies%20entirely%20inside%20those%20bounds.%20The%2090%25%20interval%0A%20%20%20%20%20%20%20%20%20%20%20%20corresponds%20to%20these%20two%205%25%20one-sided%20tests.%20This%20explorer%20uses%20strict%0A%20%20%20%20%20%20%20%20%20%20%20%20bounds%3A%20touching%20a%20margin%20does%20not%20establish%20equivalence%20or%20non-inferiority%0A%20%20%20%20%20%20%20%20%20%20%20%20(the%20boundary%20p-value%20is%200.05).%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20**Non-inferiority**%20asks%20only%20whether%20a%20new%20method%20is%20no%20worse%20than%20a%0A%20%20%20%20%20%20%20%20%20%20%20%20reference%20by%20more%20than%20%24M%24.%20When%20larger%20values%20are%20better%2C%20the%20lower%0A%20%20%20%20%20%20%20%20%20%20%20%20confidence%20bound%20must%20exceed%20%24-M%24.%20This%20is%20the%20same%20lower%20bound%20as%20in%0A%20%20%20%20%20%20%20%20%20%20%20%20a%20one-sided%2095%25%20interval.%20The%20explorer%20uses%20a%20normal%20approximation.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20**Try%20this%3A**%20hold%20the%20margin%20at%20%C2%B12%20and%20the%20estimate%20at%200.2%2C%20then%0A%20%20%20%20%20%20%20%20%20%20%20%20increase%20the%20SE%20from%200.6%20to%201.5.%20The%20interval%20widens%20beyond%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20acceptable%20region%2C%20so%20a%20small%20estimated%20difference%20alone%20cannot%0A%20%20%20%20%20%20%20%20%20%20%20%20establish%20equivalence.%20Restore%20SE%20to%200.6%20and%20move%20the%20estimate%0A%20%20%20%20%20%20%20%20%20%20%20%20towards%20the%20positive%20margin%3A%20the%20lower%20bound%20can%20still%20establish%0A%20%20%20%20%20%20%20%20%20%20%20%20non-inferiority%20while%20the%20upper%20bound%20prevents%20equivalence.%0A%20%20%20%20%20%20%20%20%20%20%20%20Here%20larger%20effects%20are%20assumed%20preferable%2C%20so%20non-inferiority%0A%20%20%20%20%20%20%20%20%20%20%20%20compares%20the%20lower%20bound%20with%20%E2%88%92M.%20The%20margin%20control%20explores%0A%20%20%20%20%20%20%20%20%20%20%20%20different%20pre-specified%20scientific%20tolerances%3B%20it%20is%20not%20a%20tool%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20moving%20a%20boundary%20after%20seeing%20results.%20Updates%20are%20immediate.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20equivalence_panel%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20mo.accordion(%0A%20%20%20%20%20%20%20%20%7B%22Optional%20extension%20%E2%80%94%20equivalence%20and%20non-inferiority%22%3A%20equivalence_content%7D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%0A%20%20%20%20%23%23%207.%20Comparing%20several%20means%3A%20one-way%20ANOVA%0A%0A%20%20%20%20**Analysis%20of%20variance%20(ANOVA)**%20compares%20population%20means%20by%20comparing%20sources%0A%20%20%20%20of%20variation.%20%E2%80%9COne-way%E2%80%9D%20means%20that%20groups%20are%20defined%20by%20one%20**factor**%2C%20a%0A%20%20%20%20variable%20with%20named%20categories%20called%20**levels**.%20Here%20the%20factor%20is%20tissue%2C%0A%20%20%20%20with%20levels%20root%2C%20mesocotyl%2C%20and%20primary%20leaf.%20The%20null%20hypothesis%20is%20that%20all%0A%20%20%20%20three%20population%20means%20are%20equal.%0A%0A%20%20%20%20The%20model%20writes%20measurement%20%24i%24%20in%20tissue%20group%20%24j%24%20as%0A%0A%20%20%20%20%24%24Y_%7Bij%7D%3D%5Cmu%2B%5Calpha_j%2B%5Cvarepsilon_%7Bij%7D.%24%24%0A%0A%20%20%20%20Here%20%24%5Cmu%24%20is%20a%20baseline%20mean%2C%20%24%5Calpha_j%24%20is%20the%20tissue's%20departure%20from%20that%0A%20%20%20%20baseline%2C%20and%20%24%5Cvarepsilon_%7Bij%7D%24%20is%20the%20remaining%20variation%20between%20measurements.%0A%20%20%20%20The%20**fitted%20value**%20is%20the%20sample%20tissue%20mean%3B%20a%20**residual**%20is%20observed%0A%20%20%20%20minus%20fitted%2C%20just%20as%20in%20Chapter%203.%20ANOVA%20uses%20a%20separate%20mean%20for%20each%20group%0A%20%20%20%20where%20simple%20linear%20regression%20used%20a%20line.%0A%0A%20%20%20%20ANOVA%20asks%20whether%20the%20tissue%20means%20are%20far%20apart%20compared%20with%20the%20spread%0A%20%20%20%20within%20tissues.%20Its%20**F%20statistic**%20is%20the%20ratio%20of%20these%20two%20sources%20of%0A%20%20%20%20variation%20after%20accounting%20for%20their%20degrees%20of%20freedom.%20A%20small%20p-value%0A%20%20%20%20supports%20a%20difference%20somewhere%20among%20the%20means%3B%20it%20does%20not%20identify%20which%0A%20%20%20%20tissues%20differ.%0A%0A%20%20%20%20**Reading%20the%20table%3A**%20SS%20means%20*sum%20of%20squares*%3A%20add%20the%20squared%20deviations%0A%20%20%20%20from%20the%20relevant%20mean.%20MS%20means%20*mean%20square*%3A%20SS%20divided%20by%20df.%20The%20grand%0A%20%20%20%20mean%20is%20the%20mean%20of%20all%20measurements%20in%20the%20selected%20illumination%20condition.%0A%0A%20%20%20%20**Explore%20the%20table%3A**%20page%20through%20the%20measurements%20and%20identify%20the%20two%0A%20%20%20%20illumination%20conditions%20and%20three%20tissues.%20Then%20compare%20**Light-grown**%0A%20%20%20%20and%20**Dark-grown%20seedlings**%20in%20the%20one-way%20ANOVA%20controls%20below.%20Each%0A%20%20%20%20selection%20analyzes%20three%20tissues%20within%20one%20illumination%20condition%20and%0A%20%20%20%20updates%20the%20downstream%20one-way%20diagnostics%20and%20post-hoc%20comparisons.%0A%20%20%20%20Switch%20the%20highlighted%20variation%20between%20**Between%20groups**%20and%20**Within%0A%20%20%20%20groups%20(residual)**%3A%20this%20changes%20the%20displayed%20deviations%2C%20not%20the%20fitted%0A%20%20%20%20ANOVA%20or%20its%20p-value.%20Use%20the%20sums%20of%20squares%20to%20explain%20how%20separated%20group%0A%20%20%20%20means%20and%20scattered%20observations%20contribute%20differently%20to%20the%20F%20statistic.%0A%20%20%20%20Searching%20the%20raw%20table%20does%20not%20filter%20these%20calculations.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20peroxidase_data%2C%20two_column_panel)%3A%0A%20%20%20%20peroxidase_table%20%3D%20mo.ui.table(%0A%20%20%20%20%20%20%20%20peroxidase_data%2C%0A%20%20%20%20%20%20%20%20pagination%3DTrue%2C%0A%20%20%20%20%20%20%20%20page_size%3D10%2C%0A%20%20%20%20%20%20%20%20selection%3DNone%2C%0A%20%20%20%20%20%20%20%20show_search%3DTrue%2C%0A%20%20%20%20%20%20%20%20show_column_summaries%3DTrue%2C%0A%20%20%20%20%20%20%20%20show_data_types%3DFalse%2C%0A%20%20%20%20%20%20%20%20show_download%3DTrue%2C%0A%20%20%20%20%20%20%20%20column_widths%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22light_conditions%22%3A%20130%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22tissue%22%3A%20125%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22peroxidase_amount%22%3A%20155%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20)%0A%20%20%20%20peroxidase_provenance%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Course%20dataset%3A**%20peroxidase%20amount%20was%20measured%20in%20root%2C%20mesocotyl%2C%20and%20primary-leaf%20tissue%20under%20light%20and%20dark%20conditions.%20Each%20of%20the%20six%20tissue%E2%80%93illumination%20combinations%20contains%2010%20observations.%20Amounts%20are%20displayed%20in%20arbitrary%20units%20(a.u.).%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22One-way%20ANOVA%20uses%20one%20illumination%20condition%20at%20a%20time.%20Two-way%20ANOVA%20later%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22uses%20all%20six%20combinations%2C%20with%20equal%20sample%20sizes%20(a%20balanced%20design).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22These%20analyses%20assume%20independent%20observations.%20If%20several%20tissues%20came%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22from%20the%20same%20seedling%2C%20the%20analysis%20would%20need%20to%20account%20for%20that%20link%3B%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22the%20table%20has%20no%20seedling%20identifiers%20to%20check%20this.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20two_column_panel(peroxidase_provenance%2C%20peroxidase_table%2C%20widths%3D(1%2C%201.7))%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20anova_illumination%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%22Light-grown%20seedlings%22%3A%20%22light%22%2C%20%22Dark-grown%20seedlings%22%3A%20%22dark%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Light-grown%20seedlings%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Illumination%20subset%22%2C%0A%20%20%20%20)%0A%20%20%20%20anova_source%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Between%20groups%22%3A%20%22between%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Within%20groups%20(residual)%22%3A%20%22within%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Between%20groups%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Variation%20to%20highlight%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20anova_illumination%2C%20anova_source%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20anova_illumination%2C%0A%20%20%20%20anova_source%2C%0A%20%20%20%20compact_table%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20one_way_anova_details%2C%0A%20%20%20%20pd%2C%0A%20%20%20%20peroxidase_data%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20two_column_panel%2C%0A)%3A%0A%20%20%20%20tissue_order%20%3D%20%5B%22root%22%2C%20%22mesocotyl%22%2C%20%22primary%20leaf%22%5D%0A%20%20%20%20selected_peroxidase%20%3D%20peroxidase_data.loc%5B%0A%20%20%20%20%20%20%20%20peroxidase_data%5B%22light_conditions%22%5D%20%3D%3D%20anova_illumination.value%0A%20%20%20%20%5D.copy()%0A%20%20%20%20selected_anova%20%3D%20one_way_anova_details(%0A%20%20%20%20%20%20%20%20selected_peroxidase%2C%20%22tissue%22%2C%20%22peroxidase_amount%22%2C%20tissue_order%0A%20%20%20%20)%0A%20%20%20%20if%20anova_illumination.value%20%3D%3D%20%22light%22%3A%0A%20%20%20%20%20%20%20%20assert%20np.isclose(selected_anova%5B%22statistic%22%5D%2C%2022.438016528925633)%0A%20%20%20%20%20%20%20%20assert%20np.isclose(selected_anova%5B%22p_value%22%5D%2C%201.817713653668423e-06)%0A%0A%20%20%20%20anova_figure%2C%20anova_axis%20%3D%20plt.subplots(figsize%3D(5.2%2C%203.8))%0A%20%20%20%20anova_jitter_rng%20%3D%20np.random.default_rng(82405)%0A%20%20%20%20for%20_anova_tissue_index%2C%20(tissue_label%2C%20tissue_values%2C%20tissue_mean)%20in%20enumerate(%0A%20%20%20%20%20%20%20%20zip(tissue_order%2C%20selected_anova%5B%22groups%22%5D%2C%20selected_anova%5B%22means%22%5D)%0A%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20tissue_jitter%20%3D%20anova_jitter_rng.normal(0%2C%200.045%2C%20size%3Dtissue_values.size)%0A%20%20%20%20%20%20%20%20anova_axis.scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20np.full(tissue_values.size%2C%20_anova_tissue_index)%20%2B%20tissue_jitter%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20tissue_values%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3D%5BCOLORS%5B%22orange%22%5D%2C%20COLORS%5B%22sky%22%5D%2C%20COLORS%5B%22purple%22%5D%5D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_anova_tissue_index%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20edgecolor%3D%22white%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20linewidth%3D0.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20alpha%3D0.82%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20s%3D38%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3Df%22%7Btissue_label%7D%3A%20raw%20values%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20zorder%3D3%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20anova_axis.scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20_anova_tissue_index%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20tissue_mean%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker%3D%22D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22blue%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20s%3D42%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20zorder%3D5%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20if%20anova_source.value%20%3D%3D%20%22between%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20anova_axis.plot(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B_anova_tissue_index%2C%20_anova_tissue_index%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5Bselected_anova%5B%22grand_mean%22%5D%2C%20tissue_mean%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22vermillion%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20linewidth%3D3%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alpha%3D0.75%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20x_value%2C%20observation%20in%20zip(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20np.full(tissue_values.size%2C%20_anova_tissue_index)%20%2B%20tissue_jitter%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tissue_values%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20anova_axis.plot(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5Bx_value%2C%20_anova_tissue_index%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5Bobservation%2C%20tissue_mean%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22gray%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20linewidth%3D1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alpha%3D0.65%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20zorder%3D1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20anova_axis.axhline(%0A%20%20%20%20%20%20%20%20selected_anova%5B%22grand_mean%22%5D%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22green%22%5D%2C%0A%20%20%20%20%20%20%20%20linestyle%3D%22--%22%2C%0A%20%20%20%20%20%20%20%20linewidth%3D1.6%2C%0A%20%20%20%20%20%20%20%20label%3D%22Grand%20mean%22%2C%0A%20%20%20%20)%0A%20%20%20%20anova_axis.set(%0A%20%20%20%20%20%20%20%20ylabel%3D%22Peroxidase%20amount%20%5Ba.u.%5D%22%2C%0A%20%20%20%20%20%20%20%20xticks%3Dnp.arange(3)%2C%0A%20%20%20%20%20%20%20%20xticklabels%3D%5B%22Root%22%2C%20%22Mesocotyl%22%2C%20%22Primary%20leaf%22%5D%2C%0A%20%20%20%20%20%20%20%20xlim%3D(-0.45%2C%202.45)%2C%0A%20%20%20%20%20%20%20%20ylim%3D(0%2C%203.65)%2C%0A%20%20%20%20)%0A%20%20%20%20anova_axis.grid(axis%3D%22y%22%2C%20linestyle%3D%22%3A%22%2C%20alpha%3D0.35)%0A%20%20%20%20anova_axis.legend(frameon%3DFalse%2C%20fontsize%3D7%2C%20ncols%3D2%2C%20loc%3D%22upper%20left%22)%0A%20%20%20%20anova_figure.tight_layout()%0A%0A%20%20%20%20anova_table_data%20%3D%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Source%22%3A%20%5B%22Between%20tissues%22%2C%20%22Within%20tissues%22%2C%20%22Total%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22SS%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20selected_anova%5B%22ss_between%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20selected_anova%5B%22ss_within%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20selected_anova%5B%22ss_total%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22df%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20selected_anova%5B%22df_between%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20selected_anova%5B%22df_within%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20selected_anova%5B%22df_between%22%5D%20%2B%20selected_anova%5B%22df_within%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22MS%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20selected_anova%5B%22ms_between%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20selected_anova%5B%22ms_within%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20np.nan%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22F%22%3A%20%5Bselected_anova%5B%22statistic%22%5D%2C%20np.nan%2C%20np.nan%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22p-value%22%3A%20%5Bselected_anova%5B%22p_value%22%5D%2C%20np.nan%2C%20np.nan%5D%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20anova_table%20%3D%20compact_table(%0A%20%20%20%20%20%20%20%20anova_table_data%2C%0A%20%20%20%20%20%20%20%20column_widths%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Source%22%3A%20120%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22SS%22%3A%2058%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22df%22%3A%2045%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22MS%22%3A%2058%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22F%22%3A%2058%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22p-value%22%3A%2078%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20format_mapping%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22SS%22%3A%20%22%7B%3A.3f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22MS%22%3A%20%22%7B%3A.3f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22F%22%3A%20%22%7B%3A.3f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22p-value%22%3A%20%22%7B%3A.3g%7D%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20)%0A%20%20%20%20anova_report%20%3D%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22For%20**%7Banova_illumination.value%7D**%2C%20%24F(%7Bselected_anova%5B'df_between'%5D%7D%2C%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bselected_anova%5B'df_within'%5D%7D)%3D%7Bselected_anova%5B'statistic'%5D%3A.3f%7D%24%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%24p%3D%7Bselected_anova%5B'p_value'%5D%3A.3g%7D%24.%20This%20is%20evidence%20that%20at%20least%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22one%20tissue%20mean%20differs%3B%20it%20is%20not%20yet%20a%20list%20of%20pairwise%20conclusions.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20)%0A%20%20%20%20two_column_panel(%0A%20%20%20%20%20%20%20%20mo.vstack(%5Banova_illumination%2C%20anova_source%2C%20anova_table%5D)%2C%0A%20%20%20%20%20%20%20%20mo.vstack(%5Banova_figure%2C%20anova_report%5D)%2C%0A%20%20%20%20%20%20%20%20widths%3D(1%2C%201)%2C%0A%20%20%20%20)%0A%20%20%20%20return%20selected_anova%2C%20selected_peroxidase%2C%20tissue_order%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20anova_derivation%20%3D%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Derivation%3A%20partitioning%20total%20variation%0A%0A%20%20%20%20With%20group%20sizes%20%24n_j%24%2C%20group%20means%20%24%5Cbar%20y_j%24%2C%20and%20grand%20mean%20%24%5Cbar%20y%24%2C%0A%0A%20%20%20%20%24%24SS_T%3D%5Csum_%7Bj%2Ci%7D(y_%7Bij%7D-%5Cbar%20y)%5E2%0A%20%20%20%20%3D%5Cunderbrace%7B%5Csum_j%20n_j(%5Cbar%20y_j-%5Cbar%20y)%5E2%7D_%7BSS_B%7D%0A%20%20%20%20%2B%5Cunderbrace%7B%5Csum_%7Bj%2Ci%7D(y_%7Bij%7D-%5Cbar%20y_j)%5E2%7D_%7BSS_W%7D.%24%24%0A%0A%20%20%20%20Subscripts%20T%2C%20B%2C%20and%20W%20refer%20to%20total%2C%20between-group%2C%20and%20within-group%20variation.%0A%20%20%20%20This%20is%20the%20same%20partition%20as%20Chapter%203's%20%24SST%3DSSR%2BSSE%24%3A%20fitted%20group%20means%0A%20%20%20%20replace%20fitted%20points%20on%20a%20line%2C%20so%20%24SS_B%24%20corresponds%20to%20%24SSR%24%20and%20%24SS_W%24%20to%20%24SSE%24.%0A%20%20%20%20If%20%24k%24%20is%20the%20number%20of%20groups%20and%20%24N%24%20the%20total%20number%20of%20observations%2C%20the%0A%20%20%20%20between-group%20df%20is%20%24k-1%24%20and%20the%20within-group%20df%20is%20%24N-k%24.%20Divide%20each%20sum%20of%0A%20%20%20%20squares%20by%20its%20degrees%20of%20freedom%20to%20obtain%20its%20mean%20square%3A%0A%0A%20%20%20%20%24%24F%3D%5Cfrac%7BMS_B%7D%7BMS_W%7D%0A%20%20%20%20%3D%5Cfrac%7BSS_B%2F(k-1)%7D%7BSS_W%2F(N-k)%7D.%24%24%0A%0A%20%20%20%20Under%20the%20common-variance%20null%20model%2C%20both%20mean%20squares%20estimate%20the%20same%0A%20%20%20%20residual%20variance%20and%20%24F%24%20tends%20to%20be%20near%20one.%20Separated%20group%20means%20increase%0A%20%20%20%20the%20numerator.%20For%20exactly%20two%20groups%20under%20the%20same%20equal-variance%20model%2C%20the%0A%20%20%20%20tests%20are%20algebraically%20identical%3A%20%24F_%7B1%2Cn_1%2Bn_2-2%7D%3Dt%5E2_%7Bn_1%2Bn_2-2%7D%24.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20mo.accordion(%7B%22Derivation%20%E2%80%94%20ANOVA%20sums%20of%20squares%20and%20F%20%3D%20t%C2%B2%22%3A%20anova_derivation%7D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20ANOVA%20assumptions%20and%20residual%20diagnostics%0A%0A%20%20%20%20Classical%20ANOVA%20assumes%20independent%20experimental%20units%2C%20approximately%20normal%0A%20%20%20%20variation%20around%20each%20population%20group%20mean%2C%20and%20similar%20spread%20in%20all%20groups.%0A%20%20%20%20Check%20the%20residuals%20for%20strong%20asymmetry%2C%20extreme%20values%2C%20or%20a%20larger%20spread%0A%20%20%20%20around%20some%20tissue%20means%20than%20others.%20The%20Q%E2%80%93Q%20plot%20compares%20their%20shape%20with%0A%20%20%20%20a%20normal%20distribution.%20Small%20datasets%20cannot%20establish%20that%20assumptions%20hold.%0A%0A%20%20%20%20**Welch%20ANOVA**%20still%20compares%20means%20but%20allows%20unequal%20group%20variances.%0A%20%20%20%20**Kruskal%E2%80%93Wallis**%20compares%20ranks%20across%20groups%3B%20it%20does%20not%20generally%20test%20the%0A%20%20%20%20same%20question%20as%20a%20mean%20comparison.%20The%20table%20illustrates%20these%20alternatives%2C%0A%20%20%20%20rather%20than%20offering%20several%20chances%20to%20obtain%20a%20small%20p-value.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20FIGURE_SIZE_LINKED%2C%0A%20%20%20%20compact_table%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20pd%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20selected_anova%2C%0A%20%20%20%20stats%2C%0A%20%20%20%20tissue_order%2C%0A%20%20%20%20two_column_panel%2C%0A)%3A%0A%20%20%20%20diagnostic_figure%2C%20(diagnostic_fitted_axis%2C%20diagnostic_qq_axis)%20%3D%20plt.subplots(%0A%20%20%20%20%20%20%20%201%2C%202%2C%20figsize%3DFIGURE_SIZE_LINKED%0A%20%20%20%20)%0A%20%20%20%20diagnostic_fitted_axis.scatter(%0A%20%20%20%20%20%20%20%20selected_anova%5B%22fitted%22%5D%2C%0A%20%20%20%20%20%20%20%20selected_anova%5B%22residuals%22%5D%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22sky%22%5D%2C%0A%20%20%20%20%20%20%20%20edgecolor%3D%22white%22%2C%0A%20%20%20%20%20%20%20%20linewidth%3D0.5%2C%0A%20%20%20%20%20%20%20%20alpha%3D0.85%2C%0A%20%20%20%20)%0A%20%20%20%20diagnostic_fitted_axis.axhline(%0A%20%20%20%20%20%20%20%200%2C%20color%3DCOLORS%5B%22gray%22%5D%2C%20linestyle%3D%22--%22%2C%20linewidth%3D1.4%0A%20%20%20%20)%0A%20%20%20%20diagnostic_fitted_axis.set(%0A%20%20%20%20%20%20%20%20xlabel%3D%22Fitted%20tissue%20mean%20%5Ba.u.%5D%22%2C%0A%20%20%20%20%20%20%20%20ylabel%3D%22Residual%20%5Ba.u.%5D%22%2C%0A%20%20%20%20)%0A%20%20%20%20diagnostic_fitted_axis.grid(linestyle%3D%22%3A%22%2C%20alpha%3D0.35)%0A%0A%20%20%20%20(%0A%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20diagnostic_theoretical%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20diagnostic_ordered%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20diagnostic_slope%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20diagnostic_intercept%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_diagnostic_r%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20)%20%3D%20stats.probplot(selected_anova%5B%22residuals%22%5D%2C%20dist%3D%22norm%22)%0A%20%20%20%20diagnostic_qq_axis.scatter(%0A%20%20%20%20%20%20%20%20diagnostic_theoretical%2C%0A%20%20%20%20%20%20%20%20diagnostic_ordered%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22orange%22%5D%2C%0A%20%20%20%20%20%20%20%20edgecolor%3D%22white%22%2C%0A%20%20%20%20%20%20%20%20linewidth%3D0.5%2C%0A%20%20%20%20)%0A%20%20%20%20diagnostic_qq_axis.plot(%0A%20%20%20%20%20%20%20%20diagnostic_theoretical%2C%0A%20%20%20%20%20%20%20%20diagnostic_intercept%20%2B%20diagnostic_slope%20*%20diagnostic_theoretical%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22gray%22%5D%2C%0A%20%20%20%20%20%20%20%20linestyle%3D%22--%22%2C%0A%20%20%20%20%20%20%20%20linewidth%3D1.5%2C%0A%20%20%20%20)%0A%20%20%20%20diagnostic_qq_axis.set(%0A%20%20%20%20%20%20%20%20xlabel%3D%22Theoretical%20normal%20quantile%22%2C%20ylabel%3D%22Ordered%20residual%22%0A%20%20%20%20)%0A%20%20%20%20diagnostic_qq_axis.grid(linestyle%3D%22%3A%22%2C%20alpha%3D0.35)%0A%20%20%20%20diagnostic_figure.tight_layout()%0A%0A%20%20%20%20diagnostic_classical%20%3D%20stats.f_oneway(*selected_anova%5B%22groups%22%5D)%0A%20%20%20%20diagnostic_welch%20%3D%20stats.f_oneway(*selected_anova%5B%22groups%22%5D%2C%20equal_var%3DFalse)%0A%20%20%20%20diagnostic_kruskal%20%3D%20stats.kruskal(*selected_anova%5B%22groups%22%5D)%0A%20%20%20%20diagnostic_methods%20%3D%20compact_table(%0A%20%20%20%20%20%20%20%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Procedure%22%3A%20%5B%22Classical%20ANOVA%22%2C%20%22Welch%20ANOVA%22%2C%20%22Kruskal%E2%80%93Wallis%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Primary%20target%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Means%2C%20common%20variance%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Means%2C%20unequal%20variances%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Rank%20distributions%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Statistic%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20float(diagnostic_classical.statistic)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20float(diagnostic_welch.statistic)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20float(diagnostic_kruskal.statistic)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22p-value%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20float(diagnostic_classical.pvalue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20float(diagnostic_welch.pvalue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20float(diagnostic_kruskal.pvalue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20column_widths%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Procedure%22%3A%20115%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Primary%20target%22%3A%20155%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Statistic%22%3A%2070%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22p-value%22%3A%2075%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20format_mapping%3D%7B%22Statistic%22%3A%20%22%7B%3A.3f%7D%22%2C%20%22p-value%22%3A%20%22%7B%3A.3g%7D%22%7D%2C%0A%20%20%20%20)%0A%20%20%20%20diagnostic_note%20%3D%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Displayed%20groups%3A%20**%7B'%2C%20'.join(tissue_order)%7D**.%20Do%20not%20select%20a%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22test%20solely%20because%20a%20preliminary%20normality%20or%20variance%20test%20crossed%200.05.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Consider%20the%20experimental%20design%2C%20the%20quantity%20you%20want%20to%20compare%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22group%20sizes%2C%20plots%2C%20and%20whether%20reasonable%20alternative%20analyses%20change%20the%20conclusion.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20)%0A%20%20%20%20two_column_panel(%0A%20%20%20%20%20%20%20%20diagnostic_methods%2C%0A%20%20%20%20%20%20%20%20mo.vstack(%5Bdiagnostic_figure%2C%20diagnostic_note%5D)%2C%0A%20%20%20%20%20%20%20%20widths%3D(1.45%2C%202.55)%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%0A%20%20%20%20%23%23%208.%20Multiple%20comparisons%20and%20post-hoc%20procedures%0A%0A%20%20%20%20The%20overall%20ANOVA%20test%20(also%20called%20an%20**omnibus%20test**)%20asks%20whether%20all%20means%0A%20%20%20%20are%20equal.%20To%20find%20which%20tissues%20differ%2C%20we%20compare%20individual%20pairs.%20Such%0A%20%20%20%20follow-up%20comparisons%20are%20often%20called%20**post-hoc%20tests**.%20Three%20tissues%20give%0A%20%20%20%20three%20pairs.%20Chapter%204%20demonstrated%20the%20extra%20false%20alarms%20from%20multiple%0A%20%20%20%20tests%3B%20here%20we%20account%20for%20them%20in%20the%20tissue%20comparisons.%0A%0A%20%20%20%20This%20set%20of%20comparisons%20is%20a%20**family**.%20The%20**family-wise%20error%20rate**%20is%20the%0A%20%20%20%20probability%20of%20at%20least%20one%20false%20positive%20anywhere%20in%20that%20set.%20Choose%20the%0A%20%20%20%20set%20before%20examining%20results.%20**Bonferroni**%20multiplies%20each%20raw%20p-value%20by%20the%0A%20%20%20%20number%20of%20tests%20(capped%20at%201).%20**Holm**%20adjusts%20the%20p-values%20in%20order%20from%0A%20%20%20%20smallest%20to%20largest%20and%20is%20generally%20less%20conservative.%20Both%20can%20keep%20the%0A%20%20%20%20family-wise%20error%20rate%20at%20or%20below%205%25%2C%20provided%20the%20individual%20tests%20are%20valid.%0A%0A%20%20%20%20**Tukey's%20procedure**%20is%20designed%20for%20all%20pairs%20of%20means%20under%20the%20equal-variance%0A%20%20%20%20ANOVA%20model.%20Its%2095%25%20intervals%20cover%20all%20the%20true%20pairwise%20differences%20together%0A%20%20%20%20in%2095%25%20of%20repeated%20studies%20under%20that%20model.%20An%20interval%20excluding%20zero%20supports%0A%20%20%20%20a%20difference%20for%20that%20pair.%20Here%20Bonferroni%20and%20Holm%20adjust%20separate%20pooled%0A%20%20%20%20t-tests%2C%20while%20Tukey%20uses%20the%20within-group%20variance%20from%20all%20three%20tissues.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20FIGURE_SIZE_STANDARD%2C%0A%20%20%20%20anova_illumination%2C%0A%20%20%20%20compact_table%2C%0A%20%20%20%20holm_adjust%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20pd%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20selected_peroxidase%2C%0A%20%20%20%20stats%2C%0A%20%20%20%20tissue_order%2C%0A%20%20%20%20two_column_panel%2C%0A)%3A%0A%20%20%20%20posthoc_frame%20%3D%20selected_peroxidase%0A%20%20%20%20posthoc_groups%20%3D%20%5B%0A%20%20%20%20%20%20%20%20posthoc_frame.loc%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20posthoc_frame%5B%22tissue%22%5D%20%3D%3D%20tissue%2C%20%22peroxidase_amount%22%0A%20%20%20%20%20%20%20%20%5D.to_numpy(dtype%3Dfloat)%0A%20%20%20%20%20%20%20%20for%20tissue%20in%20tissue_order%0A%20%20%20%20%5D%0A%20%20%20%20posthoc_pairs%20%3D%20%5B(0%2C%201)%2C%20(0%2C%202)%2C%20(1%2C%202)%5D%0A%20%20%20%20posthoc_raw_p%20%3D%20np.array(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20stats.ttest_ind(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20posthoc_groups%5Bfirst%5D%2C%20posthoc_groups%5Bsecond%5D%2C%20equal_var%3DTrue%0A%20%20%20%20%20%20%20%20%20%20%20%20).pvalue%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20first%2C%20second%20in%20posthoc_pairs%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20dtype%3Dfloat%2C%0A%20%20%20%20)%0A%20%20%20%20posthoc_bonferroni%20%3D%20np.minimum(1.0%2C%20posthoc_raw_p%20*%20len(posthoc_pairs))%0A%20%20%20%20posthoc_holm%20%3D%20holm_adjust(posthoc_raw_p)%0A%20%20%20%20posthoc_tukey_result%20%3D%20stats.tukey_hsd(*posthoc_groups)%0A%20%20%20%20posthoc_tukey%20%3D%20np.array(%0A%20%20%20%20%20%20%20%20%5Bposthoc_tukey_result.pvalue%5Bfirst%2C%20second%5D%20for%20first%2C%20second%20in%20posthoc_pairs%5D%2C%0A%20%20%20%20%20%20%20%20dtype%3Dfloat%2C%0A%20%20%20%20)%0A%20%20%20%20posthoc_differences%20%3D%20np.array(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20posthoc_groups%5Bsecond%5D.mean()%20-%20posthoc_groups%5Bfirst%5D.mean()%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20first%2C%20second%20in%20posthoc_pairs%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20posthoc_labels%20%3D%20%5B%0A%20%20%20%20%20%20%20%20f%22%7Btissue_order%5Bsecond%5D%7D%20%E2%88%92%20%7Btissue_order%5Bfirst%5D%7D%22%0A%20%20%20%20%20%20%20%20for%20first%2C%20second%20in%20posthoc_pairs%0A%20%20%20%20%5D%0A%20%20%20%20posthoc_table%20%3D%20compact_table(%0A%20%20%20%20%20%20%20%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Comparison%22%3A%20posthoc_labels%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Mean%20difference%22%3A%20posthoc_differences%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Raw%20p%22%3A%20posthoc_raw_p%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Bonferroni%22%3A%20posthoc_bonferroni%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Holm%22%3A%20posthoc_holm%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Tukey%22%3A%20posthoc_tukey%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20column_widths%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Comparison%22%3A%20175%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Mean%20difference%22%3A%2095%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Raw%20p%22%3A%2068%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Bonferroni%22%3A%2082%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Holm%22%3A%2068%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Tukey%22%3A%2068%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20format_mapping%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Mean%20difference%22%3A%20%22%7B%3A%2B.2f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Raw%20p%22%3A%20%22%7B%3A.4f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Bonferroni%22%3A%20%22%7B%3A.4f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Holm%22%3A%20%22%7B%3A.4f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Tukey%22%3A%20%22%7B%3A.4f%7D%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20)%0A%0A%20%20%20%20posthoc_figure%2C%20posthoc_axis%20%3D%20plt.subplots(figsize%3DFIGURE_SIZE_STANDARD)%0A%20%20%20%20posthoc_y%20%3D%20np.arange(len(posthoc_pairs))%0A%20%20%20%20posthoc_axis.axvline(0%2C%20color%3DCOLORS%5B%22gray%22%5D%2C%20linestyle%3D%22--%22%2C%20linewidth%3D1.3)%0A%20%20%20%20for%20row_index%2C%20((first%2C%20second)%2C%20difference)%20in%20enumerate(%0A%20%20%20%20%20%20%20%20zip(posthoc_pairs%2C%20posthoc_differences)%0A%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20posthoc_low%20%3D%20posthoc_tukey_result.confidence_interval().low%5Bfirst%2C%20second%5D%0A%20%20%20%20%20%20%20%20posthoc_high%20%3D%20posthoc_tukey_result.confidence_interval().high%5Bfirst%2C%20second%5D%0A%20%20%20%20%20%20%20%20%23%20scipy%20reports%20first%20-%20second%3B%20reverse%20to%20match%20the%20displayed%20second%20-%20first.%0A%20%20%20%20%20%20%20%20display_low%2C%20display_high%20%3D%20-posthoc_high%2C%20-posthoc_low%0A%20%20%20%20%20%20%20%20posthoc_axis.errorbar(%0A%20%20%20%20%20%20%20%20%20%20%20%20difference%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20row_index%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xerr%3D%5B%5Bdifference%20-%20display_low%5D%2C%20%5Bdisplay_high%20-%20difference%5D%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20fmt%3D%22o%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20capsize%3D5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22blue%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20posthoc_tukey%5Brow_index%5D%20%3C%3D%200.05%0A%20%20%20%20%20%20%20%20%20%20%20%20else%20COLORS%5B%22gray%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20linewidth%3D2%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20posthoc_axis.set(%0A%20%20%20%20%20%20%20%20title%3Df%22%7Banova_illumination.value.capitalize()%7D-grown%20seedlings%22%2C%0A%20%20%20%20%20%20%20%20xlabel%3D%22Pairwise%20mean%20difference%20%5Ba.u.%5D%20with%20Tukey%2095%25%20CI%22%2C%0A%20%20%20%20%20%20%20%20yticks%3Dposthoc_y%2C%0A%20%20%20%20%20%20%20%20yticklabels%3Dposthoc_labels%2C%0A%20%20%20%20%20%20%20%20ylim%3D(-0.7%2C%20len(posthoc_pairs)%20-%200.3)%2C%0A%20%20%20%20)%0A%20%20%20%20posthoc_axis.grid(axis%3D%22x%22%2C%20linestyle%3D%22%3A%22%2C%20alpha%3D0.35)%0A%20%20%20%20posthoc_figure.tight_layout()%0A%0A%20%20%20%20posthoc_supported%20%3D%20%5B%0A%20%20%20%20%20%20%20%20label%0A%20%20%20%20%20%20%20%20for%20label%2C%20p_value%20in%20zip(posthoc_labels%2C%20posthoc_tukey)%0A%20%20%20%20%20%20%20%20if%20p_value%20%3C%3D%200.05%0A%20%20%20%20%5D%0A%20%20%20%20posthoc_conclusion%20%3D%20(%0A%20%20%20%20%20%20%20%20%22Tukey%20supports%20differences%20for%3A%20%22%20%2B%20%22%3B%20%22.join(posthoc_supported)%20%2B%20%22.%22%0A%20%20%20%20%20%20%20%20if%20posthoc_supported%0A%20%20%20%20%20%20%20%20else%20%22Tukey%20does%20not%20support%20any%20pairwise%20difference%20at%20the%205%25%20family-wise%20level.%22%0A%20%20%20%20)%0A%20%20%20%20posthoc_note%20%3D%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22For%20%7Banova_illumination.value%7D-grown%20seedlings%2C%20%7Bposthoc_conclusion%7D%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Other%20pairwise%20differences%20remain%20uncertain.%20The%20adjustment%20applies%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22to%20the%20pre-defined%20family%20of%20all%20three%20tissue%20comparisons.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20)%0A%20%20%20%20two_column_panel(%0A%20%20%20%20%20%20%20%20posthoc_table%2C%0A%20%20%20%20%20%20%20%20mo.vstack(%5Bposthoc_figure%2C%20posthoc_note%5D)%2C%0A%20%20%20%20%20%20%20%20widths%3D(1.65%2C%202.35)%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Explore%20the%20chance%20of%20at%20least%20one%20false%20positive%0A%0A%20%20%20%20**Try%20this%3A**%20set%20the%20per-test%20threshold%20to%200.05%20and%20compare%201%2C%2020%2C%20and%0A%20%20%20%20100%20independent%20tests%20for%20which%20every%20null%20hypothesis%20is%20true.%20For%20example%2C%0A%20%20%20%20imagine%20measuring%20many%20proteins%20whose%20population%20means%20are%20unchanged.%0A%20%20%20%20With%20%24m%24%20tests%20and%20false-positive%20probability%20%24%5Calpha%24%20per%20test%2C%0A%20%20%20%20%241-(1-%5Calpha)%5Em%24%20is%20the%20chance%20of%20**at%20least%20one**%20false%20positive%20across%20the%20set.%0A%20%20%20%20It%20is%20not%20the%20fraction%20of%20tests%20expected%20to%20be%20positive.%20Then%20lower%20the%0A%20%20%20%20per-test%20threshold%20to%200.01.%0A%20%20%20%20Both%20controls%20update%20the%20theoretical%20calculation%20immediately.%20This%20example%0A%20%20%20%20assumes%20independent%20tests%20and%20does%20not%20change%20the%20tissue%20comparisons%20above%3B%0A%20%20%20%20those%20comparisons%20need%20their%20stated%20multiple-testing%20procedure.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20multiplicity_alpha%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%200.01%2C%0A%20%20%20%20%20%20%20%200.10%2C%0A%20%20%20%20%20%20%20%20step%3D0.01%2C%0A%20%20%20%20%20%20%20%20value%3D0.05%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20label%3D%22Per-test%20threshold%20%CE%B1%22%2C%0A%20%20%20%20)%0A%20%20%20%20multiplicity_tests%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%201%2C%0A%20%20%20%20%20%20%20%20100%2C%0A%20%20%20%20%20%20%20%20value%3D20%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20label%3D%22Independent%20true-null%20tests%20m%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20multiplicity_alpha%2C%20multiplicity_tests%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20FIGURE_SIZE_SHALLOW%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20multiplicity_alpha%2C%0A%20%20%20%20multiplicity_tests%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20two_column_panel%2C%0A)%3A%0A%20%20%20%20multiplicity_alpha_value%20%3D%20float(multiplicity_alpha.value)%0A%20%20%20%20multiplicity_m_value%20%3D%20int(multiplicity_tests.value)%0A%20%20%20%20multiplicity_fwer%20%3D%20float(%0A%20%20%20%20%20%20%20%201%20-%20(1%20-%20multiplicity_alpha_value)%20**%20multiplicity_m_value%0A%20%20%20%20)%0A%20%20%20%20multiplicity_grid%20%3D%20np.arange(1%2C%20101)%0A%20%20%20%20multiplicity_curve%20%3D%201%20-%20(1%20-%20multiplicity_alpha_value)%20**%20multiplicity_grid%0A%0A%20%20%20%20multiplicity_figure%2C%20multiplicity_axis%20%3D%20plt.subplots(figsize%3DFIGURE_SIZE_SHALLOW)%0A%20%20%20%20multiplicity_axis.plot(%0A%20%20%20%20%20%20%20%20multiplicity_grid%2C%0A%20%20%20%20%20%20%20%20multiplicity_curve%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22purple%22%5D%2C%0A%20%20%20%20%20%20%20%20linewidth%3D2.2%2C%0A%20%20%20%20%20%20%20%20label%3Dr%22%241-(1-%5Calpha)%5Em%24%22%2C%0A%20%20%20%20)%0A%20%20%20%20multiplicity_axis.scatter(%0A%20%20%20%20%20%20%20%20%5Bmultiplicity_m_value%5D%2C%0A%20%20%20%20%20%20%20%20%5Bmultiplicity_fwer%5D%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22vermillion%22%5D%2C%0A%20%20%20%20%20%20%20%20s%3D50%2C%0A%20%20%20%20%20%20%20%20zorder%3D3%2C%0A%20%20%20%20%20%20%20%20label%3D%22Selected%20family%22%2C%0A%20%20%20%20)%0A%20%20%20%20multiplicity_axis.axhline(%0A%20%20%20%20%20%20%20%20multiplicity_alpha_value%2C%0A%20%20%20%20%20%20%20%20color%3DCOLORS%5B%22gray%22%5D%2C%0A%20%20%20%20%20%20%20%20linestyle%3D%22--%22%2C%0A%20%20%20%20%20%20%20%20linewidth%3D1.3%2C%0A%20%20%20%20%20%20%20%20label%3D%22Single-test%20%CE%B1%22%2C%0A%20%20%20%20)%0A%20%20%20%20multiplicity_axis.set(%0A%20%20%20%20%20%20%20%20xlabel%3D%22Number%20of%20independent%20true-null%20tests%20m%22%2C%0A%20%20%20%20%20%20%20%20ylabel%3D%22Probability%20of%20%E2%89%A51%20false%20positive%22%2C%0A%20%20%20%20%20%20%20%20xlim%3D(1%2C%20100)%2C%0A%20%20%20%20%20%20%20%20ylim%3D(0%2C%201.02)%2C%0A%20%20%20%20)%0A%20%20%20%20multiplicity_axis.grid(linestyle%3D%22%3A%22%2C%20alpha%3D0.35)%0A%20%20%20%20multiplicity_axis.legend(frameon%3DFalse%2C%20fontsize%3D8%2C%20loc%3D%22center%20right%22)%0A%20%20%20%20multiplicity_figure.tight_layout()%0A%0A%20%20%20%20multiplicity_note%20%3D%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22For%20%7Bmultiplicity_m_value%7D%20independent%20true-null%20tests%20at%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%24%5C%5Calpha%3D%7Bmultiplicity_alpha_value%3A.2f%7D%24%2C%20the%20illustrative%20chance%20of%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22at%20least%20one%20false%20positive%20is%20**%7Bmultiplicity_fwer%3A.1%25%7D**.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Bonferroni%20and%20Holm%20control%20the%20probability%20of%20any%20false%20positive.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22In%20omics%2C%20Benjamini%E2%80%93Hochberg%20instead%20aims%20to%20control%20the%20average%20proportion%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22of%20false%20positives%20among%20the%20results%20declared%20significant%20(the%20false%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22discovery%20rate).%20Its%20usual%20guarantee%20assumes%20independent%20tests%20or%20certain%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22forms%20of%20positive%20dependence%3B%20it%20does%20not%20guarantee%20a%20fixed%20false-positive%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22fraction%20in%20any%20one%20experiment.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20)%0A%20%20%20%20two_column_panel(%0A%20%20%20%20%20%20%20%20mo.vstack(%5Bmultiplicity_alpha%2C%20multiplicity_tests%5D)%2C%0A%20%20%20%20%20%20%20%20mo.vstack(%5Bmultiplicity_figure%2C%20multiplicity_note%5D)%2C%0A%20%20%20%20%20%20%20%20widths%3D(1%2C%203)%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%0A%20%20%20%20%23%23%209.%20Two-way%20ANOVA%20and%20interactions%0A%0A%20%20%20%20The%20full%20peroxidase%20design%20has%20two%20factors%3A%20illumination%20and%20tissue.%20**Two-way%0A%20%20%20%20ANOVA**%20examines%20both%20together.%20Its%20model%20adds%20a%20baseline%20mean%20(%24%5Cmu%24)%2C%20an%0A%20%20%20%20illumination%20contribution%20(%24%5Calpha_i%24)%2C%20a%20tissue%20contribution%20(%24%5Cbeta_j%24)%2C%20an%0A%20%20%20%20interaction%20contribution%20(%24(%5Calpha%5Cbeta)_%7Bij%7D%24)%2C%20and%20remaining%20variation%0A%20%20%20%20(%24%5Cvarepsilon_%7Bijk%7D%24)%20for%20observation%20%24k%24%20in%20each%20combination%3A%0A%0A%20%20%20%20%24%24Y_%7Bijk%7D%3D%5Cmu%2B%5Calpha_i%2B%5Cbeta_j%2B(%5Calpha%5Cbeta)_%7Bij%7D%2B%5Cvarepsilon_%7Bijk%7D.%24%24%0A%0A%20%20%20%20An%20**interaction**%20means%20that%20the%20light%E2%80%93dark%20mean%20difference%20depends%20on%20tissue.%0A%20%20%20%20A%20**main%20effect**%20summarizes%20one%20factor%20by%20averaging%20over%20the%20other%E2%80%94for%20example%2C%0A%20%20%20%20the%20light%E2%80%93dark%20difference%20averaged%20over%20all%20tissues.%20This%20average%20can%20hide%20a%0A%20%20%20%20strong%20response%20in%20leaves%20and%20a%20weak%20response%20in%20roots.%0A%0A%20%20%20%20Each%20tissue%E2%80%93illumination%20combination%20is%20sometimes%20called%20a%20**cell**%20of%20the%0A%20%20%20%20design%20(not%20a%20biological%20cell).%20The%20lines%20connect%20these%20combination%20means%20to%0A%20%20%20%20form%20**profiles**.%20Non-parallel%20profiles%20show%20different%20sample%20light%E2%80%93dark%0A%20%20%20%20differences%3B%20the%20interaction%20test%20assesses%20the%20evidence%20against%20a%20constant%0A%20%20%20%20population%20difference.%20The%20model%20assumes%20independent%20observations%2C%20approximately%0A%20%20%20%20normal%20variation%20within%20each%20combination%2C%20and%20a%20common%20variance.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20FIGURE_SIZE_STANDARD%2C%0A%20%20%20%20compact_table%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20pd%2C%0A%20%20%20%20peroxidase_data%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20two_column_panel%2C%0A%20%20%20%20two_way_balanced_details%2C%0A)%3A%0A%20%20%20%20two_way_light_levels%20%3D%20%5B%22light%22%2C%20%22dark%22%5D%0A%20%20%20%20two_way_tissue_levels%20%3D%20%5B%22root%22%2C%20%22mesocotyl%22%2C%20%22primary%20leaf%22%5D%0A%20%20%20%20two_way_result%20%3D%20two_way_balanced_details(%0A%20%20%20%20%20%20%20%20peroxidase_data%2C%0A%20%20%20%20%20%20%20%20%22light_conditions%22%2C%0A%20%20%20%20%20%20%20%20%22tissue%22%2C%0A%20%20%20%20%20%20%20%20%22peroxidase_amount%22%2C%0A%20%20%20%20%20%20%20%20two_way_light_levels%2C%0A%20%20%20%20%20%20%20%20two_way_tissue_levels%2C%0A%20%20%20%20)%0A%20%20%20%20two_way_table_data%20%3D%20pd.DataFrame(two_way_result%5B%22rows%22%5D)%0A%20%20%20%20two_way_interaction_row%20%3D%20two_way_table_data.loc%5B%0A%20%20%20%20%20%20%20%20two_way_table_data%5B%22Source%22%5D%20%3D%3D%20%22Interaction%22%0A%20%20%20%20%5D.iloc%5B0%5D%0A%20%20%20%20assert%20np.isclose(two_way_interaction_row%5B%22F%22%5D%2C%206.105143721633889)%0A%20%20%20%20assert%20np.isclose(two_way_interaction_row%5B%22p-value%22%5D%2C%200.00407046228977902)%0A%0A%20%20%20%20two_way_table%20%3D%20compact_table(%0A%20%20%20%20%20%20%20%20two_way_table_data%2C%0A%20%20%20%20%20%20%20%20column_widths%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Source%22%3A%20100%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22SS%22%3A%2062%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22df%22%3A%2045%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22MS%22%3A%2062%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22F%22%3A%2065%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22p-value%22%3A%2078%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20format_mapping%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22SS%22%3A%20%22%7B%3A.3f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22MS%22%3A%20%22%7B%3A.3f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22F%22%3A%20%22%7B%3A.3f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22p-value%22%3A%20%22%7B%3A.3g%7D%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20)%0A%0A%20%20%20%20two_way_figure%2C%20two_way_axis%20%3D%20plt.subplots(figsize%3DFIGURE_SIZE_STANDARD)%0A%20%20%20%20two_way_positions%20%3D%20np.arange(len(two_way_tissue_levels))%0A%20%20%20%20two_way_jitter_rng%20%3D%20np.random.default_rng(82405)%0A%20%20%20%20for%20_two_way_illumination_index%2C%20(%0A%20%20%20%20%20%20%20%20_two_way_illumination%2C%0A%20%20%20%20%20%20%20%20_two_way_color%2C%0A%20%20%20%20%20%20%20%20_two_way_marker%2C%0A%20%20%20%20)%20in%20enumerate(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22light%22%2C%20COLORS%5B%22orange%22%5D%2C%20%22o%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22dark%22%2C%20COLORS%5B%22purple%22%5D%2C%20%22s%22)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20cell_means%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20tissue_index%2C%20tissue%20in%20enumerate(two_way_tissue_levels)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20cell_values%20%3D%20peroxidase_data.loc%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(peroxidase_data%5B%22light_conditions%22%5D%20%3D%3D%20_two_way_illumination)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26%20(peroxidase_data%5B%22tissue%22%5D%20%3D%3D%20tissue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22peroxidase_amount%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D.to_numpy(dtype%3Dfloat)%0A%20%20%20%20%20%20%20%20%20%20%20%20horizontal_offset%20%3D%20-0.08%20if%20_two_way_illumination%20%3D%3D%20%22light%22%20else%200.08%0A%20%20%20%20%20%20%20%20%20%20%20%20cell_jitter%20%3D%20two_way_jitter_rng.normal(0%2C%200.025%2C%20cell_values.size)%0A%20%20%20%20%20%20%20%20%20%20%20%20two_way_axis.scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20np.full(cell_values.size%2C%20tissue_index%20%2B%20horizontal_offset)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20cell_jitter%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20cell_values%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3D_two_way_color%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker%3D_two_way_marker%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alpha%3D0.35%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20s%3D24%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20cell_means.append(cell_values.mean())%0A%20%20%20%20%20%20%20%20two_way_axis.plot(%0A%20%20%20%20%20%20%20%20%20%20%20%20two_way_positions%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20cell_means%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3D_two_way_color%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker%3D_two_way_marker%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20linewidth%3D2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20markersize%3D6%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3Df%22%7B_two_way_illumination.capitalize()%7D%20cell%20means%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20two_way_axis.set(%0A%20%20%20%20%20%20%20%20ylabel%3D%22Peroxidase%20amount%20%5Ba.u.%5D%22%2C%0A%20%20%20%20%20%20%20%20xticks%3Dtwo_way_positions%2C%0A%20%20%20%20%20%20%20%20xticklabels%3D%5B%22Root%22%2C%20%22Mesocotyl%22%2C%20%22Primary%20leaf%22%5D%2C%0A%20%20%20%20%20%20%20%20xlim%3D(-0.4%2C%202.4)%2C%0A%20%20%20%20%20%20%20%20ylim%3D(0%2C%203.65)%2C%0A%20%20%20%20)%0A%20%20%20%20two_way_axis.grid(axis%3D%22y%22%2C%20linestyle%3D%22%3A%22%2C%20alpha%3D0.35)%0A%20%20%20%20two_way_axis.legend(frameon%3DFalse%2C%20fontsize%3D8)%0A%20%20%20%20two_way_figure.tight_layout()%0A%0A%20%20%20%20two_way_note%20%3D%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22The%20tissue%20%C3%97%20illumination%20interaction%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%24F(2%2C54)%3D%7Btwo_way_interaction_row%5B'F'%5D%3A.3f%7D%24%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%24p%3D%7Btwo_way_interaction_row%5B'p-value'%5D%3A.4f%7D%24.%20The%20profiles%20are%20not%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22parallel%3A%20the%20light%E2%80%93dark%20difference%20is%20much%20larger%20in%20primary%20leaves%20than%20in%20roots.%20A%20single%20overall%20illumination%20effect%20therefore%20hides%20biologically%20relevant%20dependence%20on%20tissue.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20)%0A%20%20%20%20two_column_panel(%0A%20%20%20%20%20%20%20%20two_way_table%2C%0A%20%20%20%20%20%20%20%20mo.vstack(%5Btwo_way_figure%2C%20two_way_note%5D)%2C%0A%20%20%20%20%20%20%20%20widths%3D(1.35%2C%202.65)%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Compare%20interaction%20patterns%0A%0A%20%20%20%20**Try%20this%3A**%20start%20with%20**Observed%20peroxidase%20pattern**%2C%20then%20choose%0A%20%20%20%20**Parallel%20profiles**.%20Compare%20the%20light%E2%80%93dark%20difference%20across%20tissues%3A%0A%20%20%20%20a%20constant%20difference%20gives%20parallel%20profiles.%20Try%20the%20converging%2C%0A%20%20%20%20diverging%2C%20and%20crossing%20examples%20and%20identify%20where%20the%20difference%20changes%0A%20%20%20%20magnitude%20or%20sign.%20Look%20at%20the%20interaction%20result%20before%20interpreting%0A%20%20%20%20averages%20over%20tissues.%20The%20hypothetical%20examples%20replace%20cell%20means%20while%0A%20%20%20%20keeping%20the%20observed%20residuals%20and%20sample%20sizes%2C%20isolating%20the%20effect%20of%0A%20%20%20%20the%20profile%20shape.%20Selecting%20the%20observed%20pattern%20restores%20the%20original%0A%20%20%20%20data%20in%20this%20explorer%3B%20it%20does%20not%20modify%20the%20source%20dataset.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20interaction_pattern%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Observed%20peroxidase%20pattern%22%3A%20%22observed%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Parallel%20profiles%22%3A%20%22parallel%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Converging%20profiles%22%3A%20%22converging%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Diverging%20profiles%22%3A%20%22diverging%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Crossing%20profiles%22%3A%20%22crossing%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Observed%20peroxidase%20pattern%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Cell-mean%20pattern%22%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(interaction_pattern%2C)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20COLORS%2C%0A%20%20%20%20FIGURE_SIZE_STANDARD%2C%0A%20%20%20%20compact_table%2C%0A%20%20%20%20interaction_pattern%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20pd%2C%0A%20%20%20%20peroxidase_data%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20two_column_panel%2C%0A%20%20%20%20two_way_balanced_details%2C%0A)%3A%0A%20%20%20%20pattern_light_levels%20%3D%20%5B%22light%22%2C%20%22dark%22%5D%0A%20%20%20%20pattern_tissue_levels%20%3D%20%5B%22root%22%2C%20%22mesocotyl%22%2C%20%22primary%20leaf%22%5D%0A%20%20%20%20pattern_actual_means%20%3D%20peroxidase_data.groupby(%5B%22light_conditions%22%2C%20%22tissue%22%5D)%5B%0A%20%20%20%20%20%20%20%20%22peroxidase_amount%22%0A%20%20%20%20%5D.mean()%0A%20%20%20%20pattern_residuals%20%3D%20peroxidase_data.apply(%0A%20%20%20%20%20%20%20%20lambda%20row%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20row%5B%22peroxidase_amount%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20-%20pattern_actual_means%5Brow%5B%22light_conditions%22%5D%2C%20row%5B%22tissue%22%5D%5D%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20axis%3D1%2C%0A%20%20%20%20).to_numpy(dtype%3Dfloat)%0A%20%20%20%20pattern_profiles%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22parallel%22%3A%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22light%22%3A%20%5B1.0%2C%201.5%2C%202.0%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22dark%22%3A%20%5B0.5%2C%201.0%2C%201.5%5D%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22converging%22%3A%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22light%22%3A%20%5B1.5%2C%201.7%2C%201.9%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22dark%22%3A%20%5B0.5%2C%201.0%2C%201.5%5D%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22diverging%22%3A%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22light%22%3A%20%5B0.9%2C%201.7%2C%202.5%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22dark%22%3A%20%5B0.5%2C%201.0%2C%201.5%5D%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22crossing%22%3A%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22light%22%3A%20%5B0.6%2C%201.4%2C%202.2%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22dark%22%3A%20%5B2.2%2C%201.4%2C%200.6%5D%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%7D%0A%20%20%20%20pattern_frame%20%3D%20peroxidase_data.copy()%0A%20%20%20%20if%20interaction_pattern.value%20%3D%3D%20%22observed%22%3A%0A%20%20%20%20%20%20%20%20pattern_frame%5B%22pattern_amount%22%5D%20%3D%20peroxidase_data%5B%22peroxidase_amount%22%5D%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20selected_profiles%20%3D%20pattern_profiles%5Binteraction_pattern.value%5D%0A%20%20%20%20%20%20%20%20pattern_mean_lookup%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20(illumination%2C%20tissue)%3A%20selected_profiles%5Billumination%5D%5Btissue_index%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20illumination%20in%20pattern_light_levels%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20tissue_index%2C%20tissue%20in%20enumerate(pattern_tissue_levels)%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20pattern_frame%5B%22pattern_amount%22%5D%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20np.array(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pattern_mean_lookup%5Brow.light_conditions%2C%20row.tissue%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20row%20in%20pattern_frame.itertuples()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20pattern_residuals%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20pattern_result%20%3D%20two_way_balanced_details(%0A%20%20%20%20%20%20%20%20pattern_frame%2C%0A%20%20%20%20%20%20%20%20%22light_conditions%22%2C%0A%20%20%20%20%20%20%20%20%22tissue%22%2C%0A%20%20%20%20%20%20%20%20%22pattern_amount%22%2C%0A%20%20%20%20%20%20%20%20pattern_light_levels%2C%0A%20%20%20%20%20%20%20%20pattern_tissue_levels%2C%0A%20%20%20%20)%0A%20%20%20%20pattern_rows%20%3D%20pd.DataFrame(pattern_result%5B%22rows%22%5D).iloc%5B%3A3%5D%0A%20%20%20%20pattern_table%20%3D%20compact_table(%0A%20%20%20%20%20%20%20%20pattern_rows%5B%5B%22Source%22%2C%20%22F%22%2C%20%22p-value%22%5D%5D%2C%0A%20%20%20%20%20%20%20%20column_widths%3D%7B%22Source%22%3A%20105%2C%20%22F%22%3A%2075%2C%20%22p-value%22%3A%2085%7D%2C%0A%20%20%20%20%20%20%20%20format_mapping%3D%7B%22F%22%3A%20%22%7B%3A.3f%7D%22%2C%20%22p-value%22%3A%20%22%7B%3A.3g%7D%22%7D%2C%0A%20%20%20%20)%0A%0A%20%20%20%20pattern_figure%2C%20pattern_axis%20%3D%20plt.subplots(figsize%3DFIGURE_SIZE_STANDARD)%0A%20%20%20%20pattern_positions%20%3D%20np.arange(3)%0A%20%20%20%20for%20_pattern_illumination%2C%20_pattern_color%2C%20_pattern_marker%20in%20%5B%0A%20%20%20%20%20%20%20%20(%22light%22%2C%20COLORS%5B%22orange%22%5D%2C%20%22o%22)%2C%0A%20%20%20%20%20%20%20%20(%22dark%22%2C%20COLORS%5B%22purple%22%5D%2C%20%22s%22)%2C%0A%20%20%20%20%5D%3A%0A%20%20%20%20%20%20%20%20profile_means%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20pattern_frame.loc%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pattern_frame%5B%22light_conditions%22%5D%20%3D%3D%20_pattern_illumination%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20.groupby(%22tissue%22%2C%20sort%3DFalse)%5B%22pattern_amount%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20.mean()%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20ordered_profile_means%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20profile_means%5Btissue%5D%20for%20tissue%20in%20pattern_tissue_levels%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20pattern_axis.plot(%0A%20%20%20%20%20%20%20%20%20%20%20%20pattern_positions%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20ordered_profile_means%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3D_pattern_color%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker%3D_pattern_marker%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20linewidth%3D2.2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20markersize%3D7%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3D_pattern_illumination.capitalize()%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20pattern_axis.set(%0A%20%20%20%20%20%20%20%20ylabel%3D%22Cell%20mean%20with%20fixed%20residuals%20%5Ba.u.%5D%22%2C%0A%20%20%20%20%20%20%20%20xticks%3Dpattern_positions%2C%0A%20%20%20%20%20%20%20%20xticklabels%3D%5B%22Root%22%2C%20%22Mesocotyl%22%2C%20%22Primary%20leaf%22%5D%2C%0A%20%20%20%20%20%20%20%20xlim%3D(-0.3%2C%202.3)%2C%0A%20%20%20%20%20%20%20%20ylim%3D(-0.1%2C%203.2)%2C%0A%20%20%20%20)%0A%20%20%20%20pattern_axis.grid(axis%3D%22y%22%2C%20linestyle%3D%22%3A%22%2C%20alpha%3D0.35)%0A%20%20%20%20pattern_axis.legend(frameon%3DFalse%2C%20fontsize%3D8)%0A%20%20%20%20pattern_figure.tight_layout()%0A%0A%20%20%20%20pattern_interaction%20%3D%20pattern_rows.loc%5B%0A%20%20%20%20%20%20%20%20pattern_rows%5B%22Source%22%5D%20%3D%3D%20%22Interaction%22%0A%20%20%20%20%5D.iloc%5B0%5D%0A%20%20%20%20pattern_note%20%3D%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22With%20the%20residuals%20held%20fixed%2C%20the%20selected%20profile%20gives%20interaction%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%24F%3D%7Bpattern_interaction%5B'F'%5D%3A.3f%7D%24%20and%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%24p%3D%7Bpattern_interaction%5B'p-value'%5D%3A.3g%7D%24.%20Parallel%20lines%20encode%20no%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22interaction%20in%20the%20chosen%20means.%20Non-parallel%20sample%20lines%20alone%20do%20not%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22establish%20a%20population%20interaction%3B%20the%20test%20also%20accounts%20for%20within-group%20spread.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20)%0A%20%20%20%20two_column_panel(%0A%20%20%20%20%20%20%20%20mo.vstack(%5Binteraction_pattern%2C%20pattern_table%5D)%2C%0A%20%20%20%20%20%20%20%20mo.vstack(%5Bpattern_figure%2C%20pattern_note%5D)%2C%0A%20%20%20%20%20%20%20%20widths%3D(1%2C%203)%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%0A%20%20%20%20%23%23%2010.%20End-of-chapter%20method%20map%0A%0A%20%20%20%20Choose%20a%20method%20from%20the%20biological%20question%3A%20what%20was%20sampled%20or%20treated%0A%20%20%20%20independently%2C%20what%20was%20measured%2C%20and%20which%20quantity%20should%20be%20compared%3F%0A%20%20%20%20Check%20whether%20groups%20are%20separate%20or%20linked%20by%20pairing.%20The%20table%20is%20a%20starting%0A%20%20%20%20point%3B%20the%20experimental%20design%20and%20the%20test's%20assumptions%20still%20need%20checking.%0A%0A%20%20%20%20**Try%20this%3A**%20choose%20a%20scenario%20and%20name%20the%20observation%20unit%2C%20outcome%20type%2C%0A%20%20%20%20and%20quantity%20to%20estimate%20before%20reading%20the%20explanation.%20Compare%20different%0A%20%20%20%20animals%20on%20two%20diets%20with%20the%20same%20cultures%20measured%20twice.%20The%20pairing%20changes%20which%0A%20%20%20%20variation%20supplies%20the%20standard%20error%2C%20even%20though%20both%20questions%20involve%0A%20%20%20%20two%20sets%20of%20measurements.%20Then%20compare%20phenotype%20counts%20with%20a%20study%20of%20two%0A%20%20%20%20factors%20together.%0A%20%20%20%20The%20selector%20reveals%20an%20analysis-plan%20suggestion%20immediately%3B%20it%20does%20not%0A%20%20%20%20run%20a%20new%20test%20or%20decide%20whether%20the%20study%20design%20is%20valid.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20method_scenario%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Different%20animals%20assigned%20to%20two%20diets%22%3A%20%22independent%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20same%20cultures%20measured%20before%20and%20after%20induction%22%3A%20%22paired%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Four%20phenotype%20counts%20compared%20with%20a%20genetic%20ratio%22%3A%20%22counts%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Tissue%20and%20illumination%20studied%20together%22%3A%20%22factorial%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Different%20animals%20assigned%20to%20two%20diets%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Analysis-plan%20scenario%22%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(method_scenario%2C)%0A%0A%0A%40app.cell%0Adef%20_(compact_table%2C%20method_scenario%2C%20mo%2C%20pd%2C%20two_column_panel)%3A%0A%20%20%20%20method_map%20%3D%20compact_table(%0A%20%20%20%20%20%20%20%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Question%2Fdesign%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Two%20independent%20group%20means%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22One%20within-pair%20mean%20change%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Linear%20association%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Categorical%20count%20model%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Three%20or%20more%20group%20means%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Two%20categorical%20factors%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Pre-specified%20similarity%20margin%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Primary%20procedure%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Welch%20t%20%2B%20CI%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Paired%20t%20%2F%20one-sample%20differences%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Pearson%20r%2C%20Fisher%20CI%2C%20correlation%20t%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Chi-squared%20or%20exact%2Fsimulation%20test%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22One-way%20ANOVA%3B%20Welch%20if%20needed%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Two-way%20ANOVA%20with%20interaction%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22TOST%20%2F%20non-inferiority%20test%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Plot%20first%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Raw%20group%20distributions%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Connected%20observations%20%2B%20differences%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Scatter%20plot%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Observed%20and%20expected%20counts%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Raw%20points%20%2B%20group%20means%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Cell%20means%20%2B%20interaction%20profiles%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Estimate%2C%20interval%2C%20and%20margins%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20column_widths%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Question%2Fdesign%22%3A%20190%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Primary%20procedure%22%3A%20225%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Plot%20first%22%3A%20210%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20wrapped_columns%3D%5B%22Question%2Fdesign%22%2C%20%22Primary%20procedure%22%2C%20%22Plot%20first%22%5D%2C%0A%20%20%20%20)%0A%20%20%20%20method_answers%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22independent%22%3A%20%22Observation%20unit%3A%20animal.%20Estimate%20a%20diet%20mean%20difference%3B%20plot%20raw%20groups%3B%20report%20Welch%20t%20and%20a%20CI.%22%2C%0A%20%20%20%20%20%20%20%20%22paired%22%3A%20%22Observation%20unit%3A%20culture.%20Analyze%20within-culture%20differences%3B%20preserve%20complete%20pairs%20in%20plots%20and%20resampling.%22%2C%0A%20%20%20%20%20%20%20%20%22counts%22%3A%20%22Compare%20observed%20counts%20with%20those%20predicted%20by%20the%20genetic%20model.%20If%20expected%20counts%20are%20small%2C%20use%20exact%20probabilities%20or%20simulations%20rather%20than%20the%20usual%20chi-squared%20approximation.%22%2C%0A%20%20%20%20%20%20%20%20%22factorial%22%3A%20%22Include%20tissue%2C%20illumination%2C%20and%20their%20interaction.%20Plot%20the%20six%20groups%20and%20compare%20light%E2%80%93dark%20differences%20within%20each%20tissue%20before%20interpreting%20averages%20over%20tissues.%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20method_panel%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20method_scenario%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(method_answers%5Bmethod_scenario.value%5D)%2C%20kind%3D%22info%22)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20two_column_panel(method_panel%2C%20method_map%2C%20widths%3D(1%2C%202.2))%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%0A%20%20%20%20%23%23%2011.%20Review%20questions%0A%0A%20%20%20%20Choose%20one%20answer%20for%20each%20question.%20Feedback%20appears%20immediately%20and%20identifies%0A%20%20%20%20the%20interpretation%20or%20design%20principle%20at%20stake.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20review_two_group%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Estimated%20young-minus-old%20mean%20difference%3A%2023.55%20percentage%20points%20(95%25%20Welch%20CI%209.59%20to%2037.50)%22%3A%20%22estimate%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22There%20is%20a%2095%25%20probability%20that%20the%20true%20difference%20lies%20between%209.59%20and%2037.50%22%3A%20%22posterior%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%2295%25%20of%20individual%20young%20rats%20exceed%20all%20old%20rats%20by%209.59%20to%2037.50%20points%22%3A%20%22individual%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3DNone%2C%0A%20%20%20%20%20%20%20%20label%3D%22Choose%20one%20answer%22%2C%0A%20%20%20%20)%0A%20%20%20%20review_assumptions%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A%20Q%E2%80%93Q%20plot%20can%20prove%20observations%20are%20independent%22%3A%20%22plot_proves%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Independence%20must%20be%20justified%20from%20the%20observation%20units%2C%20design%2C%20and%20process%22%3A%20%22design%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Passing%20a%20normality%20test%20guarantees%20the%20t%20model%20is%20correct%22%3A%20%22normality_gate%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3DNone%2C%0A%20%20%20%20%20%20%20%20label%3D%22Choose%20one%20answer%22%2C%0A%20%20%20%20)%0A%20%20%20%20review_pairing%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22n%20%3D%2024%20observations%3B%20df%20%3D%2023%22%3A%20%22measurements%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22n%20%3D%2012%20differences%3B%20df%20%3D%2011%22%3A%20%22pairs%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22n%20%3D%2024%20observations%3B%20df%20%3D%2022%22%3A%20%22twice%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3DNone%2C%0A%20%20%20%20%20%20%20%20label%3D%22Choose%20one%20answer%22%2C%0A%20%20%20%20)%0A%20%20%20%20review_anova%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Every%20tissue%20mean%20differs%20from%20every%20other%20tissue%20mean%22%3A%20%22all_pairs%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22There%20is%20evidence%20against%20equality%20of%20all%20population%20tissue%20means%20under%20the%20model%22%3A%20%22omnibus%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20null%20hypothesis%20has%20probability%200.000002%22%3A%20%22null_probability%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3DNone%2C%0A%20%20%20%20%20%20%20%20label%3D%22Choose%20one%20answer%22%2C%0A%20%20%20%20)%0A%20%20%20%20review_interaction%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Illumination%20has%20one%20identical%20effect%20in%20every%20tissue%22%3A%20%22constant%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20illumination%20effect%20depends%20on%20tissue%22%3A%20%22depends%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20tissue%20and%20illumination%20variables%20are%20correlated%22%3A%20%22correlated%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3DNone%2C%0A%20%20%20%20%20%20%20%20label%3D%22Choose%20one%20answer%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20review_anova%2C%0A%20%20%20%20%20%20%20%20review_assumptions%2C%0A%20%20%20%20%20%20%20%20review_interaction%2C%0A%20%20%20%20%20%20%20%20review_pairing%2C%0A%20%20%20%20%20%20%20%20review_two_group%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20mo%2C%0A%20%20%20%20review_anova%2C%0A%20%20%20%20review_assumptions%2C%0A%20%20%20%20review_feedback%2C%0A%20%20%20%20review_interaction%2C%0A%20%20%20%20review_pairing%2C%0A%20%20%20%20review_two_group%2C%0A)%3A%0A%20%20%20%20review_blocks%20%3D%20%5B%0A%20%20%20%20%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**1.%20How%20should%20the%20rat%20Welch%20estimate%20and%2095%25%20confidence%20interval%20be%20reported%3F**%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20review_two_group%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20review_feedback(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20review_two_group.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20correct_value%3D%22estimate%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20correct_text%3D%22**Correct.**%20State%20the%20direction%20(young%20minus%20old)%2C%20estimate%2C%20units%2C%20and%20uncertainty.%20The%2095%25%20Welch%20interval%20concerns%20a%20population%20mean%20difference%20and%20comes%20from%20a%20method%20that%20would%20include%20the%20true%20difference%20in%20about%2095%25%20of%20repeated%20studies%20under%20its%20assumptions.%20It%20does%20not%20describe%20individual%20rats.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20incorrect_text%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22posterior%22%3A%20%22The%2095%25%20describes%20the%20method%3A%20across%20repeated%20studies%2C%20about%2095%25%20of%20its%20intervals%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22would%20contain%20the%20true%20difference%20if%20the%20assumptions%20hold.%20It%20does%20not%20assign%20a%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2295%25%20probability%20to%20the%20true%20difference%20being%20inside%20this%20particular%20interval.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22individual%22%3A%20%22The%20interval%20concerns%20a%20population%20mean%20difference%2C%20not%20all%20pairwise%20differences%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22between%20individual%20rats.%20Groups%20can%20overlap%20substantially%20even%20when%20the%20confidence%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22interval%20for%20their%20mean%20difference%20excludes%20zero.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22**2.%20Which%20statement%20about%20independence%20is%20correct%3F**%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20review_assumptions%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20review_feedback(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20review_assumptions.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20correct_value%3D%22design%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20correct_text%3D%22**Correct.**%20Independence%20is%20justified%20by%20the%20observation%20units%2C%20sampling%2C%20allocation%2C%20and%20data-generating%20process.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20incorrect_text%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22plot_proves%22%3A%20%22A%20Q%E2%80%93Q%20plot%20assesses%20the%20shape%20of%20a%20distribution%2C%20not%20whether%20one%20observation%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22depends%20on%20another.%20Measurements%20can%20look%20normal%20while%20sharing%20an%20animal%2C%20cage%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22or%20batch.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22normality_gate%22%3A%20%22Failure%20to%20reject%20normality%20is%20not%20proof%20of%20normality%2C%20especially%20in%20a%20small%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22sample.%20It%20also%20says%20nothing%20about%20independence%2C%20allocation%2C%20or%20whether%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22chosen%20comparison%20answers%20the%20scientific%20question.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**3.%20Twelve%20independent%20patients%20each%20have%20a%20before%20and%20an%20after%20measurement%2C%20with%20no%20missing%20values.%20What%20are%20n%20and%20the%20degrees%20of%20freedom%20for%20a%20paired%20t%20test%3F**%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20review_pairing%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20review_feedback(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20review_pairing.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20correct_value%3D%22pairs%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20correct_text%3D%22**Correct.**%20The%2024%20raw%20measurements%20form%2012%20within-patient%20differences.%20Estimating%20their%20mean%20leaves%2012%20%E2%88%92%201%20%3D%2011%20degrees%20of%20freedom%20for%20the%20SD%20used%20in%20the%20paired%20t%20statistic.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20incorrect_text%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22measurements%22%3A%20%22There%20are%2024%20measurements%20but%20only%2012%20independent%20within-patient%20differences.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20paired%20t%20statistic%20uses%20the%20SD%20of%20those%2012%20differences%20and%20has%2012%20%E2%88%92%201%20%3D%2011%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22degrees%20of%20freedom.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22twice%22%3A%20%22The%2022%20degrees%20of%20freedom%20would%20describe%20a%20pooled%20independent%20two-group%20test%20with%2012%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22observations%20per%20group.%20Before%20and%20after%20measurements%20on%20the%20same%20patients%20are%20paired%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22so%20analyze%2012%20differences%20with%2011%20degrees%20of%20freedom.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**4.%20For%20the%20light-grown%20subset%2C%20the%20one-way%20ANOVA%20gives%20p%20%E2%89%88%200.00000182.%20Which%20conclusion%20is%20justified%2C%20assuming%20the%20model%20is%20appropriate%3F**%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20review_anova%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20review_feedback(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20review_anova.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20correct_value%3D%22omnibus%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20correct_text%3D%22**Correct.**%20The%20overall%20test%20supports%20a%20difference%20somewhere%20among%20the%20tissue%20means.%20Adjusted%20follow-up%20comparisons%20show%20which%20pairs%20have%20evidence%20of%20a%20difference.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20incorrect_text%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22all_pairs%22%3A%20%22The%20overall%20test%20provides%20evidence%20against%20all%20means%20being%20equal%3B%20it%20does%20not%20show%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22that%20every%20pair%20differs.%20Use%20comparisons%20adjusted%20for%20testing%20several%20pairs%20to%20identify%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22which%20differences%20are%20supported.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22null_probability%22%3A%20%22The%20p-value%20is%20the%20probability%20of%20an%20F%20statistic%20at%20least%20this%20large%20if%20all%20population%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22means%20are%20equal%20and%20the%20ANOVA%20assumptions%20hold.%20It%20does%20not%20assign%20a%20probability%20to%20that%20null%20hypothesis.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**5.%20In%20the%20observed%20peroxidase%20data%2C%20what%20does%20the%20tissue%20%C3%97%20illumination%20interaction%20describe%20for%20mean%20peroxidase%20amounts%3F**%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20review_interaction%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20review_feedback(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20review_interaction.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20correct_value%3D%22depends%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20correct_text%3D%22**Correct.**%20The%20light%E2%80%93dark%20contrast%20changes%20across%20tissues%2C%20so%20a%20single%20overall%20illumination%20effect%20is%20incomplete.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20incorrect_text%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22constant%22%3A%20%22An%20identical%20light%E2%80%93dark%20difference%20at%20every%20tissue%20would%20give%20parallel%20profiles%20and%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22no%20interaction%20in%20the%20population%20mean%20model.%20Interaction%20means%20that%20contrast%20changes%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22across%20tissues.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22correlated%22%3A%20%22Interaction%20concerns%20the%20response%3A%20how%20the%20light%E2%80%93dark%20mean%20difference%20varies%20by%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22tissue.%20It%20can%20occur%20in%20a%20balanced%20factorial%20design%20where%20the%20factor%20labels%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22themselves%20are%20independent.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D%0A%20%20%20%20mo.vstack(review_blocks%2C%20gap%3D1.0)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%0A%20%20%20%20%23%23%2012.%20Summary%20and%20bridge%0A%0A%20%20%20%20-%20Identify%20the%20independent%20sample%2C%20the%20quantity%20to%20estimate%2C%20and%20the%20direction%0A%20%20%20%20%20%20of%20the%20comparison%20before%20choosing%20a%20test.%0A%20%20%20%20-%20Welch's%20test%20is%20the%20general%20default%20for%20two%20independent%20means%3B%20report%20the%20mean%0A%20%20%20%20%20%20difference%2C%20its%20units%2C%20confidence%20interval%2C%20statistic%2C%20degrees%20of%20freedom%2C%20and%20p-value.%0A%20%20%20%20-%20A%20paired%20t-test%20is%20a%20one-sample%20test%20on%20complete%20within-unit%20differences.%0A%20%20%20%20-%20Correlation%20testing%20does%20not%20replace%20the%20scatter%20plot%2C%20interval%2C%20or%20assessment%20of%20confounding.%0A%20%20%20%20-%20Chi-squared%20tests%20compare%20observed%20and%20expected%20counts.%20Small%20expected%20counts%0A%20%20%20%20%20%20may%20require%20p-values%20calculated%20from%20exact%20probabilities%20or%20simulations.%0A%20%20%20%20-%20Rank%20tests%20compare%20ordering%3B%20permutation%20tests%20shuffle%20labels%20under%20a%20stated%0A%20%20%20%20%20%20null%20model.%20Both%20need%20assumptions%20justified%20by%20the%20design.%0A%20%20%20%20-%20One-way%20ANOVA%20compares%20differences%20among%20group%20means%20with%20spread%20within%20groups.%0A%20%20%20%20%20%20To%20identify%20differing%20pairs%2C%20use%20comparisons%20that%20account%20for%20multiple%20testing.%0A%20%20%20%20-%20When%20studying%20two%20factors%2C%20examine%20whether%20one%20factor's%20effect%20depends%20on%20the%0A%20%20%20%20%20%20other%20before%20interpreting%20effects%20averaged%20over%20groups.%0A%20%20%20%20-%20Failure%20to%20reject%20a%20difference%20does%20not%20establish%20equivalence%3B%20equivalence%20needs%20a%20pre-specified%20margin%20and%20matching%20procedure.%0A%20%20%20%20-%20A%20small%20p-value%20alone%20does%20not%20show%20that%20an%20effect%20is%20large%20or%20biologically%0A%20%20%20%20%20%20important.%20Consider%20its%20size%2C%20uncertainty%2C%20study%20quality%2C%20and%20how%20many%20tests%20were%20run.%0A%0A%20%20%20%20**Next%3A**%20Chapter%206%20introduces%20Bayesian%20inference%3A%20expressing%20uncertainty%0A%20%20%20%20about%20unknown%20quantities%20with%20probabilities%20conditional%20on%20a%20model%2C%20prior%2C%0A%20%20%20%20and%20observed%20data.%20We%20return%20to%20diagnostic%20tests%20and%20the%20river%20regression%0A%20%20%20%20to%20compare%20the%20questions%20answered%20by%20the%20two%20approaches.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A