Split-Sample Methods
We discuss split-sample analyses as an alternative mechanism for controlling false discoveries. In a split-sample analysis, a researcher conducts analyses on a fraction of the entire sample he exploratory sample – and then validates her findings using the remainder of the data – the confirmation sample. These methods date back at least eight decades (Larson 1931; Stone 1974; Snee 1977), and they play a fundamental role in machine learning methods, where the out-ofsample performance of predictors is tested in “hold-out samples” to constrain overfitting.
https://are.berkeley.edu/~jmagruder/split-sample.pdf

cccccccccc
Drugą, bardzo często stosowaną w badaniach metodą szacowania warunkowego
błędu predykcji klasyfikatora, jest tzw. prosta metoda podziału (ang. split sample/holdout metod). Polega ona na jednokrotnym podziale dostępnych danych, zgodnie z wcześniej ustaloną proporcją p, na próbę uczącą i testową. Klasyfikator jest konstruowany w oparciu o pierwszą z nich. Następnie jest on wykorzystywany do prognozowania przynależności obiektów z próby testowej. Błąd predykcji wyrażany jest jako udział błędnie zaklasyfikowanych obiektów z próby testowej x0 = (t0, y0) w ogólnej liczebności tej próby. Zaletą tej metody jest jej prostota i fakt, że nie pociąga za sobą obszernych obliczeń, ponieważ klasyfikator jest konstruowany tylko raz. Jej wadą natomiast jest fakt, iż każdy obiekt przyporządkowany zostaje tylko do jednej z analizowanych prób. Ma to istotny wpływ na uzyskane wyniki, szczególnie w przypadku występowania w zgromadzonych danych obserwacji odstających. Z prostej metody podziału należy korzystać tylko wtedy, gdy dysponuje się dostatecznie szerokim zbiorem danych, które pozwolą na wyodrębnienie odpowiednio licznych, niezależnych zbiorów: uczącego i testowego (Ripley, 1996, s. 67)

http://keii.ue.wroc.pl/przeglad/Rok 2016/Zeszyt 4/2016_63_4_...