Planning, Conducting, and Evaluating Quantitative and Qualitative Research

An experimental design is the traditional approach to conducting quantitative research. This chapter defi nes experimental research, identifi es when you use it, assesses the key characteristics of it, and advances the steps in conducting and evaluating this design. By the end of this chapter, you should be able to:
◆ Defi ne experimental research, and describe when to use it, and how it developed.
◆ Identify the key characteristics of experiments.
◆ State the types of experimental designs.
◆ Recognize potential ethical issues in experimental research.
◆ Describe the steps in conducting an experiment.
◆ Evaluate the quality of an experimental study.

  Maria decides to conduct an experiment. She studies the question, “Do students who receive in-class instruction about the dangers of weapons in high school have different attitudes toward weapons than do students who do not receive instruction about the dangers?” Using two health classes to participate in her experiment, she gives one class the standard health curriculum, and the other class a standard curriculum plus a series of classes about the dangers of weapons among teenagers. At the end of the semester, she administers a survey measuring attitudes toward weapons in schools. Maria fi nds that the students who experienced the curriculum plus the classes about the dangers of weapons were more negative toward weapons in schools than the students who had the standard health curriculum.

WHAT IS AN EXPERIMENT, WHEN SHOULD YOU USE IT, AND HOW DID IT DEVELOP? In an experiment, you test an idea (or practice or procedure) to determine whether it infl uences an outcome or dependent variable. You fi rst decide on an idea with which to “experiment,” assign individuals to experience it (and have some individuals experience something different), and then determine whether those who experienced the idea (or practice or procedure) performed better on some outcome than those who did not experience it. In Maria’s experiment, she tested whether the special health curriculum changed students’ attitudes toward weapons in schools. When Do You Use an Experiment? You use an experiment when you want to establish possible cause and effect between your independent and dependent variables. This means that you attempt to control all variables that infl uence the outcome except for the independent variable. Then, when the independent variable infl uences the dependent variable, we can say the independent variable “caused” or “probably caused” the dependent variable. Because experiments are controlled, they are the best of the quantitative designs to use to establish probable cause and effect. For example, if you compare one group that experiences a lecture and another group that experiences discussion, you control all of the factors that might infl uence the outcome of “high scores on a quiz.” You make sure that personal abilities and test conditions are the same for both groups, and you give both groups the same questions. You control for all variables that might infl uence the outcome except for the difference in types of instruction (lecture or discussion). You also use an experiment when you have two or more groups to study, as in this lecture versus discussion example. When Did Experiments Develop? Experimental research began in the late 19th and early 20th centuries, with psychological experiments. By 1903, Schuyler used experimental and control groups, and his use became so commonplace that he felt no need to provide a rationale for them. Then in 1916, McCall advanced the idea of randomly assigning individuals to groups ( Campbell & Stanley, 1963 ). Authoring a major book in 1925, How to Conduct an Experiment, McCall fi rmly established the procedure of comparing groups. In addition, by 1936, Fisher’s book Statistical Methods for Research Workers discussed statistical procedures useful in experiments in psychology and agriculture. In this book, Fisher advanced the concept of randomly assigning individuals to groups before starting an experiment. Other developments in statistical procedures at this time (e.g., chi-square goodness of fi t and critical values) and the testing of the signifi cance of differences (e.g., Fisher’s 1935 The Design of Experiments) enhanced experimental research in education. Between 1926 and 1963, fi ve sets of textbooks on statistics had undergone multiple editions (Huberty, 1993). By 1963, Campbell and Stanley had identified the major types of experimental designs. They specifi ed 15 different types and evaluated each design in terms of potential threats to validity. These designs are still popular today. Then, in 1979, Cook and Campbell elaborated on the types of designs, expanding the discussion about validity threats. By 2002, Shadish, Cook, and Campbell had refi ned the discussions about the major experimental designs. These books established the basic designs, the notation, the visual representation, the potential threats to designs, and the statistical procedures of educational experiments.

Since the 1980s, experiments have grown in sophistication and complexity, largely because of computers and improved statistical procedures. Researchers now employ multiple independent and dependent variables, compare more than two groups, and study different types of experimental units of analysis, such as entire organizations, groups, and individuals ( Boruch, 1998 ; Neuman, 2000). Procedural refi nements represent the latest development in experiments, and a number of “how to” books (e.g., Bausell, 1994 ) are available for the educational researcher. Also, books that link statistical procedures with experimental design in terms of designing sensitive experiments (e.g., Lipsey, 1990 ) represent new ideas about strengthening procedures in experimental studies.

WHAT ARE KEY CHARACTERISTICS OF EXPERIMENTS?
Before you consider how to conduct an experiment, you will fi nd it helpful to understand in more depth several key ideas central to experimental research. These ideas are:
◆ Random assignment
◆ Control over extraneous variables
◆ Manipulation of the treatment conditions
◆ Outcome measures
◆ Group comparisons
◆ Threats to validity
To make this discussion as applied as possible, we will use an educational example to illustrate these ideas. A researcher seeks to study ways to encourage adolescents to reduce or stop smoking. A high school has an in-house program to treat individuals caught smoking on school grounds. In this large metropolitan high school, many students smoke, and the smoking infractions each year are numerous. Students caught take a special civics class (all students are required to take civics anyway) in which the teacher introduces a special unit on the health hazards of smoking. In this unit, the teacher discusses health issues, uses images and pictures of the damaged lungs of smokers, and has students write about their experiences as smokers. This instructor offers several civics classes during a semester, and we will refer to this experimental situation as the “civics–smoking experiment.” Random Assignment As an experimental researcher, you will assign individuals to groups. The most rigorous approach is to randomly assign individuals to the treatments. Random assignment is the process of assigning individuals at random to groups or to different groups in an experiment. The random assignment of individuals to groups (or conditions within a group) distinguishes a rigorous, “true” experiment from an adequate, but less-than-rigorous, “quasi-experiment” (to be discussed later in the chapter). You use random assignment so that any bias in the personal characteristics of individuals in the experiment is distributed equally among the groups. By randomization, you provide control for extraneous characteristics of the participants that might infl uence the outcome (e.g., student ability, attention span, motivation). The experimental term for this process is “equating” the groups. Equating the groups means that the researcher randomly assigns individuals to groups and equally distributes any variability of individuals between or among the groups or conditions in the experiment. In practice, personal factors that participants bring to an experiment can never be totally controlled—some bias or error will always affect the outcome of a study. However, by systematically distributing this potential error among groups, the researcher theoretically distributes the bias randomly. In our civics–smoking experiment, the researcher can take the list of offender smokers in the school and randomly assign them to one of two special civics classes. You should not confuse random assignment with random selection. Both are important in quantitative research, but they serve different purposes. Quantitative researchers randomly select a sample from a population. In this way, the sample is representative of the population and you can generalize results obtained during the study to the population. Experiments often do not include random selection of participants for several reasons. Participants often are individuals who are available to take part in the experiment or who volunteer to participate. Although random selection is important in experiments, it may not be logistically possible. However, the most sophisticated type of experiment involves random assignment. In the civics–smoking experiment, you may randomly select individuals from the population of offender smokers (especially if there are too many for the special civics classes). However, you will most likely place all of the offenders in the special civics classes, giving you control over random assignment rather than random selection. Control Over Extraneous Variables In randomly assigning individuals, we say that we are controlling for extraneous variables that might infl uence the relationship between the new practice (e.g., discussions on health hazards) and the outcome (e.g., frequency of smoking). Extraneous factors are any infl uences in the selection of participants, the procedures, the statistics, or the design likely to affect the outcome and provide an alternative explanation for our results than what we expected. All experiments have some random error (where the scores do not refl ect the “true” scores of the population) that you cannot control, but you can try to control extraneous factors as much as possible. Random assignment is a decision made by the investigator before the experiment begins. Other control procedures you can use both before and during the experiment are pretests, covariates, matching of participants, homogeneous samples, and blocking variables. Pretests and Posttests To “equate” the characteristics of the groups, experimental researchers may use a pretest. Assume that we are interested in whether the special civics class affects students’ attitudes toward smoking. In this experiment, we could measure attitudes before the treatment (i.e., by discussing health hazards) and after, to see if the discussion has an effect on students’ attitudes. In this experiment, we need a pretest to measure students’ attitudes. A pretest provides a measure on some attribute or characteristic that you assess for participants in an experiment before they receive a treatment. After the treatment, you take another reading on the attribute or characteristic. A posttest is a measure on some attribute or characteristic that is assessed for participants in an experiment after a treatment. In our example, this would be assessing students’ attitudes toward smoking at the end of the semester after the experimental treatment. A pretest–posttest comparison of attitudes toward smoking would provide a clearer reading on actual smoking behavior than using the posttest measure alone would. Pretests have advantages as well as disadvantages. They take time and effort to administer (e.g., students have to fi ll out an instrument early in the semester). They can also raise the participants’ expectations about the outcome (e.g., students might anticipate questions later about their smoking attitudes and infl ate or defl ate their responses later in the semester). The pretest may infl uence the experimental treatment (e.g., students may ask questions about the treatment because of the pretest on attitudes toward smoking).

When attitudinal or achievement tests are used as pretests, the scores may also affect posttest scores because participants can anticipate the questions on the posttest based on their experiences with the pretest. Covariates Because pretests may affect aspects of the experiment, they are often statistically con trolled for by using the procedure of covariance rather than by simply comparing them with posttest scores. Covariates are variables that the researcher controls for using statistics and that relate to the dependent variable but that do not relate to the independent variable. The researcher needs to control for these variables, which have the potential to co-vary with the dependent variable. Often, these variables are scores on a pretest, but they might be any variables correlated with the dependent variable. The statistical procedure of analysis of covariance adjusts the scores on the dependent variable to account for the covariance. This procedure becomes another means for equating the groups and controlling for potential infl uences that might affect the dependent variable. An illustration related to our civics–smoking example shows how the researcher removes the variance between a covariate and a dependent variable to assess the variance between the independent and dependent variable. Examine Figure 10.1, which portrays two sets of circles. The left side shows two variables, an independent variable and a dependent variable, without a covariate. The darkened area indicates the variability in rates of smoking by type of instruction; the unexplained variability (called error) is shown with a hatch mark. On the right side of Figure 10.1, we introduce a covariate: parents who smoke. Now we can see that the explained variance increases, and the total amount of unexplained variability (error) actually decreases because we explain more variance. By adding a covariate related to parents who smoke, the researcher increases the amount of explained variance in rates of smoking and decreases the unexplained variance. The statistical procedure of covariance removes the variance shared by the covariate and the dependent variable, so that the variance between the independent and dependent variable (plus error) is all that remains. This test allows the researcher to assess accurately the relationship between the treatment and the outcome (i.e., rate of smoking) because of a reduction in the amount of error. Matching of Participants Another procedure used for control in an experiment is to match participants on one or more personal characteristics. Matching is the process of identifying one or more personal characteristics that infl uence the outcome and assigning individuals with that characteristic equally to the experimental and control groups. Typically, experimental researchers match on one or two of the following characteristics: gender, pretest scores, or individual abilities. For example, examine Figure 10.2, which displays matching individuals (say, 10 girls and boys) on gender to the experimental and control groups. Returning to our high school civics–smoking experiment, we might assign the student smokers equally to two special civics classes (assuming that one class receives the treatment and the other does not) based on gender. In this way, our prior knowledge, for example, that boys may smoke more than girls, controls for the potential infl uence of gender on frequency of smoking. Procedurally, this matching process means assigning the fi rst boy to the control group, the second to the experimental, the third to the control, and so forth. The researcher repeats this process for girls. By using this procedure, we control before the experiment begins for the potential extraneous factor of gender in the experiment. Homogeneous Samples Another approach used to make the groups comparable is to choose homogeneous samples by selecting people who vary little in their personal characteristics. For example,  we might assume that the students in the two civics classes (one receives the lecture on “health hazards” and the second does not) are similar in terms of characteristics that students bring to the experiment, such as their academic grade point average, gender, racial group (e.g., Caucasian, African American), or prior abilities in civics. When the experimenter assigns students to the two classes, the more similar they are in personal characteristics or attributes, the more these characteristics or attributes are controlled in the experiment. For example, if all of the smokers assigned to the two civics classes were juniors, then class level would be controlled in the experiment. Unfortunately, this situation is unlikely to occur in our civics–smoking study, and the researcher may need to use other procedures to control for individuals belonging to different grade levels. Blocking Variables One such procedure is to “block” for grade level before the experiment begins. A blocking variable is a variable the researcher controls before the experiment starts by dividing (or “blocking”) the participants into subgroups (or categories) and analyzing the impact of each subgroup on the outcome. The variable (e.g., gender) can be blocked into males and females; similarly, high school grade level can be blocked into four categories: freshmen, sophomores, juniors, and seniors. In this procedure, the researcher forms homogeneous subgroups by choosing a characteristic common to all participants in the study (e.g., gender or different age categories). Then the investigator randomly assigns individuals to the control and experimental groups using each category of the variable. For example, if the students who participate in the experiment are 15 and 16 years old, you assign an equal number of 15- and 16-year-olds to the control and experimental groups. Manipulating Treatment Conditions Once you select participants, you randomly assign them to either a treatment condition or the experimental group. In experimental treatment, the researcher physically intervenes to alter the conditions experienced by the experimental unit (e.g., a reward for good spelling performance or a special type of classroom instruction, such as smallgroup discussion). In our high school example, the researcher would manipulate one form of instruction in the special civics class—providing activities on the health hazards of smoking. Specifi cally, the procedure would be: Identify a treatment variable: type of classroom instruction in the civics class Identify the conditions (or levels) of the variable: classroom instruction can be (a) regular topics or (b) topics related to the health hazards of smoking Manipulate the treatment conditions: provide special activities on health hazards of smoking to one class and withhold them from another class
These procedures introduce several new concepts that we will discuss using specifi c examples so that you can see how they work. Treatment Variables In experiments, you need to focus on the independent variables. These variables infl uence or affect the dependent variables in a quantitative study. The two major types of independent variables were treatment and measured variables. In experiments, treatment variables are independent variables that the researcher manipulates to determine their effect on the outcome, or dependent variable. Treatment variables are categorical variables measured using categorical scales. For example, treatment independent variables used in educational experiments might be:
◆ Type of instruction (small group, large group)
◆ Type of reading group (phonics readers, whole-language readers) Conditions In both of these examples, we have two categories within each treatment variable. In experiments, treatment variables need to have two or more categories, or levels. In an experiment, levels are categories of a treatment variable. For example, you might divide type of instruction into (a) standard civics lecture, (b) standard civics lecture plus discussion about health hazards, and (c) standard civics lecture plus discussion about health hazards and slides of damaged lungs. In this example, we have a three-level treatment variable. Intervening in the Treatment Conditions The experimental researcher manipulates one or more of the treatment variable conditions. In other words, in an experiment, the researcher physically intervenes (or manipulates with interventions) in one or more condition so that individuals experience something different in the experimental conditions than in the control conditions. This means that to conduct an experiment, you need to be able to manipulate at least one condition of an independent variable. It is easy to identify some situations in which you might measure an independent variable and obtain categorical data but not be able to manipulate one of the conditions. As shown in Figure 10.3, the researcher mea sures three independent variables—age, gender, and type of instruction—but only type of instruction (more specifi cally, two conditions within it) is manipulated. The treatment variable—type of instruction—is a categorical variable with three conditions (or levels). Some students can receive a lecture—the traditional form of instruction in the class (the control group). Others receive something new, such as a lecture plus the health-hazards discussion (a comparison group) or lecture plus the health-hazards discussion plus slides of lungs damaged by smoking (another comparison group). In summary, experimental researchers manipulate or intervene with one or more conditions of a treatment variable. Outcome Measures In all experimental situations, you assess whether a treatment condition infl uences an outcome or dependent variable, such as a reduced rate of smoking or achievement on tests. In experiments, the outcome (or response, criterion, or posttest) is the dependent variable that is the presumed effect of the treatment variable. It is also the effect predicted in a hypothesis in the cause-and-effect equation.
Examples of dependent variables in experiments might be:
◆ Achievement scores on a criterion-referenced test
◆ Test scores on an aptitude test
Good outcome measures are sensitive to treatments in that they respond to the smallest amount of intervention. Outcome measures (as well as treatment variables) also need to be valid so that experimental researchers can draw valid inferences from them. Group Comparisons In an experiment, you also compare scores for different treatments on an outcome. A group comparison is the process of a researcher obtaining scores for individuals or groups on the dependent variable and comparing the means and variance both within the group and between the groups. (See Keppel [1991] for detailed statistical procedures for this process.) To visualize this process, let’s consider some actual data from an experiment by Gettinger (1993), who sought to determine the effects of an error correction procedure on the spelling of third graders. As shown in Figure 10.4, we visualize Gettinger’s experiment in three ways. Gettinger examined whether the error correction procedure related positively to spelling accuracy (Phase 1). She then created three groups of students: Class A, Class B, and Class C. Class A (the control group) received regular spelling practice on 15 words, consisting of workbook exercises, writing sentences containing each word, and studying words on their own. Class B (the comparison group) had the same experience except that they studied a reduced number of words on a list—three sets of fi ve words each. Class C (the experimental group) used an error-and-correction practice procedure consisting of correcting their own tests, noting incorrect words, and writing both the incorrect and correct spelling for each word. As shown in Phase 2, all three groups received the same spelling practice for 6 weeks, then the experimental group received the error correction procedure for 6 weeks, and after a third 6 weeks, all three groups were tested. Phase 3 shows the statistical comparisons made among the three groups on each of the three tests. Class A improved slightly (from 10.3 on Test 1 to 11.1 on Test 3), whereas Class B’s scores decreased over the three tests. Class C, the experimental group, improved considerably. F-test values showed that the scores varied signifi cantly on Test 2 and Test 3 when the researcher compared the groups. These statistical comparisons took into consideration both the mean scores and the variation between and within each group to arrive at statistical signifi cance at p < .05. Threats to Validity A fi nal idea in experiments is to design them so that the inferences you draw are true or correct. Threats to drawing these correct inferences need to be addressed in experimental  research. Threats to validity refer to specifi c reasons for why we can be wrong when we make an inference in an experiment because of covariance, causation constructs, or whether the causal relationship holds over variations in persons, setting, treatments, and outcomes ( Shadish, Cook, & Campbell, 2002 ). Four types of validity they discuss are:
◆ Statistical conclusion validity, which refers to the appropriate use of statistics (e.g., violating statistical assumptions, restricted range on a variable, low power) to infer whether the presumed independent and dependent variables covary in the experiment.
◆ Construct validity, which means the validity of inferences about the constructs (or variables) in the study.
◆ Internal validity, which relates to the validity of inferences drawn about the cause and effect relationship between the independent and dependent variables.
◆ External validity, which refers to the validity of the cause-and-effect relationship being generalizable to other persons, settings, treatment variables, and measures.
These threats to validity have evolved over the years from the initial discussions by Campbell and Stanley (1963) , to the elaboration of their use by Cook and Campbell (1979) , and more recently by Shadish, Cook, and Campbell (2002) . The basic ideas are still intact, but more recent discussions have elaborated on the points. Our discussion here will focus on the two primary threats to consider: internal validity and external validity. Threats to internal validity A number of threats to drawing appropriate inferences relate to the actual design and procedures used in an experiment. Threats to internal validity are problems in drawing correct inferences about whether the covariation (i.e., the variation in one variable contributes to the variation in the other variable) between the presumed treatment variable and the outcome refl ects a causal relationship ( Shadish, Cook, & Campbell, 2002 ). Of all of the threats to validity, these are the most severe because they can compromise an otherwise good experiment. The following threats to internal validity and recommended procedures to address them are widely discussed in the literature about experimental designs (see Cook & Campbell, 1979 ; Reichardt & Mark, 1998 ; Shadish, Cook, & Campbell, 2002 ; Tuckman, 1999). To make each potential threat as realistic as possible, we illustrate them using the hypothetical situation of the civics–smoking experiment. The fi rst category addresses threats related to participants in the study and their experiences:
◆ History: Time passes between the beginning of the experiment and the end, and events may occur (e.g., additional discussions about the hazards of smoking besides the treatment lecture) between the pretest and posttest that infl uence the outcome. In educational experiments, it is impossible to have a tightly controlled environment and monitor all events. However, the researcher can have the control and experimental groups experience the same activities (except for the treatment) during the experiment.
◆ Maturation: Individuals develop or change during the experiment (i.e., become older, wiser, stronger, and more experienced), and these changes may affect their scores between the pretest and posttest. A careful selection of participants who mature or develop in a similar way (e.g., individuals at the same grade level) for both the control and experimental groups helps guard against this problem.
◆ Regression: When researchers select individuals for a group based on extreme scores, they will naturally do better (or worse) on the posttest than the pretest regardless of the treatment. Scores from individuals, over time, regress toward the mean. For example, the selection of heavy smokers for an experiment will probably contribute to lower rates of smoking after treatment because the teens selected started with high rates at the beginning of the experiment. The selection of individuals who do not have extreme scores on entering characteristics (e.g., moderate smokers or average scores on pretests) may help solve this problem.
◆ Selection: “People factors” may introduce threats that infl uence the outcome, such as selecting individuals who are brighter, more receptive to a treatment, or more familiar with a treatment (e.g., teen smokers ready to quit) for the experimental group. Random selection may partly address this threat.
◆ Mortality: When individuals drop out during the experiment for any number of reasons (e.g., time, interest, money, friends, parents who do not want them participating in an experiment about smoking), drawing conclusions from scores may be diffi cult. Researchers need to choose a large sample and compare those who drop out with those who remain in the experiment on the outcome measure.
 ◆ Interactions with selection: Several of the threats mentioned thus far can interact (or relate) with the selection of participants to add additional threats to an experiment. Individuals selected may mature at different rates (e.g., 16-year-old boys and girls may mature at different rates during the study). Historical events may interact with selection because individuals in different groups come from different settings. For instance, vastly different socioeconomic backgrounds of students in the teen smoking experiment may introduce uncontrolled historical factors into the selection of student participants. The selection of participants may also infl uence the instrument scores, especially when different groups score at different mean positions on a test whose intervals are not equal. If the scale for measuring number of cigarettes is ambiguous (e.g., number of cigarettes per week or per day?), groups are likely to interpret the scale differently. The next category addresses threats related to treatments used in the study:
◆ Diffusion of treatments: When the experimental and control groups can communicate with each other, the control group may learn from the experimental group information about the treatment and create a threat to internal validity. The diffusion of treatments (experimental and nonexperimental) for the control and experimental groups needs to be different. As much as possible, experimental researchers need to keep the two groups separate in an experiment (e.g., have two different civic classes participate in the experiment). This may be diffi cult when, for example, two civic classes of students in the same grade in the same high school are involved in an experiment about teen smoking.
◆ Compensatory equalization: When only the experimental group receives a treatment, an inequality exists that may threaten the validity of the study. The benefi ts (i.e., the goods or services believed to be desirable) of the experimental treatment need to be equally distributed among the groups in the study. To counter this problem, researchers use comparison groups (e.g., one group receives the healthhazards lecture, whereas the other receives a handout about the problems of teen smoking) so that all groups receive some benefi ts during an experiment.
◆ Compensatory rivalry: If you publicly announce assignments to the control and experimental groups, compensatory rivalry may develop between the groups because the control group feels that it is the “underdog.” Researchers can try to avoid this threat by attempting to reduce the awareness and expectations of the presumed benefi ts of the experimental treatment.
◆ Resentful demoralization: When a control group is used, individuals in this group may become resentful and demoralized because they perceive that they receive a less desirable treatment than other groups. One remedy to this threat is for experimental researchers to provide a treatment to this group after the experiment has concluded (e.g., after the experiment, all classes receive the lecture on the health hazards of smoking). Researchers may also provide services equally attractive to the experimental treatment but not directed toward the same outcome as the treatment (e.g., a class discussion about the hazards of teen driving with friends). The following category addresses threats that typically occur during an experiment and relate to the procedures of the study:
◆ Testing: A potential threat to internal validity is that participants may become familiar with the outcome measures and remember responses for later testing. During some experiments, the outcome is measured more than one time, such as in pretests (e.g., repeated measures of number of cigarettes smoked). To remedy this situation, experimental researchers measure the outcome less frequently and use different items on the posttest than those used during earlier testing.
◆ Instrumentation: Between the administration of a pretest and a posttest, the instrument may change, introducing a potential threat to the internal validity of the experiment. For example, observers may become more experienced during the time between a pretest and the posttest and change their scoring procedures (e.g., observers change the location to observe teen smoking). Less frequently, the measuring instrument may change so that the scales used on a pretest and a posttest are dissimilar. To correct for this potential problem, you standardize procedures so that you use the same observational scales or instrument throughout the experiment. Threats to external validity By ruling out extraneous factors and assuming that the treatment infl uences an outcome, researchers make claims about the generalizability of the results. Threats to external validity are problems that threaten our ability to draw correct inferences from the sample data to other persons, settings, treatment variables, and measures. According to Cook and Campbell (1979) , three threats may affect this generalizability:
◆ Interaction of selection and treatment: This threat to external validity involves the inability to generalize beyond the groups in the experiment, such as other racial, social, geographical, age, gender, or personality groups. One strategy researchers use to increase generalizability is to make participation in the experiment as convenient as possible for all individuals in a population.
◆ Interaction of setting and treatment: This threat to external validity arises from the inability to generalize from the setting where the experiment occurred to another setting. For example, private high schools may be different from public high schools, and the results from our civics experiment on smoking may not apply outside the public high school where the researcher conducts the experiment. This threat may also result from trying to generalize results from one level in an organization to another. For example, you cannot generalize treatment effects you obtain from studying entire school districts to specifi c high schools. The practical solution to an interaction of setting and treatment is for the researcher to analyze the effect of a treatment for each type of setting.
◆ Interaction of history and treatment: This threat to external validity develops when the researcher tries to generalize fi ndings to past and future situations. Experiments may take place at a special time (e.g., at the beginning of the school year) and may not produce similar results if conducted earlier (e.g., students attending school in the summer may be different from students attending school during the regular year) or later (e.g., during semester break). One solution is to replicate the study at a later time rather than trying to generalize results to other times. In our civics–smoking experiment, the researcher needs to be cautious about generalizing results to other high schools, other students in civics classes, and other situations where discussions about the hazards of smoking take place. The behavior of adolescents who smoke may change due to factors associated with the cost of cigarettes, parental disapproval, and advertising. Because of these factors, it is diffi cult to generalize the results from our civics experiment to other situations.
WHAT ARE THE TYPES OF EXPERIMENTAL DESIGNS?
Although all experiments have common characteristics, their use and applications vary depending on the type of design used. The most common designs you will fi nd in educational research are:
◆ Between Group Designs
• True experiments (pre- and posttest, posttest only)
• Quasi-experiments (pre- and posttest, posttest only)
• Factorial designs
◆ Within Group or Individual Designs
• Time series experiments (interrupted, equivalent)
• Repeated measures experiments
• Single subject experiments Being able to identify these types of designs and their major characteristics will help you choose a suitable design for your study or permit a thoughtful evaluation of an experimental design used in a published study. A basic set of criteria for differentiating among types of experimental designs is shown in Table 10.1. As we discuss each of the designs, keep these criteria in mind to help you distinguish among them. The designs are differentiated by several characteristics, as shown in the fi rst column in Table 10.1:
◆ The random assignment of participants to groups
◆ The number of groups or individuals being compared
◆ The number of interventions used by the researcher
◆ The number of times the dependent variable is measured or observed
◆ The control of extraneous variables For each design discussed in the following pages, you will be introduced to the major characteristics of the design and its advantages and disadvantages. Among the disadvantages are its potential threats to internal validity—an idea already introduced—but now related specifi cally to each design. Table 10.2 presents a summary of the internal validity threats for each design.
Remember that Maria studied two health classes for her experiment. She gave one class the standard health curriculum and provided the other class the standard curriculum plus a series of classes about the dangers of weapons among teenagers. What type of experimental design should she use? Maria has a between-group design (a quasiexperiment) without random assignment because she uses two intact classes in her experiment. As you read the discussion about a between-group design, see how you would come to this same decision. Between-Group Designs The most frequently used designs in education are those where the researcher compares two or more groups. Illustrations throughout this chapter underscore the importance of these designs. We will begin with the most rigorous between-group design available to the educational researcher, the true experiment. True Experiments True experiments comprise the most rigorous and strong experimental designs because of equating the groups through random assignment. The procedure for conducting major forms of true experiments and quasi-experiments, viewing them in terms of activities from the beginning of the experiment to the end, is shown in Table 10.3. In true experiments, the researcher randomly assigns participants to different conditions of the experimental variable. Individuals in the experimental group receive the experimental treatment, whereas those in the control group do not. After investigators administer the treatment, they compile average (or mean) scores on a posttest. One variation on this design is to obtain pretest as well as posttest measures or observations. When experimenters collect pretest scores, they may compare net scores (the differences between the pre- and posttests). Alternatively, investigators may relate the pretest scores for the control and experimental groups to see if they are statistically similar, and then compare the two posttest group scores. In many experiments, the pretest is a covariate and is statistically controlled by the researcher. Because you randomly assign individuals to the groups, most of the threats to internal validity do not arise. Randomization or equating of the groups minimizes the possibility of history, maturation, selection, and the interactions between selection and other threats. Treatment threats such as diffusion, rivalry, resentful demoralization, and compensatory equalization are all possibilities in a between-group design because two or more groups exist in the design. When true experiments include only a posttest, it reduces the threats of testing, instrumentation, and regression because you do not use a pretest. If a pretest is used, it introduces all of these factors as possible threats to validity. Instrumentation exists as a potential threat in most experiments, but if researchers use the same or similar instrument for the pre- and posttest or enact standard procedures during the study, you hold instrumentation threats to a minimum. Quasi-Experiments In education, many experimental situations occur in which researchers need to use intact groups. This might happen because of the availability of the participants or because the setting prohibits forming artifi cial groups. Quasi-experiments include assignment, but not random assignment of participants to groups. This is because the experimenter cannot artifi cially create groups for the experiment. For example, studying a new math program may require using existing fourth-grade classes and designating one as the experimental group and one as the control group. Randomly assigning students to the two groups would disrupt classroom learning. Because educators often use intact groups  (schools, colleges, or school districts) in experiments, quasi-experimental designs are frequently used. Returning to Table 10.3, we can apply the pre- and posttest design approach to a quasi-experimental design. The researcher assigns intact groups the experimental and control treatments, administers a pretest to both groups, conducts experimental treatment activities with the experimental group only, and then administers a posttest to assess the differences between the two groups. A variation on this approach, similar to the true experiment, uses only a posttest in the design. The quasi-experimental approach introduces considerably more threats to internal validity than the true experiment. Because the investigator does not randomly assign participants to groups, the potential threats of maturation, selection, mortality, and the interaction of selection with other threats are possibilities. Individuals assigned to the two groups may have selection factors that go uncontrolled in the experiment. Because we compare two groups, the treatment threats may also be present. In addition, when the pretest–posttest design is used, additional threats of history, testing, instrumentation, and regression also may occur. While the quasi-experimental design has the advantage of utilizing existing groups in educational settings, it introduces many threats that you need to address in the design of the experiment. Factorial Designs In some experimental situations, it is not enough to know the effect of a single treatment on an outcome; several treatments may, in fact, provide a better explanation for the outcome. Factorial designs represent a modifi cation of the betweengroup design in which the researcher studies two or more categorical, independent variables, each examined at two or more levels (Vogt, 2005). The purpose of this design is to study the independent and simultaneous effects of two or more independent treatment variables on an outcome. For example, in our civics–smoking experiment, the researcher may want to examine more than the effect of the type of instruction (i.e., lecture on health hazards of smoking versus standard lecture) on frequency of smoking. Assume that the experimenter wishes to examine the combined infl uence of type of instruction and level of depression in students (e.g., high, medium, and low scores on a depression scale) on rates of smoking (as the posttest). Assume further that the investigator has reason to believe that depression is an important factor in rates of teen smoking, but its “interaction” or combination with type of smoking is unknown. The study of this research problem requires a factorial design. Thus, “depression” is a blocking or moderating variable and the researcher makes random assignment of each “block” (high, medium, and low) to each treatment instructional group. This design has the advantage of a high level of control in the experiment. It allows the investigator to examine the combination or interaction of independent variables to better understand the results of the experiment. If only a posttest is used, internal validity threats of testing and instrumentation do not exist. If you randomly assign individuals to groups, you minimize the threats related to participants and their experiences (history, maturation, regression, selection, mortality, and interaction of selection and other factors). However, with multiple independent variables in a factorial design, the statistical procedures become more complex and the actual results become more diffi cult to understand. What does it mean, for example, that depression and type of instruction interact to infl uence smoking rates among teens? Which independent variable is more important and why? As researchers manipulate additional independent variables, more participants are needed in each group for statistical tests, and the interpretation of results becomes more complex. Because of this complexity, factorial designs typically include at most three independent variables manipulated by the researcher. Let’s examine more closely the steps in the process of conducting a factorial design. The researcher identifi es a research question that includes two independent variables and one dependent variable, such as “Do rates of smoking vary under different combinations of type of instruction and levels of depression?” To answer this question, the experimenter identifi es the levels of each factor or independent variable:
◆ Factor 1—types of instruction
• Level 1—a health-hazards lecture in civics class
• Level 2—a standard lecture in civics class
◆ Factor 2—levels of depression
• Level 1—high
• Level 2—medium
• Level 3—low
Because you measure two levels of instruction and three levels of depression, the design is called a two by three factorial design. It is written as “2 × 3” to indicate the levels involved in each independent variable. With three independent variables, it might be a “2 × 3 × 4” design, with the third variable consisting of four levels. In the 2 × 3 design, the investigator then assigns participants to six groups so that all groups receive each level on one independent variable (e.g., type of instruction) and each level on the second independent variable (e.g., level of depression). Table 10.4 shows the formation of the six groups and the assignment of participants to each group based on the three levels (i.e., low, medium, and high) of depression and the two levels (i.e., health-hazards lecture, standard lecture) of instruction. In this process, the researcher creates six groups and assigns student smokers to each group. All students fi rst complete the instrument measuring their level of depression. The researcher scores the instrument and divides the students into low, medium, and high groups based on their depression scores. Further, remember that our study is being conducted in two special civics classes; in one class, the students receive a lecture on the health hazards of smoking, and in the second class, the teacher provides standard lectures on civics topics. Thus, in our factorial design, three groups will receive the health lecture in one civics class and the other three groups will receive the standard lectures in the other civics class. This procedure uses quasi-experimental research in which the investigator uses intact classes for the experiment (two high school civics classes). At the conclusion of the experiment, the investigator asks all participants to complete a posttest. This posttest will measure the rate of smoking for individuals in the experiment. The means of the posttest scores are organized into six cells to visually portray their differences, as shown in Figure 10.5. A cell represents each group in an experiment, and it contains the mean scores for individuals in each group. Once you compute the mean scores, you compare the scores to determine whether they are statistically different. The null hypothesis would be that the means are not different, whereas the alternative would be that they are different. Let’s add one more element into this statistical portrait of scores arrayed in cells as shown in Figure 10.5. Using the parametric statistic of ANOVA, the researcher examines the effect of each independent variable separately and in combination with the dependent  variable. Using a statistical software program, analysis of variance will produce statistical results for main effects and interaction effects. Main effects are the infl uence of each independent variable (e.g., type of instruction or extent of depression) on the outcome (e.g., the dependent variable, rate of smoking) in an experiment. Interaction effects exist when the infl uence on one independent variable depends on (or co-varies with) the other independent variable in an experiment. Researchers often graph the main and the interaction effects to help readers visualize them. The graphs in Figure 10.6 portray possible main effects and interaction effects in our hypothetical civics–smoking experiment. Graph (a) displays the results of scores on the posttest (i.e., rate of smoking) and the three factors of depression. The researcher graphs scores for both the groups who receive the health-hazards lecture and the standard lecture in the civics class. As seen in this graph, the extent of smoking for both groups increases with the level of depression. Because the lines are parallel and do not cross, an interaction effect is not present. However, the results of the experiment could be different, as shown in graphs (b) and (c). In graph (b), the smoking rates for the groups receiving the standard lecture increase as depression increases. Alternatively, smoking rates for students who experience the health-hazards lecture are constant for each level of depression. When these scores are plotted, the lines crossed, showing an interaction effect. In graph (c), the lines again are not parallel, displaying an interaction effect. Typically, in factorial designs, the investigator graphs these trends and explains the meaning of the combination of independent variables. Within-Group or Individual Designs In any given experiment, the number of participants may be limited and it may not be possible to involve more than one group. In these cases, researchers study a single group using a within-group experimental design. Also, the experimenter might examine single individuals (within-individual design). This type of design assumes several forms: time series, repeated measures, and single-subject designs. Time Series When an experimental researcher has access to only one group and can study them over a period, a time series design is a good experimental approach. A time series design consists of studying one group, over time, with multiple pretest and posttest measures or observations made by the researcher. This design does not require access to large numbers of participants, and it requires only one group for the study. It is ideal for examining change in an entire system (e.g., a school district) where it would be diffi cult to fi nd a control group or system willing to cooperate. However, this design is labor intensive because the researcher needs to gather multiple measures. These multiple measures are seen in two important variations of this design. As shown in Table 10.5, the fi rst is the interrupted time series design. This procedure consists of studying one group, obtaining multiple pretest measures for a period of time, administering an intervention (or interrupting the activities), and then measuring outcomes (or posttests) several times. Data analysis in this example consists of examining difference scores between the pretests and posttests or posttest-only scores and using the pretests as covariates. A variation, also seen in Table 10.5, uses an equivalent time series design, in which the investigator alternates a treatment with a posttest measure. The data analysis then consists of comparing posttest measures or plotting them to discern patterns in the data over time.
The time series design permits signifi cant control over threats to internal validity. The effects of history are not always clear-cut. History effects are minimized by the short time intervals between measures and observations. However, threats to validity may occur because of the overall length of data collection in this design. The maturation of participants may be a problem, although the researcher can estimate changes in maturation by studying them and removing them statistically in the design. To control for statistical regression, researchers can also observe the scores on the pretests and control for unusually high or low scores. Because only one group is studied, the issues of selection and treatment are not relevant, although individuals can choose to drop out of the study. Testing may be a problem, but the repeated measures or observations over time may diminish the effects of testing. When researchers change the instrument during multiple testing administrations, they may also introduce threats to validity. In our hypothetical experiment in the high school civics class, our examples thus far consist of studying two civics classes (presumably taught by the same instructor). If only one class is available, we could use a time series design that would involve collecting multiple measures of smoking behavior among smokers as pretests. Then the teacher would introduce the intervention “health-hazards discussion,” followed by multiple measures of smoking behavior on posttests. A plot of this pretest and posttest data would reveal whether the health lecture contributed to reduced smoking among the students in the class. Repeated Measures Another experimental design that has the advantage of employing only a single group is a repeated measures design. In a repeated measures design, all participants in a single group participate in all experimental treatments, with each group becoming its own control. The researcher compares a group’s performance under one experimental treatment with its performance under another experimental treatment. The experimenter decides on multiple treatments (as in factorial designs) but administers each separately to only one group. After each administration, the researcher obtains a measure or observation. The steps in this design are shown in Table 10.6.
After selecting participants, the researcher decides on different experimental treatments to determine the effect of each on one or more outcomes. An outcome measure or observation follows the fi rst experimental treatment, and then a second outcome measure or observation is taken following the second experimental treatment. Variations in outcome measures are then assessed for differences from treatment to treatment. In terms of threats to internal validity, this design is not affected by threats related to comparing groups (i.e., selection, treatments, regression, mortality, maturation, or interactions with selection). Without use of a pretest, testing and instrumentation are not threats in this design. History is a potential problem in that events may occur during the experiment that raise the potential for extraneous infl uences to affect the outcome measure. One experimental treatment may infl uence the next treatment, and researchers need to make the treatments as distinct as possible. Applying this design to our civics–smoking experiment, assume that the investigator has access to only one civics class and can employ several interventions: a lecture on health hazards, cartoons that depict “bad breath” between couples when one individual smokes, and a handout about the rising cost of a pack of cigarettes. Notice in this example that the three treatments all address teen smoking issues, but they are distinct concerns (i.e., health, relationships, and cost). During the semester, the researcher asks the teacher to introduce each intervention separately, and the investigator measures the rate of smoking after each intervention. Single-Subject Designs In your experiment, assume that you seek to learn about the behavior of single individuals rather than groups. You also have an opportunity to observe their behavior over time. In these situations, single-subject experimental designs are ideal. Single-subject research (also called N of 1 research, behavior analysis, or within-subjects research) involves the study of single individuals, their observation over a baseline period, and the administration of an intervention. This is followed by another observation after the intervention to determine if the treatment affects the outcome. For example, in one singlesubject study, the researcher tested whether elementary students with learning disabilities achieve better if they monitor their own on-task behavior (Kellogg, 1997). Without random assignment, this design is a quasi-experimental rather than an experimental design. The researcher studies the behaviors of single individuals (one or more) rather than a group of subjects, with the subject becoming its own control in the experiment (see Cooper, Heron, & Heward, 1987; Neuman & McCormick, 1995).
The investigator seeks to determine if an intervention impacts the behavior of a participant by observing the individual over a prolonged period of time and recording the behavior before and after the intervention. The researcher assesses whether there is a relationship between the treatment and the target behavior or outcome. The key characteristics of a single-subject study are as follows:
◆ Prior to administering the intervention, the researcher establishes a stable baseline of information about the individual’s behavior. A stable baseline means that behavior for an individual varies little over several sessions or days. A behavior is stable if (a) variability over time is minimal, and (b) there is no upward or downward trend in performance over time (Poling & Grossett, 1986).
◆ The researcher repeatedly and frequently measures behavior (i.e., the outcome) throughout the experiment based on making observations and recording scores for each individual.
◆ After administering the intervention, the researcher notes the patterns of behavior and plots them on a graph. This pattern may be ascending, descending, fl at, or variable. Data are typically analyzed by visually inspecting the data rather than by using statistical analysis. In particular, the researcher notes how the behavior of the individual has changed after the intervention, after withdrawing the intervention, or during multiple interventions.
◆ In a graphic analysis of the data, the single-subject researcher plots behaviors for specifi c individuals on a graph. On this graph, the vertical axis records percentages or counts of the behavior being studied. Alternatively, the horizontal axis displays the days or sessions in which the observations occur. The plot can show data for several individuals or multiple dependent variables for a single individual. Single-subject research has the advantage of providing data on single individuals, such as the learning and behaviors of children with disabilities, where a person-by-person analysis is needed. It also controls for many threats to internal validity. Because only one individual is studied at a time, groups are not involved and the threats to selection, treatments, mortality, maturation, regression, and interactions with selection are not relevant. Assuming that observers use the same standard procedures, instrumentation may not be a problem. When multiple treatments are used, the learning from one intervention may affect the second intervention, and history may be an issue since the experiment takes place over time. A/B Design Because single-subject studies employ different research designs, the best way to understand them is to examine graphs that show the monitoring of behavior and the administration of an intervention. The simplest design is the A/B design. An A/B design consists of observing and measuring behavior during a trial period (A), administering an intervention, and observing and measuring the behavior after the intervention (B). This design is shown in Figure 10.7 for a study about elementary children and their achievement in solving math problems. In this study, the researcher observes baseline behavior and then employs an intervention of feedback to the students about their performance in math. A variation on this design is an A/B/A, or a reversal, design, in which the researcher establishes a baseline behavior, administers an intervention, and then withdraws the intervention and determines if the behavior returned to the baseline level. Another variation is an A/B/A withdrawal design. In this design, researchers may implement one or more treatments. The disadvantage of this type of design is that in some studies, the withdrawing of the intervention may have serious effects on the participants in the study, raising an ethical issue for the researcher. This design may also introduce negative irreversible effects, and it requires numerous sessions or observational periods because of the use of multiple interventions. Multiple Baseline Design A frequently used single-subject design is the multiple baseline design, as shown in Figure 10.8. In this design, each participant receives an experimental treatment at a different time (hence, multiple baselines exist) so that treatment diffusion will not occur among participants. Researchers choose this design when the treatment (e.g., skill or strategy being taught) cannot be reversed and doing so would be unethical or injurious to participants. In the example shown in Figure 10.8, fi ve individuals participate in the study and the behavior of each is plotted. Variations on this approach could involve different types of behaviors for the participants or behaviors for participants in different settings. The results of this design may be less convincing than the reversal design and it may introduce negative consequences if the treatment is withheld for an extended period. Alternating Treatments A fi nal type of single-subject design is the alternating treatment. An alternating treatment design is a single-subject design in which the researcher examines the relative effects of two or more interventions and determines which intervention is the more effective treatment on the outcome. As shown in Figure 10.9, four elementary students participated in the experiment on solving math problems. This study had two treatment conditions: practice with feedback from the teacher and practice with a student “coach” in the class. After establishing a baseline of behavior, the researcher implemented the two different experimental treatments and plotted behavior after the treatments. In this type of design, potential problems with threats to internal validity from treatment diffusion may result, but the design permits a test of multiple treatments simultaneously to determine their effect on outcomes.
irreversible effects, and it requires numerous sessions or observational periods because of the use of multiple interventions. Multiple Baseline Design A frequently used single-subject design is the multiple baseline design, as shown in Figure 10.8. In this design, each participant receives an experimental treatment at a different time (hence, multiple baselines exist) so that treatment diffusion will not occur among participants. Researchers choose this design when the treatment (e.g., skill or strategy being taught) cannot be reversed and doing so would be unethical or injurious to participants. In the example shown in Figure 10.8, fi ve individuals participate in the study and the behavior of each is plotted. Variations on this approach could involve different types of behaviors for the participants or behaviors for participants in different settings. The results of this design may be less convincing than the reversal design and it may introduce negative consequences if the treatment is withheld for an extended period. Alternating Treatments A fi nal type of single-subject design is the alternating treatment. An alternating treatment design is a single-subject design in which the researcher examines the relative effects of two or more interventions and determines which intervention is the more effective treatment on the outcome. As shown in Figure 10.9, four elementary students participated in the experiment on solving math problems. This study had two treatment conditions: practice with feedback from the teacher and practice with a student “coach” in the class. After establishing a baseline of behavior, the researcher implemented the two different experimental treatments and plotted behavior after the treatments. In this type of design, potential problems with threats to internal validity from treatment diffusion may result, but the design permits a test of multiple treatments simultaneously to determine their effect on outcomes.

WHAT ARE THE STEPS IN CONDUCTING EXPERIMENTAL RESEARCH?
As we have learned about the different types of experimental designs, we have also begun to understand some of the procedures involved in conducting an experiment. Although there is no set procedure for conducting an experiment, it is helpful to understand the general process before you begin. Step 1. Decide if an Experiment Addresses Your Research Problem The type of issue studied by experimenters is the need to know whether a new practice infl uences an outcome. Of all designs in education, it is the best design to use to study cause-and-effect relationships. However, to study these issues, you must be able to control the setting of the experiment as well as manipulate one level of the independent variable. An experiment is not the best choice when the problem calls for generalizing results to a population or when you cannot manipulate the conditions of the experiment. Step 2. Form Hypotheses to Test Cause-and-Effect Relationships A hypothesis advances a prediction about outcomes. The experimenter establishes this prediction (in the form of a null or alternative hypothesis) and then collects data to test the hypothesis. Hypotheses are typically used in experimental research more than are research questions, but both can be used. When stating experimental hypotheses, follow these guidelines:
◆ Independent variables should contain at least one variable with multiple levels, and the researcher needs to manipulate one of the levels. Dependent variables are outcomes, and experimenters often study multiple outcomes (e.g., student learning and attitudes).
◆ Variables are measured on an instrument or recorded as observations. They need to produce valid and reliable scores. You need to give special attention to choosing measures that will result in scores with high construct validity. Hypotheses are often based on relationships found in studies by past researchers or contained within theories that are being tested and continually revised. An example of several hypotheses was included in a study about college students’ willingness to seek help from faculty: (a) Students would be more likely to express willingness to seek help from the instructor in the supportive statement condition than in the neutral statement condition; (b) younger students would be less likely to express willingness to seek help from an instructor than would older students, independent of support condition; and (c) students would be more likely to express willingness to seek help from an instructor when the class size is small than when it is large, independent of support condition. (Perrine, Lisle, & Tucker, 1996, pp. 44–45) In these hypotheses, the researchers establish predictions about what they will fi nd in their study. They compared two groups: the experimental group, which received supportive statements from the professor, and the control group, which received no supportive statements. The students in both groups then rated the likelihood that they would seek help from the instructor for six academic problems. The fi rst hypothesis directly tests this group comparison. The second and third hypotheses control for the age of the student and the size of the class. Step 3. Select an Experimental Unit and Identify Study Participants One of the fi rst steps in conducting an experiment is to decide on your experimental unit. An experimental unit of analysis is the smallest unit treated by the researcher during an experiment. When we use the term treated, we are referring to the experimental treatment. You may collect data from individuals, but the experimental unit actually treated differs from one experiment to another. The experimental unit receiving a treatment may be a single individual, several individuals, a group, several groups, or an entire organization. Who will participate in your experiment? Participants in an experimental study are those individuals tested by the researcher to determine if the intervention made a difference in one or more outcomes. Investigators may choose participants because they volunteered or they agreed to be involved. Alternatively, the researcher may select participants who are available in well-defi ned, intact groups that are easily studied. For example, a study of third-grade reading may require that the researcher use existing classes of third-grade students. Regardless of the participants, investigators must be careful about the ethical issue of not disadvantaging some participants by withholding a benefi cial treatment and advantaging others by giving them the treatment. How many people will you study? In an ideal experiment, the researcher forms at least one control and one experimental group ( Bausell, 1994 ). In many experiments, the size of the overall number of participants (and participants per group) is dictated by practical issues of the number of volunteers who enroll for the study or the individuals available to the researcher. The researcher also uses statistics to analyze the data, and these statistics call for minimum numbers of participants. How should the participants be chosen? If possible, you should randomly select individuals for the experiment from the study population so that inferences can be made from the results to the population. This selection is accomplished through numbering the individuals in the population and randomly selecting participants using a random numbers table. In practice, this procedure may not always be possible because the population cannot be easily identifi ed or you may not have access to all people in the population. However, because a basic premise of all quantitative research is that the fi ndings will be generalized, random selection enables an investigator to make inferences about the population. When random selection cannot be done, an alternative is to conduct multiple experiments with different participants from the population so that some inference of generalizability or external validity can be made. How should the individuals be assigned to groups? An optimal situation is to randomly assign the individuals to groups, but this procedure may not always be feasible. Also, to provide added control over extraneous factors, matching, blocking, selecting of homogeneous groups, and the use of covariates are recommended.
Step 4. Select an Experimental Treatment and Introduce It The key to any experimental design is to set levels of treatment and apply one level to each group, such as one level to an experimental group and another level to a control group. Then the groups are compared on one or more outcomes. Interventions may consist of programs or activities organized by the researcher. In deciding what intervention to use, you might consider several factors:
◆ The experimental researcher should select an intervention of adequate “dosage” (Lipsey, 1998). This means that the intervention must last long enough and be strong enough to actually have an impact on the outcome.
◆ A good intervention is one that has been used by other researchers and it should predict a change in the outcome. The review of the literature and an assessment of past theories as predictions for relationships help researchers locate an intervention that should predict change.
◆ Experimental researchers should choose an intervention that can be implemented with as little intrusion in the setting and on the participants as possible. This means that the researcher needs to respect the school or nonschool setting being studied and gain the cooperation of sponsors at the site and of the participants in the study.
◆ Choose an intervention based on a small pilot test. Select a group of participants in the population and provide the intervention to them. This approach may be a pre-experimental design with a single group (to facilitate ease of implementation) or an intervention of a short duration. It may involve as few as fi ve or six subjects (Bausell, 1994 ). From this pilot, you can draw conclusions about the potential impact of the intervention for the fi nal experiment. Step 5. Choose a Type of Experimental Design One aspect of preparing for the experiment is choosing the design and providing a visual diagram of it. You need to make several decisions based on your experience with experiments, the availability of participants for the study, and your ability to practically control for extraneous infl uences in the project before choosing a design. The criteria given earlier in Table 10.1 will help lead to the selection of a design. Step 6. Conduct the Experiment Conducting the experiment involves procedural steps consistent with the design selected. It may involve:
◆ Administering a pretest, if you plan to use one
◆ Introducing the experimental treatment to the experimental group or relevant groups
◆ Monitoring the process closely so that the threats to internal validity are minimized
◆ Gathering posttest measures (the outcome or dependent variable measures)
◆ Using ethical practices by debriefi ng the participants by informing them of the purpose and reasons for the experiment, such as asking them what they thought was occurring (Neuman, 2000) Step 7. Organize and Analyze the Data Three major activities are required at the conclusion of the experiment: coding the data, analyzing the data, and writing the experimental report. Coding the data means that the researcher needs to take the information from the measures and set up a computer fi le for data analysis. This procedure begins with cleaning the data to make sure that those who complete the instruments do not enter unusual data in the computer fi le through keystroke errors or errant mistakes. You can explore the database for these errors by running a descriptive analysis of it using a statistical analysis program and noting variables for which unusual data exist. This descriptive analysis can provide the fi rst review of the outcomes of the study, and scanning the results can provide an understanding of the responses of all participants to the outcome measures. This step becomes the fi rst phase of the data analysis. After a descriptive analysis of all participants, the researcher begins the analysis of comparing groups in terms of the outcomes. This is the heart of an experimental analysis, and it provides useful information to answer the hypotheses or research questions in the study. The statistic of choice is a group comparison statistic, such as the t test or the family of parametric analysis of variance statistics (e.g., ANOVA, analysis of covariance [ANCOVA]). Step 8. Develop an Experimental Research Report The experimental report follows a standard format. In the “Methods” or “Procedures” section of an experiment, the researcher typically includes information about:
◆ Participants and their assignment
◆ The experimental design
◆ The intervention and materials
◆ Control over extraneous variables
◆ Dependent measures or observations As in a quantitative study, you write this report using standard terms for research (e.g., intervention, control, experimental group, pre- and posttest) and an objective, impartial point of view. HOW DO YOU EVALUATE EXPERIMENTAL RESEARCH? The key characteristics and the procedures form a basis for evaluating an experimental study. The following list, adapted from Bausell (1994) , presents criteria useful in this evaluation. For a good experiment, here are some criteria:
◆ The experiment has a powerful intervention.
◆ The treatment groups are few in number.
◆ Participants will gain from the intervention.
◆ The researcher derives the number of participants per group in some systematic way.
◆ An adequate number of participants were used in the study.
◆ The researcher uses measures and observations that are valid, reliable, and sensitive.
◆ The researcher controls for extraneous factors that might infl uence the outcome.
◆ The researcher addresses threats to internal and external validity.

KEY IDEAS IN THE CHAPTER
A Defi nition of Experimental Research, When to Use It, and How It Developed Experimental researchers test an idea (or practice or procedure) to determine its effect on an outcome. Researchers decide on an idea with which to “experiment,” assign individuals to experience it (and have some individuals experience something different), and then determine whether those who experienced the idea or practice performed better on some outcome than those who did not experience it. The ideas used in experiments today were mostly in place by the fi rst few decades of the 20th century. The procedures of comparing groups, assigning individuals to treatments, and statistically analyzing group comparisons had been developed by 1940. During the 1960s, the types of experimental designs were identifi ed and the strengths (e.g., control over potential threats) of these designs specifi ed by 1980. Since 1980, computers, improved statistical procedures, and more complex designs have advanced experimental research. Key Characteristics of Experimental Research Today, several key characteristics help us understand and read experimental research. Experimental researchers randomly assign participants to groups or other units. They provide control over extraneous variables to isolate the effects of the independent variable on the outcomes. They physically manipulate the treatment conditions for one or more groups. They then measure the outcomes for the groups to determine if the experimental treatment had a different effect than the nonexperimental treatment. This is accomplished by statistically comparing the groups. Overall, they design an experiment to reduce the threats to internal validity and external validity. Types of Experimental Designs Various aspects of these characteristics are included in types of experimental designs. There are several types of between-group designs. A “true” experiment involves random assignment of participants to groups or units. This form of an experiment is the most rigorous and controlled of all types. A quasi-experimental design involves the use of an intervention, but not random assignment of participants to groups. A factorial design also involves two or more groups, but the researcher tests for the interaction of two or more independent variables. Another type of design involves a within-group or within-individual procedure in which a single group or single individuals are studied. A time series design involves studying a single group and collecting typically more than one outcome measure. A repeated measures experiment also involves only one group, but the researcher tests more than one intervention with this group by alternating administrations of the experimental treatment. A single-subject design examines one individual at a time by establishing a baseline of behavior for the individual, administering the intervention, and determining the long-term impact of the intervention on behavior when it is withdrawn. Ethical Issues in Experimental Research Ethical issues in conducting experiments relate to withholding the experimental treatment from some individuals who might benefi t from receiving it, the disadvantages that might accrue from randomly assigning individuals to groups. This assignment overlooks the potential need of some individuals for benefi cial treatment. Ethical issues also arise as to when to conclude an experiment, whether the experiment will provide the best answers to a problem, and considerations about the stakes involved in conducting the experiment. Steps in Conducting an Experiment The steps in experimental research involve deciding if an experiment is the best design, forming hypotheses, and selecting the experimental unit and participants to be involved in the experiment. The researchers might randomly assign individuals to groups. They then administer the intervention by conducting the experiment, and they analyze and report results. To evaluate the success of this process, the experimenter assesses the groups, intervention, measures or observations, and extraneous factors and control over threats to validity. Evaluating an Experiment A good experiment has a powerful intervention, groups few in number, derived in some systematic way, and where individuals will gain from the experiment. The scores on the measures are both valid and reliable because the researcher has attended to potential threats of validity.

Example of an Experimental Study
Examine the following published journal article that is an experimental study. Marginal notes indicate the major characteristics of experimental research highlighted in this chapter. The illustrative study is:
Effects of Classroom Structure on Student Achievement Goal Orientation
Shannon R. Self-Brown Samuel Mathews, II University of West Florida
Abstract
The authors assessed how classroom structure infl uenced student achievement goal orientation for mathematics. Three elementary school classes were assigned randomly to 1 classroom structure condition: token economy, contingency contract, or control. Students in each condition were required to set individual achievement goals on a weekly basis. The authors assessed differences in goal orientation by comparing the number of learning vs. performance goals that students set within and across classroom structure conditions. Results indicated that students in the contingency-contract condition set signifi cantly more learning goals than did students in other classroom structure conditions. No signifi cant differences were found for performance goals across classroom structure conditions. Within classroom structure conditions, students in the contingency-contract group set signifi cantly more learning goals than performance goals, whereas students in the token-economy condition set signifi cantly more performance goals than learning goals.
Key words: classroom structure, goal orientation, mathematics
Over the last 35 years, considerable research and writings have addressed the relationship between the classroom learning environment and student goal orientation. However, only a paucity of research has focused on establishing a link between the classroom evaluation structure, differences in students’ goal orientation, and classroom strategies for the creation of specifi c goal orientations within the classroom ( Ames, 1992c ). In this study, we addressed those issues.
Students’ goal orientation has been linked to contrasting patterns that students exhibit when they attend to, interpret, and respond to academic tasks ( Dweck & Leggett, 1988 ). One leading model of goal orientation focuses on two goal orientations—performance goals and learning goals. According to the model, students who set performance goals are focused on demonstrating their abilities to outside observers such as teachers, whereas students who set learning goals seek to increase their competence regardless of the presence of outside observers (Kaplan & Migdley, 1997). Researchers have found consistent patterns of behavior that are related directly to the types of goals that students establish ( Dweck, 1986 ; Nichols, 1984; Schunk, 1990 ).
Generally, researchers have concluded that a negative relationship exists between performance goals and productive achievement behaviors ( Greene & Miller, 1996 ; Zimmerman & MartinezPons, 1990). Adoption of a performance goal orientation means that ability is evidenced when students do better than others, surpass normative-based standards, or achieve success with little effort ( Ames, 1984 ; Covington, 1984 ). Consequently, those students often avoid more diffi cult tasks and exhibit little intrinsic interest in academic activities ( Ames, 1992c ; Dweck, 1986 ; Nicholls, 1984). Students with a performance goal orientation can become vulnerable to helplessness, especially when they perform poorly on academic tasks. That result occurs because failure implies that students have low ability and that the amount and quality of effort expended on tasks is irrelevant to the outcome ( Ames, 1992c ).
In contrast, researchers have consistently found evidence for a positive relationship between learning goals and productive achievement behaviors ( Ames & Archer, 1988 ; Greene & Miller; 1996; Meece, Blumenfeld, & Hoyle, 1988 ). Students who are focused on learning goals typically prefer challenging activities ( Ames & Archer, 1988 ; Elliot & Dweck, 1988 ), persist at diffi cult tasks (Elliot & Dweck; Schunk, 1996 ), and report high levels of interest and task involvement ( Harackiewicz, Barron, & Elliot, 1998 ; Harackiewicz, Barron, Tauer, Carter, & Elliot, 2000 ). Those students engage in a mastery-oriented belief system for which effort and outcome covary ( Ames, 1992a ). For students who are focused on learning goals, failure does not represent a personal defi ciency but implies that greater effort or new strategies are required. Such persons will increase their efforts in the face of diffi cult challenges and seek opportunities that promote learning ( Heyman & Dweck, 1992). Overall, researchers have concluded that a learning-goal orientation is associated with more adaptive patterns of behavior, cognition, and affect than is a performance-goal orientation ( Ames & Archer, 1988 ; Dweck & Leggett, 1988 ; Nicholls, Patashnick, & Nolen, 1985 ).
In several empirical studies, researchers have established a relationship between the salience of certain goal orientations and changes in individual behavior ( Ames, 1984 ; Elliot & Dweck, 1988 ; Heyman & Dweck, 1992 ; Schunk, 1996 ). Previous laboratory studies have created learning and performance goal conditions by manipulating the instructions provided to children regarding the tasks at hand ( Ames, 1984 ; Elliot & Dweck, 1988 ). Results from those studies indicate that children who participated in performance goal conditions, in which instructions made salient the external evaluation of skills and/or competitive goals, most often attributed their performance on tasks to ability. Those children also exhibited reactions that were characteristic of a helpless orientation, giving up easily and avoiding challenging tasks. In contrast, children exposed to learning-goal conditions, for which instructions focused on improving individual performance and further developing skills, typically attributed their performance to effort. Those children demonstrated mastery-oriented responses toward tasks by interpreting failures as opportunities to acquire information about how to alter their responses in order to increase their competence.
Schunk (1996)conducted a study in a classroom setting to investigate the infl uence of achievement goal orientation on the acquisition of fractions ( Schunk, 1996 ). Similar to the laboratory studies, learning and performance goal conditions were established through a distinction in teacher instructions. Results indicated that students in the learning-goal condition had higher motivation and achievement outcomes than did students in the performance-goal condition. The results of that study suggested that varying goal instruction within the classroom can infl uence students’ goal perceptions and achievement-related behavior on academic tasks.
Given that achievement goal orientation is an important predictor of student outcomes in educational settings, researchers must attend to the classroom environment variables that are necessary so that children orient toward a learning-goal orientation versus a performance-goal orientation (Church, Elliot, & Gable, 2001 ). Researchers have suggested that such variables as the instructional and management practices that teachers use can infl uence the type of achievement goals that students set ( Ames & Ames, 1981 ; Kaplan & Maehr, 1999 ; Meece, 1991 ). One major element of instructional and management practices within a classroom is the structure of classroom evaluation that teachers use in their daily practices. A focus on the type of evaluation, that is, striving for personal improvement or performing to attain a teacher’s goal for external reward may be related to students’ goal orientation ( Ames, 1992c ).
Typical evaluation in elementary classrooms compares students against a normative standard, such as that required to pass a course or to receive a reward within a token economy system (Brophy, 1983 ). Token economy systems provide students with tangible reinforcers and external incentives for meeting normative standards. Although token economy programs have received empirical support for improving student behavior and academic responding in a variety of school subjects, this classroom structure can have paradoxical and detrimental effects when applied with no regard for the varying degrees of students’ capabilities ( Lepper & Hodell, 1989 ). For instance, a student who has a learning disability in mathematics will not be motivated by the same amount of tokens to complete mathematics assignments as other students in the same classroom who have average abilities in this subject. In addition. the type of evaluative structure that stems from a token economy tends to increase the perceived importance of ability and public performance in the classroom, which makes performance-goal orientation salient to students ( Ames, 1992c ).
To promote a learning-goal orientation, Ames (1992c)suggested a type of classroom structure in which student evaluation is based on personal improvement and progress toward individual goals. The use of contingency contracts as an evaluative tool likely would place emphasis on these variables. Contingency contracting creates an agreement for learning and performing between a student and teacher. Success is based solely on each student’s individual performance, according to the goal that he or she sets ( Piggott & Heggie, 1986 ). Contracting allows each student to consider his or her unique needs and competencies when setting goals and places responsibility for learning and performing on the student ( Kurvnick, 1993 ). The use of contingency contracting has been an effective intervention for improving students’ academic behavior in a variety of academic subjects (Murphy, 1988 ). It encourages students to become active participants in their learning with a focus on effortful strategies and a pattern of motivational processes that are associated with adaptive and desirable achievement behaviors ( Ames, 1992c ). One question that remains, however, is whether an intervention such as contingency contracting will lead to an increase in learning goals relative to performance goals. In this study, we addressed that question.
We manipulated classroom structures to assess the effects on student goal orientation. Each intact classroom was assigned randomly to either a token-economy classroom structure, contingencycontract classroom structure, or a control classroom structure. We assessed student goal orientation by comparing the number of learning and performance goals that students set according to the classroom-structure condition. On the basis of previous research, we hypothesized that the type of classroom structure would be linked directly to the achievement goals that students set. Our prediction was as follows: (a) The token-economy classroom structure would be related positively to student performance-goal orientation, (b) the contingency contract classroom structure would be related positively to student learning-goal orientation, and (c) the control classroom structure would be unrelated to student goal orientation.

Method
Participants
Students from three classrooms at a local elementary school participated in this study. Participants included 2 fi fth-grade classes and 1 fourth-grade class. Each of the three intact classrooms was randomly assigned to one of the three classroom evaluation structure conditions. Twenty-fi ve 5thgrade students were assigned to the token economy condition, 18 fourth-grade students to the contingency contract condition, and 28 fi fth-grade students to the control condition.

Materials
Materials varied according to the classroom evaluation structure condition. The conditions are described in the following paragraphs.
Token economy. Students in this condition were given a contract that (a) described explicitly how tokens were earned and distributed and (b) listed the back-up reinforcers for which tokens could be exchanged. Students received a contract folder so that the contract could be kept at their desk at all times. Students also received a goals chart that was divided into two sections: token economy goals and individual goals. The token economy goals section listed the student behaviors that could earn tokens and the amount of tokens that each behavior was worth. The individual goals section allowed students to list weekly goals and long-term goals for mathematics. Other materials used for this condition included tokens, which were in the form of play dollars, and back-up reinforcers such as candy, pens, keychains, and computer time cards.
Contingency contract. Students in this condition were given a contingency contract that described the weekly process of meeting with the researcher to set and discuss mathematics goals. Students received a contract folder so that the contract could be kept at their desk at all times. Participants also received a goals chart in which they listed weekly and long-term goals for mathematics. Gold star stickers on the goals chart signifi ed when a goal was met.
Control. Students in this condition received a goals chart identical to the one described in the contingency contract condition. No other materials were used in this condition.
Design
In the analysis in this study, we examined the effect of classroom evaluation structure on students’ achievement goals. The independent variable in the analysis was classroom structure, which consisted of three levels: token economy, contingency contract, and control. The dependent variable was goal type (performance or learning goals) that students set for mathematics. We used a twoway analysis of variance (ANOVA) to analyze the data.

Procedure
Each of three intact classrooms was assigned randomly to one of three classroom evaluation structure conditions: token economy, contingency contract, or control. We applied those classroom evaluation structure conditions to mathematics. The mathematics instruction in each classroom was on grade level. Throughout the study, teachers in the participating classrooms continued to evaluate their students with a traditional grading system that included graded evaluation of mathematics classwork, homework, and weekly tests.
Student participants in each classroom structure condition completed a mathematics goal chart each week during a one-on-one meeting with the fi rst author. The author assessed goals by defi ning them as performance goals or learning goals, according to Dweck’s (1986)defi nitions. Further procedures were specifi c to the classroom structure condition. The treatments are described in the following paragraphs.
Token economy. The fi rst author gave a contract to the students, which she discussed individually with each of them. When the student demonstrated an understanding of the terms of the contract, the student and author signed the contract. Reinforcement procedures were written in the contract and explained verbally by the author, as follows:
For the next six weeks you can earn school dollars for completing your math assignments and/or for making A’s or B’s on math assignments. For each assignment you complete, you will earn two school dollars. For every A or B you make on a math assignment, your will earn four school dollars. At the end of the fi ve weeks, if you have an A or B average in math and/or have turned in all your math assignments, you will earn ten school dollars. These are the only behaviors for which you can earn school dollars. Your teacher will pay you the dollars you earn on a daily basis following math class.
Tokens were exchanged on a weekly basis when students met with the author. The process was explained to students as follows: “Once a week you can exchange your school dollars for computer time, pens, markers, keychains, notepads, or candy. You must earn at least ten school dollars in order to purchase an item.”
A goals chart also was provided for the students in the token economy condition. At the top of the goals chart, target behaviors that could earn tokens were identifi ed. Beneath the token economy goals, a section was provided in which students could write their own mathematics goals. During the weekly meeting time that students met with the author, they (a) traded tokens for backup reinforcers, (b) received reminders of the target behaviors that could earn tokens, and (c) wrote individual mathematics goals on the goals chart.
Contingency contract. Students who participated in this condition received a folder with a contract provided by the author. The terms of the contract were presented verbally by the author, as follows:
Each week we will meet so that you can set goals for math. You will be allowed to set weekly goals and long-term goals. When we meet we will look over the goals you set for the previous week. We will identify the goals you have met and place a gold star beside them on your goals chart form. We will discuss the goals you did not meet and you can decide whether to set those goals again or set new ones.
Contracts were discussed individually with each student, and once the student demonstrated an understanding for the terms of the contract, the student and the author signed the contract.
Students in the contingency contract condition received a goals chart, which was divided into sections according to the week of the study. Below the weekly sections, a long-term goals section was provided. During the weekly meeting time, the previous week’s goals were reviewed. Students received gold stars and positive verbal feedback, contingent on effort when they met a particular goal. Students then set weekly and long-term mathematics goals for the upcoming week.

Control. Students in this condition received an individual goals chart identical to the one used in the contingency contract condition. The author met one-on-one with students on a weekly basis so they could write short-term and long-term goals for mathematics on their goals chart. The students did not discuss their goals with the author. Furthermore, the students did not receive verbal feedback or external rewards for achieving their goals from the teacher or author. Thus, this condition simply served as a control for goal setting and time spent with the author.
Results
We computed an ANOVA by using a two-factor mixed design (classroom structure by goal type) to determine the frequency of learning and performance goals set according to classroom structure condition. Table 1 shows the cell means for learning and performance goals that students set as a function of classroom structure. Results indicated a signifi cant main effect for classroom structure, F (2, 67) = 36.70, p 6.0001, as well as a signifi cant classroom structure-by-goals interaction, F(2, 67) = 31.35, p 6.0001.
We computed a Tukey post hoc test to determine the signifi cant differences between classroom structure-by-goals on the ANOVA. A summary of post hoc results are shown in Table 2. In our post hoc analysis, we concluded that students in the contingency contract condition set signifi cantly more learning goals than did students in the other conditions. Students in the control condition set signifi cantly more learning goals than did students in the token-economy group. There were no signifi cant differences between the numbers of performance goals that students set according to classroom structure conditions.
Within the contingency contract group, students set signifi cantly more learning goals than performance goals. In the control group, there were no signifi cant differences between the number of learning and performance goals that students set. In the token-economy group, students set signifi - cantly more performance goals than learning goals.
Discussion
Results from the goal analyses indicated signifi cant differences within and across classroom structure conditions. Those results were consistent with the theoretical relationship predicted by Ames (1992c) and the hypothesis in this study that the type of classroom evaluation structure would infl uence student goal orientation. Students who were in the contingency-contract condition set signifi cantly more learning goals than performance goals and signifi cantly more learning goals than did students in the other classroom structure conditions. Students in the token-economy condition set signifi cantly more performance goals than learning goals. There were no signifi cant differences within the control classroom for the number of learning versus performance goals that students set. However, students in that classroom did set signifi cantly more learning goals than did students in the token-economy condition. There were no signifi cant differences for the amount of performance goals that students set across classroom-structure conditions.
Our results support the idea that a contingency contract classroom structure, in which students were evaluated individually and allowed to determine their own achievement goals, let students to adopt a learning-goal orientation versus a performance-goal orientation. In this classroom structure, student evaluation was focused on individual gains, improvement, and progress. Success was measured by whether students met their individual goals, which creates an environment in which failure is not a threat. If goals were met, then students could derive personal pride and satisfaction from the efforts that they placed toward the goals. If goals were not met, then students could reassess the goal, make the changes needed, or eliminate the goal. A classroom structure that promotes a learninggoal orientation for students has the potential to enhance the quality of students’ involvement in learning, increase the likelihood that students will opt for and persevere in learning and challenging activities, and increase the confi dence they have in themselves as learners ( Ames, 1992b ).
In contrast, students in the token-economy classroom structure were rewarded for meeting normative standards and tended to adopt a performance-goal orientation. That is an important fi nding because token economies have been successful in changing students behavior in classrooms, so teachers may implement this intervention without concern for the special needs of students (McLaughlin, 1981 ). Students are not motivated by the same amount of tokens for given assignments because of individual differences. Students with lower abilities will likely become frustrated and helpless. According to Boggiano & Katz (1991) , children in that type of learning environment typically prefer less challenging activities, work to please the teacher and earn good grades, and depend on others to evaluate their work. As a result, the token-economy classroom evaluation structure makes ability a highly salient dimension of the learning environment and discourages students from setting goals that involve learning and effort.
The number of performance goals that students set did not differ across classroom structure conditions. Students in the contingency-contract and control conditions set similar numbers of performance goals as compared with those in the token-economy condition. That result likely occurred because throughout the study teachers continued to evaluate all students on their schoolwork with a traditional grading system. It would have been ideal if a nontraditional, individually based evaluative system could have been implemented in the contingency-contract condition to assess whether this would have altered the results.
There were limitations to this study. One limitation was that it did not control for teacher expectancies and how these may have infl uenced students’ goal setting. Another potential limitation was that mathematics was the only subject area used for this study. Further studies should include additional academic areas, such as social studies, humanities, and science to investigate whether similar results will ensue.
This study provides strong evidence that the classroom evaluation structure can infl uence student achievement goal orientation. Specifi cally, we demonstrated that in a classroom structure that emphasizes the importance of individual goals and effort, learning goals become more salient to students. That result can lead to many positive effects on elementary student’s learning strategies, self-conceptions of ability and competence, and task motivation ( Smiley & Dweck, 1994 ). Students’ achievement goal orientation obviously is not contingent on any one variable, but it is comprised of the comprehensive relationship between classroom processes and student experiences. Understanding the infl uence of classroom evaluation structure on student goal orientation provides a foundation for further research of other potentially related variables.



TÜRKÇESİ

Deneysel bir tasarım, nicel araştırma yürütmede geleneksel yaklaşımdır. Bu bölüm, deneysel araştırmayı tanımlar, ne zaman kullandığınızı tanımlar, temel özelliklerini değerlendirir ve bu tasarımın yürütülmesi ve değerlendirilmesindeki basamakları ilerletir. Bu bölümün sonunda şunları yapabilmeniz gerekir:
exper Deneysel araştırmayı tanımlayın ve ne zaman kullanacağınızı ve nasıl geliştiğini açıklayın.
◆ Deneylerin temel özelliklerini tanımlayın.
Designs Deneysel tasarım türlerini belirtiniz.
Research Deneysel araştırmalarda olası etik sorunları tanır.
Conduc Deney yapmadaki adımları tanımlayın.
Study Deneysel bir çalışmanın kalitesini değerlendirin.

  Maria bir deney yapmaya karar verir. “Lisedeki silahların tehlikeleri hakkında sınıf içi talimat alan öğrenciler, silahlara yönelik tehlikeler hakkında talimat almayan öğrencilere göre farklı tutumlara sahip midir?” Denemesine katılmak için iki sağlık sınıfı kullanarak, Bir sınıfa standart sağlık müfredatı, diğer sınıfa standart müfredat ve gençler arasında silah tehlikeleri hakkında bir dizi ders veriyor. Dönem sonunda okullardaki silahlara yönelik tutumları ölçen bir anket düzenler. Maria, müfredatı deneyimleyen öğrencilerin yanı sıra silahların tehlikeleri ile ilgili sınıfları, standart sağlık müfredatına sahip olan öğrencilerden daha okullarda silahlara karşı daha olumsuz buluyor.

DENEY NEDİR, NE KULLANMALIDIR, NASIL GELİŞTİRMELİDİR? Bir deneyde, bir sonucu mu yoksa bağımlı bir değişkeni mi etkilediğini belirlemek için bir fikri (veya uygulamayı veya prosedürü) test edersiniz. İlk önce “denemek” için bir fikre karar verdiniz, bireyleri deneyimlemeye (ve bazı bireylerin farklı şeyler deneyimlemelerine) karar verin ve ardından fikri deneyimleyenlerin (veya uygulama veya prosedürün) bazı sonuçlarda daha iyi performans gösterip göstermediğini belirleyin. Bunu yaşamamış olanlar. Maria'nın deneyinde, özel sağlık müfredatının öğrencilerin okullardaki silahlara yönelik tutumlarını değiştirip değiştirmediğini test etti. Deneyi Ne Zaman Kullanıyorsunuz? Bağımsız ve bağımlı değişkenleriniz arasında olası sebep ve sonuç oluşturmak istediğinizde bir deney kullanırsınız. Bu, bağımsız değişken hariç sonucu etkileyen tüm değişkenleri kontrol etmeye çalıştığınız anlamına gelir. Ardından, bağımsız değişken bağımlı değişkeni etkilediğinde, bağımsız değişkenin bağımlı değişkene "neden" veya "muhtemelen neden" olduğunu söyleyebiliriz. Deneyler kontrol edildiğinden, muhtemel sebep-sonuç oluşturmak için kullanılacak nicel tasarımların en iyileridir. Örneğin, bir konferans yaşayan bir grubu ve tartışma yaşayan başka bir grubu karşılaştırırsanız, “sınavda yüksek puanların” sonucunu etkileyebilecek tüm faktörleri kontrol edersiniz. Kişisel yeteneklerin ve test koşullarının doğru olduğundan emin olursunuz. Her iki grup için de aynı, her iki gruba da aynı soruları veriyorsunuz. Öğretim türlerindeki (ders veya tartışma) fark dışında, sonucu etkileyebilecek tüm değişkenleri kontrol edersiniz. Bu derse karşı tartışma örneğinde olduğu gibi, çalışacak iki veya daha fazla grubunuz olduğunda da bir deneme kullanırsınız. Deneyler Ne Zaman Gelişmiştir? Deneysel araştırmalar 19. yüzyılın sonlarında ve 20. yüzyılın başlarında psikolojik deneylerle başladı. 1903'te Schuyler deney ve kontrol gruplarını kullandı ve kullanımı o kadar yaygınlaştı ki, onlar için bir gerekçe sağlama ihtiyacı duymadı. Daha sonra 1916'da McCall bireyleri rastgele gruplara atama fikrini geliştirdi (Campbell ve Stanley, 1963). 1925'te Büyük Bir Kitap Yazma, Bir Deneme Nasıl Yapılır, McCall sıkı bir şekilde grupları karşılaştırma prosedürünü oluşturdu. Ayrıca, 1936’ya kadar, Fisher'ın Araştırma Çalışanları için İstatistiksel Yöntemler kitabı psikoloji ve tarım deneylerinde faydalı olan istatistiksel prosedürleri tartıştı. Bu kitapta, Fisher, bir deneye başlamadan önce bireyleri rastgele gruplara atama kavramını geliştirmiştir. Şu andaki istatistiksel prosedürlerdeki diğer gelişmeler (örneğin, ki kare değer ve kritik değerlerin iyiliği) ve farklılıkların anlamlı göstergelerinin test edilmesi (örneğin, Fisher'in 1935 Denemelerin Tasarımı) eğitimde deneysel araştırmaları arttırmıştır. 1926-1963 yılları arasında istatistik üzerine ders kitaplarından oluşan setler birçok baskıdan geçmiştir (Huberty, 1993). 1963'te Campbell ve Stanley başlıca deneysel tasarım türlerini tanımladılar. 15 farklı tip belirlediler ve her tasarımı, geçerliliği olan potansiyel tehditler açısından değerlendirdiler. Bu tasarımlar bugün hala popüler. Ardından, 1979'da Cook ve Campbell, geçerliliği tehditlerle ilgili tartışmayı genişleterek tasarım türlerini ele aldılar. 2002'ye kadar, Shadish, Cook ve Campbell, büyük deneysel tasarımlar hakkındaki tartışmaları yeniden düzenlemişti. Bu kitaplar temel tasarımları, gösterim, görsel gösterimi, tasarımlara yönelik potansiyel tehditleri ve eğitimsel deneylerin istatistiksel prosedürlerini oluşturdu.

1980'lerden bu yana deneyler, büyük ölçüde bilgisayarlar ve gelişmiş istatistiksel prosedürler nedeniyle karmaşıklık ve karmaşıklıkta büyüdü. Araştırmacılar şimdi birden fazla bağımsız ve bağımlı değişken kullanmaktadır, ikiden fazla grubu karşılaştırmakta ve tüm organizasyonlar, gruplar ve bireyler gibi farklı türde deneysel analiz birimleri çalışmaktadır (Boruch, 1998; Neuman, 2000). Usul yenilikleri deneylerdeki en son gelişmeyi temsil eder ve eğitim araştırmacısı için bir dizi “nasıl yapılır” kitabı vardır (örneğin, Bausell, 1994). Ayrıca, hassas deneyler tasarlama açısından istatistiksel prosedürleri deneysel tasarımla ilişkilendiren kitaplar (örneğin, Lipsey, 1990), deneysel çalışmalarda güçlendirme prosedürleri hakkında yeni fikirleri temsil eder.

DENEYLERİN TEMEL ÖZELLİKLERİ NELERDİR?
Bir deneyi nasıl yapacağınızı düşünmeden önce, deneysel araştırmanın merkezi olan birkaç ana fikri daha derinlemesine anlamanız yararlı olacaktır. Bu fikirler şunlardır:
◆ Rastgele ödev
◆ Yabancı değişkenler üzerinde kontrol
◆ Tedavi koşullarının manipülasyonu
◆ Sonuç önlemleri
◆ Grup karşılaştırmaları
◆ Geçerliliğe karşı tehditler
Bu tartışmayı mümkün olduğu kadar uygulamak için, bu fikirleri açıklamak için bir eğitim örneği kullanacağız. Bir araştırmacı, ergenleri sigarayı azaltma veya durdurma konusunda cesaretlendirmenin yollarını aramaya çalışır. Bir lise, okulda sigara içen bireyleri tedavi etmek için bir kurum içi programa sahiptir. Bu büyük metropol lisesinde, pek çok öğrenci sigara içiyor ve her yıl sigara içimi ihlalleri sayısız. Yakalanan öğrenciler, öğretmenin sigara içmenin sağlığa zararları üzerine özel bir ünite tanıttığı özel bir vatandaşlık dersi alır (tüm öğrencilerin vatandaşlık alması gerekir). Bu ünitede öğretmen sağlık konularını tartışır, sigara içenlerin zarar görmüş ciğerlerinin görüntülerini ve resimlerini kullanır ve öğrencilerin sigara içen olarak deneyimlerini anlatır. Bu eğitmen, bir sömestr boyunca birkaç vatandaşlık dersi veriyor ve bu deneysel durumu “sivil-sigara deneyi” olarak adlandıracağız. Rastgele Ödev Deneysel bir araştırmacı olarak, bireyleri gruplara atayacaksınız. En katı yaklaşım, bireyleri tedavilere rastgele atamaktır. Rastgele atama, bireyleri rastgele gruplara veya bir deneydeki farklı gruplara atama işlemidir. Bireylerin gruplara (veya bir grup içindeki koşullara) rastgele atanması, titiz, “doğru” bir denemeyi yeterli, ancak daha az titiz, “yarı-deney” den ayırır (bu bölümde daha sonra tartışılacaktır). Rasgele ödev kullanıyorsunuz, böylece denemedeki bireylerin kişisel özelliklerinde önyargılar gruplar arasında eşit olarak dağıtılıyor. Randomizasyon ile Sonucu etkileyebilecek katılımcıların yabancı özellikleri için kontrol sağlar (örneğin, öğrenci yeteneği, dikkat süresi, motivasyon). Bu işlem için deneysel terim, grupları “eşittir”. Grupları eşitlemek, araştırmacının bireyleri gruplara rastgele tayin ettiği ve deneyde yer alan gruplar veya koşullar arasında bireylerin herhangi bir değişkenliğini eşit olarak dağıttığı anlamına gelir. Uygulamada, katılımcıların bir deneye getirdiği kişisel faktörler hiçbir zaman tamamen kontrol edilemez - bazı önyargılar veya hatalar her zaman bir çalışmanın sonucunu etkileyecektir. Bununla birlikte, bu olası hatanın sistematik olarak gruplar arasında dağıtılmasıyla araştırmacı, önyargısını teorik olarak rastgele dağıtır. Vatandaşlık-sigara deneyimizde, Araştırmacı, okuldaki suçlu sigara içenlerin listesini alabilir ve bunları rasgele iki özel sınıf dersinden birine atayabilir. Rasgele atamaları rasgele seçim ile karıştırmamalısınız. Her ikisi de nicel araştırmada önemlidir, ancak farklı amaçlara hizmet ederler. Nicel araştırmacılar rastgele bir popülasyondan bir örnek seçerler. Bu şekilde, örneklem nüfusun temsilcisidir ve çalışma sırasında elde edilen sonuçları topluma genelleyebilirsiniz. Deneyler çoğu zaman çeşitli nedenlerle rastgele katılımcı seçimini içermemektedir. Katılımcılar genellikle deneyde yer almaya hazır olan veya katılmaya gönüllü olan bireylerdir. Her ne kadar rastgele seçim deneylerde önemli olsa da, lojistik olarak mümkün olmayabilir. Bununla birlikte, en sofistike deney türü rastgele atamayı içerir. Yurttaş-sigara deneyinde, rasgele sigara içenlerin bulunduğu nüfustan bireyleri (özellikle özel sınıflar için çok fazla varsa) rastgele seçebilirsiniz. Bununla birlikte, büyük olasılıkla, tüm suçluları özel sivil sınıflara yerleştirerek, rastgele seçim yerine rastgele görevlendirme üzerinde kontrol sahibi olursunuz. Yabancı Değişkenleri Kontrol Etme Bireyleri rastgele atayarak, yeni uygulama (örneğin, sağlık tehlikeleri üzerine tartışmalar) ile sonuç (örneğin, sigara içme sıklığı) arasındaki ilişkiyi etkileyebilecek yabancı değişkenleri kontrol ettiğimizi söylüyoruz. Dışsal faktörler, katılımcıların seçiminde, sonuçları, prosedürleri, istatistikleri veya sonucu etkileyebilecek ve sonuçları etkilediğimiz ve sonuçlarımız için beklenenden daha alternatif bir açıklama sağlayacak olası etkilerdir. Tüm deneylerde rastgele bir hata (puanların popülasyonun “gerçek” puanlarını yansıtmaz) kontrol edemezsiniz), ancak yabancı faktörleri mümkün olduğunca kontrol etmeye çalışabilirsiniz. Rastgele ödev, deney başlamadan önce araştırmacı tarafından verilen bir karardır. Deney öncesi ve sırasında kullanabileceğiniz diğer kontrol prosedürleri; ön testler, ortak değişkenler, katılımcıların eşleşmesi, homojen örnekler ve engelleme değişkenleridir. Ön Testler ve Son Testler Grupların özelliklerini “eşitlemek” için deneysel araştırmacılar bir test öncesi kullanabilirler. Özel vatandaşlık sınıfının öğrencilerin sigara içme konusundaki tutumlarını etkileyip etkilemediğiyle ilgilendiğimizi varsayalım. Bu deneyde, tedaviden önceki tutumları (yani sağlık tehlikelerini tartışarak) ve sonrasında ölçebiliriz. Tartışmanın öğrencilerin tutumları üzerinde bir etkisi olup olmadığını görmek için. Bu deneyde, öğrencilerin tutumlarını ölçmek için bir bahaneye ihtiyacımız var. Bir ön test, bir deneyden bir tedavi almadan önce katılımcılar için değerlendirdiğiniz bir nitelik veya özellik hakkında bir ölçü sağlar. Tedaviden sonra, özellik veya özellik hakkında başka bir okuma yaparsınız. Son test, bir tedaviden sonra bir deneyde katılımcılar için değerlendirilen bazı nitelik veya özelliklerin bir ölçüsüdür. Örneğimizde bu, deneysel tedaviden sonraki dönem sonunda öğrencilerin sigaraya karşı tutumlarını değerlendirmek olacaktır. Sigaraya yönelik tutumların en son test - son test karşılaştırması, gerçek sigara içme davranışı hakkında, yalnızca son test sonrasını kullanmaktan daha net bir okuma sağlayacaktır. Ön testlerin dezavantajları olduğu gibi avantajları da vardır. Yönetmek için zaman ve çaba harcarlar (örneğin, öğrencilerin dönem başında bir enstrüman doldurmaları gerekir). Ayrıca katılımcıların sonuçla ilgili beklentilerini de artırabilirler (örneğin, öğrenciler daha sonra sigara tutumlarıyla ilgili sorular bekleyebilirler ve sömestrler sonra tepkilerini yutup alabilirler). Ön test, deneysel tedaviyi etkileyebilir (örneğin, öğrenciler sigara içmeye yönelik ön testler nedeniyle tedavi hakkında sorular sorabilirler).

Tutum veya başarı testleri ön testler olarak kullanıldığında, skorlar son test puanlarını da etkileyebilir, çünkü katılımcılar test sonrasındaki deneyimlerine dayanarak son test sorularını tahmin edebilirler. Değişkenler Ön testler deneyin yönlerini etkileyebildiğinden, genellikle test sonrası puanları karşılaştırmak yerine kovaryans prosedürünü kullanarak istatistiksel olarak kontrol edilirler. Değişkenler, araştırmacının istatistik kullanımı için kontrol ettiği ve bağımlı değişkenle ilgili olduğu ancak bağımsız değişkenle ilgili olmayan değişkenlerdir. Araştırmacının, bağımlı değişkenle birlikte değişme potansiyeli olan bu değişkenleri kontrol etmesi gerekir. Genellikle, bu değişkenler bir ön testten elde edilen puanlardır, ancak bağımlı değişkenle ilişkilendirilmiş herhangi bir değişken olabilir. Kovaryans analizinin istatistiksel prosedürü, kovaryansı hesaba katacak şekilde bağımlı değişken üzerindeki skorları ayarlar. Bu prosedür, grupları eşitlemek ve bağımlı değişkeni etkileyebilecek olası etkileri kontrol etmek için başka bir yöntem haline gelir. Sivil toplum örneğimize ilişkin bir örnek, araştırmacının bağımsız ve bağımlı değişken arasındaki varyansı değerlendirmek için bir değişken ve bağımlı değişken arasındaki varyansı nasıl kaldırdığını göstermektedir. İki daire kümesini gösteren Şekil 10.1'i inceleyin. Sol taraf, değişken olmayan iki değişken, bağımsız değişken ve bağımlı değişken gösterir. Karanlık alan, talimat türüne göre sigara içme oranlarındaki değişkenliği gösterir; açıklanamayan değişkenlik (hata denir) bir hatch işareti ile gösterilir. Şekil 10.1'in sağ tarafında, ortak değişkenler sunuyoruz: sigara içen ebeveynler. Şimdi açıklanan varyansın arttığını ve toplam açıklanamayan değişkenliğin (hatanın) miktarının gerçekte azaldığını görebiliyoruz çünkü daha fazla varyansı açıklıyoruz. Sigara içen ebeveynler ile ilgili bir değişken ekleyerek araştırmacı, sigara içme oranlarında açıklanan varyans miktarını artırır ve açıklanamayan varyansı azaltır. İstatistiksel kovaryans prosedürü, eş değişken ve bağımlı değişken tarafından paylaşılan varyansı ortadan kaldırır, böylece bağımsız ve bağımlı değişken (artı hata) arasındaki varyans kalır. Bu test, araştırmacıya, hata miktarındaki bir düşüş nedeniyle tedavi ve sonuç arasındaki ilişkiyi (yani, sigara içme oranı) doğru bir şekilde değerlendirme imkanı verir. Katılımcıların Eşleştirilmesi Bir deneyde kontrol için kullanılan diğer bir prosedür, katılımcıları bir veya daha fazla kişisel özellik ile eşleştirmektir. Eşleştirme, sonucu etkileyen bir veya daha fazla kişisel özelliği belirleme ve bu özelliklere sahip bireyleri deneysel ve kontrol gruplarına eşit olarak verme sürecidir. Tipik olarak, deneysel araştırmacılar aşağıdaki özelliklerden bir veya ikisiyle eşleşir: cinsiyet, ön test puanları veya bireysel yetenekler. Örneğin, cinsiyet ve deney grubuyla eşleşen bireyleri (örneğin, 10 kız ve erkek) cinsiyete göre gösteren Şekil 10.2'yi inceleyin. Lise vatandaşlarımıza sigara içme denememize dönersek, öğrenci sigara içenleri cinsiyete dayalı olarak iki özel vatandaşlık sınıfına (bir sınıfın tedavi aldığı ve diğerinin almadığını varsayarsak) eşit olarak atayabiliriz. Bu şekilde, örneğin, erkeklerin kızlardan daha fazla sigara içebileceği konusundaki önceki bilgilerimiz, cinsiyetin sigara içme sıklığı üzerindeki potansiyel etkilerini kontrol eder. Usul olarak, bu eşleştirme işlemi birinci çocuğu kontrol grubuna, ikincisi deneysel, üçüncü çocuğu kontrol grubuna, vb. Atamak anlamına gelir. Araştırmacı bu süreci kızlar için tekrarlıyor. Bu prosedürü kullanarak, deney başlamadan önce denemede olası yabancı cinsiyet faktörünü kontrol ederiz. Homojen Örnekler Grupları karşılaştırılabilir kılmak için kullanılan bir diğer yaklaşım, kişisel özelliklerinde çok az çeşitlilik gösteren insanları seçerek homojen numuneler seçmektir. Örneğin, iki vatandaşlık sınıfındaki öğrencilerin (biri “sağlık tehlikeleri” dersini alırken, ikincisi almaz) öğrencilerin, akademik not ortalamaları, cinsiyet gibi denemeye getirdikleri özellikler bakımından benzer olduğunu varsayabiliriz. ırksal grup (örneğin, Kafkas, Afrikalı Amerikalı) veya sivil toplumda önceki yetenekler. Deneyci öğrencileri iki sınıfa atadığında, kişisel özelliklerde veya niteliklerde ne kadar benzer olursa, deneyde bu özellik veya nitelikler o kadar kontrol edilir. Örneğin, iki vatandaşlık sınıfına atanan sigara içenlerin tümü küçük olsaydı, deneyde sınıf düzeyi kontrol edilirdi. Maalesef, bu durum vatandaşlık-sigara çalışmamızda ortaya çıkması muhtemel değildir, ve araştırmacının, farklı sınıf seviyelerine ait bireyleri kontrol etmek için başka prosedürler kullanması gerekebilir. Değişkenleri Engelleme Böyle bir prosedür, deney başlamadan önce sınıf seviyesi için “engellemek” tir. Bir engelleme değişkeni, araştırmacının deney başlamadan önce katılımcıları alt gruplara (veya kategorilere) bölüp (veya “engelleme”) ve her alt grubun sonuç üzerindeki etkisini analiz ederek kontrol ettiği bir değişkendir. Değişken (örneğin cinsiyet) erkeklere ve kadınlara engellenebilir; Benzer şekilde, lise sınıf düzeyi dört kategoriye ayrılabilir: birinci sınıf öğrencileri, ikinci sınıf öğrencileri, gençler ve yaşlılar. Bu prosedürde araştırmacı, araştırmadaki tüm katılımcılar için ortak bir özellik seçerek homojen alt gruplar oluşturur (örneğin, cinsiyet veya farklı yaş kategorileri). Daha sonra araştırmacı rasgele bir şekilde değişkenin her bir kategorisini kullanarak bireyleri kontrol ve deney gruplarına atar. Örneğin, deneye katılan öğrenciler 15 ve 16 yaşlarındaysa, kontrol ve deney gruplarına eşit sayıda 15- ve 16 yaşında bir öğrenci atarsınız. Tedavi Koşullarını Yönetmek Katılımcıları seçtikten sonra, rastgele onları bir tedavi durumuna veya deney grubuna atarsınız. Deneysel tedavide araştırmacı, deney biriminin yaşadığı koşulları değiştirmeye fiziksel olarak müdahale eder (örneğin, iyi bir yazım performansı için bir ödül veya küçük grup tartışması gibi özel bir sınıf dersi türü). Lise örneğimizde, Araştırmacı, sigara içmenin sağlığa zararları üzerine faaliyetler sağlayan, özel sınıf dersinde bir talimat şeklini manipüle edecektir. Spesifik olarak, prosedür şöyle olacaktır: Bir tedavi değişkeni tanımlayın: vatandaşlık sınıfında sınıf eğitimi türü Değişkenin koşullarını (veya seviyelerini) tanımlayın: sınıf eğitimi, (a) düzenli konular veya (b) sağlıkla ilgili konular olabilir. sigara içme tehlikeleri Tedavi koşullarını değiştiriniz: sigara içmenin sağlığa zararları üzerine özel bir aktivite sununuz ve bunları başka bir sınıftan uzak tutunuz.
Bu prosedürler, nasıl çalıştığını görebilmeniz için spesifik örnekler kullanarak tartışacağımız birkaç yeni kavram sunar. Tedavi Değişkenleri Deneylerde bağımsız değişkenlere odaklanmanız gerekir. Bu değişkenler, nicel bir çalışmada bağımlı değişkenleri etkiler veya etkiler. İki ana bağımsız değişken türü tedavi ve ölçülen değişkenlerdir. Deneylerde, tedavi değişkenleri araştırmacının sonuç veya bağımlı değişken üzerindeki etkilerini belirlemek için manipüle ettiği bağımsız değişkenlerdir. Tedavi değişkenleri, kategorik ölçekler kullanılarak ölçülen kategorik değişkenlerdir. Örneğin, eğitim deneylerinde kullanılan tedaviden bağımsız değişkenler şunlar olabilir:
instruction Eğitim türü (küçük grup, büyük grup)
Group Okuma grubu türü (fonik okuyucular, tüm dil okuyucular) Koşullar Bu örneklerin her ikisinde de, her tedavi değişkeninde iki kategorimiz vardır. Deneylerde, tedavi değişkenlerinin iki veya daha fazla kategoriye veya seviyeye sahip olmaları gerekir. Bir deneyde, seviyeler bir tedavi değişkeninin kategorileridir. Örneğin, eğitim türünü (a) standart vatandaşlık dersine, (b) standart vatandaşlık dersine artı sağlık tehlikeleriyle ilgili tartışmaya ve (c) standart vatandaşlık dersine artı sağlık tehlikeleri ve hasarlı akciğerlere ilişkin tartışmalara bölebilirsiniz. Bu örnekte, üç seviyeli bir tedavi değişkenimiz var. Tedavi Koşullarına Müdahale Deneysel araştırmacı, tedavi değişken koşullarının bir veya daha fazlasını manipüle eder. Başka bir deyişle, bir deneyde, Araştırmacı fiziksel olarak bir veya daha fazla durumda müdahale eder (veya müdahaleye müdahale eder) böylece bireyler deney koşullarında kontrol koşullarından farklı bir şey yaşarlar. Bu, bir deney yapmak için bağımsız bir değişkenin en az bir koşulunu değiştirebilmeniz gerektiği anlamına gelir. Bağımsız bir değişkeni ölçebileceğiniz ve kategorik veriler elde edebileceğiniz ancak koşullardan birini kullanamayacağınız durumları tanımlamak kolaydır. Şekil 10.3'te gösterildiği gibi, araştırmacı kısaca üç bağımsız değişkeni (yaş, cinsiyet ve öğretim tipi) kabul eder, ancak yalnızca öğretim türü (daha spesifik olarak, içindeki iki koşul) manipüle edilir. Tedavi değişkeni - öğretim tipi - üç koşullu (veya seviyeli) kategorik bir değişkendir. Bazı öğrenciler ders alabilir - sınıftaki geleneksel öğretim şekli (kontrol grubu). Diğerleri, konferans artı sağlık tehlikesi tartışması (bir karşılaştırma grubu) veya konferans artı sağlık tehlikesi tartışması ve sigara ile zarar gören akciğerlerin slaytları (başka bir karşılaştırma grubu) gibi yeni bir şey alır. Özetle, deneysel araştırmacılar bir tedavi değişkeninin bir veya daha fazla koşulunu manipüle eder veya müdahale eder. Sonuç Ölçütleri Tüm deneysel durumlarda, bir tedavi koşulunun, sigara içme oranının azalması veya testlerde başarı gibi bir sonucu veya bağımlı değişkeni etkileyip etkilemediğini değerlendirirsiniz. Deneylerde, sonuç (veya yanıt, kriter veya son test), tedavi değişkeninin varsayılan etkisi olan bağımlı değişkendir. Aynı zamanda sebep-sonuç denkleminde bir hipotezde öngörülen etkidir. Deneylerde bağımlı değişkenlere örnekler olabilir:
◆ Ölçüt referanslı testte başarı puanları
◆ Yetenek sınavında başarı puanları
İyi sonuç önlemleri, en az miktarda müdahaleye yanıt verdikleri için tedavilere duyarlıdır. Sonuç ölçütlerinin (tedavi değişkenlerinin yanı sıra) de geçerli olması gerekir, böylece deneysel araştırmacılar bunlardan geçerli çıkarımlar alabilir. Grup Karşılaştırmaları Bir deneyde, bir sonuçtaki farklı tedavilerin puanlarını da karşılaştırırsınız. Bir grup karşılaştırması, bir araştırmacının, bağımlı değişkende bireyler veya gruplar için puanlar aldığı ve hem grup içindeki hem de gruplar arasındaki ortalamaları ve varyansı karşılaştıran bir süreçtir. (Bu işlem için ayrıntılı istatistiksel prosedürler için Keppel [1991] 'e bakınız.) Bu işlemi görselleştirmek için, bir hata düzeltme prosedürünün üçüncü yazım üzerindeki etkilerini belirlemeye çalışan Gettinger (1993) tarafından yapılan bir deneyden bazı gerçek verileri göz önüne alalım. sınıflar. Şekil 10.4'te gösterildiği gibi, Alıcı'nın deneyini üç şekilde görselleştiririz. Alıcı, hata düzeltme işleminin yazım doğruluğuyla pozitif olarak ilişkili olup olmadığını inceledi (Faz 1). Daha sonra üç öğrenci grubu oluşturdu: Sınıf A, Sınıf B ve Sınıf C Sınıf A (kontrol grubu) 15 kelime üzerinde düzenli olarak heceleme pratiği aldı, çalışma kitabı alıştırmaları, her kelimeyi içeren cümleler yazma ve kelimeleri kendi başına okuma . B Sınıfı (karşılaştırma grubu), bir listede daha az sayıda kelime çalışmış olmaları haricinde aynı deneyime sahipti; C sınıfı (deney grubu), kendi testlerini düzeltmek, yanlış sözcükleri not etmek ve her bir kelime için hem yanlış hem de doğru hecelemeyi yazmaktan oluşan bir hata-düzeltme pratiği prosedürü kullandı. Faz 2'de gösterildiği gibi Her üç gruba da 6 hafta boyunca aynı heceleme pratiği uygulandı, daha sonra deney grubu 6 hafta boyunca hata düzeltme prosedürü aldı ve üçüncü bir 6 hafta sonra, her üç grup da test edildi. Faz 3, her üç testte üç grup arasında yapılan istatistiksel karşılaştırmaları göstermektedir. A sınıfı hafifçe düzeldi (Test 1'deki 10.3'ten Test 3'teki 11.1'e), B sınıfı puanlar ise üç testten düştü. Deney grubu olan C sınıfı önemli ölçüde gelişti. F-testi değerleri, araştırmacı grupları karşılaştırdığında puanların Test 2 ve Test 3'te anlamlı farklılık gösterdiğini göstermiştir. Bu istatistiksel karşılaştırmalar, p <0,05 düzeyinde istatistiksel anlamlılık düzeyine ulaşmak için hem ortalama puanları hem de her grup arasındaki ve içindeki farklılıkları dikkate almıştır. Geçerliliğe Yönelik Tehditler Deneylerdeki son fikir, çizdiğiniz çıkarımların doğru veya doğru olması için tasarlanmasıdır. Bu doğru çıkarımların çizilmesine yönelik tehditlerin deneysel araştırmalarda ele alınması gerekir. Geçerliliğe yönelik tehditler, kovaryans, nedensellik yapıları veya nedensel ilişkinin kişilerde, yerleşmede, tedavilerde ve sonuçlarda varyasyonlar üzerinde olup olmadığına bağlı olarak bir deneyde çıkarım yaparken neden yanılmamamız gerektiğine ilişkin spesifik nedenlere atıfta bulunur (Shadish, Cook Ve Campbell, 2002). Tartıştıkları dört geçerlilik türü: veya nedensel ilişkinin kişilerde, yerleşmede, tedavilerde ve sonuçlarda varyasyonlar üzerinde olup olmadığı (Shadish, Cook ve Campbell, 2002). Tartıştıkları dört geçerlilik türü: veya nedensel ilişkinin kişilerde, yerleşmede, tedavilerde ve sonuçlarda varyasyonlar üzerinde olup olmadığı (Shadish, Cook ve Campbell, 2002). Tartıştıkları dört geçerlilik türü:
Pres Varsayılan bağımsız ve bağımlı değişkenlerin deneye dahil edilip edilmediğini ortaya koymak için istatistiklerin uygun kullanımını (örneğin, istatistiksel varsayımları ihlal etmek, değişkenler üzerindeki sınırlı menzili, düşük güç) ifade eden istatistiksel sonuç geçerliliği.
Truc Yapı geçerliliği, çalışmadaki yapılar (veya değişkenler) hakkındaki çıkarımların geçerliliği anlamına gelir.
And Bağımsız ve bağımlı değişkenler arasındaki sebep-sonuç ilişkisi hakkında çizilen çıkarımların geçerliliği ile ilgili iç geçerlilik.
Cause Sebep-sonuç ilişkisinin başkalarına, ortamlara, tedavi değişkenlerine ve önlemlere genelleştirilebilir olması anlamına gelen dış geçerlilik.
Geçerliliğe yönelik bu tehditler, Campbell ve Stanley (1963) tarafından yapılan ilk tartışmalardan Cook ve Campbell (1979) ve daha yakın zamanda Shadish, Cook ve Campbell (2002) tarafından kullanımlarının detaylandırılmasına kadar yıllar içinde gelişmiştir. Temel fikirler hala sağlam, ancak daha yakın tarihli tartışmalar konulara değindi. Buradaki tartışmamız, göz önünde bulundurulması gereken iki öncelikli tehdide odaklanacak: iç geçerlilik ve dış geçerlilik. İç geçerliliğe yönelik tehditler Uygun çıkarımlara yol açacak bir dizi tehdit, bir deneyde kullanılan gerçek tasarım ve prosedürlerle ilgilidir. İç geçerliliğe yönelik tehditler, değişkenliğin olup olmadığına dair doğru çıkarımlarda bulunma konusundaki problemlerdir (örn. bir değişkendeki değişkenlik, varsayılan tedavi değişkeni ile sonuç arasındaki nedensel ilişkiye neden olan diğer değişkendeki değişime katkıda bulunur (Shadish, Cook ve Campbell, 2002). Geçerliliği tehdit eden tüm tehditler arasında, bunlar en ağır olanıdır, çünkü aksi halde iyi bir deneyi tehlikeye atabilirler. İç geçerlilik ve bunlara yönelik önerilen prosedürlere yönelik aşağıdaki tehditler, deneysel tasarımlar hakkındaki literatürde geniş bir şekilde tartışılmaktadır (bakınız Cook & Campbell, 1979; Reichardt & Mark, 1998; Shadish, Cook ve Campbell, 2002; Tuckman, 1999). Her potansiyel tehdidi olabildiğince gerçekçi kılmak için, sivil-sigara deneyinin varsayımsal durumunu kullanarak onları gösteriyoruz. İlk kategori, araştırmaya katılanlara ve deneyimlerine ilişkin tehditleri ele almaktadır: Cook ve Campbell, 2002). Geçerliliği tehdit eden tüm tehditler arasında, bunlar en ağır olanıdır, çünkü aksi halde iyi bir deneyi tehlikeye atabilirler. İç geçerlilik ve bunlara yönelik önerilen prosedürlere yönelik aşağıdaki tehditler, deneysel tasarımlar hakkındaki literatürde geniş bir şekilde tartışılmaktadır (bakınız Cook & Campbell, 1979; Reichardt & Mark, 1998; Shadish, Cook ve Campbell, 2002; Tuckman, 1999). Her potansiyel tehdidi olabildiğince gerçekçi kılmak için, sivil-sigara deneyinin varsayımsal durumunu kullanarak onları gösteriyoruz. İlk kategori, araştırmaya katılanlara ve deneyimlerine ilişkin tehditleri ele almaktadır: Cook ve Campbell, 2002). Geçerliliği tehdit eden tüm tehditler arasında, bunlar en ağır olanıdır, çünkü aksi halde iyi bir deneyi tehlikeye atabilirler. İç geçerlilik ve bunlara yönelik önerilen prosedürlere yönelik aşağıdaki tehditler, deneysel tasarımlar hakkındaki literatürde geniş bir şekilde tartışılmaktadır (bakınız Cook & Campbell, 1979; Reichardt & Mark, 1998; Shadish, Cook ve Campbell, 2002; Tuckman, 1999). Her potansiyel tehdidi olabildiğince gerçekçi kılmak için, sivil-sigara deneyinin varsayımsal durumunu kullanarak onları gösteriyoruz. İlk kategori, araştırmaya katılanlara ve deneyimlerine ilişkin tehditleri ele almaktadır: İç geçerlilik ve bunlara yönelik önerilen prosedürlere yönelik aşağıdaki tehditler, deneysel tasarımlar hakkındaki literatürde geniş bir şekilde tartışılmaktadır (bakınız Cook & Campbell, 1979; Reichardt & Mark, 1998; Shadish, Cook ve Campbell, 2002; Tuckman, 1999). Her potansiyel tehdidi olabildiğince gerçekçi kılmak için, sivil-sigara deneyinin varsayımsal durumunu kullanarak onları gösteriyoruz. İlk kategori, araştırmaya katılanlara ve deneyimlerine ilişkin tehditleri ele almaktadır: İç geçerlilik ve bunlara yönelik önerilen prosedürlere yönelik aşağıdaki tehditler, deneysel tasarımlar hakkındaki literatürde geniş bir şekilde tartışılmaktadır (bakınız Cook & Campbell, 1979; Reichardt & Mark, 1998; Shadish, Cook ve Campbell, 2002; Tuckman, 1999). Her potansiyel tehdidi olabildiğince gerçekçi kılmak için, sivil-sigara deneyinin varsayımsal durumunu kullanarak onları gösteriyoruz. İlk kategori, araştırmaya katılanlara ve deneyimlerine ilişkin tehditleri ele almaktadır: Bunları sivil-sigara deneyinin varsayımsal durumunu kullanarak gösteririz. İlk kategori, araştırmaya katılanlara ve deneyimlerine ilişkin tehditleri ele almaktadır: Bunları sivil-sigara deneyinin varsayımsal durumunu kullanarak gösteririz. İlk kategori, araştırmaya katılanlara ve deneyimlerine ilişkin tehditleri ele almaktadır:

◆ Tarih: Zaman, deneyin başlangıcı ile bitişi arasında geçer ve sonucu etkileyen ön test ile son test arasında olaylar oluşabilir (örneğin, tedavi dersinin yanı sıra sigaranın tehlikeleri hakkında ek tartışmalar). Eğitimsel deneylerde, sıkı bir şekilde kontrol edilen bir ortama sahip olmak ve tüm olayları izlemek mümkün değildir. Bununla birlikte, araştırmacı kontrol ve deney gruplarının deney boyunca aynı faaliyetleri (tedavi hariç) deneyimlemesini sağlayabilir.
Uration Olgunlaşma: Bireyler deney sırasında gelişir veya değişir (yani yaşlanır, daha akıllı, daha güçlü ve daha deneyimli) ve bu değişiklikler ön test ile son test arasındaki puanlarını etkileyebilir. Hem kontrol hem de deney grupları için benzer şekilde olgunlaşan veya gelişen (örneğin aynı sınıf seviyesindeki bireyler) katılımcıların dikkatlice seçilmesi bu soruna karşı korunmaya yardımcı olur.
Ression Regresyon: Araştırmacılar, aşırı puanlara dayanan bir grup için bireyleri seçtikleri zaman, son testte, tedaviye bakılmaksızın en erken test öncesi testten daha iyi (veya daha kötü) yapacaktır. Bireylerden gelen puanlar, zaman içinde ortalamaya doğru geriler. Örneğin, bir deney için ağır sigara içicilerin seçimi muhtemelen tedaviden sonra daha düşük sigara içme oranlarına katkıda bulunacaktır çünkü seçilen gençler deneyin başında yüksek oranlarla başlamıştır. Karakter girme konusunda aşırı puanları olmayan bireylerin (örneğin ılımlı sigara içenler veya ön testlerden alınan ortalama puanlar) seçimi bu sorunun çözülmesine yardımcı olabilir.

◆ Seçim: “İnsan faktörleri”, deney grubu için daha parlak, bir tedaviye daha açık veya bir tedaviye aşina (örneğin, genç sigara içenler) aşina olan bireyleri seçmek gibi sonucu doğuran tehditler ortaya çıkarabilir. Rastgele seçim kısmen bu tehdidi ele alabilir.

◆ Ölümlülük: Deneme sırasında bireyler herhangi bir sebepten dolayı (örneğin, zaman, ilgi, para, arkadaşlar, sigara içme konusunda bir deneye katılmalarını istemeyen ebeveynler) bıraktıklarında, puanlardan sonuç çıkarmak zor olabilir. Araştırmacıların büyük bir örneklem seçmeleri ve sonuç ölçütünde deneyde kalanlarla karşılaştırmayı bırakmaları gerekir.
 Selection Seçimle etkileşimler: Şimdiye kadar sözü geçen tehditlerin birçoğu, bir deneye ek tehditler eklemek için katılımcıların seçimi ile etkileşime girebilir (veya ilgili olabilir). Seçilen bireyler farklı oranlarda olgunlaşabilir (örneğin, 16 yaşındaki erkekler ve kızlar çalışma sırasında farklı oranlarda olgunlaşabilir). Tarihsel olaylar seçim ile etkileşime girebilir çünkü farklı gruplardaki bireyler farklı ortamlardan gelmektedir. Örneğin, gençlerin sigara içme deneyindeki öğrencilerin çok farklı sosyoekonomik geçmişleri, öğrenci katılımcılarının seçimine kontrolsüz tarihsel faktörler getirebilir. Katılımcıların seçimi, özellikle farklı gruplar, aralıkları eşit olmayan bir testte farklı ortalama konumlarda puan aldıklarında da enstrüman puanlarını etkileyebilir. Sigara sayısını ölçmek için kullanılan ölçek belirsiz ise (örneğin, haftada veya günlük sigara sayısı?), Grupların ölçeği farklı yorumlamaları olasıdır. Bir sonraki kategori, çalışmada kullanılan tedavilerle ilgili tehditleri ele almaktadır:
Treatments Tedavilerin yayılması: Deney ve kontrol grupları birbirleriyle iletişim kurabildiklerinde, kontrol grubu deney grubu bilgilerinden tedavi hakkında bilgi alabilir ve iç geçerliliğe tehdit oluşturabilir. Kontrol ve deney grupları için tedavilerin difüzyonunun (deneysel ve deneysel olmayan) farklı olması gerekir. Deneysel araştırmacıların mümkün olduğu kadar denemede iki grubu ayrı tutmaları gerekir (örneğin, denemeye iki farklı sivil sınıfın katılması gerekir). Bu, örneğin, aynı lisede aynı sınıftaki iki sivil öğrenci sınıfının, gençlerin sigara içmesi ile ilgili bir deneye katılması zor olabilir.
En Telafi edici eşitleme: Sadece deney grubu tedavi gördüğü zaman, çalışmanın geçerliliğini tehdit edebilecek bir eşitsizlik vardır. Deneysel tedavinin faydalarının (yani arzu edildiğine inanılan mal veya hizmetlerin), çalışmadaki gruplar arasında eşit olarak dağıtılması gerekir. Bu sorunu gidermek için, araştırmacılar karşılaştırma grupları kullanır (örneğin, bir grup sağlık tehlikesi dersi alırken, diğer grup gençlerin sigara kullanımıyla ilgili sorunları öğrenir), böylece tüm gruplar bir deney sırasında bazı faydalar elde eder.
En Telafi edici rekabet: Kontrol ve deneysel gruplara atamaları halka açık bir şekilde duyurursanız, telafi edici rekabet gruplar arasında gelişebilir, çünkü kontrol grubu bunun “yetersiz” olduğunu düşünür. Araştırmacılar bu tehdidi önlemek için farkındalığı azaltmaya çalışabilirler ve Deneysel tedavinin varsayılan faydalarından beklentileri.
Ent Kalıcı demoralizasyon: Bir kontrol grubu kullanıldığında, bu gruptaki bireyler, diğer gruplardan daha az arzu edilen bir tedavi gördüklerini algıladıkları için kırgın ve demoralize edilebilir. Bu tehdidin bir çözümü, deneysel araştırmacıların, deney sona erdikten sonra bu gruba bir tedavi sağlamalarıdır (örneğin, deneyden sonra, tüm sınıflar sigara içmenin sağlığa zararları üzerine bir ders alırlar). Araştırmacılar ayrıca deneysel tedaviye eşit derecede çekici hizmetler sunabilir ancak bu tedaviyle aynı sonuca yönelik değildir (örneğin, arkadaşlarla genç sürüşün tehlikeleri hakkında yapılan bir sınıf tartışması). Aşağıdaki kategori, genellikle bir deney sırasında ortaya çıkan tehditleri ele alır ve çalışmanın prosedürleriyle ilgilidir:

◆ Test: İç geçerliliğe karşı muhtemel bir tehdit, katılımcıların sonuç önlemlerine aşina olmaları ve daha sonraki testler için verilen yanıtları hatırlamaları olabilir. Bazı deneyler sırasında, sonuç, ön testlerde olduğu gibi (örneğin, içilen sigara sayısının tekrarlanan ölçümleri gibi), bir kereden fazla ölçülür. Bu durumu düzeltmek için, deneysel araştırmacılar sonucu daha az ölçmekte ve son testte kullanılanlardan daha son testte farklı kalemler kullanmaktadır.
Um Enstrümantasyon: Test öncesi ve test sonrası arasında, cihaz değişebilir ve deneyin içsel geçerliliği için potansiyel bir tehdit oluşturur. Örneğin, gözlemciler bir test öncesi ve son test arasındaki zaman içinde daha deneyimli olabilir ve puanlama prosedürlerini değiştirebilirler (örneğin, gözlemciler gençlerin sigara içmesini gözlemlemek için yer değiştirir). Daha az sıklıkla, ölçüm cihazı değişebilir, böylece bir ön test ve son test testinde kullanılan ölçekler birbirine benzemez. Bu potansiyel sorunu düzeltmek için, deney boyunca aynı gözlemsel ölçekleri veya aracı kullanmak üzere prosedürleri standartlaştırdınız. Dış geçerliliğe yönelik tehditler Dış etkenleri dışlamak ve tedavinin bir sonuç verdiğini varsayarak, araştırmacılar sonuçların genelleştirilebilirliği hakkında iddialarda bulunurlar. Dış geçerliliğe yönelik tehditler, örnek verilerden diğerlerine, ortamlara, tedavi değişkenlerine ve önlemlere doğru çıkarımlar yapma yeteneğimizi tehdit eden sorunlardır. Cook ve Campbell'e (1979) göre, bu genelleştirilebilirliği üç tehdit etkileyebilir:
Seçim ve muamele etkileşimi: Bu dış geçerlilik tehdidi, diğer ırk, sosyal, coğrafi, yaş, cinsiyet veya kişilik grupları gibi deneydeki grupların ötesine genellenememeyi içerir. Genelleştirilebilirliği artırmak için kullandığı strateji araştırmacılarından biri, denemeye katılımı bir popülasyondaki tüm bireyler için mümkün olduğunca elverişli kılmaktır.
Setting Ayar ve işlem etkileşimi: Dış geçerlilik tehdidi, deneyin başka bir ortama gerçekleştiği ortamdan genelleştirilememesinden kaynaklanır. Örneğin, özel liseler, devlet liselerinden farklı olabilir ve sigara konusunda vatandaşlık deneyimizden elde edilen sonuçlar, araştırmacının deneyi yürüttüğü devlet lisesi dışında geçerli olmayabilir. Bu tehdit ayrıca bir kuruluştaki bir düzeyden diğerine sonuçları genelleştirmeye çalışmaktan da kaynaklanabilir. Örneğin, tüm okul bölgelerini inceleyerek elde ettiğiniz tedavi etkilerini, belirli liselere kadar genelleştiremezsiniz. Yerleşim ve tedavi etkileşiminin pratik çözümü araştırmacının, her yerleşme türü için bir işlemin etkisini analiz etmesidir.
And Tarih ve muamele etkileşimi: Bu dış geçerlilik tehdidi araştırmacıları geçmiş ve gelecekteki durumlara genelleştirmeye çalıştığında gelişir. Deneyler özel bir zamanda (örneğin, okul yılının başında) yapılabilir ve daha önce yapılırsa benzer sonuçlar veremez (örneğin, yaz aylarında okula devam eden öğrenciler normal yıl boyunca okula devam eden öğrencilerden farklı olabilir) veya sonra (örneğin, yarıyıl tatili sırasında). Bir çözüm, sonuçları başka zamanlara yaymak yerine, çalışmayı daha sonra kopyalamaktır. Sivil toplum - sigara deneyimizde, araştırmacının sonuçları diğer liselere, sivil sınıflardaki diğer öğrencilere ve sigara içmenin tehlikeleri ile ilgili tartışmaların yapıldığı diğer durumlara genelleme konusunda dikkatli olmalıdır. Sigara içen ergenlerin davranışları, sigara maliyeti, ebeveynlerin onaylamaması ve reklamla ilgili faktörler nedeniyle değişebilir. Bu faktörler nedeniyle, vatandaşlık deneyimizden elde edilen sonuçları diğer durumlara genellemek zordur.

DENEYSEL TASARIM TÜRLERİ NELERDİR?
Tüm deneyler ortak özelliklere sahip olsa da, kullanımları ve uygulamaları kullanılan tasarımın türüne bağlı olarak değişir. Eğitim araştırmalarında bulacağınız en yaygın tasarımlar şunlardır:
Group Grup Tasarımları Arasında
• Gerçek deneyler (yalnızca en son ve en son, en son test sonrası)
• Yarı deneyler (yalnızca en son ve en son test sonrası)
• Faktörel tasarımlar designs
Grup İçinde veya Bireysel Tasarımlar
• Zaman serisi deneyleri (kesintili, eşdeğeri)
• Tekrarlanan ölçümler deneyleri
• Tek denekli deneyler
Bu tür tasarımları ve bunların temel özelliklerini tanımlayabilmek, çalışmanız için uygun bir tasarım seçmenize yardımcı olacak veya yayınlanan bir çalışmada kullanılan deneysel tasarımın düşünceli bir değerlendirmesine izin verecektir. Deneysel tasarım türleri arasında ayrım yapmak için temel bir kriter kümesi Tablo 10.1'de gösterilmektedir. Tasarımların her birini tartıştığımız gibi, aralarında ayrım yapmanıza yardımcı olmak için bu kriterleri göz önünde bulundurun. Tasarımlar, Tablo 10.1'deki ilk sütunda gösterildiği gibi çeşitli özelliklere göre farklılık gösterir:
participants Katılımcıların gruplara rastgele atanması
◆ Karşılaştırılan grup veya kişi
sayısı
◆ Araştırmacı tarafından kullanılan müdahalelerin sayısı
◆ bağımlı değişken ölçülür veya gözlenir
Variables Dış değişkenlerin kontrolü İlerleyen sayfalarda tartışılan her tasarım için, tasarımın ana özellikleri ile avantaj ve dezavantajları tanıtılacaktır. Dezavantajları arasında potansiyel olarak iç geçerliliği olan tehdit - zaten tanıtılmış bir fikir - ancak şimdi her bir tasarımla spesifik olarak ilgili. Tablo 10.2, her tasarım için iç geçerlilik tehditlerinin bir özetini sunmaktadır.
Unutma ki Maria, denemesi için iki sağlık sınıfı okudu. Bir sınıfa standart sağlık müfredatını verdi ve diğer sınıfa standart müfredatı ve gençler arasında silah tehlikeleri hakkında bir dizi ders verdi. Ne tür deneysel tasarım kullanmalı? Maria, deneyinde iki sağlam sınıf kullandığından, rastgele ödev vermeden gruplararası bir tasarıma (bir quasieximent) sahiptir. Gruplar arası bir tasarım hakkındaki tartışmayı okuduğunuzda, bu aynı karara nasıl varacağınızı görün. Grup İçi Tasarımlar Eğitimde en sık kullanılan tasarımlar, araştırmacının iki veya daha fazla grubu karşılaştırdığı tasarımlardır. Bu bölümdeki çizimler, bu tasarımların önemini vurgulamaktadır. Eğitim araştırmacısı için gerçek deney olan en güçlü grup arası tasarım ile başlayacağız. Gerçek Deneyler Gerçek deneyler, grupları rastgele ödevlerle eşitlemeleri nedeniyle en titiz ve güçlü deneysel tasarımları içerir. Gerçek deneyler ve yarı deneylerin başlıca formlarını yürütme prosedürü, deney başından sonuna kadar faaliyetler açısından bunları inceleyen prosedür, Tablo 10.3'te gösterilmektedir. Gerçek deneylerde, araştırmacı rastgele katılımcıları deney değişkeninin farklı koşullarına atar. Deney grubundaki bireyler deneysel tedavi alırken, kontrol grubundakiler almaz. Araştırmacılar tedaviyi uyguladıktan sonra, en sonda ortalama (veya ortalama) puanları derler. Bu tasarımdaki bir değişiklik, en son testlerin yanı sıra son testler veya gözlemler elde etmektir. Deneyciler ön test puanları aldıklarında, net puanları karşılaştırabilirler (öncesi ve son test arasındaki farklar). Alternatif olarak, araştırmacılar kontrol grubu ile deney grubu için ön test puanlarını istatistiksel olarak benzer olup olmadıklarına göre ilişkilendirebilir ve ardından en son iki grup skorunu karşılaştırabilir. Birçok deneyde, ön test bir değişkendir ve araştırmacı tarafından istatistiksel olarak kontrol edilir. Bireyleri gruplara rastgele atadığınız için, iç geçerliliğe yönelik tehditlerin çoğu ortaya çıkmaz. Grupların rastgele veya eşitlenmesi, tarih, olgunlaşma, seçim ve seçim ile diğer tehditler arasındaki etkileşimin olasılığını en aza indirir. Difüzyon, rekabet, kırgın demoralizasyon ve telafi edici eşitleme gibi tedavi tehditlerinin tümü grup içi tasarımda olasılıklardır, çünkü tasarımda iki veya daha fazla grup vardır. Gerçek deneyler yalnızca bir test sonrasını içerdiğinde, bir test öncesi kullanmadığınız için test etme, enstrümantasyon ve regresyon tehditlerini azaltır. Eğer bir ön test kullanılırsa, tüm bu faktörleri geçerliliği tehdit eden tehditler olarak ortaya çıkarır. Enstrümantasyon çoğu deneyde potansiyel bir tehdit olarak mevcuttur, ancak araştırmacılar çalışma sırasında en son ve son standart prosedürler için aynı veya benzer enstrümanı kullanırlarsa, enstrümantasyon tehditlerini minimumda tutarsınız. Yarı Deneyler Eğitimde, araştırmacıların sağlam gruplar kullanması gereken birçok deneysel durum ortaya çıkar. Bu, katılımcıların mevcudiyeti nedeniyle veya ortam yapay gruplar oluşturmayı yasakladığı için olabilir. Yarı deneyler arasında atama vardır, ancak katılımcıların gruplara rastgele atamalarını içermez. Bunun nedeni, denemenin yapay olarak deney için gruplar oluşturamamasıdır. Örneğin, yeni bir matematik programının incelenmesi, mevcut dördüncü sınıfların kullanılmasını ve birini deney grubu, birini de kontrol grubu olarak belirtmeyi gerektirebilir. Öğrencileri iki gruba rastgele atamak, sınıf öğrenmesini engeller. Eğitimciler deneylerde genellikle bozulmamış grupları (okullar, kolejler veya okul bölgeleri) kullandığından, yarı deneysel tasarımlar sıklıkla kullanılır. Tablo 10.3'e dönersek, ön-son ve sonraki tasarım yaklaşımını yarı deneysel bir tasarıma uygulayabiliriz. Araştırmacı sağlam gruplara deney ve kontrol tedavileri atar, her iki gruba da bir ön test uygular, sadece deney grubuyla deneysel tedavi faaliyetleri yürütür. ve daha sonra iki grup arasındaki farkları değerlendirmek için bir son test uygular. Bu denemede, gerçek denemeye benzer şekilde bir değişiklik, tasarımda yalnızca en sonda olanı kullanır. Yarı deneysel yaklaşım iç geçerliliğe gerçek denemeden çok daha fazla tehdit getirmektedir. Araştırmacı, katılımcıları rastgele gruplara ayırmadığı için potansiyel olgunlaşma, seçim, ölüm oranı ve seçimin diğer tehditlerle etkileşimi olası tehditlerdir. İki gruba atanan bireyler deneyde kontrolsüz giden seçim faktörlerine sahip olabilir. İki grubu karşılaştırdığımız için tedavi tehditleri de mevcut olabilir. Ayrıca, en sondan en son test tasarım kullanıldığında, ek tarih, test, enstrümantasyon ve gerileme tehdidi de oluşabilir. Yarı deneysel tasarım, mevcut grupları eğitim ortamlarında kullanma avantajına sahip olsa da, deney tasarımında ele almanız gereken birçok tehdit ortaya çıkarmaktadır. Faktöriyel Tasarımlar Bazı deneysel durumlarda, tek bir tedavinin bir sonuç üzerindeki etkisini bilmek yeterli değildir; Aslında bazı tedaviler sonuç için daha iyi bir açıklama sağlayabilir. Faktörel tasarımlar, araştırmacının her biri iki veya daha fazla seviyede incelenen iki veya daha fazla kategorik, bağımsız değişken çalıştığı betweengroup tasarımının bir değişikliğini temsil eder (Vogt, 2005). Bu tasarımın amacı, iki veya daha fazla bağımsız tedavi değişkeninin bir sonuç üzerindeki bağımsız ve eş zamanlı etkilerini incelemektir. Örneğin, sivil toplum deneyimizde, Araştırmacı, öğretim türünün (yani, sigaranın sağlığa karşı tehlikeleri üzerine ders anlatımı) sigara içme sıklığı üzerindeki etkisinden daha fazlasını incelemek isteyebilir. Deneycinin, sigara içme oranlarında (en son olarak) öğrencilerde (örneğin, depresyon ölçeğinde yüksek, orta ve düşük puanlar gibi) kombine eğitim türü ve depresyon düzeyinin etkisini incelemek istediğini varsayalım. Araştırmacının, depresyonun gençlerin sigara içme oranlarında önemli bir faktör olduğuna inanmak için bir nedeni olduğunu varsayalım; Bu araştırma probleminin incelenmesi, faktoring tasarım gerektirmektedir. Bu nedenle, “depresyon” bir engelleyici ya da ılımlı değişkendir ve araştırmacı her tedavi grubuna her bir “blok” (yüksek, orta ve düşük) rasgele atama yapar. Bu tasarım, deneyde yüksek kontrol seviyesi avantajına sahiptir. Araştırmacının, deney sonuçlarını daha iyi anlamak için bağımsız değişkenlerin birleşimini veya etkileşimini incelemesini sağlar. Sadece bir test sonda kullanılırsa, testin ve enstrümantasyonun iç geçerlilik tehditleri mevcut değildir. Bireyleri gruplara rastgele atarsanız, katılımcılarla ve onların deneyimleriyle ilgili tehditleri (tarih, olgunlaşma, regresyon, seçim, ölüm oranı ve seçim ile diğer faktörlerin etkileşimi) en aza indirmiş olursunuz. Bununla birlikte, faktoring tasarımındaki çoklu bağımsız değişkenlerle, istatistiksel prosedürler daha karmaşık hale gelir ve gerçek sonuçlar daha zor anlaşılır hale gelir. Bu ne anlama geliyor? Depresyonun ve öğretim türünün gençler arasında sigara içme oranlarını etkilemesiyle etkileşime girdiğini? Hangi bağımsız değişken daha önemlidir ve neden? Araştırmacılar ek bağımsız değişkenleri manipüle ederken, istatistiksel testler için her grupta daha fazla katılımcıya ihtiyaç duyulur ve sonuçların yorumlanması daha karmaşık hale gelir. Bu karmaşıklık nedeniyle, faktoring tasarımları tipik olarak araştırmacı tarafından manipüle edilen en fazla üç bağımsız değişken içerir. Faktöriyel bir tasarım yürütme sürecindeki basamakları daha yakından inceleyelim. Araştırmacı, iki bağımsız değişken ve “sigara kullanımı oranları farklı türde öğretim şekli ve depresyon düzeyleri arasında değişiyor mu?” Gibi bir bağımlı değişken içeren bir araştırma sorusunu tanımlamaktadır.
◆ Faktör 1 - öğretim türleri
• Seviye 1 - sivil sınıfta sağlık açısından tehlike içeren bir ders
• Seviye 2 - sivil sınıfta standart bir ders
◆ Faktör 2 - depresyon düzeyleri
• Seviye 1 - yüksek
• Seviye 2 - orta
• Seviye 3— düşük
İki eğitim seviyesini ve üç depresyon seviyesini ölçtüğünüz için, tasarıma ikilik üç faktoring tasarımı denir. Her bağımsız değişkene dahil olan seviyeleri belirtmek için “2 × 3” olarak yazılmıştır. Üç bağımsız değişkenle, üçüncü değişken dört seviyeden oluşan bir tasarım, “2 × 3 × 4” olabilir. 2 × 3 tasarımında araştırmacı, katılımcıları altı gruba atar, böylece tüm gruplar her seviyeyi bir bağımsız değişkende (örneğin, eğitim türü) ve her seviyeyi ikinci bağımsız değişkende (örneğin, depresyon seviyesi) alır. Tablo 10.4, altı grubun oluşumunu ve katılımcıların her gruba depresyonun üç seviyesine (yani, düşük, orta ve yüksek) ve iki seviyesine (yani sağlık tehlikesi dersleri, standart dersler) dayalı olarak tahsis edilmesini göstermektedir. talimat. Bu süreçte, Araştırmacı altı grup oluşturur ve her gruba öğrenci sigarayı atar. Tüm öğrenciler ilk olarak depresyon seviyelerini ölçen aleti tamamlarlar. Araştırmacı aracı puanlar ve öğrencileri depresyon puanlarına göre düşük, orta ve yüksek gruplara böler. Ayrıca, çalışmamızın iki özel sınıf dersinde yapıldığını unutmayın; Bir sınıfta öğrenciler sigara içmenin sağlığa zararları üzerine bir ders alırlar ve ikinci sınıfta öğretmen vatandaşlık konularında standart dersler verir. Bu nedenle, faktoring tasarımımızda üç grup bir vatandaşlık sınıfında sağlık dersini alacak, diğer üç grup diğer vatandaşlık sınıfında standart dersleri alacak. Bu prosedür, araştırmacının deney için sağlam sınıfları kullandığı yarı deneysel bir araştırmayı kullanır (iki lise vatandaşı sınıfı). Deneyin sonunda, araştırmacı tüm katılımcılardan son testini tamamlamalarını ister. Bu son test, deneydeki bireylerin sigara içme oranını ölçecektir. En son puanların araçları, Şekil 10.5'te gösterildiği gibi farklılıklarını görsel olarak göstermek için altı hücreye ayrılmıştır. Bir hücre bir denemedeki her grubu temsil eder ve her gruptaki bireylerin ortalama puanlarını içerir. Ortalama puanları hesapladığınızda, istatistiksel olarak farklı olup olmadıklarını belirlemek için puanları karşılaştırırsınız. Boş hipotez, araçların farklı olmadığı, alternatifin ise farklı olacağı şeklinde olacaktır. Şekil 10.5'te gösterildiği gibi hücrelerde sıralanan puanların bu istatistiksel portresine bir öğe daha ekleyelim. Araştırmacı, ANOVA'nın parametrik istatistiğini kullanarak, her bağımsız değişkenin etkisini ayrı ayrı ve bağımlı değişkenle birlikte inceler. Bir istatistiksel yazılım programı kullanarak, varyans analizi, ana etkiler ve etkileşim etkileri için istatistiksel sonuçlar üretecektir. Ana etkiler, bir deneydeki her bir bağımsız değişkenin (örneğin, eğitim türü veya depresyonun boyutu) sonuç (örneğin, bağımlı değişken, sigara içme oranı) üzerindeki etkisidir. Etkileşim etkileri, bir bağımsız değişken üzerindeki etki, bir deneydeki diğer bağımsız değişkene bağlı (veya bununla birlikte değişiklik gösterdiğinde) oluşur. Araştırmacılar, okuyucuların onları görselleştirmelerine yardımcı olmak için genellikle ana ve etkileşim etkilerini çizer. Şekil 10.6'daki grafikler, varsayımsal sivil-sigara deneyimizdeki olası ana etkileri ve etkileşim etkilerini göstermektedir. Grafik (a), en sondaki (yani, sigara içme oranı) ve depresyonun üç faktöründeki skorların sonuçlarını göstermektedir. Araştırmacı, hem sağlık açısından tehlike dersini alan hem de vatandaşlık sınıfındaki standart dersi alan grupların puanlarını vermektedir. Bu grafikte görüldüğü gibi, her iki grupta da sigara içmenin derecesi depresyon düzeyi ile birlikte artmaktadır. Çizgiler paralel olduğundan ve geçmediğinden, bir etkileşim etkisi yoktur. Bununla birlikte, deneyin sonuçları (b) ve (c) 'de gösterildiği gibi farklı olabilir. Grafik (b) 'de, standart ders alan grupların sigara içme oranları, depresyon arttıkça artmaktadır. Alternatif olarak, Sağlık-tehlike dersini alan öğrencilerin sigara içme oranları her depresyon düzeyi için sabittir. Bu puanlar çizildiğinde, çizgiler bir etkileşim etkisi gösteren, geçti. Grafik (c) 'de, çizgiler tekrar paralel değildir ve bir etkileşim etkisi gösterir. Tipik olarak, faktoring tasarımlarında araştırmacı bu eğilimleri çizer ve bağımsız değişkenlerin kombinasyonunun anlamını açıklar. Grup İçi veya Bireysel Tasarımlar Herhangi bir deneyde, katılımcı sayısı sınırlı olabilir ve birden fazla grubun dahil edilmesi mümkün olmayabilir. Bu durumlarda, araştırmacılar grup içi deneysel tasarım kullanarak tek bir grup üzerinde çalışmaktadır. Ayrıca, deneyci tek tek bireyleri (birey içinde tasarım) inceleyebilir. Bu tasarım tipi çeşitli formlar alır: zaman serileri, tekrarlanan önlemler ve tek denekli tasarımlar. Zaman Serileri Deneysel bir araştırmacının sadece bir gruba erişimi varsa ve bunları bir süre boyunca inceleyebiliyorsa, zaman serileri tasarımı iyi bir deneysel yaklaşımdır. Bir zaman serisi tasarımı, araştırmacı tarafından yapılan çok sayıda ön test ve son ölçüm ya da gözlem ile zaman içinde bir grubu incelemekten oluşur. Bu tasarım çok sayıda katılımcıya erişim gerektirmez ve çalışma için sadece bir grup gerektirir. Bir kontrol grubu veya işbirliği yapmaya istekli bir sistemi bulmakta zorlanacak olan tüm sistemdeki (örneğin bir okul bölgesi) değişimi incelemek için idealdir. Ancak, bu tasarım emek yoğun çünkü araştırmacının birden fazla önlem alması gerekiyor. Bu çoklu önlemler, bu tasarımın iki önemli varyasyonunda görülmektedir. Tablo 10.5'te gösterildiği gibi, ilk önce kesilen zaman serileri tasarımıdır. Bu prosedür, bir grubun çalışılmasını, bir süre boyunca çoklu ön testlerin elde edilmesini, bir müdahalenin uygulanmasını (ya da faaliyetlerin durdurulmasını) ve ardından birkaç kez sonuçları (ya da son testleri) ölçmekten oluşur. Bu örnekteki veri analizi, test öncesi ve sonraki testler arasındaki test puanları veya yalnızca test sonrası puanları incelemekten ve test öncesi sonuçları ortak değişken olarak kullanmaktan oluşur. Tablo 10.5'te de görülen bir varyasyon, araştırmacının en son önlemle bir tedaviyi değiştirdiği eşdeğer bir zaman serisi tasarımını kullanır. Ardından veri analizi, en son ölçümlerin karşılaştırılmasını veya zaman içindeki verilerdeki kalıpları ayırt etmelerini planlamayı içerir. ve daha sonra birkaç kez sonuçların (veya son testlerin) ölçülmesi. Bu örnekteki veri analizi, test öncesi ve sonraki testler arasındaki test puanları veya yalnızca test sonrası puanları incelemekten ve test öncesi sonuçları ortak değişken olarak kullanmaktan oluşur. Tablo 10.5'te de görülen bir varyasyon, araştırmacının en son önlemle bir tedaviyi değiştirdiği eşdeğer bir zaman serisi tasarımını kullanır. Ardından veri analizi, en son ölçümlerin karşılaştırılmasını veya zaman içindeki verilerdeki kalıpları ayırt etmelerini planlamayı içerir. ve daha sonra birkaç kez sonuçların (veya son testlerin) ölçülmesi. Bu örnekteki veri analizi, test öncesi ve sonraki testler arasındaki test puanları veya yalnızca test sonrası puanları incelemekten ve test öncesi sonuçları ortak değişken olarak kullanmaktan oluşur. Tablo 10.5'te de görülen bir varyasyon, araştırmacının en son önlemle bir tedaviyi değiştirdiği eşdeğer bir zaman serisi tasarımını kullanır. Ardından veri analizi, en son ölçümlerin karşılaştırılmasını veya zaman içindeki verilerdeki kalıpları ayırt etmelerini planlamayı içerir.
Zaman serisi tasarımı, iç geçerliliğe karşı tehditler üzerinde önemli bir kontrol sağlar. Tarihin etkileri her zaman kesin değildir. Ölçümler ve gözlemler arasındaki kısa zaman aralıklarında geçmiş etkileri en aza indirgenmiştir. Ancak, bu tasarımdaki toplam veri toplama uzunluğundan dolayı geçerlilik tehditleri ortaya çıkabilir. Katılımcıların olgunlaşması bir sorun olabilir; ancak araştırmacı, olgunlaşan değişiklikleri inceleyerek ve tasarımda istatistiksel olarak kaldırarak tahmin edebilir. İstatistiki regresyonun kontrolünü sağlamak için, araştırmacılar ayrıca test öncesi puanlarını gözlemleyebilir ve alışılmadık derecede yüksek veya düşük puanlar için kontrol yapabilir. Sadece bir grup çalışıldığı için, seçim ve tedavi konuları önemli değildir, ancak bireyler çalışmayı bırakmayı seçebilir. Test yapmak sorun olabilir, ancak zaman içinde tekrarlanan önlemler veya gözlemler testin etkilerini azaltabilir. Araştırmacılar, çok sayıda test yönetimi sırasında enstrümanı değiştirdiğinde, geçerlilik için tehditler de getirebilirler. Lise vatandaşı sınıfındaki varsayımsal deneyimizde, şu ana kadar örneklerimiz iki vatandaş sınıfını (muhtemelen aynı eğitmen tarafından öğretilen) çalışmaktan ibarettir. Eğer sadece bir sınıf mevcutsa, sigara içenler arasında sigara içenler arasında çok sayıda sigara içen davranış ölçütü toplanmasını içeren bir zaman serisi tasarımı kullanabiliriz. Daha sonra öğretmen, “sağlık tehlikeleri tartışması” müdahalesini ve ardından en son testlere yönelik çoklu sigara içme davranışı önlemlerini sunacaktır. Bu ön test ve son test verilerinin bir grafiği, sağlık dersinin sınıftaki öğrenciler arasında sigara içiminin azalmasına katkıda bulunup bulunmadığını ortaya koyacaktır. Tekrarlanan Önlemler Yalnızca tek bir grup kullanma avantajına sahip olan başka bir deneysel tasarım da tekrarlanan ölçüm tasarımdır. Tekrarlanan bir önlem tasarımında, tek bir gruptaki tüm katılımcılar tüm deneysel tedavilere katılır ve her grup kendi kontrolü haline gelir. Araştırmacı, bir grubun bir deney tedavisi altındaki performansını, başka bir deneysel tedavi altındaki performansı ile karşılaştırmaktadır. Deneyci birden fazla tedaviye karar verir (faktoring tasarımlarında olduğu gibi), ancak her birini ayrı ayrı yalnızca bir gruba uygular. Her uygulamadan sonra, araştırmacı bir ölçüm veya gözlem alır. Bu tasarımdaki adımlar Tablo 10.6'da gösterilmektedir. tek bir gruptaki tüm katılımcılar tüm deneysel tedavilere katılır ve her grup kendi kontrolünü oluşturur. Araştırmacı, bir grubun bir deney tedavisi altındaki performansını, başka bir deneysel tedavi altındaki performansı ile karşılaştırmaktadır. Deneyci birden fazla tedaviye karar verir (faktoring tasarımlarında olduğu gibi), ancak her birini ayrı ayrı yalnızca bir gruba uygular. Her uygulamadan sonra, araştırmacı bir ölçüm veya gözlem alır. Bu tasarımdaki adımlar Tablo 10.6'da gösterilmektedir. tek bir gruptaki tüm katılımcılar tüm deneysel tedavilere katılır ve her grup kendi kontrolünü oluşturur. Araştırmacı, bir grubun bir deney tedavisi altındaki performansını, başka bir deneysel tedavi altındaki performansı ile karşılaştırmaktadır. Deneyci birden fazla tedaviye karar verir (faktoring tasarımlarında olduğu gibi), ancak her birini ayrı ayrı yalnızca bir gruba uygular. Her uygulamadan sonra, araştırmacı bir ölçüm veya gözlem alır. Bu tasarımdaki adımlar Tablo 10.6'da gösterilmektedir. Her uygulamadan sonra, araştırmacı bir ölçüm veya gözlem alır. Bu tasarımdaki adımlar Tablo 10.6'da gösterilmektedir. Her uygulamadan sonra, araştırmacı bir ölçüm veya gözlem alır. Bu tasarımdaki adımlar Tablo 10.6'da gösterilmektedir.
Katılımcıları seçtikten sonra, araştırmacı her birinin bir veya daha fazla sonuç üzerindeki etkisini belirlemek için farklı deneysel tedavilere karar verir. Bir sonuç ölçüsü veya gözlem birinci deneysel tedaviyi takip eder ve ardından ikinci deneysel muamelenin ardından ikinci bir sonuç ölçüsü veya gözlem alınır. Sonuç ölçütlerindeki varyasyonlar tedaviden tedaviye olan farklılıklar için değerlendirilir. İç geçerliliğe yönelik tehditler açısından, bu tasarım, grupların karşılaştırılması ile ilgili tehditlerden etkilenmez (yani, seçim, tedaviler, regresyon, mortalite, olgunlaşma veya seçim ile etkileşimler). Bir ön test kullanmadan, test etme ve enstrümantasyon bu tasarım için tehdit oluşturmaz. Tarih, deney sırasında ortaya çıkan olayların sonuç ölçüsünü etkileme olasılığını artıran potansiyel etkidir. Bir deneysel tedavi bir sonraki tedaviyi etkileyebilir ve araştırmacıların tedavileri olabildiğince farklı hale getirmeleri gerekir. Bu tasarımı vatandaşlarımıza sigara içme denememize uygulayarak araştırmacının sadece bir vatandaşlık sınıfına erişebildiğini ve birkaç müdahalede bulunabileceğini varsayalım: sağlık tehlikeleri üzerine bir ders, bir kişi sigara içerken çiftler arasında “kötü nefes” yazan bir karikatür ve bir bildiri Bir paket sigara fiyatının yükselmesi hakkında. Bu örnekte, üç tedavinin tümünün gençlerin sigara içme sorunlarına yönelik olduğuna dikkat edin, ancak bunlar farklı endişelerdir (sağlık, ilişkiler ve maliyet gibi). Sömestr boyunca Araştırmacı öğretmenden her bir müdahaleyi ayrı ayrı başlatmasını ister ve araştırmacı her müdahaleden sonra sigara içme oranını ölçer. Tek Denekli Tasarımlar Denemenizde, tek tek bireylerin davranışlarını gruplardan ziyade öğrenmek istediğinizi varsayalım. Ayrıca zaman içindeki davranışlarını gözlemleme şansınız da var. Bu gibi durumlarda, tek denekli deneysel tasarımlar idealdir. Tek denekli araştırma (aynı zamanda 1 araştırmanın N'si, davranış analizi veya denek içi araştırması olarak da adlandırılır), tekil bireylerin çalışmasını, temel bir dönem boyunca gözlemlerini ve bir müdahalenin uygulanmasını içerir. Bunu, tedavinin sonucu etkileyip etkilemediğini belirlemek için müdahale sonrasında yapılan başka bir gözlem takip eder. Örneğin, bir singlesubject çalışmasında, Araştırmacı, öğrenme güçlüğü olan ilköğretim öğrencilerin kendi görev-içi davranışlarını izlerlerse daha iyi bir başarı elde edip etmediklerini test etti (Kellogg, 1997). Rastgele bir atama olmadan, bu tasarım deneysel bir tasarımdan ziyade bir deneyseldir. Araştırmacı, bir denek grubundan ziyade bekar bireylerin (bir veya daha fazla) davranışlarını inceler, denek deneyde kendi kontrolü altında olur (bakınız Cooper, Heron ve Heward, 1987; Neuman ve McCormick, 1995). Heron ve Heward, 1987; Neuman ve McCormick, 1995). Heron ve Heward, 1987; Neuman ve McCormick, 1995).
Araştırmacı, müdahalenin uzun bir süre boyunca bireyi gözlemleyerek ve müdahalenin öncesinde ve sonrasında davranışını kaydederek bir katılımcının davranışını etkileyip etkilemediğini tespit etmeyi amaçlar. Araştırmacı, tedavi ile hedef davranış veya sonuç arasında bir ilişki olup olmadığını değerlendirir. Tek denekli bir çalışmanın temel özellikleri şunlardır:
◆ Müdahaleyi uygulamadan önce, araştırmacı bireyin davranışı hakkında kararlı bir bilgi temeli oluşturur. Kararlı bir temel, bir bireyin davranışının birkaç seans veya gün boyunca çok az değişiklik gösterdiği anlamına gelir. (A) zaman içindeki değişkenlik minimum ise ve (b) zaman içindeki performansta yukarı veya aşağı doğru bir eğilim yoksa bir davranış sabittir (Poling ve Grossett, 1986).
Er Araştırmacı, her bir kişi için gözlemler yapma ve puanları kaydetmeye dayanan deney boyunca davranışları (yani sonucu) tekrar tekrar ve sıklıkla ölçer.
◆ Müdahaleyi uyguladıktan sonra, araştırmacı davranış kalıplarını not eder ve bunları bir grafik üzerinde çizer. Bu patern artan, azalan, dalgalanabilir veya değişken olabilir. Veriler tipik olarak istatistiksel analiz yerine görsel olarak incelenerek analiz edilir. Özellikle araştırmacı, müdahalenin ardından, müdahaleyi geri çektikten sonra veya çoklu müdahaleler sırasında bireyin davranışının nasıl değiştiğini not eder.
◆ Verilerin grafik analizinde, tek denekli araştırmacı, belirli bireylerin davranışlarını grafik üzerinde çizer. Bu grafikte dikey eksen, çalışılmakta olan davranışın yüzdelerini veya sayımlarını kaydeder. Alternatif olarak, yatay eksen gözlemlerin gerçekleştiği günleri veya oturumları görüntüler. Grafik, birkaç birey için verileri veya tek bir birey için çoklu bağımlı değişkenleri gösterebilir. Tek denekli araştırma, tek tek bireyler hakkında, tek tek analizler yapılması gereken engelli çocukların öğrenme ve davranışları gibi veriler sağlama avantajına sahiptir. Aynı zamanda iç geçerliliğe karşı birçok tehdit için kontrol eder. Bir seferde yalnızca bir birey çalışıldığından, gruplar dahil değildir ve seçim, tedaviler, ölüm, olgunlaşma, gerileme tehditleri, ve seçim ile etkileşimler ilgili değildir. Gözlemcilerin aynı standart prosedürleri kullandığını varsayarsak, enstrümantasyon bir sorun olmayabilir. Birden fazla tedavi kullanıldığında, bir müdahalenin öğrenilmesi ikinci müdahaleyi etkileyebilir ve deney zaman içinde gerçekleştiğinden tarihçe bir sorun olabilir. A / B Tasarımı Tek denekli çalışmalar farklı araştırma tasarımları kullandığından, onları anlamanın en iyi yolu, davranışın izlenmesini ve bir müdahalenin yönetimini gösteren grafikleri incelemektir. En basit tasarım A / B tasarımıdır. Bir A / B tasarımı, bir deneme dönemi boyunca (A) davranışları gözlemlemek ve ölçmek, bir müdahaleyi uygulamak ve müdahaleden sonra (B) davranışları gözlemlemek ve ölçmekten oluşur. Bu tasarım Şekil 10'da gösterilmektedir. 7 İlköğretim çocukları ve matematik problemlerini çözmedeki başarıları hakkında bir çalışma için. Bu çalışmada, araştırmacı temel davranışı gözlemlemekte ve ardından öğrencilere matematikteki performansları hakkında geri bildirimde bulunma müdahalesi uygulamaktadır. Bu tasarımdaki bir değişiklik, araştırmacının bir temel davranış oluşturduğu, bir müdahaleyi yönettiği ve daha sonra müdahaleyi geri çektiği ve davranışın temel seviyeye dönüp dönmediğini belirleyen bir A / B / A veya tersine çevrilmiş bir tasarımdır. Diğer bir varyasyon, A / B / A para çekme tasarımıdır. Bu tasarımda, araştırmacılar bir veya daha fazla tedavi uygulayabilir. Bu tür tasarımın dezavantajı, bazı çalışmalarda müdahalenin geri çekilmesinin, araştırmacı için etik bir sorun yaratarak, çalışmadaki katılımcılar üzerinde ciddi etkileri olabileceğidir. Bu tasarım ayrıca olumsuz geri dönüşü olmayan etkiler doğurabilir ve çoklu müdahaleler nedeniyle sayısız seans veya gözlem süresi gerektirir. Çoklu Temel Tasarım Sık kullanılan bir tek denekli tasarım, Şekil 10.8'de gösterildiği gibi çoklu temel tasarımdır. Bu tasarımda, her katılımcı farklı bir zamanda deneysel bir tedavi alır (dolayısıyla çoklu taban çizgileri vardır), böylece katılımcılar arasında tedavi difüzyonu gerçekleşmeyecektir. Araştırmacılar bu tasarımı, tedavi (örneğin, öğretilen beceri veya strateji) tersine çevrilemediğinde ve bunu yaparken katılımcılar için etik dışı veya zarar verici olduğunda seçerler. Şekil 10.8'de gösterilen örnekte, beşinci birey çalışmaya katılır ve her birinin davranışı çizilir. Bu yaklaşımdaki farklılıklar, katılımcılar için farklı davranış biçimlerini veya farklı ortamlardaki katılımcılar için davranışları içerebilir. Bu tasarımın sonuçları, ters tasarımdan daha az ikna edici olabilir ve eğer tedavi uzun bir süre boyunca kesilirse olumsuz sonuçlar doğurabilir. Alternatif Tedaviler Alternatif bir tek denekli tasarım tipi alternatif tedavidir. Alternatif bir tedavi tasarımı, araştırmacının iki veya daha fazla müdahalenin göreceli etkilerini incelediği ve hangi müdahalenin sonuç üzerinde daha etkili bir tedavi olduğunu belirlediği tek bir konu tasarımıdır. Şekil 10.9'da gösterildiği gibi, matematik problemlerini çözme denemelerine dört ilköğretim öğrencisi katılmıştır. Bu çalışma iki tedavi şartı vardı: Öğretmenin geri bildirimi ile alıştırma yapın ve sınıfta bir öğrenci “koçu” ile uygulayın. Bir temel davranış kurulduktan sonra, araştırmacı iki farklı deneysel tedaviyi uyguladı ve tedavilerden sonra çizilen davranışı çizdi. Bu tasarımda, tedavi yayılmasından kaynaklanan iç geçerliliği tehditleriyle ilgili olası sorunlar ortaya çıkabilir, ancak tasarım sonuçları üzerindeki etkilerini belirlemek için aynı anda birden fazla tedavinin test edilmesine izin verir.
geri dönüşü olmayan etkiler ve çok sayıda müdahalenin kullanılmasından dolayı sayısız oturum veya gözlem süresi gerektirir. Çoklu Temel Tasarım Sık kullanılan bir tek denekli tasarım, Şekil 10.8'de gösterildiği gibi çoklu temel tasarımdır. Bu tasarımda, her katılımcı farklı bir zamanda deneysel bir tedavi alır (dolayısıyla çoklu taban çizgileri vardır), böylece katılımcılar arasında tedavi difüzyonu gerçekleşmeyecektir. Araştırmacılar bu tasarımı, tedavi (örneğin, öğretilen beceri veya strateji) tersine çevrilemediğinde ve bunu yaparken katılımcılar için etik dışı veya zarar verici olduğunda seçerler. Şekil 10.8'de gösterilen örnekte, beşinci birey çalışmaya katılır ve her birinin davranışı çizilir. Bu yaklaşımdaki farklılıklar, katılımcılar için farklı davranış biçimlerini veya farklı ortamlardaki katılımcılar için davranışları içerebilir. Bu tasarımın sonuçları, ters tasarımdan daha az ikna edici olabilir ve eğer tedavi uzun bir süre boyunca kesilirse olumsuz sonuçlar doğurabilir. Alternatif Tedaviler Alternatif bir tek denekli tasarım tipi alternatif tedavidir. Alternatif bir tedavi tasarımı, araştırmacının iki veya daha fazla müdahalenin göreceli etkilerini incelediği ve hangi müdahalenin sonuç üzerinde daha etkili bir tedavi olduğunu belirlediği tek bir konu tasarımıdır. Şekil 10.9'da gösterildiği gibi, matematik problemlerini çözme denemelerine dört ilköğretim öğrencisi katılmıştır. Bu çalışma iki tedavi şartı vardı: Öğretmenin geri bildirimi ile alıştırma yapın ve sınıfta bir öğrenci “koçu” ile uygulayın. Bir temel davranış kurulduktan sonra, araştırmacı iki farklı deneysel tedaviyi uyguladı ve tedavilerden sonra çizilen davranışı çizdi. Bu tasarımda, tedavi yayılmasından kaynaklanan iç geçerliliği tehditleriyle ilgili olası sorunlar ortaya çıkabilir, ancak tasarım sonuçları üzerindeki etkilerini belirlemek için aynı anda birden fazla tedavinin test edilmesine izin verir.

DENEYSEL ARAŞTIRMA UYGULAMASINDA ADIMLAR NELERDİR?
Farklı deneysel tasarım türlerini öğrendiğimiz gibi, bir denemenin yürütülmesinde yer alan bazı prosedürleri de anlamaya başladık. Bir deney yapmak için belirlenmiş bir prosedür olmamasına rağmen, başlamadan önce genel süreci anlamak yardımcı olacaktır. Adım 1. Bir Denemenin Araştırma Probleminizi Çözüp Çözmediğine Karar Verin Deneyciler tarafından incelenen sorunun türü, yeni bir uygulamanın bir sonuç getirip getirmeyeceğini bilme gereğidir. Eğitimdeki tüm tasarımlar arasında, sebep-sonuç ilişkilerini incelemek için kullanılacak en iyi tasarımdır. Bununla birlikte, bu sorunları incelemek için, denemenin ayarını kontrol edebilmenin yanı sıra bağımsız değişkenin bir seviyesini değiştirebilmelisiniz. Sorun, sonuçları bir popülasyona genelleştirmek istediğinde veya deneyin koşullarını değiştiremediğinizde, bir deneme en iyi seçenek değildir. Adım 2. Sebep-sonuç İlişkilerini Test Etmek İçin Hipotezler Oluşturma Bir hipotez, sonuçlarla ilgili bir tahminde bulunur. Deneyci bu öngörüyü belirler (boş veya alternatif bir hipotez şeklinde) ve sonra hipotezi test etmek için veri toplar. Hipotezler genellikle deneysel araştırmada araştırma sorusundan daha çok kullanılır, ancak her ikisi de kullanılabilir. Deneysel hipotezi belirtirken, şu yönergeleri izleyin: Deneyci bu öngörüyü belirler (boş veya alternatif bir hipotez şeklinde) ve sonra hipotezi test etmek için veri toplar. Hipotezler genellikle deneysel araştırmada araştırma sorusundan daha çok kullanılır, ancak her ikisi de kullanılabilir. Deneysel hipotezi belirtirken, şu yönergeleri izleyin: Deneyci bu öngörüyü belirler (boş veya alternatif bir hipotez şeklinde) ve sonra hipotezi test etmek için veri toplar. Hipotezler genellikle deneysel araştırmada araştırma sorusundan daha çok kullanılır, ancak her ikisi de kullanılabilir. Deneysel hipotezi belirtirken, şu yönergeleri izleyin:
Bağımsız değişkenler, çoklu seviyeli en az bir değişken içermelidir ve araştırmacının seviyelerden birini manipüle etmesi gerekir. Bağımlı değişkenler sonuçlardır ve deneyciler çoğu zaman birçok sonucu inceler (örneğin, öğrenci öğrenmesi ve tutumları).
Değişkenler bir cihazda ölçülür veya gözlem olarak kaydedilir. Geçerli ve güvenilir puanlar üretmeleri gerekiyor. Yüksek yapı geçerliliği olan puanlarla sonuçlanacak önlemleri seçmeye özellikle dikkat etmeniz gerekir. Hipotezler, genellikle eski araştırmacılar tarafından yapılan çalışmalarda bulunan veya test edilen ve sürekli revize edilen teorilerde yer alan ilişkilere dayanır. Üniversite öğrencilerinin fakülteden yardım isteme istekleri hakkında yapılan bir araştırmaya birkaç hipotez örneği dahil edilmiştir: (a) Öğrencilerin, destekleyici durumdaki tarafsız durumdan ziyade, destekleyici durumdaki eğitmenden yardım isteme isteklerini ifade etmeleri daha muhtemeldir; (b) genç öğrencilerden bir eğitmenden yardım isteme isteklerini ifade etme olasılıkları, destek koşullarından bağımsız olarak daha eski öğrencilere göre daha düşük olacaktır; ve (c) öğrencilerin, sınıfın büyüklüğü küçük olduğundan, destek koşulundan bağımsız olarak bir eğitmenden yardım isteme isteklerini ifade etmeleri daha muhtemeldir. (Perrine, Lisle ve Tucker, 1996, s. 44-45) Bu hipotezlerde araştırmacılar, çalışmalarında ne bulacakları hakkında tahminlerde bulunurlar. İki grubu karşılaştırdılar: Profesörden destekleyici ifadeler alan deney grubu ve destekleyici ifadeler almayan kontrol grubu. Her iki gruptaki öğrenciler daha sonra altı akademik problem için öğretim elemanından yardım isteyebileceklerini belirtti. İlk hipotez, doğrudan bu grup karşılaştırmasını test eder. İkinci ve üçüncü hipotezler öğrencinin yaşını ve sınıfın boyutunu kontrol eder. Aşama 3. Deneysel Birim Seçin ve Çalışma Katılımcılarını Belirleyin Bir deney yapmanın ilk adımlarından biri, deney biriminize karar vermektir. Deneysel bir analiz birimi, bir deney sırasında araştırmacı tarafından tedavi edilen en küçük birimdir. Tedavi edilen terimi kullandığımızda, deneysel tedaviyi kastediyoruz. Bireylerden veri toplayabilirsiniz, ancak gerçekten tedavi edilen deney birimi bir deneyden diğerine farklılık gösterir. Bir tedavi gören deneysel birim, tek bir birey, birkaç birey, bir grup, birkaç grup veya bütün bir organizasyon olabilir. Denemenize kim katılacak? Deneysel bir çalışmaya katılanlar, müdahalenin bir veya daha fazla sonuçta bir fark yaratıp yaratmadığını belirlemek için araştırmacı tarafından test edilen bireylerdir. Müfettişler, gönüllü oldukları ya da katılmayı kabul ettikleri için katılımcıları seçebilirler. Alternatif olarak araştırmacı, kolayca çalışılabilen iyi tanımlanmış, sağlam gruplar halinde bulunabilecek katılımcıları seçebilir. Örneğin, üçüncü sınıf okuma çalışması, araştırmacının mevcut üçüncü sınıf öğrencileri sınıfını kullanmasını gerektirebilir. Katılımcılar ne olursa olsun, araştırmacılar, yararlı bir tedaviyi keserek ve onlara tedavi vererek diğerlerini ilerleterek, bazı katılımcıları dezavantaj etmeme konusunda etik konuya dikkat etmelidir. Kaç kişiyi okuyacaksın? İdeal bir deneyde araştırmacı en az bir kontrol ve bir deney grubu oluşturur (Bausell, 1994). Birçok deneyde, Toplam katılımcı sayısının (ve grup başına katılımcıların) büyüklüğü, araştırmaya kayıt yaptıran gönüllü sayısının veya araştırmacının yararlanabileceği bireylerin pratik meseleleri tarafından belirlenir. Araştırmacı aynı zamanda verileri analiz etmek için istatistikler kullanır ve bu istatistikler asgari katılımcı sayısını gerektirir. Katılımcılar nasıl seçilmeli? Mümkünse, deney popülasyonundan deney için bireyleri rastgele seçmelisiniz, böylece sonuçlardan popülasyona çıkarımlar yapılabilir. Bu seçim, popülasyondaki bireylerin numaralandırılması ve rastgele sayılar tablosu kullanılarak katılımcıların rastgele seçilmesi yoluyla gerçekleştirilir. Uygulamada, bu prosedür her zaman mümkün olmayabilir, çünkü popülasyon kolayca tespit edilemez veya popülasyondaki tüm insanlara erişiminiz olmayabilir. Ancak, Tüm nicel araştırmaların temel bir önceliği, işletmelerin genelleştirileceğidir; rastgele seçim, araştırmacının nüfus hakkında çıkarımlar yapmasını sağlar. Rastgele seçim yapılamadığında, alternatif bir popülasyondan genelleştirilebilirlik veya dış geçerlilik çıkarımı yapılabilmesi için popülasyondan farklı katılımcılarla çoklu deneyler yapmaktır. Bireyler gruplara nasıl atanmalıdır? En uygun durum, bireyleri rastgele gruplara atamaktır, ancak bu prosedür her zaman uygun olmayabilir. Ayrıca, yabancı faktörler üzerinde ilave kontrol sağlamak, eşleştirmek, engellemek, homojen grupların seçilmesi ve ortak değişkenlerin kullanılması tavsiye edilir. rastgele seçim, bir araştırmacının nüfus hakkında çıkarımlar yapmasını sağlar. Rastgele seçim yapılamadığında, alternatif bir popülasyondan genelleştirilebilirlik veya dış geçerlilik çıkarımı yapılabilmesi için popülasyondan farklı katılımcılarla çoklu deneyler yapmaktır. Bireyler gruplara nasıl atanmalıdır? En uygun durum, bireyleri rastgele gruplara atamaktır, ancak bu prosedür her zaman uygun olmayabilir. Ayrıca, yabancı faktörler üzerinde ilave kontrol sağlamak, eşleştirmek, engellemek, homojen grupların seçilmesi ve ortak değişkenlerin kullanılması tavsiye edilir. rastgele seçim, bir araştırmacının nüfus hakkında çıkarımlar yapmasını sağlar. Rastgele seçim yapılamadığında, alternatif bir popülasyondan genelleştirilebilirlik veya dış geçerlilik çıkarımı yapılabilmesi için popülasyondan farklı katılımcılarla çoklu deneyler yapmaktır. Bireyler gruplara nasıl atanmalıdır? En uygun durum, bireyleri rastgele gruplara atamaktır, ancak bu prosedür her zaman uygun olmayabilir. Ayrıca, yabancı faktörler üzerinde ilave kontrol sağlamak, eşleştirmek, engellemek, homojen grupların seçilmesi ve ortak değişkenlerin kullanılması tavsiye edilir. Bireyler gruplara nasıl atanmalıdır? En uygun durum, bireyleri rastgele gruplara atamaktır, ancak bu prosedür her zaman uygun olmayabilir. Ayrıca, yabancı faktörler üzerinde ilave kontrol sağlamak, eşleştirmek, engellemek, homojen grupların seçilmesi ve ortak değişkenlerin kullanılması tavsiye edilir. Bireyler gruplara nasıl atanmalıdır? En uygun durum, bireyleri rastgele gruplara atamaktır, ancak bu prosedür her zaman uygun olmayabilir. Ayrıca, yabancı faktörler üzerinde ilave kontrol sağlamak, eşleştirmek, engellemek, homojen grupların seçilmesi ve ortak değişkenlerin kullanılması tavsiye edilir.
Adım 4. Deneysel Bir Tedavi Seçin ve Sunun Herhangi bir deney tasarımının anahtarı, tedavi seviyelerini ayarlamak ve her gruba bir seviye, örneğin bir deney grubuna bir seviye ve bir kontrol grubuna uygulamaktır. Daha sonra gruplar bir veya daha fazla sonuç ile karşılaştırılır. Müdahaleler, araştırmacı tarafından düzenlenen programlardan veya faaliyetlerden oluşabilir. Hangi müdahaleyi kullanacağınıza karar verirken birkaç faktörü göz önünde bulundurabilirsiniz:
◆ Deneysel araştırmacı yeterli bir “dozaj” müdahalesini seçmelidir (Lipsey, 1998). Bu, müdahalenin yeterince uzun sürmesi ve sonuç üzerinde bir etkisi olması için yeterince güçlü olması gerektiği anlamına gelir.
Other İyi bir müdahale, diğer araştırmacılar tarafından kullanılmış olandır ve sonuçta bir değişiklik olmasını öngörmelidir. Literatür taraması ve geçmiş teorilerin ilişkiler için öngörüler olarak değerlendirilmesi araştırmacıların değişimi öngörmesi gereken bir müdahaleyi bulmasına yardımcı olur.
Deneysel araştırmacılar, ortamda ve katılımcılara mümkün olduğunca az izinsiz girilebilecek bir müdahale seçmelidir. Bu, araştırmacının çalışılan okula veya okul dışı ortamına saygı duyması ve sahadaki sponsorların ve araştırmadaki katılımcıların işbirliğini kazanması gerektiği anlamına gelir.
Pilot Küçük bir pilot teste dayanarak bir müdahale seçin. Nüfustan bir katılımcı grubu seçin ve onlara müdahale sağlayın. Bu yaklaşım, tek bir grupla (uygulama kolaylığını kolaylaştırmak için) önceden deneysel bir tasarım veya kısa süreli bir müdahale olabilir. Beş veya altı denek kadar azını içerebilir (Bausell, 1994). Bu pilottan, son deney için müdahalenin potansiyel etkisi hakkında sonuçlar çıkarabilirsiniz. Adım 5. Bir Deneysel Tasarım Türü Seçin Deneme hazırlığının bir yönü de tasarımı seçmek ve görsel bir şemasıdır. Bir tasarım seçmeden önce deneyler konusundaki deneyimleriniz, araştırmaya katılanların mevcudiyeti ve projedeki yabancı etkileri kontrol etme yeteneğinize dayanarak çeşitli kararlar almanız gerekir. Tablo 10.1'de daha önce verilen kriterler bir tasarımın seçilmesine yol açacaktır. Adım 6. Deneyi Gerçekleştirin Deneyi gerçekleştirmek, seçilen tasarımla tutarlı prosedür adımlarını içerir. Bu içerebilir:
◆ Kullanmayı planlıyorsanız, bir test öncesi uygulama
◆ Deneysel tedavinin deney grubuna veya ilgili gruplara sunulması
◆ İçsel geçerliliğe yönelik tehditlerin en aza indirilmesi için sürecin yakından izlenmesi tt Son test önlemlerinin alınması (sonuç veya bağımlı değişken önlemler)
Practices Katılımcılara neyin oluştuğunu düşündüklerini sormak gibi deneysel amaç ve sebeplerini bildirerek katılımcılara bilgi vererek etik uygulamaları kullanma (Neuman, 2000) Adım 7. Verileri Organize Etme ve Analiz Etme Deneyin sonucu: verileri kodlamak, verileri analiz etmek ve deney raporunu yazmak. Verilerin kodlanması, araştırmacının önlemlerden bilgi alması ve veri analizi için bir bilgisayar ortamı kurması gerektiği anlamına gelir. Bu prosedür, aletleri tamamlayanların, tuşlara basma hataları veya hatalı hatalar nedeniyle bilgisayarda olağandışı veriler girmemesini sağlamak için verilerin temizlenmesi ile başlar. İstatistiksel bir analiz programı kullanarak tanımlayıcı bir analiz çalıştırarak ve olağandışı verilerin var olduğu değişkenleri not ederek bu hatalar için veritabanını keşfedebilirsiniz. Bu betimsel analiz, çalışmanın sonuçlarının ilk gözden geçirilmesini sağlayabilir ve sonuçları taramak tüm katılımcıların sonuç ölçütlerine verdiği yanıtların anlaşılmasını sağlayabilir. Bu adım veri analizinin ilk aşaması olur. Tüm katılımcıların tanımlayıcı bir analizinden sonra, araştırmacı sonuçları karşılaştırma gruplarının analizine başlar. Bu deneysel bir analizin kalbidir ve çalışmadaki hipotezleri veya araştırma sorularını cevaplamak için yararlı bilgiler sağlar. Seçim istatistiği, t testi veya varyans istatistiklerinin parametrik analiz ailesi gibi bir grup karşılaştırma istatistiğidir (örneğin, ANOVA, kovaryans analizi [ANCOVA]). Adım 8. Deneysel Bir Araştırma Raporu Geliştirin Deneysel rapor standart bir format izler. Bir deneyin “Yöntemler” veya “Prosedürler” bölümünde, araştırmacı tipik olarak aşağıdakiler hakkında bilgi içerir:
◆ Katılımcılar ve ödevleri
◆ Deneysel tasarım
◆ Müdahale ve materyaller
◆ Yabancı değişkenler üzerinde kontrol
◆ Bağımlı önlemler veya gözlemler Nicel bir çalışmada olduğu gibi, bu raporu araştırma için standart terimler kullanarak yazarsınız (örneğin, müdahale, kontrol, deney grubu, ön - ve son test) ve nesnel, tarafsız bir bakış açısı. DENEYSEL ARAŞTIRMA NASIL DEĞERLENDİRİLİR? Temel özellikler ve prosedürler deneysel bir çalışmanın değerlendirilmesi için bir temel oluşturur. Bausell'den (1994) uyarlanan aşağıdaki liste, bu değerlendirmede yararlı kriterler sunmaktadır. İyi bir deneme için bazı kriterler şunlardır:
◆ Deneyin güçlü bir müdahalesi var.
Groups Tedavi grupları az sayıdadır.
İcip Katılımcılar müdahaleden kazanacaklar.
Group Araştırmacı, grup başına katılımcı sayısını bir sistematik şekilde türetmektedir.
◆ Araştırmada yeterli sayıda katılımcı kullanılmıştır.
Er Araştırmacı geçerli, güvenilir ve hassas ölçümler ve gözlemler kullanır.
Er Araştırmacı, sonucu etkileyebilecek yabancı faktörleri kontrol eder.
◆ Araştırmacı, iç ve dış geçerlilik tehditlerini ele almaktadır.

BÖLÜMÜNDEKİ TEMEL FİKİRLER
Deneysel Araştırmanın Tanımı, Ne Zaman Kullanılacağı ve Nasıl Geliştirildiği Deneysel araştırmacılar, sonuç üzerindeki etkisini belirlemek için bir fikri (veya uygulamayı veya prosedürü) test eder. Araştırmacılar, “deneyecek” bir fikre karar verir, bireyleri onu deneyimlemeye (ve bazı bireylerin farklı şeyler deneyimlemelerine) karar verir ve daha sonra fikri veya uygulamayı deneyimleyenlerin, bazı sonuçlar üzerinde deneyimlemeyenlerden daha iyi performans gösterip göstermediğini belirler . Günümüzde deneylerde kullanılan fikirler, 20. yüzyılın ilk birkaç on yılı için çoğunlukla yerinde idi. Grupların karşılaştırılması, bireylerin tedavilere atanması ve grup karşılaştırmasının istatistiksel olarak analiz edilmesi prosedürleri 1940 yılına kadar geliştirilmiştir. 1960'larda, deneysel tasarım türleri ve güçlü yönleri tespit edildi (ör. Bu tasarımların potansiyel tehditleri üzerinde kontrolü 1980 ile belirtilmiştir. 1980'den beri, bilgisayarlar, istatistiksel prosedürler iyileştirildi ve daha karmaşık tasarımlar deneysel araştırmalar yaptı. Deneysel Araştırmanın Temel Özellikleri Günümüzde, birkaç temel özellik deneysel araştırmayı anlamamıza ve okumamıza yardımcı olmaktadır. Deneysel araştırmacılar rastgele katılımcıları gruplara veya diğer birimlere atar. Bağımsız değişkenlerin sonuçlar üzerindeki etkilerini izole etmek için yabancı değişkenler üzerinde kontrol sağlarlar. Bir veya daha fazla grup için tedavi koşullarını fiziksel olarak manipüle ederler. Daha sonra deneysel tedavinin deneysel olmayan tedaviden farklı bir etkisi olup olmadığını belirlemek için grupların sonuçlarını ölçerler. Bu, grupları istatistiksel olarak karşılaştırarak gerçekleştirilir. Genel olarak, iç geçerliliği ve dış geçerliliği tehditleri azaltmak için bir deney tasarlarlar. Deneysel Tasarım Türleri Bu özelliklerin çeşitli yönleri deneysel tasarım türlerine dahil edilmiştir. Gruplar arası tasarımların birkaç tipi vardır. “Gerçek” bir deneme katılımcıların gruplara veya birimlere rastgele atanmasını içerir. Bir deneyin bu şekli, her türden en titiz ve kontrollüdür. Yarı deneysel bir tasarım, bir müdahalenin kullanılmasını içerir ancak katılımcıların gruplara rastgele atanması söz konusu değildir. Faktoring tasarımı ayrıca iki veya daha fazla grup içerir, ancak araştırmacı iki veya daha fazla bağımsız değişkenin etkileşimi için test yapar. Başka bir tasarım tipi, tek bir grubun veya tek bireyin çalışıldığı grup içi veya bireysel prosedürü içerir. Bir zaman serisi tasarımı, tek bir grubun çalışılmasını ve genellikle birden fazla sonuç ölçüsü toplanmasını içerir. Tekrarlanan bir ölçüm deneyi de yalnızca bir grup içerir, ancak araştırmacı, deneysel tedavinin alternatif uygulamalarını uygulayarak bu gruba birden fazla müdahaleyi test eder. Tek denekli bir tasarım, birey için davranış temelini belirleyerek, müdahaleyi yöneterek ve müdahalenin geri çekildiğinde davranış üzerindeki uzun vadeli etkisini belirleyerek bir kişiyi her seferinde inceler. Deneysel Araştırmalarda Etik Konular Deney yapma konusundaki etik konular, deneysel muamelenin, bireyleri rastgele bir şekilde gruplara ayırmaktan tahakkuk edebilecek dezavantajları, onu almaktan faydalanabilecek bazı bireylerden durdurma ile ilgilidir. Bu atama bazı bireylerin faydalı tedavi için potansiyel ihtiyacına bakar. Etik konular ayrıca bir denemenin ne zaman sonuçlanacağına, denemenin bir soruna en iyi cevapları verip vermeyeceği ve deneyi gerçekleştirmede yer alan risklerle ilgili düşünceler konusunda da ortaya çıkmaktadır. Bir Deneme Gerçekleştirme Adımları Deneysel araştırmadaki adımlar, denemenin en iyi tasarım olup olmadığına karar verme, hipotezler oluşturma ve deneye katılacak deney birimini ve katılımcıları seçmeyi içerir. Araştırmacılar rastgele bireyleri gruplara atayabilir. Daha sonra deneyi yaparak müdahaleyi yönetiyorlar ve sonuçları analiz edip rapor ediyorlar. Bu sürecin başarısını değerlendirmek için deneyci, grupları, müdahale, önlem veya gözlemleri değerlendirir, ve yabancı faktörler ve geçerlilik tehditleri üzerinde kontrol. Bir Deneyi Değerlendirme İyi bir denemenin güçlü bir müdahalesi vardır, az sayıda gruplandırır, sistematik bir şekilde türetilir ve bireylerin deneyden nereden kazanacağı. Önlemlerin puanları hem geçerli hem de güvenilirdir çünkü araştırmacı potansiyel geçerlilik tehditlerine katılmıştır.


Deneysel Bir Çalışma Örneği Deneysel bir çalışma
olan aşağıdaki yayımlanmış dergiyi inceleyin. Marjinal notlar, bu bölümde vurgulanan deneysel araştırmaların temel özelliklerini göstermektedir. Örnek Çalışma:
Sınıf Yapısının Öğrenci Başarısına Yönelik Hedeflerine Yönelik Etkileri
Shannon R. Self-Brown Samuel Mathews, II. West Florida Üniversitesi
Özet
Yazarlar, sınıf yapısının matematik için öğrenci başarısı hedef yönelimini nasıl etkilediğini değerlendirmiştir. Üç ilkokul sınıfı rastgele 1 sınıf yapı koşuluna atandı: belirteç ekonomisi, acil durum sözleşmesi veya kontrol. Her koşuldaki öğrencilerden haftalık bireysel başarı hedefleri belirlemeleri istendi. Yazarlar, öğrencilerin hedef sınıf içi koşullar içerisinde belirledikleri öğrenme ve performans hedefleri sayısını karşılaştırarak hedef oryantasyonundaki farklılıkları değerlendirdi. Sonuçlar, beklenmedik koşul sözleşmesindeki öğrencilerin, diğer sınıf yapı koşullarındaki öğrencilere göre çok daha fazla öğrenme hedefi belirlediklerini göstermiştir. Sınıf yapı koşullarında performans hedefleri için anlamlı bir fark bulunamamıştır. Sınıf yapısı koşullarında,
Anahtar kelimeler: sınıf yapısı, hedef yönelimi, matematik
Son 35 yılda, önemli araştırma ve yazılar, sınıf öğrenme ortamı ile öğrenci hedef yönelimi arasındaki ilişkiyi ele almıştır. Bununla birlikte, yalnızca bir araştırma yetersizliği, sınıf değerlendirme yapısı, öğrencilerin hedef yönündeki farklılıklar ve sınıf içinde belirli hedef yönelimlerinin oluşturulması için sınıf stratejileri arasında bir bağlantı kurmaya odaklanmıştır (Ames, 1992c). Bu çalışmada, bu konulara değindik.
Öğrencilerin hedef yönelimi, öğrencilerin akademik görevlerde bulundukları, yorumladıkları ve yanıt verdikleri zaman sergiledikleri zıt desenlerle ilişkilendirilmiştir (Dweck ve Leggett, 1988). Önde gelen bir hedef yönlendirme modeli iki hedef yönelime odaklanır - performans hedefleri ve öğrenme hedefleri. Modele göre, performans hedefleri belirleyen öğrenciler, öğretmenler gibi dış gözlemcilere yeteneklerini göstermeye odaklanırken, öğrenme hedefleri belirleyen öğrenciler, dış gözlemcilerin varlığından bağımsız olarak yetkinliklerini arttırmaya çalışırlar (Kaplan ve Migdley, 1997). Araştırmacılar, doğrudan öğrencilerin belirlediği hedef türleriyle ilgili tutarlı davranış kalıpları bulmuşlardır (Dweck, 1986; Nichols, 1984; Schunk, 1990).
Genel olarak, araştırmacılar performans hedefleri ve üretken başarı davranışları arasında negatif bir ilişki olduğu sonucuna varmışlardır (Greene ve Miller, 1996; Zimmerman ve MartinezPons, 1990). Bir performans hedefi yöneliminin benimsenmesi, öğrencilerin diğerlerinden daha iyi yaptıkları, normatif temelli standartları aştığı veya az çabayla başarıya ulaştığı zaman, kanıt gösterilmesi anlamına gelir (Ames, 1984; Covington, 1984). Sonuç olarak, bu öğrenciler genellikle daha zorlu görevlerden kaçınırlar ve akademik faaliyetlere çok az ilgi gösterirler (Ames, 1992c; Dweck, 1986; Nicholls, 1984). Performans hedefi yönelimli olan öğrenciler, özellikle akademik görevlerde yetersiz performans gösterdiklerinde, çaresizliğe karşı savunmasız kalabilirler.
Buna karşılık, araştırmacılar sürekli öğrenme hedefleri ile üretken başarı davranışları arasındaki pozitif ilişki için kanıt bulmuşlardır (Ames ve Archer, 1988; Greene & Miller; 1996; Meece, Blumenfeld ve Hoyle, 1988). Öğrenme hedeflerine odaklanan öğrenciler genellikle zorlu etkinlikleri tercih eder (Ames ve Archer, 1988; Elliot ve Dweck, 1988), zorlu görevlerde (Elliot ve Dweck; Schunk, 1996) devam eder ve yüksek düzeyde ilgi ve görev katılımı rapor eder ( Harackiewicz, Barron ve Elliot, 1998; Harackiewicz, Barron, Tauer, Carter ve Elliot, 2000). Bu öğrenciler çaba ve sonuçların kovar olduğu ustalık odaklı bir inanç sistemine girerler (Ames, 1992a). Öğrenme hedeflerine odaklanan öğrenciler için, başarısızlık kişisel bir eksikliği temsil etmemektedir, ancak daha fazla çaba veya yeni stratejilerin gerekli olduğu anlamına gelir. Bu tür insanlar zorlu zorluklar karşısında çabalarını artıracak ve öğrenmeyi teşvik edecek fırsatlar araştıracaklardır (Heyman ve Dweck, 1992). Genel olarak, araştırmacılar bir öğrenme hedefi yöneliminin bir performans hedefi yönelimi olduğundan daha uyumlu davranış, biliş ve etki kalıpları ile ilişkili olduğu sonucuna varmışlardır (Ames ve Archer, 1988; Dweck ve Leggett, 1988; Nicholls, Patashnick ve Nolen). , 1985).
Bazı deneysel çalışmalarda, araştırmacılar belirli hedef yönelimlerinin açıklığı ile bireysel davranıştaki değişiklikler arasında bir ilişki kurmuşlardır (Ames, 1984; Elliot ve Dweck, 1988; Heyman ve Dweck, 1992; Schunk, 1996). Önceki laboratuvar çalışmaları, eldeki görevlerle ilgili olarak çocuklara verilen talimatları değiştirerek öğrenme ve performans hedefi koşulları yaratmıştır (Ames, 1984; Elliot ve Dweck, 1988). Bu çalışmalardan elde edilen sonuçlara göre, talimatların becerilerin ve / veya rekabet hedeflerinin dış değerlendirmesini belirgin kılan performans hedefi koşullarına katılan çocukların, genellikle performanslarını yeteneklere bağladıklarını göstermektedir. Bu çocuklar aynı zamanda çaresiz bir yönelimin özelliği olan, kolayca pes eden ve zorlu görevlerden kaçınan tepkiler sergilediler. Tersine, bireysel performansın iyileştirilmesine ve daha ileri becerilerin geliştirilmesine odaklanan talimatların uygulandığı öğrenme hedefi koşullarına maruz kalan çocuklar genellikle performanslarını çabaya bağladılar. Bu çocuklar, başarısızlıkları, yetkinliklerini arttırmak için cevaplarını nasıl değiştirebilecekleri hakkında bilgi edinme fırsatı olarak değerlendirerek başarısızlıkları yorumlayarak görevlere yönelik tepkiler gösterdiler.
Schunk (1996), sınıf hedefinde fraksiyonların elde edilmesinde başarı hedefi oryantasyonunun etkisini araştırmak için bir çalışma yaptı (Schunk, 1996). Laboratuar çalışmalarına benzer şekilde, öğretmen talimatlarında da bir ayrım yapılarak öğrenme ve performans hedef koşulları belirlenmiştir. Sonuçlar, öğrenme hedefi koşulundaki öğrencilerin, performans hedefi koşulundaki öğrencilere göre daha yüksek motivasyon ve başarı sonuçlarına sahip olduğunu göstermiştir. Bu çalışmanın sonuçları, sınıf içinde değişen hedef talimatlarının öğrencilerin hedef algılarını ve akademik görevlerde başarı ile ilgili davranışlarını etkileyebileceğini göstermiştir.
Başarı hedefi yöneliminin eğitim ortamlarındaki öğrenci sonuçlarının önemli bir belirleyicisi olduğu göz önüne alındığında, araştırmacılar gerekli olan sınıf ortamı değişkenlerine katılmalı, böylece çocuklar performans hedefine yönelmeye karşı öğrenme hedefine yönelmeye yönelmelidir (Church, Elliot ve Gable , 2001). Araştırmacılar, öğretmenlerin kullandıkları öğretim ve yönetim uygulamaları gibi değişkenlerin öğrencilerin belirledikleri başarı hedeflerini etkileyebileceğini öne sürmektedir (Ames ve Ames, 1981; Kaplan ve Maehr, 1999; Meece, 1991). Bir sınıf içindeki öğretim ve yönetim uygulamalarının ana unsurlarından biri, öğretmenlerin günlük uygulamalarında kullandıkları sınıf değerlendirme yapısıdır. Değerlendirme türüne odaklanmak, yani
İlköğretim sınıflarında yapılan tipik değerlendirme, öğrencileri bir kursu geçmesi veya bir belirteçli ekonomi sisteminde bir ödül alması için gerekli olduğu gibi normatif bir standartla karşılaştırır (Brophy, 1983). Token ekonomi sistemleri, öğrencilere normatif standartları karşılamaları için somut güçlendiriciler ve dış teşvikler sağlar. Belirteçli ekonomi programları, öğrenci davranışını geliştirmek ve çeşitli okul konularına akademik cevap vermek için ampirik destek almış olsa da, bu sınıf yapısı, değişen derecelerde öğrencilerin yeteneklerine bakılmaksızın uygulandığında paradoksal ve zararlı etkilere sahip olabilir (Lepper ve Hodell, 1989). ). Örneğin, Matematikte öğrenme güçlüğü olan bir öğrenci, aynı derste bu konuda ortalama yetenekleri olan diğer öğrencilerle aynı matematik derslerini tamamlamak için aynı miktarda belirteçle motive edilmeyecektir. Ek olarak. Belirteçli bir ekonomiden kaynaklanan değerlendirici yapının türü, sınıfta yetenek ve kamu performansının algılanan önemini artırma eğilimindedir; bu, öğrencilere performans hedefine yönelik oryantasyonları yönlendirir (Ames, 1992c).
Bir öğrenme hedefi yönelimini desteklemek için Ames (1992c), öğrenci değerlendirmesinin kişisel gelişim ve bireysel hedeflere doğru ilerlemeye dayandığı bir tür sınıf yapısı önermiştir. Acil durum sözleşmelerinin değerlendirme aracı olarak kullanılması, muhtemelen bu değişkenlere vurgu yapacaktır. Acil durum sözleşmesi, bir öğrenci ve öğretmen arasında öğrenme ve gerçekleştirme için bir anlaşma oluşturur. Başarı, her bir öğrencinin kişisel performansına dayanır, hedefine göre o koyar (Piggott ve Heggie, 1986). Taahhüt, her öğrencinin hedef belirlerken kendine özgü ihtiyaçlarını ve yetkinliklerini göz önünde bulundurmasını sağlar ve öğrencinin öğrenmesi ve gerçekleştirmesi için sorumluluk alır (Kurvnick, 1993). Acil durum sözleşmesinin kullanılması, öğrencilerin çeşitli akademik konularda akademik davranışlarını geliştirmek için etkili bir müdahale olmuştur (Murphy, 1988). Öğrencileri, çabalarına uygun stratejilere ve uyarlanabilir ve arzulanan başarı davranışlarıyla ilişkilendirilen motivasyonel süreçlere odaklanarak öğrenmelerinde aktif katılımcı olmaları için teşvik eder (Ames, 1992c). Ancak, kalan bir soru beklenmedik sözleşme gibi bir müdahalenin performans hedeflerine göre öğrenme hedeflerinde bir artışa yol açıp açmayacağıdır. Bu çalışmada, bu soruyu ele aldık. Öğrencileri, çabalarına uygun stratejilere ve uyarlanabilir ve arzulanan başarı davranışlarıyla ilişkilendirilen motivasyonel süreçlere odaklanarak öğrenmelerinde aktif katılımcı olmaları için teşvik eder (Ames, 1992c). Ancak, kalan bir soru beklenmedik sözleşme gibi bir müdahalenin performans hedeflerine göre öğrenme hedeflerinde bir artışa yol açıp açmayacağıdır. Bu çalışmada, bu soruyu ele aldık. Öğrencileri, çabalarına uygun stratejilere ve uyarlanabilir ve arzulanan başarı davranışlarıyla ilişkilendirilen motivasyonel süreçlere odaklanarak öğrenmelerinde aktif katılımcı olmaları için teşvik eder (Ames, 1992c). Ancak, kalan bir soru beklenmedik sözleşme gibi bir müdahalenin performans hedeflerine göre öğrenme hedeflerinde bir artışa yol açıp açmayacağıdır. Bu çalışmada, bu soruyu ele aldık.
Öğrencilerin hedef yönelimi üzerindeki etkilerini değerlendirmek için sınıf yapılarını değiştirdik. Bozulmamış her sınıf rastgele bir belirteçli ekonomi sınıf yapısına, acil durum sözleşmeli sınıf yapısına veya kontrol sınıf yapısına atandı. Öğrencilerin sınıf-yapı durumuna göre belirledikleri öğrenme ve performans hedefleri sayısını karşılaştırarak, öğrencilerin hedef yönelimlerini değerlendirdik. Daha önceki araştırmalara dayanarak, sınıf yapısının türünün doğrudan öğrencilerin belirlediği başarı hedefleriyle ilişkilendirileceğini varsaydık. Tahminimiz aşağıdaki gibidir: (a) Belirteç-ekonomi sınıf yapısı, öğrenci performans-hedef yönelimi ile pozitif olarak ilişkili olacaktır, (b) beklenmedik durum sözleşmesi sınıf yapısı, öğrenci öğrenme hedef yönelimi ile pozitif olarak ilişkili olacaktır,

Yöntem
Katılımcılar
Yerel bir ilköğretim okulundaki üç sınıftan öğrenciler bu çalışmaya katıldı. Katılımcılar 2. sınıf ve 1. sınıf dördüncü sınıfları içeriyordu. Üç sağlam sınıfın her biri, üç sınıf değerlendirme yapısı koşulundan birine rastgele atandı. Belirteç ekonomisi şartına yirmi beşinci ve 5. sınıf öğrencisi, beklenmedik durum sözleşmesi şartına 18'inci dördüncü sınıf öğrencisi ve kontrol şartına 28inci sınıf öğrencisi atandı.

Materyaller
Materyal sınıf değerlendirme yapısının durumuna göre değişmektedir. Koşullar aşağıdaki paragraflarda açıklanmıştır.
Token ekonomisi. Bu durumda olan öğrencilere (a) belirteçlerin nasıl kazanıldığını ve dağıtıldığını açıkça tanımlayan ve (b) belirteçlerin değiştirilebileceği yedek güçlendiricileri listeleyen bir sözleşme yapıldı. Öğrenciler, sözleşmeyi her zaman masasında tutabilmeleri için bir sözleşme klasörü aldı. Öğrenciler ayrıca iki bölüme ayrılmış bir hedef çizelgesi aldı: belirteçli ekonomi hedefleri ve bireysel hedefler. Belirteç ekonomisi hedefleri bölümünde belirteç kazanabilecek öğrenci davranışları ve her bir davranışın değeceği belirteçlerin sayısı listelenmiştir. Bireysel hedefler bölümü, öğrencilerin haftalık hedefleri ve matematiğe yönelik uzun vadeli hedefleri listeler. Bu durum için kullanılan diğer malzemeler arasında oyun parası biçimindeki belirteçler ve şeker, tükenmez kalem, anahtarlık ve bilgisayar zaman kartları gibi yedek takviyeler yer alıyordu.
Acil durum sözleşmesi. Bu durumdaki öğrencilere, matematik hedeflerini belirlemek ve tartışmak için araştırmacı ile haftalık görüşme sürecini tanımlayan acil durum sözleşmesi verildi. Öğrenciler, sözleşmeyi her zaman masasında tutabilmeleri için bir sözleşme klasörü aldı. Katılımcılar ayrıca haftalık ve uzun vadeli matematik hedeflerini listeledikleri bir hedef çizelgesi aldı. Gol grafiğindeki altın yıldız etiketleri, bir gol gerçekleştiğinde belirlenir.
Kontrol. Bu koşuldaki öğrencilere acil durum sözleşmesi koşulunda açıklanan ile aynı olan bir gol çizelgesi verildi. Bu durumda başka hiçbir malzeme kullanılmamıştır.
dizayn
Bu çalışmada yapılan analizlerde, sınıf değerlendirme yapısının öğrencilerin başarı hedefleri üzerindeki etkisini inceledik. Analizdeki bağımsız değişken üç seviyeden oluşan sınıf yapısıydı: belirteç ekonomisi, acil durum sözleşmesi ve kontrol. Bağımlı değişken, öğrencilerin matematik için belirlediği hedef türü (performans veya öğrenme hedefleri) idi. Verileri analiz etmek için bir twoway varyans analizi (ANOVA) kullandık.

prosedür
Üç sağlam sınıfın her biri, üç sınıf değerlendirme yapısı koşulundan birine rastgele atandı: belirteç ekonomisi, acil durum sözleşmesi veya kontrol. Bu sınıf değerlendirme yapısı koşullarını matematiğe uyguladık. Her sınıftaki matematik dersi sınıf düzeyinde yapıldı. Çalışma boyunca, katılımcı sınıflardaki öğretmenler, matematik sınıflandırma, ödev ve haftalık testlerin dereceli değerlendirmesini içeren geleneksel bir derecelendirme sistemi ile öğrencilerini değerlendirmeye devam etti.
Her sınıf yapı koşulundaki öğrenci katılımcılar, ilk yazarla bire bir görüşme sırasında her hafta bir matematik hedef çizelgesi hazırladılar. Yazar, Dweck'in (1986) tanımlarına göre hedefleri performans hedefleri veya öğrenme hedefleri olarak tanımlayarak değerlendirmiştir. Daha sonraki prosedürler, sınıf yapısının durumuna özeldi. İşlemler aşağıdaki paragraflarda açıklanmaktadır.
Token ekonomisi. İlk yazar, her biriyle ayrı ayrı tartıştığı öğrencilere bir sözleşme yaptı. Öğrenci sözleşmenin şartlarını anladığını gösterdiğinde, öğrenci ve yazar sözleşmeyi imzaladı. Güçlendirme prosedürleri sözleşmede yazılmıştır ve yazar tarafından sözlü olarak şöyle açıklanmıştır:
Önümüzdeki altı hafta boyunca, matematik ödevlerinizi tamamladığınız ve / veya matematik ödevlerinde A veya B yaptığınız için okul parası kazanabilirsiniz. Tamamladığınız her ödev için iki okul doları kazanacaksınız. Bir matematik ödevinde yaptığınız her A veya B için dört okul doları kazanacaksınız. Beşinci haftaların sonunda, matematikte A veya B ortalamanız varsa ve / veya tüm matematik ödevlerinizi yaptıysanız, on okul doları kazanacaksınız. Bunlar okul parası kazanabileceğin tek davranış. Öğretmeniniz matematik dersini takip ederek günlük olarak kazandığınız paraları size ödeyecektir.
Öğrenciler yazarla bir araya geldiklerinde jetonlar haftalık olarak değiştirildi. Süreç öğrencilere şu şekilde açıklandı: “Haftada bir kez okul paralarınızı bilgisayar saati, kalemler, işaretçiler, anahtarlıklar, not defterleri veya şekerleme ile değiştirebilirsiniz. Bir öğeyi satın almak için en az on okul doları kazanmanız gerekir. ”
Belirteçli ekonomi koşulundaki öğrencilere bir hedef grafiği de sağlandı. Gol grafiğinin en üstünde, belirteç kazanabilecek hedef davranışlar belirlendi. Belirteçli ekonomi hedeflerinin altında, öğrencilerin kendi matematik hedeflerini yazabilecekleri bir bölüm sağlandı. Öğrencilerin yazarla buluştukları haftalık toplantı süresince, (a) yedek güçlendirici için belirteçler aldılar, (b) belirteç kazanabilecek hedef davranışlar hakkında hatırlatıcılar aldı ve (c) bireysel matematik hedeflerini hedef tablosuna yazdı.
Acil durum sözleşmesi. Bu koşula katılan öğrenciler, yazar tarafından sağlanan sözleşmeli bir klasör aldı. Sözleşmenin şartları yazar tarafından sözlü olarak sunulmuştur;
Her hafta buluşacağız, böylece matematik için hedefler belirleyebilirsiniz. Haftalık hedefler ve uzun vadeli hedefler belirlemenize izin verilir. Karşılaştığımızda, bir önceki hafta için belirlediğiniz hedefleri inceleyeceğiz. Karşılaştığınız hedefleri belirleyeceğiz ve yanlarına bir altın yıldız koyacağız. Karşılamadığınız hedefleri tartışacağız ve bu hedefleri tekrar belirleyip belirlemediğinize karar verebilirsiniz.
Sözleşmeler her öğrenciyle ayrı ayrı tartışıldı ve öğrenci sözleşme şartlarını anladığını gösterdiğinde, öğrenci ve yazar sözleşmeyi imzaladı.
Acil durum sözleşmesi koşulundaki öğrenciler, çalışma haftasına göre bölümlere ayrılmış olan bir hedef çizelgesi aldı. Haftalık bölümlerin altında, uzun vadeli hedefler bölümü sağlandı. Haftalık toplantı süresinde önceki haftanın hedefleri gözden geçirildi. Öğrenciler, belirli bir hedefe ulaştıklarında çabaya bağlı olarak altın yıldızlar ve olumlu sözel geribildirimler aldı. Öğrenciler daha sonra önümüzdeki hafta için haftalık ve uzun vadeli matematik hedefleri belirler.

Kontrol. Bu koşuldaki öğrencilere acil durum sözleşmesi koşulunda kullanılan ile aynı kişisel hedefler tablosu verildi. Yazar haftada bir kez öğrencilerle birebir tanıştı, böylece matematik için kısa ve uzun vadeli hedeflerini hedef çizelgelerine yazabildiler. Öğrenciler hedeflerini yazarla tartışmadılar. Ayrıca, öğrenciler öğretmenlerinden veya yazarlarından amaçlarına ulaşmaları için sözlü geri bildirim veya dış ödüller almadılar. Bu nedenle, bu koşul basitçe hedef belirleme ve yazarla harcanan zaman için bir kontrol görevi görmüştür.
Sonuçlar
Sınıf yapısı durumuna göre belirlenen öğrenme sıklığı ve performans hedeflerini belirlemek için iki faktörlü karma bir tasarım (hedef türüne göre sınıf yapısı) kullanarak bir ANOVA hesapladık. Tablo 1, öğrencilerin sınıf yapısının bir işlevi olarak belirlediği öğrenme ve performans hedeflerine yönelik hücre araçlarını göstermektedir. Sonuçlar, F (2, 67) = 36.70, p 6.0001 sınıf yapısı için önemli bir ana etkinin yanı sıra, önemli bir sınıf yapısının hedeflere göre etkileşimi, F (2, 67) = 31.35, p 6.0001 olduğunu göstermiştir.
ANOVA'daki sınıf yapısı-hedefleri arasındaki anlamlı farkları belirlemek için bir Tukey post hoc testi yaptık. Post hoc sonuçlarının bir özeti Tablo 2'de gösterilmektedir. Post hoc analizimizde, acil durum sözleşmesi koşulundaki öğrencilerin, diğer koşullardaki öğrencilere göre çok daha fazla öğrenme hedefi belirledikleri sonucuna vardık. Kontrol koşulundaki öğrenciler belirteç-ekonomi grubundaki öğrencilere göre çok daha fazla öğrenme hedefi belirledi. Öğrencilerin sınıf yapısı koşullarına göre belirledikleri performans hedefleri arasında anlamlı bir fark yoktu.
Acil durum sözleşmesi grubu içinde, öğrenciler performans hedeflerinden önemli ölçüde daha fazla öğrenme hedefi koymuşlardır. Kontrol grubunda, öğrencilerin belirlediği öğrenme sayısı ve performans hedefleri arasında anlamlı bir fark bulunamamıştır. Belirteç-ekonomi grubunda, öğrenciler öğrenme hedeflerinden çok daha fazla performans hedefi belirlediler.
Tartışma
Hedef analizlerinden elde edilen sonuçlar, sınıf yapısı koşulları içindeki ve içindeki önemli farkları göstermiştir. Bu sonuçlar Ames (1992c) tarafından öngörülen teorik ilişki ve bu çalışmada sınıf değerlendirme yapısının türünün öğrencinin hedef yönelimini etkileyeceği hipotezi ile tutarlıydı. Acil-kontrat koşulunda olan öğrenciler, diğer sınıf yapı koşullarındaki öğrencilere göre, performans hedeflerinden çok daha fazla öğrenme hedefine ve anlamlı derecede daha fazla öğrenme hedefine belirlediler. Belirteç ekonomisi koşulundaki öğrenciler, öğrenme hedeflerinden çok daha fazla performans hedefleri belirler. Kontrol sınıfında öğrencilerin belirlediği performansa karşı performans hedeflerine göre anlamlı bir farklılık yoktu. Ancak, o sınıftaki öğrenciler, belirteç ekonomisi koşulundaki öğrencilere göre çok daha fazla öğrenme hedefi belirlediler. Öğrencilerin sınıf-yapı koşullarında belirledikleri performans hedefleri için anlamlı bir fark yoktu.
Sonuçlarımız, öğrencilerin bireysel olarak değerlendirildiği ve kendi başarı hedeflerini belirlemelerine izin verilen bir beklenmedik durum sözleşmesi sınıf yapısının, öğrencilerin performans hedef yönelimi yerine öğrenme hedef yönelimini benimsemelerine izin verdiği fikrini desteklemektedir. Bu sınıf yapısında, öğrenci değerlendirmesi bireysel kazanımlar, gelişim ve ilerlemeye odaklanmıştır. Başarı, başarısızlığın tehdit olmadığı bir ortam yaratan öğrencilerin bireysel hedeflerine ulaşıp ulaşmadıklarıyla ölçülmüştür. Hedefler yerine getirilirse, öğrenciler hedeflerine yönelik çabalarından kişisel gurur ve memnuniyet elde edebilirler. Hedeflere ulaşılmadığı takdirde, öğrenciler hedefi yeniden değerlendirebilir, gerekli değişiklikleri yapabilir veya hedefi ortadan kaldırabilir.
Buna karşılık, belirteç ekonomisi sınıf yapısındaki öğrenciler normatif standartları karşıladıkları için ödüllendirildi ve performans hedefi yönelimi benimseme eğilimindeydi. Bu önemli bir sonuçtur çünkü belirteç ekonomileri sınıflardaki öğrencilerin davranışlarını değiştirmede başarılı olmuşlardır, bu nedenle öğretmenler bu müdahaleyi öğrencilerin özel ihtiyaçları için kaygı duymadan uygulayabilir (McLaughlin, 1981). Bireysel farklılıklar nedeniyle öğrenciler verilen ödevler için aynı miktarda jetonla motive olmazlar. Düşük yetenekli öğrenciler muhtemelen sinir bozucu ve çaresiz hale gelecektir. Boggiano ve Katz'a (1991) göre, bu tür bir öğrenme ortamındaki çocuklar genellikle daha az zorlayıcı aktiviteleri tercih eder, öğretmeni memnun etmek ve iyi notlar kazanmak için çalışır ve çalışmalarını değerlendirmek için başkalarına bağımlıdır. Sonuç olarak,
Öğrencilerin belirlediği performans hedeflerinin sayısı, sınıf yapısı koşulları arasında farklılık göstermedi. Acil durum sözleşmesindeki ve kontrol koşullarındaki öğrenciler, belirteç ekonomisi koşulundakilere kıyasla benzer sayıda performans hedefi belirler. Bu sonuç büyük olasılıkla ortaya çıktı çünkü öğretmenler çalışma boyunca tüm öğrencileri okullarındaki tüm öğrencileri geleneksel bir sınıflandırma sistemi ile değerlendirmeye devam ettiler. Bunun sonuçları değiştirip değiştirmeyeceğini değerlendirmek için beklenmedik sözleşme koşullarında geleneksel olmayan, bireysel temelli bir değerlendirme sisteminin uygulanması, ideal olacaktır.
Bu çalışmanın kısıtlamaları vardı. Bir sınırlama, öğretmen beklentilerini kontrol etmemesi ve bunların öğrencilerin hedef belirleme yönünü nasıl etkileyebileceği idi. Bir diğer potansiyel sınırlama matematiğin bu çalışma için kullanılan tek konu alanı olmasıdır. Diğer çalışmalar, benzer sonuçların ortaya çıkıp çıkmayacağını araştırmak için sosyal bilgiler, beşeri bilimler ve bilim gibi ek akademik alanları içermelidir.
Bu çalışma, sınıf değerlendirme yapısının öğrencinin başarı hedefi yönelimini etkileyebileceğine dair güçlü kanıtlar sunmaktadır. Spesifik olarak, bireysel hedeflerin ve çabanın önemini vurgulayan bir sınıf yapısında öğrenme hedeflerinin öğrencilere daha belirgin hale geldiğini gösterdik. Bu sonuç, ilköğretim öğrencisinin öğrenme stratejileri, yetenek ve yeterlik öz-anlayışları ve görev motivasyonu üzerinde birçok olumlu etkiye yol açabilir (Smiley ve Dweck, 1994). Öğrencilerin başarı hedefi yönelimi açık bir şekilde herhangi bir değişkene bağlı değildir, ancak sınıf süreçleri ve öğrenci deneyimleri arasındaki kapsamlı ilişkiden oluşur. Sınıf değerlendirme yapısının öğrenci hedef yönelimi üzerindeki etkisinin anlaşılması, potansiyel olarak ilişkili değişkenlerin daha fazla araştırılması için bir temel sağlar.