☰ Categories

Design assessment questions

Fixes what is being measured before writing any question.

CategoryEducation › Lesson prep
TagsQuestion generationReviewingTeacher
Prompt
Design assessment items.

**Objectives first**
For each objective, decide **what has to be observed for it to count as reached.** Without this, the items only sweep over "what was covered".

**Item design**
Per objective:
1. **An item answerable from memory** — necessary, but it alone does not confirm the objective
2. **An item that requires understanding** — applied to a case different from the one taught. ***This is the actual check***
3. **Why the answer is the answer**, per item
4. **Wrong-answer analysis** — what did a student choosing this one miss? ***If the wrong answers do not diagnose, you have only graded***

**Check**
- **Flag items answerable by pattern** because they reuse the exact phrasing from class
- Remove items that ask about something not in the objectives
- **Items whose question is hard to parse** — ***those measure reading ability instead***
- Does the point weighting follow **importance of the objective** rather than difficulty?

**Output**
- Items and answer rationale, by objective
- Diagnosis per wrong answer
- Whether it fits the time I gave you
- **Objectives these items do not check**

**Rules**
- Do not test outside the objectives I gave you
- ***Do not quote achievement standards from memory.*** Say they need checking
After pasting, fill in the fields at the bottom (Objectives · Student level · Format and time)

What this prompt does

Writing questions first leaves you unsure what they measure. This sets a checkpoint per objective and builds items that separate recall from understanding.

Model comparison

Claude is strongest in alignment and diagnostic design. ChatGPT is solid but has scope issues, while Gemini is detailed yet overextends the objective and contains notable inaccuracies.

ClaudeTop overall
43/ 50

+ Strictly aligns transfer items with observable attainment criteria.

- It oversimplifies solid ordering and particle-distance changes.

ChatGPT
40/ 50

+ Covers the requested format with clear diagnoses and weighting.

- Perfume and condensation items have scope and transfer concerns.

Gemini
33/ 50

+ Provides highly specific misconceptions for every distractor.

- It tests mass, volume, and forces beyond scope, with some errors.

CriterionChatGPTClaudeGeminiLeader
Instruction following896Claude +13%
Accuracy785Claude +14%
Specificity9109Claude +11%
Structure998Tie
Right length775Tie

Scored 1–10 by gpt-5.6-sol with model names hidden (2026-09-25). This is an AI review, not a measurement.

Read full answers

We gave three models the same input and copied their answers unedited. Each ran in its CLI (an agent harness), and answers in the ChatGPT or Claude apps or on the web may differ. Outputs are in Korean.

Input used
Objectives: 중학교 2학년 과학 '물질의 상태 변화' 단원 — 온도 변화에 따른 물질의 상태 변화를 입자 운동 모델로 설명할 수 있다

Student level: 중학교 2학년 28명, 과학 흥미도는 중하위권이며 용어 암기 위주로 학습해 온 편

Format and time: 객관식 5문항 + 서술형 2문항, 40분 지필평가
gpt-5.6-luna (codex CLI · 에이전트 하네스) · Run on 2026-09-24

1. 목표 도달 여부의 관찰 기준

성취 목표: 온도 변화에 따른 물질의 상태 변화를 입자 운동 모델로 설명할 수 있다.

목표 도달로 볼 수 있으려면 학생이 다음을 함께 보여야 한다.

  • 온도 변화에 따라 상태가 어떻게 바뀌는지 판단한다.
  • 온도 상승·하강과 입자의 운동 에너지 및 운동 정도를 연결한다.
  • 상태 변화 전후의 입자 배열·간격·이동 가능성 변화를 설명한다.
  • 수업에서 다룬 물질이나 상황이 아닌 새로운 사례에도 모델을 적용한다.

단순히 “고체, 액체, 기체” 또는 “녹음, 얼음”을 암기해 고르는 것만으로는 목표 도달을 확인할 수 없다.

공식 성취기준과의 정확한 문구 일치 여부는 교육과정 원문을 확인해야 한다. 아래 문항은 사용자가 제시한 목표만을 기준으로 설계했다.


2. 평가 문항

문항 1. 기억·기초 확인 문항 — 5점

다음 중 기체 상태의 입자 운동 모습으로 가장 알맞은 것은?

① 입자가 일정한 위치에서만 진동한다.
② 입자 사이의 거리가 매우 가깝고 입자가 자유롭게 이동한다.
③ 입자 사이의 거리가 비교적 멀고 입자가 여러 방향으로 자유롭게 움직인다.
④ 온도가 변해도 입자의 운동 정도는 변하지 않는다.

정답: ③

정답 근거

기체에서는 입자 사이의 거리가 크고, 입자가 서로 떨어져 여러 방향으로 자유롭게 움직인다.

오답 진단

  • ①: 고체의 입자 운동 모습을 기체에 적용했다.
  • ②: 입자 간격은 가깝지만 자유롭게 이동한다는 점에서 액체와 기체의 특징을 혼동했다.
  • ④: 온도가 높아지면 일반적으로 입자의 운동이 활발해진다는 관계를 이해하지 못했다.

점검

  • 입자 상태 모형의 기본 기억을 확인하는 문항이다.
  • 수업에서 “기체 입자는 멀리 떨어져 자유롭게 운동한다”라는 문장을 그대로 외웠다면 패턴으로 답할 가능성이 있다.
  • 이 문항만으로는 목표 도달을 판정할 수 없다.

문항 2. 기억·기초 확인 문항 — 5점

액체가 냉각되어 고체가 될 때 나타나는 변화로 옳은 것은?

① 입자의 운동이 활발해지고 입자 사이의 거리가 커진다.
② 입자의 운동이 줄어들고 입자가 일정한 배열을 이루기 쉬워진다.
③ 입자의 종류가 다른 물질로 바뀐다.
④ 입자의 수가 줄어든다.

정답: ②

정답 근거

액체가 냉각되면 입자의 운동이 줄어들고 입자들이 비교적 규칙적인 배열을 이루면서 고체가 된다.

오답 진단

  • ①: 냉각과 가열의 효과를 거꾸로 생각했다.
  • ③: 상태 변화와 물질 자체가 다른 물질로 변하는 화학 변화를 구별하지 못했다.
  • ④: 상태 변화에서 입자의 수가 줄어든다고 생각했다. 상태 변화 전후 물질을 이루는 입자의 수는 기본적으로 변하지 않는다.

점검

  • 상태 변화와 입자 운동의 기본 연결을 확인한다.
  • 교과서의 “냉각하면 입자 운동이 느려진다”라는 표현을 그대로 사용했다면 패턴 답안이 될 수 있다.
  • 역시 적용 능력을 확인하는 문항은 아니다.

문항 3. 새로운 사례 적용 문항 — 8점

차가운 컵에 담긴 얼음물이 시간이 지나면서 컵 바깥쪽에 물방울을 만든다. 이 현상을 입자 운동 모델로 가장 잘 설명한 것은?

① 컵 바깥의 물 입자가 냉각되어 서로 가까워지고 액체가 되었다.
② 컵 안의 물 입자가 컵을 통과하여 바깥에서 기체가 되었다.
③ 공기 중 수증기 입자의 운동이 줄어들어 서로 가까워지고 액체 물이 되었다.
④ 컵 바깥의 산소 입자가 물 입자로 변했다.

정답: ③

정답 근거

공기 중 수증기가 차가운 컵 표면에서 냉각된다. 수증기 입자의 운동이 줄어들고 입자 사이가 가까워져 액체 물방울이 된다.

오답 진단

  • ①: 물방울의 출처를 컵 내부의 물로 잘못 판단했거나, 컵 표면의 냉각 효과를 설명하지 못했다.
  • ②: 기체가 액체로 변하는 응결을 이해하지 못하고, 물질이 컵을 통과한다고 생각했다.
  • ④: 상태 변화와 새로운 물질 생성 또는 원자 수준의 물질 변화를 혼동했다.

점검

  • 교과서에서 흔히 다루는 물방울 사례와 비슷할 수 있으므로, 수업에서 동일한 사례를 사용했다면 사례 기억으로 답할 가능성이 있다.
  • 단, 정답을 고르려면 “수증기 → 액체”, “냉각”, “입자 운동 감소”를 연결해야 한다.

문항 4. 새로운 사례 적용 문항 — 8점

밀폐된 용기에 액체 향수를 조금 넣고 따뜻한 곳에 두었더니 용기 안의 향수 냄새가 더 넓게 퍼졌다. 이에 대한 설명으로 옳은 것은?

① 온도가 올라가 입자의 운동이 활발해지고, 기체 상태 입자가 더 빠르게 퍼진다.
② 온도가 올라가 입자의 운동이 줄어들어 한곳에 모인다.
③ 향수 입자가 가열되어 전혀 다른 물질의 입자로 변한다.
④ 액체 입자가 사라졌기 때문에 빈 공간으로 냄새가 퍼진다.

정답: ①

정답 근거

온도가 올라가면 입자의 운동이 활발해진다. 향수의 일부가 기체 상태로 존재하며, 기체 입자가 활발하게 움직여 용기 전체로 퍼진다.

오답 진단

  • ②: 온도 상승과 입자 운동 증가의 관계를 반대로 이해했다.
  • ③: 온도에 따른 상태 변화와 화학 변화를 혼동했다.
  • ④: 입자가 사라진다고 생각하여 입자 보존과 확산을 이해하지 못했다.

점검

  • 향수는 얼음이나 물과 다른 사례이므로 전이 적용을 확인할 수 있다.
  • 다만 “냄새가 퍼진다”를 확산만으로 볼지, 액체에서 기체로의 변화까지 포함할지는 수업에서 다룬 범위와 맞는지 확인해야 한다. 범위를 벗어난다면 “향수의 일부가 기체가 되었다”는 정보를 문항에 명시해야 한다.

문항 5. 새로운 사례 적용 문항 — 8점

다음은 어떤 물질을 가열하면서 관찰한 결과이다.

  • 처음에는 모양이 일정했다.
  • 가열하자 물질이 흐르기 시작했다.
  • 더 가열하자 용기 전체로 퍼졌다.

이 물질의 상태 변화와 입자 운동을 바르게 설명한 것은?

① 고체에서 액체를 거쳐 기체가 되었으며, 가열할수록 입자의 운동이 활발해지고 입자 사이가 멀어진다.
② 기체에서 액체를 거쳐 고체가 되었으며, 가열할수록 입자의 운동이 줄어든다.
③ 물질이 사라졌다가 새로운 입자로 바뀌었다.
④ 입자의 종류는 변했지만 상태는 변하지 않았다.

정답: ①

정답 근거

일정한 모양을 유지하던 고체가 흐르기 시작한 것은 액체가 된 것이고, 용기 전체로 퍼진 것은 기체 상태로 변한 것으로 볼 수 있다. 가열하면 입자의 운동이 활발해지고 입자 사이가 더 멀어질 수 있다.

오답 진단

  • ②: 가열에 따른 상태 변화의 방향과 입자 운동 변화를 반대로 이해했다.
  • ③: 상태 변화를 물질 소멸이나 새로운 물질 생성으로 오해했다.
  • ④: 입자의 종류 변화와 상태 변화를 혼동했다.

점검

  • 관찰 결과를 상태 변화와 입자 모델로 연결해야 하므로 목표와 직접 관련된다.
  • 선택지 ①이 지나치게 교과서 문장과 같으면 패턴으로 답할 가능성이 있으므로, 실제 시험에서는 물질의 사례나 관찰 순서를 일부 바꾸는 것이 좋다.

문항 6. 서술형 — 15점

얼음 조각을 실온에 두었더니 물이 되었고, 그 물을 계속 가열하자 수증기가 되었다. 이 과정을 입자의 운동과 배열 변화를 포함하여 설명하시오.

예시 답안

얼음에서는 입자가 비교적 규칙적으로 배열되어 제자리에서 진동한다. 온도가 올라가면 입자의 운동이 활발해지고 배열이 느슨해져 액체 물이 된다. 계속 가열하면 입자의 운동이 더 활발해지고 입자 사이의 거리가 커져 입자가 자유롭게 움직이는 기체인 수증이가 된다.

채점 기준

  • 고체에서 액체로의 변화와 입자 운동·배열 변화를 설명함: 5점
  • 액체에서 기체로의 변화와 입자 운동·간격 변화를 설명함: 5점
  • 온도 상승과 입자 운동 증가를 두 상태 변화에 일관되게 연결함: 3점
  • 상태 변화 전후의 입자 배열 또는 이동 가능성을 적절히 표현함: 2점

부분 응답 진단

  • “얼음이 녹아 물이 되고 물이 끓어 수증기가 된다”만 쓴 경우: 상태 변화 이름은 알지만 입자 운동 모델로 설명하지 못함.
  • “온도가 올라간다”만 쓴 경우: 온도 변화는 파악했지만 입자 운동과 연결하지 못함.
  • “입자가 커진다”라고 쓴 경우: 입자의 운동·간격 변화와 입자 자체의 크기 변화를 혼동함.
  • “새로운 물질이 만들어진다”라고 쓴 경우: 물리적 상태 변화와 화학 변화를 혼동함.

문항 7. 서술형 — 15점

어떤 물질을 투명한 밀폐 용기에 넣고 냉각했더니 용기 안쪽에 액체 방울이 생겼다. 이 현상을 입자 운동 모델로 설명하시오. 답안에는 다음 내용을 포함하시오.

  1. 액체 방울이 생긴 물질의 원래 상태
  2. 온도 변화와 입자 운동의 관계
  3. 입자 배열 또는 입자 사이 거리의 변화

예시 답안

액체 방울은 공기 중에 있던 기체 상태의 물질이 냉각되어 생긴 것이다. 온도가 내려가면 기체 입자의 운동이 줄어들고, 입자 사이의 거리가 가까워져 입자들이 모이므로 액체 상태가 된다.

채점 기준

  • 원래 상태를 기체로 판단함: 4점
  • 냉각에 따라 입자 운동이 줄어든다고 설명함: 4점
  • 입자 사이 거리가 가까워지거나 입자들이 모인다고 설명함: 4점
  • 기체에서 액체로의 상태 변화임을 명확히 설명함: 3점

부분 응답 진단

  • “물이 생겼다”만 쓴 경우: 관찰 결과는 말했지만 물질의 원래 상태와 상태 변화를 설명하지 못함.
  • “공기 중 수증기”라고 했지만 냉각과 입자 운동을 설명하지 않은 경우: 사례는 기억하지만 입자 모델을 적용하지 못함.
  • “입자가 빨라져서 물방울이 된다”라고 쓴 경우: 냉각과 운동 변화의 방향을 반대로 이해함.
  • “기체 입자가 액체 입자로 바뀐다”라고 쓴 경우: 상태 변화는 파악했지만 입자 자체가 다른 종류로 바뀐다고 오해함.

3. 시간과 배점 점검

총점은 64점이다.

문항 유형 문항 수 배점 예상 시간
기억·기초 확인 2문항 10점 4분
새로운 사례 적용 객관식 3문항 24점 10분
서술형 2문항 30점 20분
검토 - - 6분
합계 7문항 64점 40분

시간 안에 가능하다. 다만 중학교 2학년이고 서술형 경험이 적다면 서술형 2문항에 각각 답안 조건을 제시하는 것이 좋다.

배점은 단순 암기보다 목표의 핵심인 새로운 상황에 입자 운동 모델을 적용하는 능력에 더 크게 두었다.

  • 기억·기초 확인: 10점
  • 적용 객관식: 24점
  • 서술형 모델 설명: 30점

문항 수를 모두 같은 배점으로 주기보다는 목표의 중요도를 반영한 배점이다.


4. 이 문항들이 확인하지 않는 목표

제시된 목표만으로는 다음 내용을 평가하지 않는다.

  • 상태 변화 과정에서의 시간-온도 그래프 해석
  • 물질의 종류에 따른 녹는점·끓는점 비교
  • 물질의 양이나 압력 변화가 상태 변화에 미치는 영향
  • 열에너지의 이동량이나 비열 계산
  • 상태 변화에서 출입하는 열에너지의 정량적 계산
  • 입자 종류를 원자·분자 수준으로 구분하는 내용
  • 실험 기구 조작이나 실제 관찰 수행 능력
  • 상태 변화와 관련된 공식 또는 수치 계산

이러한 내용을 포함하려면 목표에 명시하거나 별도의 평가 목표로 추가해야 한다.

More in this category

Write feedback on student work
Academic Writing Workshop Plan
Analogy Generator
Chinese Hookah Training Program
Teach a sensitive topic