Памочнік можа хутка падрыхтаваць дзесяць задач, растлумачыць памылку і падабраць наступны прыклад. Але для навучальнага прадукту трэба праверыць тры розныя вынікі: карэктнасць задання, якасць зваротнай сувязі і змену навыку навучэнца.

Адзін паказчык «адказы спадабаліся» не ахоплівае гэтыя пытанні. Нават матэматычна правільнае тлумачэнне можа аказацца заўчасным, калі памочнік адразу раскрывае рашэнне замест прадугледжанай выкладчыкам падказкі.

Абмежаваць навучальны сцэнарый

Для першага запуску выберыце канкрэтны фрагмент праграмы: напрыклад, адрозненне вызначанага інтэграла і плошчы фігуры. Пазначце неабходныя веды, дапушчальныя спосабы рашэння і тыповыя памылковыя ўяўленні.

Змест курса павінен мець правераную крыніцу і адказнага выкладчыка. У моўнай праграме гэта ўключае выбраную норму, слоўнік, дапушчальныя варыянты адказу і парадак працы са спрэчным ужываннем. Мадэль не павінна самастойна ператвараць адзін распаўсюджаны варыянт у адзіны правільны.

Даследаванне архітэктуры праграмы для навучання беларускай мове задае прадметную вобласць такога сэрвісу. Практычную выніковасць канкрэтнай рэалізацыі неабходна правяраць асобна: апісанне архітэктуры яе не вызначае.

Захоўваць заданне разам з умовамі праверкі

Карысная адзінка кантэнту змяшчае ўмову, абмежаванні, эталон або спосаб праверкі, тлумачэнне, дапушчальныя варыянты і версію. Захоўвайце таксама паходжанне матэрыялаў і факт праверкі выкладчыкам.

Калі мадэль згенеравала новы варыянт, ён спачатку праходзіць праверку. Умовы выдачы неправеранага кантэнту павінны быць абмежаваныя; напрыклад, яго можна накіраваць выкладчыку для падрыхтоўкі занятку, але не выкарыстоўваць аўтаматычна ў ацэньванні.

Кампанент Што правяраць
Умова Усе даныя зададзены, пытанне адназначнае, задача мае рашэнне ў выбранай вобласці
Адказ Адпавядае ўмове і абмежаванням
Тлумачэнне Кожны пераход дапушчальны і зразумелы для патрэбнага ўзроўню
Праверка ўводу Карэктныя эквівалентныя формы прымаюцца, памылковыя не маскіруюцца акругленнем
Зваротная сувязь Паведамляе пра канкрэтную памылку і захоўвае дазволеную глыбіню падказкі

Для спрэчнага адказу патрэбны шлях да выкладчыка. Аўтаматычнае ацэньванне не павінна прымушаць навучэнца падладжвацца пад адзіны радок, калі задача дапускае некалькі раўнасільных фармулёвак.

Прыклад: правільны інтэграл і няправільная плошча

Разгледзім вучэбнае заданне: знайсці плошчу фігуры паміж графікам y = x² − 2x і воссю абсцыс на адрэзку ад 0 да 2.

На гэтым адрэзку функцыя недадатная. Вызначаны інтэграл роўны:

∫₀² (x² − 2x) dx = [x³/3 − x²]₀² = −4/3.

Плошча роўная 4/3, таму што тут трэба інтэграваць абсалютнае значэнне функцыі. Адказ −4/3 паказвае, што вылічэнне магло быць выканана правільна, а сэнс пытання — прачытаны няправільна.

Добрая зваротная сувязь спачатку дапамагае заўважыць разыходжанне: «Ці можа геаметрычная плошча быць адмоўнай? Як размешчаны графік на выбраным адрэзку?» Калі навучальны рэжым прадугледжвае самастойнае выпраўленне, адразу выдаваць канчатковую формулу неабавязкова.

Праверку вылічэння можна выканаць незалежным спосабам, напрыклад з дапамогай сімвальнага інтэгравання SymPy. Але выклік вылічальнага інструмента не здымае неабходнасці праверыць пастаноўку. Інтэграл і плошча адказваюць на розныя пытанні.

Тая ж праблема ўзнікае з запісам sqrt(x²): для адвольнага рэчаіснага x гэта |x|. Замена на x патрабуе дадатковага абмежавання x ≥ 0. Памочнік павінен захоўваць вобласць вызначэння і ўмовы пераўтварэнняў.

Правяраць педагагічны эфект асобна

Для кожнага навучальнага блока выберыце назіраны навык. У прыкладзе з інтэгралам гэта здольнасць вызначыць знак функцыі і выбраць патрэбны выраз для плошчы.

Пасля працы з памочнікам прапануйце новае заданне без падказак. Пажадана праверыць навык і пазней, калі вучань ужо не ўзнаўляе толькі што паказаны адказ. Параўноўвайце супастаўныя заданні і ўлічвайце зыходную падрыхтоўку.

Колькасць паведамленняў, час у праграме і задаволенасць інтэрфейсам могуць апісваць выкарыстанне прадукту. Яны не даказваюць засваенне тэмы. Аналагічна рост паспяховасці заданняў унутры сэрвісу можа тлумачыцца больш падрабязнымі падказкамі.

Публікацыя пра вялікія даныя ў адукацыі разглядае магчымасці адукацыйнай аналітыкі. Ва ўласным прадукце карысна пазбягаць аўтаматычных высноў пра здольнасці чалавека паводле абмежаванага лічбавага следу: назіранне адносіцца да канкрэтных заданняў і ўмоў.

Як выпускаць абнаўленні

Змяняць мадэль, падказкі і правілы праверкі лепш як звязаныя версіі. Перад выпускам праганяюць заданні з вядомымі памылкамі, карэктнымі альтэрнатывамі і памежнымі ўмовамі. Захоўваюць магчымасць узнавіць, які кантэнт бачыў навучэнец пры спрэчнай ацэнцы.

Збор навучальных даных абмяжоўваюць задачай; доступ, захоўванне і падключэнне знешніх сэрвісаў узгадняюць з адказнымі за адукацыйны працэс і абарону даных. UNESCO рэкамендуе ацэньваць прыдатнасць генератыўнага AI з улікам педагагічных мэт і інтарэсаў навучэнцаў.

Тэма генерацыі задач матэматычнага аналізу прысутнічае ў публікацыі 2023 года. Прыведзеныя тут матэматычныя прыклады і парадак праверкі — самастойная практычная распрацоўка, без заявы пра праведзены педагагічны эксперымент.