革新的勉強法爆誕!?生成AIによる筆記試験添削の現実

技術士への道
スポンサーリンク

23~24年は生成AIが時代を大きく動かしたと言ってもよいと思います。私自身も生成AIを普段の業務に取り入れることが増えてきました。

その波は技術士の筆記試験添削にもあると思います。いろんな形で取り組んでいると思いますが、今回は技術士のホームページで有名なSUKIYAKI塾の掲示板にあった添削に関する議論があったのでそれを紹介したいと思います。

気になる方はSUKIYAKI塾の掲示板を詳しくみてもらえたらと思います。

 

読む前に以下をご理解ください。

以下の情報は生成AIの情報であることをよく理解してください。生成AIであるため回答は自分で確認して、理解することが重要です!
スポンサーリンク

指示(プロンプト)を出す前に。。。

今回は、私が実際に回答した内容(A評価、点数開示済み)で実施してみました。

問題と実際の回答は割愛しますので、少しわかりにくいかもしれませんがご了承ください。

スポンサーリンク

実際の指示内容

以下に、「日本技術士会の化学部門の必須科目の問題文」と、これに対し作成した「論文」を示します。

まずは、問題文の「題意」を分析し、抽出を行い、問題文の「題意」明確に理解してください。次に、「論文」を分析し、問題文の「題意」に対し、適切な回答になっているかどうかの視点で「採点基準」に基づき、採点して下さい。
その上で、40点満点中、何点か、あなたの評価を教えてください。そして、判断基準に基づいて評価の詳細を説明してください。
尚、この論文は、1800文字内で記述することと、最重要課題は3つの課題のうち1つの課題のみについて記述することが前提の論文であることを考慮して下さい。
また、化学部門の必須科目として回答が妥当かどうかも考慮してください。

 

「日本技術士会の問題文」

※実際の問題文

「回答論文」

※実際の回答論文

 

「採点基準」
①専門的学識の欠如(0~5点)
問題文では複数の専門技術用語を交えて解決策を示す必要があるが、使用された専門用語が適切か。
問題文の題意に合致しているか。

②問題分析の不十分(0~5点)
課題の内容や背景、制約要因の分析が浅く、多面的な観点からの深掘りが不足していないか。
問題発生要因の抽出や分析が不十分であり、課題の本質が明確か。
問題文の題意に合致しているか。

③相反する要求事項の考慮不足(0~5点)
経済性、安全性、技術的実現性などの相反する要求事項やそれに伴う影響についての具体的な考慮がされているか。
問題文の題意に合致しているか。

④合理的な解決策の不足(0~10点)
複数の選択肢を提示しているが、それらを比較して合理的に優先すべき解決策を導き出すプロセスが明確か。
提示された解決策が具体性や合理性があるか。専門技術用語の使用があり、解決策の妥当性や実現可能性が十分か。
問題文の題意に合致しているか。

⑤評価と波及効果の不足(0~5点)
解決策実施後の成果や波及効果の評価が十分か。次段階への具体的なフィードバックが示されているか。
解決策の実行による波及効果や成果の評価が具体的か。懸念事項への対応策も詳細に示されているか。
他業務への影響や次段階への改善点について考察されているか。
問題文の題意に合致しているか。

⑥コミュニケーションの不明確(0~5点)
全体としての構成がわかりやすく、論文としての論理的な流れや明確さが十分か。
記述が断片的で論理が一貫性か。明確かつ効果的な意思疎通が十分に行われているか。段落構成や表現に改善の余地があるか。
全体的に論理的な文章構成であり、各セクション間の関連性や一貫性が十分か。
問題文の題意に合致しているか。

⑦技術者倫理への考慮不足(0~3点)
特に公衆の安全や権利に関する具体的な考慮が十分か。法的側面や道徳的側面での具体例が十分か。
問題文の題意に合致しているか。

⑧持続可能性への配慮不足(0~2点)
地球環境や社会文化に対する影響および持続性確保に関する具体的な記述が十分か。一般的な言及に留まっていないか。
問題文の題意に合致しているか。

 

技術士第二次試験受験講座 1on1でご指導します 化学部門受験生にお勧め&コンピテンシー目線の指導【限定価格】

 

 

 

スポンサーリンク

実際の回答(一部省略)

①専門的学識(4/5点)

  • 専門用語が適切に使用されており、技術的な妥当性がある。
  • 一部の技術用語について詳細な背景説明が不足。

②問題分析(4/5点)

  • 課題として明確に抽出。
  • 背景分析が適切で、課題の妥当性も高い。しかし、最重要課題として選んだ理由にもう少し説得力がある説明が必要。

③相反する要求事項の考慮(3/5点)

  • 経済性や安全性、技術的実現性について触れているが、具体的なバランスの取り方やトレードオフの議論が不足している。

④合理的な解決策(8/10点)

  • 具体的な解決策を提示。
  • 技術の実現可能性が高く、現実的であるが、各選択肢の比較や優先順位付けが曖昧。

⑤評価と波及効果(3/5点)

  • 解決策の実行による効果が具体的に述べられている点は評価できる。
  • 懸念事項への対応策もあるが、全体的な波及効果や次段階の改善点については掘り下げが不十分。

⑥コミュニケーション(4/5点)

  • 論文の構成が明確で、各セクションが論理的に繋がっている。
  • ただし、一部で表現の簡潔さに欠ける部分があり、さらに洗練された記述が望まれる。

⑦技術者倫理(2/3点)

  • 公衆安全やリスク管理に言及しているが、倫理的観点からの議論が抽象的で、具体的な事例が不足。

⑧持続可能性(2/2点)

  • CO2削減や地球環境保全への貢献を具体的に述べており、持続可能性への配慮が十分。

総合評価

30/40点

評価の詳細

  • 論文は問題文の題意に沿って構成され、解決策や背景分析が技術的に妥当である。
  • ただし、課題の選定理由や解決策の優先順位、懸念事項の掘り下げに改善の余地がある。倫理的配慮についても、より具体的な記述が必要。

 

回答を受けて

①適切な指摘はある

1800文字という制限の中で書いていることから不足しているという指摘はありますが、それでも技術的な根拠不足や専門性の不足は反省点としてあったのでそれはしっかり指摘事項としてされている部分は納得感があります。

解決策が実現的であるという評価も理解できます。解決策を書くのはいいのですが、実現できるかわからない解決策もあり、その点は評価されていることも分かります。

一方でここまで必要か?という指摘もあります。解決策の比較や優先順位などはスペース的な話もありますが、本文では不要だと思います。すべて解決した上でのリスクを抽出するという流れもありますので個人的にはそこは意識しなくてもいいと思います。

洗練された。。。という指摘も気になります。洗練ってそもそも?という突っ込みもありますが。

 

②実際の点数に比べて甘め&ばらつきがある

今回の点数は30点でした。実際の点数はもう少し低いので甘めに評価している印象です。また日によって多少点数が変動します&他のアプリケーションによって点数が変動します。N増しすることで精度アップしますし、指示によっても精度が変化するので指示を少し更新するといいと思います。

③A評価とB評価の識別は難しい?

②にも関連すると思いますが、例えばAとBの境目にあるような評価は判別はまだ難しいかもしれません。C評価であれば判別はできると思いますが、全体的に評価が甘い印象なので従来の合格点より高めに見て判定するなどの工夫が必要です。(例えば30点以上で合格とするなど)

 

最後に

ということで生成AIを使った添削を紹介しました。

生成AIという性質上、これは鵜呑みにしてはいけません!

指示内容も含めてあくまでツールのひとつとして参考にすることが大事です。

そしてツールである以上これを使いこなすことで効率的に勉強ができることも事実です。

逆算して、問題と求める題意から実際に論文を書いてもらうこともできると思います。

 

いずれにしも、生成AIを使うことは自己責任の中ではありますが、革新的な勉強方法として可能性を秘めているのではないでしょうか。

 

技術士第二次試験受験講座 1on1でご指導します 化学部門受験生にお勧め&コンピテンシー目線の指導【限定価格】

タイトルとURLをコピーしました