1000G-retrieve-genotype-q1 | CompBioBench Results

Question

At hg38 chr10:110918899 (1-indexed), find the genotypes of the following individuals from the latest 1000G project data: 'HG01248', 'NA19204', 'NA18614', 'NA21123', 'NA19171', 'HG02303', 'HG01274', 'HG03134', 'NA18639', 'HG01383'. Report the answer as comma separated string of genotypes: e.g. 0/0,0/1,1/1,...,0/1

Inferred answer: 0/1,0/1,1/1,1/1,0/1,1/1,0/0,0/1,0/1,1/1Uniquely inferred from submitted scores.
Domain: Population Genetics
Question style: Retrieval

An answer can be uniquely inferred for 54 of 100 questions from submitted scores. Green: correct · Red: incorrect. For questions without a uniquely determined answer: Blue: matches prediction · Orange: differs from prediction. These are inferred answer checks, not official per-question grades.

Galaxy

12/12 terminal item results

UDT = user-defined tool: custom code executed by Galaxy. Route badges summarize analysis tools, excluding uploads and automatic conversions. How usage is counted.

Codex GPT-5.5

3 replicates

Codex GPT-5.5

Replicate 1

CorrectUDT-only

Answer0/1,0/1,1/1,1/1,0/1,1/1,0/0,0/1,0/1,1/1

Workflow

Get 1000G chr10 genotypesGet 1000G chr10 genotypes canonical

Galaxy history Agent trace

Codex GPT-5.5

Replicate 2

CorrectUDT-only

Answer0/1,0/1,1/1,1/1,0/1,1/1,0/0,0/1,0/1,1/1

Workflow

Query 1000G chr10 110918899 genotypesQuery 1000G chr10 110918899 genotypes normalized

Total tokens: 420.8K
Output: 5.5K

Galaxy history Agent trace

Codex GPT-5.5

Replicate 3

RerunCorrectUDT-only

Answer0/1,0/1,1/1,1/1,0/1,1/1,0/0,0/1,0/1,1/1

Workflow

Query 1000G chr10:110918899 genotypesQuery 1000G chr10:110918899 genotypes staged

Total tokens: 500.2K
Output: 7.9K

Galaxy history Agent trace

Codex GPT-5.6 Sol

3 replicates

Codex GPT-5.6 Sol

Replicate 1

CorrectUDT-only

Answer0/1,0/1,1/1,1/1,0/1,1/1,0/0,0/1,0/1,1/1

Workflow

BCFtoolsValidate and format ordered 1000G genotypes

Galaxy history Agent trace

Codex GPT-5.6 Sol

Replicate 2

CorrectUDT-only

Answer0/1,0/1,1/1,1/1,0/1,1/1,0/0,0/1,0/1,1/1

Workflow

Query latest 1kGP hg38 genotypes at chr10:110918899

Total tokens: 871.2K
Output: 6.0K

Galaxy history Agent trace

Codex GPT-5.6 Sol

Replicate 3

CorrectUDT-only

Answer0/1,0/1,1/1,1/1,0/1,1/1,0/0,0/1,0/1,1/1

Workflow

Diagnose 1kGP high-coverage chr10 source and locusExtract ordered 1kGP high-coverage chr10 genotypesNormalize ordered unphased genotype classes

Total tokens: 9.5M
Output: 19.9K

Galaxy history Agent trace

Codex + DeepSeek-v4-pro-0813

3 replicates

Codex + DeepSeek-v4-pro-0813

Replicate 1

IncorrectStandard tools only

Answer0/1,1/0,1/1,1/1,0/1,1/1,0/0,1/0,0/1,1/1

Workflow

Bcftools Query

Total tokens: 1.0M
Output: 13.0K

Galaxy history Agent trace

Codex + DeepSeek-v4-pro-0813

Replicate 2

CorrectStandard tools only

Answer0/1,0/1,1/1,1/1,0/1,1/1,0/0,0/1,0/1,1/1

Workflow

Bcftools View

Total tokens: 4.3M
Output: 20.0K

Galaxy history Agent trace

Codex + DeepSeek-v4-pro-0813

Replicate 3

RerunIncorrectUDT + standard tools

Answer0/1,1/0,1/1,1/1,0/1,1/1,0/0,1/0,0/1,1/1

Workflow

bcftools query → User-defined tool

Total tokens: 35.2M
Output: 70.4K

Galaxy history Agent trace

Codex GPT-5.6 Luna

3 replicates

Codex GPT-5.6 Luna

Replicate 1

CorrectStandard tools only

Answer0/1,0/1,1/1,1/1,0/1,1/1,0/0,0/1,0/1,1/1

Workflow

Upload1Converter Vcf Bgzip To Tabix 0Bcftools Query

Total tokens: 10.8M
Output: 30.6K

Galaxy history Agent trace

Codex GPT-5.6 Luna

Replicate 2

CorrectStandard tools only

Answer0/1,0/1,1/1,1/1,0/1,1/1,0/0,0/1,0/1,1/1

Workflow

Bcftools ViewBcftools Query

Total tokens: 8.4M
Output: 25.4K

Galaxy history Agent trace

Codex GPT-5.6 Luna

Replicate 3

CorrectStandard tools only

Answer0/1,0/1,1/1,1/1,0/1,1/1,0/0,0/1,0/1,1/1

Workflow

Upload1Bcftools Query List SamplesBcftools Query

Total tokens: 10.5M
Output: 30.1K

Galaxy history Agent trace

Anycode

13/13 terminal item results

Codex GPT-5.5

3 replicates

Codex GPT-5.5

Replicate 1

Correct

Answer0/1,0/1,1/1,1/1,0/1,1/1,0/0,0/1,0/1,1/1

Workflow

Local codeBCFtoolsSamtools

Agent trace

Codex GPT-5.5

Replicate 2

Correct

Answer0/1,0/1,1/1,1/1,0/1,1/1,0/0,0/1,0/1,1/1

Workflow

Local codeBCFtools

Agent trace

Codex GPT-5.5

Replicate 3

Correct

Answer0/1,0/1,1/1,1/1,0/1,1/1,0/0,0/1,0/1,1/1

Workflow

Local codeBCFtools

Agent trace

Codex GPT-5.6 Sol

3 replicates

Codex GPT-5.6 Sol

Replicate 1

Correct

Answer0/1,0/1,1/1,1/1,0/1,1/1,0/0,0/1,0/1,1/1

Workflow

Local codeBCFtools

Agent trace

Codex GPT-5.6 Sol

Replicate 2

Correct

Answer0/1,0/1,1/1,1/1,0/1,1/1,0/0,0/1,0/1,1/1

Workflow

Local codeBCFtools

Agent trace

Codex GPT-5.6 Sol

Replicate 3

Correct

Answer0/1,0/1,1/1,1/1,0/1,1/1,0/0,0/1,0/1,1/1

Workflow

Local codeBCFtools

Agent trace

Codex + DeepSeek-v4-pro-0813

3 replicates

Codex + DeepSeek-v4-pro-0813

Replicate 1

Correct

Answer0/1,0/1,1/1,1/1,0/1,1/1,0/0,0/1,0/1,1/1

Workflow

Local codeBCFtoolsSamtoolsPythonpysam1 more tools

Total tokens: 12.4M
Output: 33.6K

Agent trace

Codex + DeepSeek-v4-pro-0813

Replicate 2

Correct

Answer0/1,0/1,1/1,1/1,0/1,1/1,0/0,0/1,0/1,1/1

Workflow

Local codeBCFtoolsSamtools

Total tokens: 2.7M
Output: 16.8K

Agent trace

Codex + DeepSeek-v4-pro-0813

Replicate 3

RerunCorrect

Answer0/1,0/1,1/1,1/1,0/1,1/1,0/0,0/1,0/1,1/1

Workflow

Open-ended code

Total tokens: 380.1K
Output: 7.6K

Agent trace

Codex GPT-5.6 Luna

3 replicates

Codex GPT-5.6 Luna

Replicate 1

Correct

Answer0/1,0/1,1/1,1/1,0/1,1/1,0/0,0/1,0/1,1/1

Workflow

Local codeBCFtoolsSamtools

Agent trace

Codex GPT-5.6 Luna

Replicate 2

Correct

Answer0/1,0/1,1/1,1/1,0/1,1/1,0/0,0/1,0/1,1/1

Workflow

Local codeBCFtoolsSamtoolsPython

Agent trace

Codex GPT-5.6 Luna

Replicate 3

Correct

Answer0/1,0/1,1/1,1/1,0/1,1/1,0/0,0/1,0/1,1/1

Workflow

Local codeBCFtoolsSamtoolsPython

Agent trace

Codex GPT-6 Astra

1 replicate

Codex GPT-6 Astra

Replicate 1

Correct

Answer0/1,0/1,1/1,1/1,0/1,1/1,0/0,0/1,0/1,1/1

Workflow

Local codePythonBCFtools

Total tokens: 210.7K
Output: 1.4K

Agent trace