diff --git "a/llmtf_eval/darumeru_MultiQ.jsonl" "b/llmtf_eval/darumeru_MultiQ.jsonl" --- "a/llmtf_eval/darumeru_MultiQ.jsonl" +++ "b/llmtf_eval/darumeru_MultiQ.jsonl" @@ -1,9 +1,9 @@ { "metric": { - "f1": 0.6666666666666666, + "f1": 0.125, "em": 0 }, - "predict": " Городская дума Нижнего Новгорода.", + "predict": " Городской дума Нижнего Новгорода работает в городе, где появился на свет Геннадий Васильевич Быков.", "sample": { "messages": [ { @@ -50,7 +50,7 @@ "info": { "prompt_len": 459, "generated_len": [ - 40 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -60,7 +60,7 @@ "f1": 0, "em": 0 }, - "predict": " Большой Юган", + "predict": " Большой Юган.", "sample": { "messages": [ { @@ -107,7 +107,7 @@ "info": { "prompt_len": 332, "generated_len": [ - 40 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -117,7 +117,7 @@ "f1": 0.23076923076923078, "em": 0 }, - "predict": " Глава администрации в городе, где родился Николай Власович Перминов, является мэр Казани. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", + "predict": " Главой администрации в городе Казани, где родился Николай Власович Перминов, является мэр. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", "sample": { "messages": [ { @@ -158,7 +158,7 @@ "info": { "prompt_len": 293, "generated_len": [ - 40 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -209,17 +209,17 @@ "info": { "prompt_len": 285, "generated_len": [ - 40 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.08333333333333333, "em": 0 }, - "predict": " Река, питающаяся от реки, притоком которой является Инцыс, называется Уй.", + "predict": " Река, питающаяся от реки, притоком которой является Инцыс, называется Уй. Инцыс является притоком реки Уй, которая в свою очередь является притоком реки Иртыш.", "sample": { "messages": [ { @@ -266,7 +266,7 @@ "info": { "prompt_len": 328, "generated_len": [ - 40 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -276,7 +276,7 @@ "f1": 0, "em": 0 }, - "predict": " Ереванский городской совет", + "predict": " Ереванский городской совет.", "sample": { "messages": [ { @@ -323,17 +323,17 @@ "info": { "prompt_len": 217, "generated_len": [ - 40 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.2, "em": 0 }, - "predict": " Городская дума", + "predict": " Городской думой.", "sample": { "messages": [ { @@ -374,7 +374,7 @@ "info": { "prompt_len": 503, "generated_len": [ - 40 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -384,7 +384,7 @@ "f1": 0, "em": 0 }, - "predict": " Верхний Лунвож втекает в реку Чикшу.", + "predict": " Верхний Лунвож в качестве притока впадает в реку Чикшина.", "sample": { "messages": [ { @@ -431,17 +431,17 @@ "info": { "prompt_len": 216, "generated_len": [ - 40 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.27586206896551724, + "f1": 0.2962962962962963, "em": 0 }, - "predict": " Законодательный орган, принимающий законы в городе, где появилась на свет Марина Валерьевна Либакова-Ливанова (Горький, Нижний Новгород), — Городская дума Нижнего Новгорода.", + "predict": " Законодательный орган, принимающий законы в городе, где ��оявилась на свет Марина Валерьевна Либакова-Ливанова (Горький), — Городская дума Нижнего Новгорода.", "sample": { "messages": [ { @@ -494,7 +494,7 @@ "info": { "prompt_len": 455, "generated_len": [ - 46 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -504,7 +504,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Ереванский городской совет", + "predict": " Ереванский городской совет.", "sample": { "messages": [ { @@ -551,7 +551,7 @@ "info": { "prompt_len": 207, "generated_len": [ - 46 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -608,7 +608,7 @@ "info": { "prompt_len": 275, "generated_len": [ - 46 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -618,7 +618,7 @@ "f1": 0, "em": 0 }, - "predict": " Тирекрея вливается в Выссу.", + "predict": " Река, в которую впадает Тирекрея, — это Высса.", "sample": { "messages": [ { @@ -665,7 +665,7 @@ "info": { "prompt_len": 261, "generated_len": [ - 46 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -722,7 +722,7 @@ "info": { "prompt_len": 314, "generated_len": [ - 46 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -732,7 +732,7 @@ "f1": 0, "em": 0 }, - "predict": " Виктор Врёльс является гражданином Королевства Бельгия, где законодательный орган — Федеральный парламент, состоящий из двух палат: Нижняя палата парламента — палата представителей (Королевский Сенат) и Верхняя палата — Сенат.", + "predict": " Законодательный орган государства, гражданином которого является Виктор Врёльс, называется Федеральный парламент. В частности, это двухпалатный парламент, состоящий из Палаты представителей и Сената.", "sample": { "messages": [ { @@ -773,17 +773,17 @@ "info": { "prompt_len": 336, "generated_len": [ - 46 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.18181818181818182, + "f1": 0.15384615384615385, "em": 0 }, - "predict": " Винсент из Бове, автор \"Зерцала Великое\", родился в Бове, Франция.", + "predict": " Автор произведения \"Зерцало Великое\" — Винсент из Бове, родился в Бове, Франция.", "sample": { "messages": [ { @@ -824,7 +824,7 @@ "info": { "prompt_len": 243, "generated_len": [ - 46 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -834,7 +834,7 @@ "f1": 0, "em": 0 }, - "predict": " Законодательный орган, принимающий законы в городе Ереван, где умер Арменак Петросович Дургарян, — ереванский городской совет.", + "predict": " Законодательный орган, принимающий законы в городе, где умер Арменак Петросович Дургарян (Ереван), — ереванский городской совет.", "sample": { "messages": [ { @@ -887,17 +887,17 @@ "info": { "prompt_len": 271, "generated_len": [ - 46 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.14285714285714288, + "f1": 0.11764705882352941, "em": 0 }, - "predict": " Сухояж сливается с рекой Инзер, которая в свою очередь впадает в реку Сим.", + "predict": " Река Сухояж сливается в реку Инзер, которая в свою очередь впадает в реку Сим (бассейн Камы).", "sample": { "messages": [ { @@ -996,10 +996,10 @@ } { "metric": { - "f1": 0.06060606060606061, + "f1": 0.05882352941176471, "em": 0 }, - "predict": " Законодательный орган, работающий в стране гражданства Готабы Раджапакса (Шри-Ланка), — однопалатный парламент, состоящий из 225 мест. Члены парламента избираются на основе пропорциональной системы, с учетом особенностей распределения дополнительных мест. Только парламент Шри-Л", + "predict": " Законодательный орган, работающий в стране гражданства Готабы Раджапакса (Шри-Ланка), — однопалатный парламент, состоящий из 225 мест. Члены парламента избираются на основе всеобщего прямого голосования и пропорциональной системы. Только парламент имеет право издавать законы.", "sample": { "messages": [ { @@ -1113,7 +1113,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Ереванский городской совет", + "predict": " Ереванский городской совет.", "sample": { "messages": [ { @@ -1227,7 +1227,7 @@ "f1": 0, "em": 0 }, - "predict": " Губернатор Тульской области", + "predict": " Губернатор Тульской области.", "sample": { "messages": [ { @@ -1275,10 +1275,10 @@ } { "metric": { - "f1": 0.375, + "f1": 0.33333333333333337, "em": 0 }, - "predict": " Ситников Сергей Константинович является главой администрации в регионе, где родилась Валентина Александровна Федотова.", + "predict": " Главой администрации в регионе, где родилась Валентина Александровна Федотова (Костромская область), является Ситников Сергей Константинович.", "sample": { "messages": [ { @@ -1332,10 +1332,10 @@ } { "metric": { - "f1": 0.2666666666666667, + "f1": 0.2857142857142857, "em": 0 }, - "predict": " Глава администрации в городе Туле, где родился Михаил Михайлович Покровский, — Юрий Цкипури.", + "predict": " Глава администрации города Тула, где родился Михаил Михайлович Покровский, — Юрий Цкипури.", "sample": { "messages": [ { @@ -1376,17 +1376,17 @@ "info": { "prompt_len": 368, "generated_len": [ - 57 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.16666666666666669, + "f1": 0, "em": 0 }, - "predict": " Река Вахчилка впадает в реку Киржач, который является левым притоком Клязьмы.", + "predict": " Река Вахчилка втекает в реку Киржач.", "sample": { "messages": [ { @@ -1433,17 +1433,17 @@ "info": { "prompt_len": 568, "generated_len": [ - 57 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.23076923076923078, + "f1": 0.2222222222222222, "em": 0 }, - "predict": " Глава администрации в городе, где родился Ильдар Фердинандович Ахмеров (Казань), является мэром. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", + "predict": " Глава администрации в городе, где родился Ильдар Фердинандович Ахмеров (Казань), является мэр города. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", "sample": { "messages": [ { @@ -1484,17 +1484,17 @@ "info": { "prompt_len": 268, "generated_len": [ - 57 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.3076923076923077, + "f1": 0.14814814814814814, "em": 0 }, - "predict": " Губернатором Белгородской области, где родился И��орь Андреевич Чернухин, является Евгений Савченко.", + "predict": " Глава администрации в регионе, где родился Игорь Андреевич Чернухин (Белгородская область), Евгений Савченко. Он занимал эту должность с 1993 года по 17 сентября 2020 года.", "sample": { "messages": [ { @@ -1535,17 +1535,17 @@ "info": { "prompt_len": 565, "generated_len": [ - 57 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2666666666666667, + "f1": 0, "em": 0 }, - "predict": " Глава администрации в городе Подольске, где родился Виктор Михайлович Круглов, является Николай Пестов.", + "predict": " Глава администрации в городе Подольске, где родился Виктор Михайлович Круглов, является Николаем Пестовым.", "sample": { "messages": [ { @@ -1586,17 +1586,17 @@ "info": { "prompt_len": 399, "generated_len": [ - 57 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.6666666666666666, + "f1": 0.2, "em": 0 }, - "predict": " Император", + "predict": " императором. В Российской империи главой государства был император.", "sample": { "messages": [ { @@ -1637,7 +1637,7 @@ "info": { "prompt_len": 340, "generated_len": [ - 57 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -1647,7 +1647,7 @@ "f1": 0, "em": 0 }, - "predict": " Законодательный орган, работающий в стране гражданства Франсуа Крепэна (Бельгия), состоит из двух палат: Нижняя палата парламента — палата представителей (Королевский Сенат) и Верхняя палата — Сенат. Обе палаты избираются прямым голосованием раз в четыре года.", + "predict": " Законодательный орган, работающий в стране гражданства Франсуа Крепэна (Бельгия), — это федеральный парламент, состоящий из двух палат: Палаты представителей и Сената.", "sample": { "messages": [ { @@ -1688,7 +1688,7 @@ "info": { "prompt_len": 295, "generated_len": [ - 57 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -1698,7 +1698,7 @@ "f1": 0, "em": 0 }, - "predict": " Река Ярыщ впадает в реку Тапсуй.", + "predict": " Река Ярыщ является притоком реки Тапсуй.", "sample": { "messages": [ { @@ -1739,17 +1739,17 @@ "info": { "prompt_len": 230, "generated_len": [ - 57 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.14285714285714288, + "f1": 0.1111111111111111, "em": 0 }, - "predict": " Река Липша впадает в Большую Кокшагу, которая в свою очередь впадает в Волгу.", + "predict": " Река, притоком которой является Липша, впадает в реку Большая Кокшага, которая в свою очередь впадает в Волгу.", "sample": { "messages": [ { @@ -1812,7 +1812,7 @@ "f1": 0, "em": 0 }, - "predict": " Владимир Валерьянович Сержпинский жил в Урджарском районе Семипалатинской области, которая впоследствии стала Восточно-Казахстанской областью Казахстана. В этой области главой администрации (акимом) в разное время были: Храпунов Виктор Вячеславович, Карибжанов Жаныбек Салимович,", + "predict": " В регионе, где жил Владимир Валерьянович Сержпинский, главой администрации был Виктор Вячеславович Храпунов, к��торый занимал этот пост с 8 декабря 2004 по 11 января 2007.", "sample": { "messages": [ { @@ -1923,10 +1923,10 @@ } { "metric": { - "f1": 0, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Премьер-министр", + "predict": " Высший руководитель", "sample": { "messages": [ { @@ -1983,7 +1983,7 @@ "f1": 0.5, "em": 0 }, - "predict": " Оттава, Онтарио, Канада", + "predict": " Оттава, Онтарио, Канада.", "sample": { "messages": [ { @@ -2082,10 +2082,10 @@ } { "metric": { - "f1": 0.21052631578947367, + "f1": 0.14285714285714288, "em": 0 }, - "predict": " Законодательный орган, работающий в городе, где появился на свет Павел Милославович Балабан, — Городская дума Нижнего Новгорода.", + "predict": " Городом, где появился на свет Павел Милославович Балабан, является Нижний Новгород, административный центр Нижегородской области. Законодательным органом, работающим в этом городе, является Городская дума Нижнего Новгорода.", "sample": { "messages": [ { @@ -2139,10 +2139,10 @@ } { "metric": { - "f1": 0.2857142857142857, + "f1": 0, "em": 0 }, - "predict": " Глава администрации в регионе, где родился Яков Фёдорович Шабанов (Костромская область), в настоящее время — Ситников Сергей Константинович.", + "predict": " Яков Фёдорович Шабанов родился в Костромской области, которая входит в Центральный федеральный округ России. В настоящее время главой администрации региона является губернатор. Последний губернатор Костромской области, назначенный после досрочного прекращения полномочий предыдущего губернатора, был Слюняев Игорь Николаевич, который занимал этот пост до 25 октября 2007 года", "sample": { "messages": [ { @@ -2196,10 +2196,10 @@ } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0.6666666666666666, + "em": 0 }, - "predict": " Городская дума", + "predict": " Городская дума Нижнего Новгорода.", "sample": { "messages": [ { @@ -2253,10 +2253,10 @@ } { "metric": { - "f1": 0.09090909090909091, + "f1": 0.09523809523809525, "em": 0 }, - "predict": " Законодательный орган государства, гражданином которого является Хорхе Кастаньеда, называется Конгресс Мексики. Конгресс состоит из двух палат: Сенат и Палата депутатов.", + "predict": " Законодательным органом государства, гражданином которого является Хорхе Кастаньеда, является Конгресс Мексики, состоящий из двух палат: Сената и Палаты депутатов.", "sample": { "messages": [ { @@ -2304,10 +2304,10 @@ } { "metric": { - "f1": 0, + "f1": 0.08695652173913045, "em": 0 }, - "predict": " В Сирии, гражданином которой был Сабри аль-Асали, главой государства является президент.", + "predict": " Глава государства в Сирии, гражданином которой был Сабри аль-Асали, занимает должность президента. В современной Сирии эта должность называется Президент Сирийской Арабской Республики.", "sample": { "messages": [ { @@ -2517,7 +2517,7 @@ "f1": 0.4444444444444445, "em": 0 }, - "predict": " Законодательный орган государства, гражданином которого является Александр Владимирович Хвостунов, называется Олий Мажлис Республики Узбекистан.", + "predict": " Законодательным органом гос��дарства, гражданином которого является Александр Владимирович Хвостунов, является Олий Мажлис Республики Узбекистан.", "sample": { "messages": [ { @@ -2672,7 +2672,7 @@ "info": { "prompt_len": 296, "generated_len": [ - 40 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -2682,7 +2682,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Северная Сосьва", + "predict": " Северная Сосьва.", "sample": { "messages": [ { @@ -2729,7 +2729,7 @@ "info": { "prompt_len": 301, "generated_len": [ - 40 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -2780,7 +2780,7 @@ "info": { "prompt_len": 302, "generated_len": [ - 40 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -2790,7 +2790,7 @@ "f1": 0.2857142857142857, "em": 0 }, - "predict": " Законодательный орган города, где умер Георг Арутюнович Оганесян, называется ереванским городским советом.", + "predict": " Городской законодательный орган, где умер Георг Арутюнович Оганесян, называется ереванским городским советом.", "sample": { "messages": [ { @@ -2831,7 +2831,7 @@ "info": { "prompt_len": 212, "generated_len": [ - 40 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -2882,7 +2882,7 @@ "info": { "prompt_len": 235, "generated_len": [ - 40 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -2892,7 +2892,7 @@ "f1": 0, "em": 0 }, - "predict": " Город, где родился Александр Васильевич Назаренко, расположен на территории Литовской Республики.", + "predict": " Александр Васильевич Назаренко родился в городе Паневежис, который расположен на территории Литвы.", "sample": { "messages": [ { @@ -2933,17 +2933,17 @@ "info": { "prompt_len": 154, "generated_len": [ - 40 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.3, + "f1": 0.25, "em": 0 }, - "predict": " В городе, где родился Карлос Гургенович Джанерян (Гюмри), главой администрации является Самвел Мисакович Баласанян (с 2012 года).", + "predict": " Главой администрации в городе, где родился Карлос Гургенович Джанерян (Гюмри), является Самвел Мисакович Баласанян, который занимает эту должность с 2012 года.", "sample": { "messages": [ { @@ -2996,7 +2996,7 @@ "info": { "prompt_len": 412, "generated_len": [ - 40 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -3047,7 +3047,7 @@ "info": { "prompt_len": 423, "generated_len": [ - 40 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -3098,7 +3098,7 @@ "info": { "prompt_len": 278, "generated_len": [ - 20 + 60 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -3149,17 +3149,17 @@ "info": { "prompt_len": 278, "generated_len": [ - 20 + 60 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0.6666666666666666, + "em": 0 }, - "predict": " Городская дума", + "predict": " Городская дума Нижнего Новгорода.", "sample": { "messages": [ { @@ -3206,17 +3206,17 @@ "info": { "prompt_len": 419, "generated_len": [ - 20 + 60 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0, + "em": 0 }, - "predict": " Ахметов, Кайрат Жумашович", + "predict": " Жакупов, Базыл Шамуханович", "sample": { "messages": [ { @@ -3263,7 +3263,7 @@ "info": { "prompt_len": 460, "generated_len": [ - 20 + 60 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -3273,7 +3273,7 @@ "f1": 0, "em": 0 }, - "predict": " Хуаншуй сливается с Хуанхэ.", + "predict": " Река Хуаншуй сливается с Хуанхэ.", "sample": { "messages": [ { @@ -3320,7 +3320,7 @@ "info": { "prompt_len": 659, "generated_len": [ - 20 + 60 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -3371,17 +3371,17 @@ "info": { "prompt_len": 526, "generated_len": [ - 20 + 60 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.25, + "f1": 0.5714285714285714, "em": 0 }, - "predict": " MLS", + "predict": " MLS (высшая футбольная лига США и Канады)", "sample": { "messages": [ { @@ -3422,7 +3422,7 @@ "info": { "prompt_len": 442, "generated_len": [ - 20 + 60 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -3432,7 +3432,7 @@ "f1": 0, "em": 0 }, - "predict": " Глава государства в стране, чьим гражданином был Мухаммед Ашави, — президент.", + "predict": " Глава государства в Сирии — президент. В тексте 1 упоминается, что Мухаммед Ашави был министром иностранных дел Сирии, что указывает на принадлежность его к сирийскому государственному деятелю. В тексте 2 также указано полное официальное наименование Сирийской Арабской Республики, где президент является главой государства.", "sample": { "messages": [ { @@ -3479,7 +3479,7 @@ "info": { "prompt_len": 211, "generated_len": [ - 20 + 60 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -3530,17 +3530,17 @@ "info": { "prompt_len": 251, "generated_len": [ - 60 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.3636363636363636, + "f1": 0.19999999999999998, "em": 0 }, - "predict": " Сергей Бердников, глава города, где родился Валерий Михайлович Колокольцев.", + "predict": " Главой администрации в городе Магнитогорске, где родился Валерий Михайлович Колокольцев, является Сергей Бердников (с 25 октября 2016 года).", "sample": { "messages": [ { @@ -3581,17 +3581,17 @@ "info": { "prompt_len": 556, "generated_len": [ - 60 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.8, + "f1": 0.375, "em": 0 }, - "predict": " Городской совет.", + "predict": " Законодательный орган города Горловки, где родился Артур Владимирович Кириленко, называется Горловский городской совет.", "sample": { "messages": [ { @@ -3632,17 +3632,17 @@ "info": { "prompt_len": 271, "generated_len": [ - 60 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.05128205128205129, + "f1": 0.07999999999999999, "em": 0 }, - "predict": " Владимир Михайлович Беляков родился в городе Горьком, который с 7 октября 1932 по 22 октября 1990 года носил название Нижний Новгород. Городской думой Нижнего Новгорода является законодательный орган, который работает в городе, где родился Владимир Михайлович Беляков.", + "predict": " Городской дума Нижнего Новгорода. В т��ксте 2 говорится, что Нижегородский кремль является официальной резиденцией Городской думы Нижнего Новгорода. Владимир Михайлович Беляков родился в Горьком (ныне Нижний Новгород), и именно в Городской думе Нижнего Новгорода он мог бы работать, если бы его карьера после футбола привела его в политику", "sample": { "messages": [ { @@ -3689,7 +3689,7 @@ "info": { "prompt_len": 445, "generated_len": [ - 60 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -3699,7 +3699,7 @@ "f1": 0, "em": 0 }, - "predict": " В Чебенку.", + "predict": " Казлаирка является притоком реки Чебенька.", "sample": { "messages": [ { @@ -3740,7 +3740,7 @@ "info": { "prompt_len": 214, "generated_len": [ - 60 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -3750,7 +3750,7 @@ "f1": 0, "em": 0 }, - "predict": " Премьер-лига", + "predict": " Английская Премьер-лига.", "sample": { "messages": [ { @@ -3809,7 +3809,7 @@ "info": { "prompt_len": 683, "generated_len": [ - 60 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -3866,7 +3866,7 @@ "info": { "prompt_len": 225, "generated_len": [ - 60 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -3876,7 +3876,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Ереванский городской совет", + "predict": " Ереванский городской совет.", "sample": { "messages": [ { @@ -3923,17 +3923,17 @@ "info": { "prompt_len": 175, "generated_len": [ - 60 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2727272727272727, + "f1": 0.375, "em": 0 }, - "predict": " Глава администрации в городе, где родился Сергей Васильевич Козека (Барановичи), с 22.10.2013 по настоящее время — Громаковский Юрий Анатольевич.", + "predict": " Глава администрации в городе Барановичи, где родился Сергей Васильевич Козека, Юрий Анатольевич Громаковский.", "sample": { "messages": [ { @@ -3980,7 +3980,7 @@ "info": { "prompt_len": 262, "generated_len": [ - 39 + 53 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -3990,7 +3990,7 @@ "f1": 0, "em": 0 }, - "predict": " Агиян сливается с рекой Туртас.", + "predict": " Река Агиян сливается с рекой Туртас.", "sample": { "messages": [ { @@ -4037,7 +4037,7 @@ "info": { "prompt_len": 368, "generated_len": [ - 39 + 53 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -4088,7 +4088,7 @@ "info": { "prompt_len": 190, "generated_len": [ - 39 + 53 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -4145,7 +4145,7 @@ "info": { "prompt_len": 397, "generated_len": [ - 39 + 53 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -4202,7 +4202,7 @@ "info": { "prompt_len": 403, "generated_len": [ - 39 + 53 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -4212,7 +4212,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Рустам Эмомали", + "predict": " Рустам Эмомали.", "sample": { "messages": [ { @@ -4253,17 +4253,17 @@ "info": { "prompt_len": 464, "generated_len": [ - 39 + 53 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.14634146341463414, "em": 0 }, - "predict": " Законодательный орган, в котором работает Серге�� Герасимович Митин, — Совет Федерации Российской Федерации.", + "predict": " Законодательный орган, работающий в городе, где появился на свет Сергей Герасимович Митин, — это Нижегородский областной совет (Государственная дума Нижегородской области). Город Горький, в котором родился Сергей Митин, является административным центром Нижегородской области.", "sample": { "messages": [ { @@ -4316,7 +4316,7 @@ "info": { "prompt_len": 570, "generated_len": [ - 39 + 53 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -4373,7 +4373,7 @@ "info": { "prompt_len": 290, "generated_len": [ - 39 + 53 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -4383,7 +4383,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Ольга Александровна Сафронова", + "predict": " Ольга Александровна Сафронова.", "sample": { "messages": [ { @@ -4424,7 +4424,7 @@ "info": { "prompt_len": 483, "generated_len": [ - 58 + 54 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -4434,7 +4434,7 @@ "f1": 0, "em": 0 }, - "predict": " Большая Печора", + "predict": " Большая Печора.", "sample": { "messages": [ { @@ -4475,7 +4475,7 @@ "info": { "prompt_len": 459, "generated_len": [ - 58 + 54 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -4485,7 +4485,7 @@ "f1": 0.05128205128205129, "em": 0 }, - "predict": " Сергей Сергеевич Голоушев не занимал никакой должности главы государства в стране, гражданином которой он был. В Российской империи, где он родился, главой государства был император, но Голоушев был русским революционером, художником и критиком, а не государственным деятелем.", + "predict": " Сергей Сергеевич Голоушев был гражданином Российской империи, которая в период его жизни управлялась императором. Таким образом, главой государства в стране, гражданином которой был Сергей Сергеевич Голоушев, был император. В качестве последнего императора Российской империи был Николай II.", "sample": { "messages": [ { @@ -4526,7 +4526,7 @@ "info": { "prompt_len": 268, "generated_len": [ - 58 + 54 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -4583,7 +4583,7 @@ "info": { "prompt_len": 365, "generated_len": [ - 58 + 54 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -4593,7 +4593,7 @@ "f1": 0, "em": 0 }, - "predict": " Восточный Каз впадает в реку Каз.", + "predict": " Река, в которую впадает Восточный Каз, — это река Каз.", "sample": { "messages": [ { @@ -4634,17 +4634,17 @@ "info": { "prompt_len": 195, "generated_len": [ - 58 + 54 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.7272727272727273, + "f1": 0.28571428571428575, "em": 0 }, - "predict": " В состав земли Вольный ганзейский город Бремен.", + "predict": " В состав земли Бремен входит город, где умер Генрих Шурц.", "sample": { "messages": [ { @@ -4685,7 +4685,7 @@ "info": { "prompt_len": 465, "generated_len": [ - 58 + 54 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -4695,7 +4695,7 @@ "f1": 0.6666666666666666, "em": 0 }, - "predict": " Городская дума Нижнего Новгорода", + "predict": " Городская дума Нижнего Новгорода.", "sample": { "messages": [ { @@ -4742,7 +4742,7 @@ "info": { "prompt_len": 327, "generated_len": [ - 58 + 54 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -4752,7 +4752,7 @@ "f1": 0, "em": 0 }, - "predict": " Николай II. В тексте 2 упоминается, что последним императором Российской империи был Николай II, который правил до Февральской революции 1917 года. Таким образом, главой государства, где произошло событие смерти Варлаама Левановича Геловани, был Николай II.", + "predict": " Глава государства, ставшим местом смерти Варлаама Левановича Геловани, занимал императорский трон. В Российской империи в период его смерти (1915 год) императором был Николай II.", "sample": { "messages": [ { @@ -4811,17 +4811,17 @@ "info": { "prompt_len": 391, "generated_len": [ - 58 + 54 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.15384615384615385, + "f1": 0.11764705882352941, "em": 0 }, - "predict": " Атнис сливается с рекой Туртас, которая в свою очередь впадает в Иртыш.", + "predict": " Река Атнис сливается в реку Туртас, а затем Туртас в свою очередь впадает в реку Иртыш.", "sample": { "messages": [ { @@ -4868,17 +4868,17 @@ "info": { "prompt_len": 362, "generated_len": [ - 41 + 60 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.16666666666666669, + "f1": 0, "em": 0 }, - "predict": " Луис Айяла, представляющий Эквадор в спорте, принадлежит к странам Южной Америки.", + "predict": " Государство, которое в спорте представлял Луис Айяла (футболист), находится в Южной Америке.", "sample": { "messages": [ { @@ -4925,7 +4925,7 @@ "info": { "prompt_len": 270, "generated_len": [ - 41 + 60 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -4935,7 +4935,7 @@ "f1": 0, "em": 0 }, - "predict": " Команда, за тренировки которой отвечает Йоан Андоне, играет в Лиге I Румынии.", + "predict": " Команда, за тренировки которой отвечает Йоан Андоне, играет в Лиге I Румынии. Это следует из информации в первом тексте, где говорится о том, что в 2007/06 году Андоне возглавил румынский ЧФР из Клужа, который выступает в Лиге I.", "sample": { "messages": [ { @@ -4988,7 +4988,7 @@ "info": { "prompt_len": 423, "generated_len": [ - 41 + 60 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -4998,7 +4998,7 @@ "f1": 0, "em": 0 }, - "predict": " Чермода впадает в Тунтор.", + "predict": " Чермода впадает в реку Тунтор.", "sample": { "messages": [ { @@ -5045,17 +5045,17 @@ "info": { "prompt_len": 288, "generated_len": [ - 41 + 60 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.23076923076923078, + "f1": 0.33333333333333337, "em": 0 }, - "predict": " Глава администрации в городе, где умер Сергей Сергеевич Щиров (Казань), является мэр. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", + "predict": " Главой администрации в городе Казани, где умер Сергей Сергеевич Щиров, является мэр И. Р. Метшин.", "sample": { "messages": [ { @@ -5096,17 +5096,17 @@ "info": { "prompt_len": 269, "generated_len": [ - 41 + 60 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.14285714285714285, + "f1": 0.23529411764705882, "em": 0 }, - "predict": " Команда, тренером которой 116 игр был Карлос Майор, играет в Примере B.", + "predict": " Команда, тренером которой 116 игр был Карлос Майор, \"Архентинос Хуниорс\", играет в аргентинской Примере B.", "sample": { "messages": [ { @@ -5147,7 +5147,7 @@ "info": { "prompt_len": 555, "generated_len": [ - 41 + 60 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -5198,17 +5198,17 @@ "info": { "prompt_len": 231, "generated_len": [ - 41 + 60 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.5, "em": 0 }, - "predict": " Лондон, Великобритания.", + "predict": " Лондонском районе Холборн.", "sample": { "messages": [ { @@ -5249,7 +5249,7 @@ "info": { "prompt_len": 335, "generated_len": [ - 41 + 60 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -5259,7 +5259,7 @@ "f1": 0, "em": 0 }, - "predict": " Река, питающаяся от реки, притоком которой является Хоханъя, называется Северная Сосьва.", + "predict": " Северная Сосьва.", "sample": { "messages": [ { @@ -5367,7 +5367,7 @@ "f1": 0.35294117647058826, "em": 0 }, - "predict": " Владимир Владимирович Владимиров (с 2013 года исполняющий обязанности губернатора, в 2014 году избран губернатором)", + "predict": " Владимир Владимирович Владимиров (с 2013 года исполняющий обязанности губернатора, в 2014 году избран губернатором).", "sample": { "messages": [ { @@ -5415,10 +5415,10 @@ } { "metric": { - "f1": 0.47058823529411764, + "f1": 0.22222222222222224, "em": 0 }, - "predict": " Город рождения Клары Вестхофф, Бремен, находится на территории земли Вольный ганзейский город Бремен.", + "predict": " Город рождения Клары Вестхофф, Бремен, находится на территории земли (федеральной земли) Бремен в Германии.", "sample": { "messages": [ { @@ -5469,7 +5469,7 @@ "f1": 0, "em": 0 }, - "predict": " Леленъёган", + "predict": " Леленъёган.", "sample": { "messages": [ { @@ -5568,10 +5568,10 @@ } { "metric": { - "f1": 0.35294117647058826, + "f1": 0.4, "em": 0 }, - "predict": " Законодательная власть в городе Ереван, где умер Виктор Николаевич Меркулов, осуществляется ереванским городским советом.", + "predict": " В городе, где умер Виктор Николаевич Меркулов (Ереван), работает ереванский городской совет.", "sample": { "messages": [ { @@ -5720,7 +5720,7 @@ "info": { "prompt_len": 208, "generated_len": [ - 41 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -5730,7 +5730,7 @@ "f1": 0.23076923076923078, "em": 0 }, - "predict": " Глава администрации в городе, где родилась Екатерина Николаевна Максимова (Казань), является мэром. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", + "predict": " Глава администрации в городе, где родилась Екатерина Николаевна Максимова (Казань), является мэром. С 17 ноября 2005 года мэром Казани является И. Р. Метшин.", "sample": { "messages": [ { @@ -5771,7 +5771,7 @@ "info": { "prompt_len": 256, "generated_len": [ - 41 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -5828,17 +5828,17 @@ "info": { "prompt_len": 451, "generated_len": [ - 41 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " австралийский", + "predict": " Австралия", "sample": { "messages": [ { @@ -5879,7 +5879,7 @@ "info": { "prompt_len": 269, "generated_len": [ - 41 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -5942,7 +5942,7 @@ "info": { "prompt_len": 484, "generated_len": [ - 41 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -5999,17 +5999,17 @@ "info": { "prompt_len": 348, "generated_len": [ - 41 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.16, + "f1": 0.09756097560975609, "em": 0 }, - "predict": " Глава администрации города, где родился Олег Петрович Матвеев, называется главой администрации города Тулы. В 2014 году главой администрации города Тулы был Юрий Цкипури.", + "predict": " Глава администрации в городе Туле, где родился Олег Петрович Матвеев, называется главой администрации города Тулы. В последнее время главой администрации города Тулы является Александр Прокопук, до его отставки 11 июля 2014 года. После этого главой администрации стал Юрий Цкипури.", "sample": { "messages": [ { @@ -6050,17 +6050,17 @@ "info": { "prompt_len": 392, "generated_len": [ - 41 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.35294117647058826, + "f1": 0.33333333333333337, "em": 0 }, - "predict": " Законодательный орган, работающий в городе, где родился Мгер Альбертович Мкртчян, — ереванский городской совет.", + "predict": " Законодательный орган, осуществляющий власть в городе, где родился Мгер Альбертович Мкртчян, — ереванский городской совет.", "sample": { "messages": [ { @@ -6107,7 +6107,7 @@ "info": { "prompt_len": 221, "generated_len": [ - 41 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -6164,17 +6164,17 @@ "info": { "prompt_len": 291, "generated_len": [ - 26 + 38 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.6666666666666666, + "f1": 0, "em": 0 }, - "predict": " Полный генерал", + "predict": " генерал-лейтенант", "sample": { "messages": [ { @@ -6215,7 +6215,7 @@ "info": { "prompt_len": 314, "generated_len": [ - 26 + 38 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -6225,7 +6225,7 @@ "f1": 0, "em": 0 }, - "predict": " Река, в которую впадает Нирсос, это Тапсуй.", + "predict": " Река Нирсос сливается в реку Тапсуй, которая в свою очередь впадает в Северную Сосьву.", "sample": { "messages": [ { @@ -6266,7 +6266,7 @@ "info": { "prompt_len": 250, "generated_len": [ - 26 + 38 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -6323,7 +6323,7 @@ "info": { "prompt_len": 416, "generated_len": [ - 26 + 38 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -6380,17 +6380,17 @@ "info": { "prompt_len": 661, "generated_len": [ - 26 + 38 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.07142857142857144, "em": 0 }, - "predict": " Глава государства в Российской империи, чьим гражданином б��л Иван Дмитриевич Донцов, занимал должность Императора Всероссийского.", + "predict": " Глава государства в Российской империи, чьим гражданином был Иван Дмитриевич Донцов, был Император. В Российской империи главой государства являлся Император, который также носил титул Самодержца Всероссийского.", "sample": { "messages": [ { @@ -6431,7 +6431,7 @@ "info": { "prompt_len": 302, "generated_len": [ - 26 + 38 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -6441,7 +6441,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Рустам Эмомали", + "predict": " Рустам Эмомали.", "sample": { "messages": [ { @@ -6488,17 +6488,17 @@ "info": { "prompt_len": 310, "generated_len": [ - 26 + 38 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2857142857142857, + "f1": 0, "em": 0 }, - "predict": " Река Пысотчемъёль впадает в реку Вишеру.", + "predict": " Река Пысотчемъёль является притоком реки Нившера.", "sample": { "messages": [ { @@ -6545,7 +6545,7 @@ "info": { "prompt_len": 280, "generated_len": [ - 26 + 38 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -6555,7 +6555,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Ереванский городской совет", + "predict": " Ереванский городской совет.", "sample": { "messages": [ { @@ -6614,17 +6614,17 @@ "info": { "prompt_len": 382, "generated_len": [ - 49 + 58 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2222222222222222, + "f1": 0.17391304347826084, "em": 0 }, - "predict": " Ашот Ашотович Мндоянц родился в Батуми, и в настоящее время главой администрации города является Лаша Комахидзе.", + "predict": " Главой администрации города Батуми, где родился Ашот Ашотович Мндоянц, является Лаша Комахидзе, который занимает эту должность с 13 ноября 2017 года.", "sample": { "messages": [ { @@ -6665,17 +6665,17 @@ "info": { "prompt_len": 406, "generated_len": [ - 49 + 58 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.375, + "f1": 0.15789473684210528, "em": 0 }, - "predict": " Глава администрации в городе, где родился Алексей Николаевич Самохвалов (Тюмень), Руслан Николаевич Кухарук.", + "predict": " Алексей Николаевич Самохвалов родился в городе Тюмени, административный центр Тюменской области. В Тюмени главой администрации является лицо, назначаемое на должность Тюменской городской Думой. С 8 октября 2018 года главой города Тюмени является Руслан Николаевич Кухарук.", "sample": { "messages": [ { @@ -6716,17 +6716,17 @@ "info": { "prompt_len": 260, "generated_len": [ - 49 + 58 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.10526315789473684, "em": 0 }, - "predict": " Законодательный орган, принимающий законы в городе Нижнем Новгороде, где умер Николай Алексеевич Марушин, — Законодательное собрание Нижегородской области.", + "predict": " Законодательный орган, принимающий законы в городе, где умер Николай Алексеевич Марушин (Нижний Новгород), — Нижегородская областная Дума.", "sample": { "messages": [ { @@ -6773,17 +6773,17 @@ "info": { "prompt_len": 517, "generated_len": [ - 49 + 58 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0, + "em": 0 }, - "predict": " Кемпаж", + "predict": " Огуръя", "sample": { "messages": [ { @@ -6824,7 +6824,7 @@ "info": { "prompt_len": 174, "generated_len": [ - 49 + 58 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -6875,7 +6875,7 @@ "info": { "prompt_len": 281, "generated_len": [ - 49 + 58 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -6932,17 +6932,17 @@ "info": { "prompt_len": 517, "generated_len": [ - 49 + 58 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.08333333333333334, + "f1": 0.09523809523809525, "em": 0 }, - "predict": " Александровская сопка является частью Уральского хребта, и наивысшей точкой этого горного хребта является гора Пай-Хой (гора Мореиз (Вэсэй-Пэ) с высотой 423 м).", + "predict": " Наивысшей точкой горного хребта, к которому принадлежит Александровская сопка (Уральский хребет), является гора Ослянка (1119 м над уровнем моря).", "sample": { "messages": [ { @@ -6995,17 +6995,17 @@ "info": { "prompt_len": 501, "generated_len": [ - 49 + 58 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2857142857142857, + "f1": 0.17391304347826084, "em": 0 }, - "predict": " Александр Студнев является главой администрации в городе, где родился Борис Владимирович Беленький.", + "predict": " Глава администрации в городе, где родился Борис Владимирович Беленький (Бобруйске), является Александр Студнев, который занимает должность председателя Бобруйского городского исполнительного комитета.", "sample": { "messages": [ { @@ -7046,7 +7046,7 @@ "info": { "prompt_len": 229, "generated_len": [ - 41 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -7097,17 +7097,17 @@ "info": { "prompt_len": 450, "generated_len": [ - 41 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.21428571428571425, + "f1": 0.24000000000000002, "em": 0 }, - "predict": " Глава администрации в месте, где родился Михаил Михайлович Лобанов (художник), является мэром Казани, который с 17 ноября 2005 года занимает эту должность И. Р. Метшин.", + "predict": " Главой администрации в Казани, где родился Михаил Михайлович Лобанов, является мэр. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", "sample": { "messages": [ { @@ -7148,7 +7148,7 @@ "info": { "prompt_len": 200, "generated_len": [ - 41 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -7158,7 +7158,7 @@ "f1": 0, "em": 0 }, - "predict": " Мисаелга впадает в реку Большая Арша.", + "predict": " Река, в которую впадает Мисаелга, — Большая Арша.", "sample": { "messages": [ { @@ -7199,7 +7199,7 @@ "info": { "prompt_len": 224, "generated_len": [ - 41 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -7209,7 +7209,7 @@ "f1": 0, "em": 0 }, - "predict": " Зарич вливается в реку Лысьва.", + "predict": " Река, в которую впадает Зарич, — это Лысьва.", "sample": { "messages": [ { @@ -7256,17 +7256,17 @@ "info": { "prompt_len": 215, "generated_len": [ - 41 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.2, "em": 0 }, - "predict": " Река, в которую впадает Энтль-Энкаигль, — Большая Юганская.", + "predict": " Река, в которую впадает Энтль-Энкаигль, — Большой Балык.", "sample": { "messages": [ { @@ -7313,7 +7313,7 @@ "info": { "prompt_len": 182, "generated_len": [ - 41 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -7323,7 +7323,7 @@ "f1": 0, "em": 0 }, - "predict": " Енисей", + "predict": " река Енисей.", "sample": { "messages": [ { @@ -7364,17 +7364,17 @@ "info": { "prompt_len": 460, "generated_len": [ - 41 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.6666666666666666, + "f1": 0.23529411764705882, "em": 0 }, - "predict": " Городская дума Нижнего Новгорода.", + "predict": " Законодательный орган города Нижнего Новгорода, где родился Алексей Николаевич Сысин, называется Городская дума Нижнего Новгорода.", "sample": { "messages": [ { @@ -7421,17 +7421,17 @@ "info": { "prompt_len": 422, "generated_len": [ - 41 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.17391304347826084, + "f1": 0.08333333333333334, "em": 0 }, - "predict": " Законодательный орган, принимающий законы в государстве, гражданкой которого является Эухения Эскудеро, — двухпалатный Конгресс Мексики, состоящий из Сената и Палаты депутатов.", + "predict": " Законодательный орган, принимающий законы в государстве, гражданином которого была Эухения Эскудеро, — Конгресс Мексики, состоящий из двух палат: Сената и Палаты депутатов.", "sample": { "messages": [ { @@ -7472,7 +7472,7 @@ "info": { "prompt_len": 374, "generated_len": [ - 41 + 49 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -7482,7 +7482,7 @@ "f1": 0, "em": 0 }, - "predict": " Византия", + "predict": " Византия.", "sample": { "messages": [ { @@ -7535,7 +7535,7 @@ "info": { "prompt_len": 619, "generated_len": [ - 41 + 49 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -7592,7 +7592,7 @@ "info": { "prompt_len": 302, "generated_len": [ - 41 + 49 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -7643,7 +7643,7 @@ "info": { "prompt_len": 231, "generated_len": [ - 41 + 49 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -7653,7 +7653,7 @@ "f1": 0, "em": 0 }, - "predict": " Река Лептаёль впадает в реку Ын.", + "predict": " Река, притоком которой является Лептаёль, — Ын.", "sample": { "messages": [ { @@ -7694,7 +7694,7 @@ "info": { "prompt_len": 154, "generated_len": [ - 41 + 49 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -7704,7 +7704,7 @@ "f1": 0, "em": 0 }, - "predict": " Река Тугояковка впадает в реку Томь.", + "predict": " Река Тугояковка является притоком реки Томь.", "sample": { "messages": [ { @@ -7751,17 +7751,17 @@ "info": { "prompt_len": 367, "generated_len": [ - 41 + 49 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.19999999999999998, + "f1": 0.08695652173913045, "em": 0 }, - "predict": " Команда, тренером которой является Уго Эхиогу, играет в Премьер-лиге.", + "predict": " Команда, тренером которой является Уго Эхиогу, играет в Премьер-лиге. Уго Эхиогу с 2014 года возглавлял молодёжную команду \"Тоттенхэма\", который выступает в Премьер-лиге.", "sample": { "messages": [ { @@ -7802,7 +7802,7 @@ "info": { "prompt_len": 451, "generated_len": [ - 41 + 49 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -7812,7 +7812,7 @@ "f1": 0, "em": 0 }, - "predict": " Виледь", + "predict": " Северная Двина.", "sample": { "messages": [ { @@ -7853,7 +7853,7 @@ "info": { "prompt_len": 292, "generated_len": [ - 41 + 49 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -7910,7 +7910,7 @@ "info": { "prompt_len": 425, "generated_len": [ - 40 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -7961,7 +7961,7 @@ "info": { "prompt_len": 709, "generated_len": [ - 40 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -7971,7 +7971,7 @@ "f1": 0, "em": 0 }, - "predict": " Река, в которую впадает Чузя, — Коса.", + "predict": " Река Чузя является притоком Косы, которая в свою очередь впадает в Волгу.", "sample": { "messages": [ { @@ -8018,7 +8018,7 @@ "info": { "prompt_len": 214, "generated_len": [ - 40 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -8028,7 +8028,7 @@ "f1": 0.23076923076923078, "em": 0 }, - "predict": " Глава администрации в городе, где родился Андрей Петрович Гаврилов, является мэром Казани. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", + "predict": " Главой администрации в городе Казани, где родился Андрей Петрович Гаврилов, является мэр. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", "sample": { "messages": [ { @@ -8069,7 +8069,7 @@ "info": { "prompt_len": 535, "generated_len": [ - 40 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -8126,17 +8126,17 @@ "info": { "prompt_len": 445, "generated_len": [ - 40 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.16, + "f1": 0.15384615384615385, "em": 0 }, - "predict": " Законодательный орган, принимающий законы в государстве, гражданином которого является Густав де Молинари, — Федеральный парламент, состоящий из двух палат: Палата представителей и Сенат.", + "predict": " Законодательный орган, принимающий законы в государстве, гражданином которого является Густав де Молинари (Бельгия), — Федеральный парламент, состоящий из двух палат: Палаты представителей и Сената.", "sample": { "messages": [ { @@ -8177,7 +8177,7 @@ "info": { "prompt_len": 390, "generated_len": [ - 40 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -8228,7 +8228,7 @@ "info": { "prompt_len": 223, "generated_len": [ - 40 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -8279,17 +8279,17 @@ "info": { "prompt_len": 256, "generated_len": [ - 40 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.18181818181818182, + "f1": 0, "em": 0 }, - "predict": " Лакташ впадает в реку Бисерть, которая является правым притоком Уфы.", + "predict": " Река, притоком которой является Лакташ, — это Бисерть.", "sample": { "messages": [ { @@ -8336,17 +8336,17 @@ "info": { "prompt_len": 196, "generated_len": [ - 25 + 56 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.125, + "f1": 0.1, "em": 0 }, - "predict": " Городской думой Нижнего Новгорода, административного центра, где родился Борис Фёдорович Ломов, является законодательный орган.", + "predict": " Город, где родился Борис Фёдорович Ломов — Нижний Новгород, имеет в своём составе Нижегородский кремль, который является официальной резиденцией Городской думы Нижнего Новгорода. Таким образом, законодательный орган, работающий в городе, где родился Ломов, — Городская дума Нижнего Новгорода.", "sample": { "messages": [ { @@ -8393,7 +8393,7 @@ "info": { "prompt_len": 404, "generated_len": [ - 25 + 56 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -8450,7 +8450,7 @@ "info": { "prompt_len": 422, "generated_len": [ - 25 + 56 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -8501,17 +8501,17 @@ "info": { "prompt_len": 406, "generated_len": [ - 25 + 56 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0, + "em": 0 }, - "predict": " Довгопол, Олег Анатолиевич", + "predict": " Безбабченко, Андрей Иванович", "sample": { "messages": [ { @@ -8558,7 +8558,7 @@ "info": { "prompt_len": 540, "generated_len": [ - 25 + 56 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -8568,7 +8568,7 @@ "f1": 0, "em": 0 }, - "predict": " Большая Налимка сливается в реку Еллёкулунъях.", + "predict": " Река Большая Налимка сливается в реку Еллёкулунъях.", "sample": { "messages": [ { @@ -8609,7 +8609,7 @@ "info": { "prompt_len": 199, "generated_len": [ - 25 + 56 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -8666,7 +8666,7 @@ "info": { "prompt_len": 395, "generated_len": [ - 25 + 56 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -8676,7 +8676,7 @@ "f1": 0, "em": 0 }, - "predict": " Евгений Авилов", + "predict": " Евгений Авилов (до 19 марта 2012 года) и Александр Прокопук (до 29 сентября 2014 года) были главами администрации в городе Туле, где родился Леонид Павлович Мозговой.", "sample": { "messages": [ { @@ -8717,7 +8717,7 @@ "info": { "prompt_len": 540, "generated_len": [ - 25 + 56 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -8768,17 +8768,17 @@ "info": { "prompt_len": 321, "generated_len": [ - 39 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.1904761904761905, + "f1": 0.12121212121212122, "em": 0 }, - "predict": " Глава администрации в городе, где родился Брюно Дюверже (Камбре), является Франсуа-Ксавье Виллен, который занимает пост мэра с 1992 года.", + "predict": " Глава администрации в городе Камбре, где родился Брюно Дюверже, — Франсуа-Ксавье Виллен. Он занимает пост мэра с 1992 года и представляет партию \"Вставай, Франция\", входящую в блок Союз демократов и независимых.", "sample": { "messages": [ { @@ -8819,17 +8819,17 @@ "info": { "prompt_len": 321, "generated_len": [ - 39 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.23529411764705882, + "f1": 0, "em": 0 }, - "predict": " Законодательная власть в городе, где появился на свет Ашот Акопович Карагян, осуществляется ереванским городским советом.", + "predict": " Законодательный орган, работающий в городе, где появился на свет Ашот Акопович Карагян, — ереванский городской совет.", "sample": { "messages": [ { @@ -8870,17 +8870,17 @@ "info": { "prompt_len": 222, "generated_len": [ - 39 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.25, + "f1": 0, "em": 0 }, - "predict": " Река, в которую впадает Светлик, это Мезень.", + "predict": " Река, в которую впадает Светлик, — это река Ёлва-Мезенская.", "sample": { "messages": [ { @@ -8921,17 +8921,17 @@ "info": { "prompt_len": 275, "generated_len": [ - 39 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0, + "em": 0 }, - "predict": " Евгений Васильевич Маслов", + "predict": " Павел Вячеславович Плотников (на момент смещении с должности 25 ноября 2015 года).", "sample": { "messages": [ { @@ -8972,7 +8972,7 @@ "info": { "prompt_len": 488, "generated_len": [ - 39 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -8982,7 +8982,7 @@ "f1": 0, "em": 0 }, - "predict": " Глава города, где родился Артём Алексеевич Здунов, является мэр.", + "predict": " Глава города (мэр) в Казани, где родился Артём Алексеевич Здунов, является избираемым депутатом Городской думы из своего числа.", "sample": { "messages": [ { @@ -9023,17 +9023,17 @@ "info": { "prompt_len": 457, "generated_len": [ - 39 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.4761904761904762, + "f1": 0.4666666666666666, "em": 0 }, - "predict": " Премьер-министр Великобритании Борис Джонсон является главой администрации там, где родился Тони Джонс.", + "predict": " Глава администрации там, где родился Тони Джонс (в Англии), является премьер-министром Великобритании. В настоящее время главой правительства Великобритании является Борис Джонсон.", "sample": { "messages": [ { @@ -9074,7 +9074,7 @@ "info": { "prompt_len": 380, "generated_len": [ - 39 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -9131,7 +9131,7 @@ "info": { "prompt_len": 626, "generated_len": [ - 39 + 57 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -9141,7 +9141,7 @@ "f1": 0, "em": 0 }, - "predict": " Терепец сливается в Яченку.", + "predict": " Река, в которую впадает Терепец, — Яченка.", "sample": { "messages": [ { @@ -9204,7 +9204,7 @@ "f1": 0, "em": 0 }, - "predict": " Река, воды которой пополняются за счёт Янгнояйяхи, сливается с Пуритей.", + "predict": " Река, воды которой пополняются за счёт Янгнояйяхи, сливается с Пуритеем.", "sample": { "messages": [ { @@ -9255,7 +9255,7 @@ "f1": 0, "em": 0 }, - "predict": " Река, притоком которой является Морочь, впадает в Случь.", + "predict": " Река, притоком которой является Морочь, впадает в реку Случь.", "sample": { "messages": [ { @@ -9357,7 +9357,7 @@ "f1": 0, "em": 0 }, - "predict": " Вятка.", + "predict": " Река, притоком которой является Мурдюг, впадает в реку Вятку.", "sample": { "messages": [ { @@ -9414,7 +9414,7 @@ "f1": 0, "em": 0 }, - "predict": " Ныложка впадает в реку Виледь.", + "predict": " Река Ныложка впадает в реку Виледь.", "sample": { "messages": [ { @@ -9516,7 +9516,7 @@ "f1": 0, "em": 0 }, - "predict": " Кирдас впадает в реку Большой Кизил.", + "predict": " Река, в которую впадает Кирдас, — Большой Кизил.", "sample": { "messages": [ { @@ -9614,7 +9614,7 @@ "info": { "prompt_len": 247, "generated_len": [ - 25 + 43 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -9624,7 +9624,7 @@ "f1": 0, "em": 0 }, - "predict": " Река, в которую впадает Лындога, - Северная Двина.", + "predict": " Река Лындога сливается в реку Северная Двина.", "sample": { "messages": [ { @@ -9665,7 +9665,7 @@ "info": { "prompt_len": 434, "generated_len": [ - 25 + 43 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -9675,7 +9675,7 @@ "f1": 0, "em": 0 }, - "predict": " Велью", + "predict": " Велью. Велью — река, в которую впадает Нимаёль, являясь её притоком.", "sample": { "messages": [ { @@ -9716,7 +9716,7 @@ "info": { "prompt_len": 275, "generated_len": [ - 25 + 43 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -9767,17 +9767,17 @@ "info": { "prompt_len": 156, "generated_len": [ - 25 + 43 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.6666666666666666, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Император", + "predict": " Император Всероссийский", "sample": { "messages": [ { @@ -9818,17 +9818,17 @@ "info": { "prompt_len": 310, "generated_len": [ - 25 + 43 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.125, + "f1": 0.0689655172413793, "em": 0 }, - "predict": " Глава государства в Российской империи, в которой жил Иван Прохорович Бедро, носил титул Императора Всероссийского.", + "predict": " Иван Прохорович Бедро был гражданином Российской империи, в которой главой государства являлся император. Таким образом, главой государства в стране, чьим гражданином был Иван Прохорович Бедро, была должность императора.", "sample": { "messages": [ { @@ -9869,17 +9869,17 @@ "info": { "prompt_len": 583, "generated_len": [ - 25 + 43 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.125, + "f1": 0.06666666666666667, "em": 0 }, - "predict": " Глава государства в стране, чьим гражданином был Юлиан Васильевич Сохоцкий, занимал должность Императора Всероссийский.", + "predict": " В Российской империи главой государства был император. В данном случае, Юлиан Васильевич Сохоцкий был гражданином Российской империи, следовательно, главой государства в стране, чьим гражданином он был, был император.", "sample": { "messages": [ { @@ -9926,7 +9926,7 @@ "info": { "prompt_len": 372, "generated_len": [ - 25 + 43 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -9936,7 +9936,7 @@ "f1": 0, "em": 0 }, - "predict": " Действительный статский советник", + "predict": " Император Всероссийский", "sample": { "messages": [ { @@ -9977,7 +9977,7 @@ "info": { "prompt_len": 574, "generated_len": [ - 25 + 43 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -9987,7 +9987,7 @@ "f1": 0, "em": 0 }, - "predict": " Холалынгъя вливается в Северную Сосьву.", + "predict": " Северная Сосьва.", "sample": { "messages": [ { @@ -10041,10 +10041,10 @@ } { "metric": { - "f1": 0.09090909090909091, + "f1": 0.09523809523809525, "em": 0 }, - "predict": " Законодательный орган государства, гражданином которого является Серхио Акоста, называется Конгресс Мексики. Конгресс состоит из двух палат: Сенат и Палата депутатов.", + "predict": " Законодательным органом государства, гражданином которого является Серхио Акоста, является Конгресс Мексики, состоящий из двух палат: Сената и Палаты депутатов.", "sample": { "messages": [ { @@ -10152,7 +10152,7 @@ "f1": 0.35294117647058826, "em": 0 }, - "predict": " Руслан Николаевич Кухарук является главой администрации в городе Тюмени, где родилась Татьяна Васильевна Леонтьева.", + "predict": " Главой администрации в городе Тюмени, где родилась Татьяна Васильевна Леонтьева, является Руслан Николаевич Кухарук.", "sample": { "messages": [ { @@ -10272,7 +10272,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Катании", + "predict": " Катании.", "sample": { "messages": [ { @@ -10320,10 +10320,10 @@ } { "metric": { - "f1": 0.19999999999999998, + "f1": 0.2666666666666667, "em": 0 }, - "predict": " Глава администрации в городе Душанбе, где родился Шод Саидович Муладжанов, с 12 января 2017 года является Рустам Эмомали.", + "predict": " Главой администрации в городе Душанбе, где родился Шод Саидович Муладжанов, является Рустам Эмомали.", "sample": { "messages": [ { @@ -10374,7 +10374,7 @@ "f1": 0, "em": 0 }, - "predict": " Вентуари сливается с рекой Ориноко.", + "predict": " Река Вентуари сливается в реку Ориноко.", "sample": { "messages": [ { @@ -10428,10 +10428,10 @@ } { "metric": { - "f1": 0, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Украинская Центральная Рада.", + "predict": " Городской совет.", "sample": { "messages": [ { @@ -10472,17 +10472,17 @@ "info": { "prompt_len": 243, "generated_len": [ - 25 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2666666666666667, + "f1": 0.13333333333333333, "em": 0 }, - "predict": " Глава администрации в городе Туле, где умер Евграф Дмитриевич Тюрин, — Юрий Цкипури.", + "predict": " Глава администрации в городе Туле, где умер Евграф Дмитриевич Тюрин, — Юрий Цкипури. Он был избран мэром Тулы 29 сентября 2014 года на первом заседании Тульской городской Думы.", "sample": { "messages": [ { @@ -10523,7 +10523,7 @@ "info": { "prompt_len": 392, "generated_len": [ - 25 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -10574,7 +10574,7 @@ "info": { "prompt_len": 283, "generated_len": [ - 25 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -10625,7 +10625,7 @@ "info": { "prompt_len": 199, "generated_len": [ - 25 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -10635,7 +10635,7 @@ "f1": 0, "em": 0 }, - "predict": " Река Тембенчи впадает в реку Кочечум.", + "predict": " Река Тембенчи вливается в реку Кочечум.", "sample": { "messages": [ { @@ -10676,17 +10676,17 @@ "info": { "prompt_len": 264, "generated_len": [ - 25 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.35294117647058826, + "f1": 0.33333333333333337, "em": 0 }, - "predict": " Главой администрации в городе, где родился Артём Эдуардович Скворцов, является мэр И. Р. Метшин.", + "predict": " Главой администрации в городе Казани, где родился Артём Эдуардович Скворцов, является мэр И. Р. Метшин.", "sample": { "messages": [ { @@ -10727,7 +10727,7 @@ "info": { "prompt_len": 229, "generated_len": [ - 25 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -10778,7 +10778,7 @@ "info": { "prompt_len": 308, "generated_len": [ - 25 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -10835,7 +10835,7 @@ "info": { "prompt_len": 358, "generated_len": [ - 25 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -10886,7 +10886,7 @@ "info": { "prompt_len": 265, "generated_len": [ - 46 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -10943,17 +10943,17 @@ "info": { "prompt_len": 399, "generated_len": [ - 46 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.13333333333333333, + "f1": 0, "em": 0 }, - "predict": " Иван Иванович Луцкевич родился в Шавли, который в то время был частью Ковенской губернии Российской империи, а сейчас является административным центром Шяуляйского района и Шяуляйского уезда в Литве.", + "predict": " Город рождения Ивана Ивановича Луцкевича, Шавли, находится на территории современной Литвы, в Шяуляйском районе.", "sample": { "messages": [ { @@ -11000,7 +11000,7 @@ "info": { "prompt_len": 243, "generated_len": [ - 46 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -11010,7 +11010,7 @@ "f1": 0, "em": 0 }, - "predict": " Оленёк", + "predict": " Оленёк.", "sample": { "messages": [ { @@ -11051,7 +11051,7 @@ "info": { "prompt_len": 254, "generated_len": [ - 46 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -11108,7 +11108,7 @@ "info": { "prompt_len": 628, "generated_len": [ - 46 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -11118,7 +11118,7 @@ "f1": 0, "em": 0 }, - "predict": " Глава города, где родился Алексей Григорьевич Фёдоров, является мэр.", + "predict": " Глава города, где родился Алексей Григорьевич Фёдоров, — мэр.", "sample": { "messages": [ { @@ -11159,17 +11159,17 @@ "info": { "prompt_len": 364, "generated_len": [ - 46 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.14285714285714288, + "f1": 0, "em": 0 }, - "predict": " Река Хитка впадает в реку Песочню, которая в свою очередь впадает в Волгу.", + "predict": " Река, в которую впадает река Хитка, — это река Песочня, которая является притоком Волги.", "sample": { "messages": [ { @@ -11216,7 +11216,7 @@ "info": { "prompt_len": 316, "generated_len": [ - 46 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -11273,17 +11273,17 @@ "info": { "prompt_len": 198, "generated_len": [ - 46 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.16666666666666669, "em": 0 }, - "predict": " Глава администрации в городе Минске, где родился Семён Яковлевич Вольфсон, является Михаил Викторович Желудов, председателем горсовета.", + "predict": " Глава администрации в городе Бобруйске, где родился Семён Яковлевич Вольфсон, является Александр Студнев, который занимает должность председателя Бобруйского городского исполнительного комитета (горисполкома).", "sample": { "messages": [ { @@ -11324,7 +11324,7 @@ "info": { "prompt_len": 237, "generated_len": [ - 44 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -11334,7 +11334,7 @@ "f1": 0, "em": 0 }, - "predict": " Законодательный орган государства, гражданином которого является Сону Нигам, называется двухпалатным парламентом, состоящим из верхней палаты \"Раджья сабха\" и нижней палаты \"Лок сабхи\".", + "predict": " Народная палата (Лок сабха)", "sample": { "messages": [ { @@ -11381,17 +11381,17 @@ "info": { "prompt_len": 535, "generated_len": [ - 44 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.375, + "f1": 0.24000000000000002, "em": 0 }, - "predict": " Главой администрации в городе Тюмени, где умер Зиновий Биртман, является Руслан Николаевич Кухарук.", + "predict": " Глава администрации в городе Тюмени, где умер Зиновий Биртман, — Руслан Николаевич Кухарук, который занимает эту должность с 8 октября 2018 года.", "sample": { "messages": [ { @@ -11432,7 +11432,7 @@ "info": { "prompt_len": 393, "generated_len": [ - 44 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -11442,7 +11442,7 @@ "f1": 0, "em": 0 }, - "predict": " Холуйца", + "predict": " Река, питающаяся от реки, притоком которой является Холуйца, называется Усвяча. Холуйца является левым притоком реки Усвяча.", "sample": { "messages": [ { @@ -11501,7 +11501,7 @@ "info": { "prompt_len": 512, "generated_len": [ - 44 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -11552,17 +11552,17 @@ "info": { "prompt_len": 407, "generated_len": [ - 44 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.4, + "f1": 0.375, "em": 0 }, - "predict": " Законодательный орган города, где родился Григор Вачеевич Меликсетян, называется ереванским городским советом.", + "predict": " Законодательным органом города, где родился Григор Вачеевич Меликсетян (Ереван), является ереванский городской совет.", "sample": { "messages": [ { @@ -11609,7 +11609,7 @@ "info": { "prompt_len": 194, "generated_len": [ - 44 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -11666,17 +11666,17 @@ "info": { "prompt_len": 378, "generated_len": [ - 44 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.1, "em": 0 }, - "predict": " Тверской железнодорожный вокзал спроектировал Рудольф Андреевич Желязевич, который работал в России.", + "predict": " Человек, который спроектировал Тверской железнодорожный вокзал, Рудольф Андреевич Желязевич, работал в России и за границей, в частности в Польше.", "sample": { "messages": [ { @@ -11717,7 +11717,7 @@ "info": { "prompt_len": 324, "generated_len": [ - 44 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -11727,7 +11727,7 @@ "f1": 0, "em": 0 }, - "predict": " семиотика", + "predict": " Семиотика", "sample": { "messages": [ { @@ -11768,7 +11768,7 @@ "info": { "prompt_len": 227, "generated_len": [ - 41 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -11819,7 +11819,7 @@ "info": { "prompt_len": 207, "generated_len": [ - 41 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -11829,7 +11829,7 @@ "f1": 0.14285714285714288, "em": 0 }, - "predict": " Глава государства в Объединённой Республике Танзания, гражданином которой был Френсис Чек, — президент.", + "predict": " Глава государства в Объединённой Республике Танзании, гражданином которой был Френсис Чек, — президент.", "sample": { "messages": [ { @@ -11876,7 +11876,7 @@ "info": { "prompt_len": 503, "generated_len": [ - 41 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -11933,7 +11933,7 @@ "info": { "prompt_len": 328, "generated_len": [ - 41 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -11943,7 +11943,7 @@ "f1": 0.23076923076923078, "em": 0 }, - "predict": " Глава администрации в городе Казани, где умер Лев Борисович Мандельштам, является мэр. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", + "predict": " Главой администрации в городе Казани, где умер Лев Борисович Мандельштам, является мэр. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", "sample": { "messages": [ { @@ -11984,17 +11984,17 @@ "info": { "prompt_len": 367, "generated_len": [ - 41 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.19999999999999998, + "f1": 0.2666666666666667, "em": 0 }, - "predict": " Глава администрации в городе Душанбе, где родился Фаррух Хукуматович Амонатов, с 12 января 2017 года является Рустам Эмомали.", + "predict": " Главой администрации в городе Душанбе, где родился Фаррух Хукуматович Амонатов, является Рустам Эмомали.", "sample": { "messages": [ { @@ -12035,17 +12035,17 @@ "info": { "prompt_len": 401, "generated_len": [ - 41 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.14285714285714288, "em": 0 }, - "predict": " Герман Энгельгард фон Натузиус, брат Филиппа Энгельгарда фон Натузиуса, родился в городе Магдебурге.", + "predict": " Герман Энгельгард фон Натузиус, брат Филиппа Энгельгарда фон Натузиуса, родился в городе Магдебург.", "sample": { "messages": [ { @@ -12086,17 +12086,17 @@ "info": { "prompt_len": 352, "generated_len": [ - 41 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.24000000000000002, + "f1": 0, "em": 0 }, - "predict": " Глава администрации в регионе, где родился Николай Максимович Фоменко, с 2013 года Владимир Владимирович Владимиров, исполняющий обязанности губернатора, а затем избранный губернатором.", + "predict": " Глава администрации в регионе, где родился Николай Максимович Фоменко, в разное время был Александр Леонидович Черногоров (1996—2008), Валерий Вениаминович Гаевский (2008—2012), Валерий Георгиевич Зеренков (2012—2013", "sample": { "messages": [ { @@ -12137,17 +12137,17 @@ "info": { "prompt_len": 362, "generated_len": [ - 41 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0, + "em": 0 }, - "predict": " Евгений Васильевич Маслов", + "predict": " Павел Вячеславович Плотников (до 25 ноября 2015 года)", "sample": { "messages": [ { @@ -12198,7 +12198,7 @@ "f1": 0, "em": 0 }, - "predict": " Монархия", + "predict": " Монархия с абсолютистской системой правления.", "sample": { "messages": [ { @@ -12252,10 +12252,10 @@ } { "metric": { - "f1": 0.16666666666666669, + "f1": 0.16, "em": 0 }, - "predict": " Глава администрации в городе, где родилась Наталья Николаевна Платицына, является Рустам Эмомали, который с 12 января 2017 года является мэром города Душанбе.", + "predict": " Глава администрации в городе Душанбе, где родилась Наталья Николаевна Платицына, является Рустам Эмомали, который с 12 января 2017 года занимает пост мэра города.", "sample": { "messages": [ { @@ -12306,7 +12306,7 @@ "f1": 0, "em": 0 }, - "predict": " Ереванский городской совет", + "predict": " Ереванский городской совет.", "sample": { "messages": [ { @@ -12354,10 +12354,10 @@ } { "metric": { - "f1": 0, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Певка", + "predict": " Певк", "sample": { "messages": [ { @@ -12405,10 +12405,10 @@ } { "metric": { - "f1": 0, + "f1": 0.3333333333333333, "em": 0 }, - "predict": " Городская дума", + "predict": " Городская дума Нижнего Новгорода.", "sample": { "messages": [ { @@ -12456,10 +12456,10 @@ } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0.6666666666666666, + "em": 0 }, - "predict": " Император", + "predict": " Император Всероссийский", "sample": { "messages": [ { @@ -12564,10 +12564,10 @@ } { "metric": { - "f1": 0.19999999999999998, + "f1": 0.17391304347826084, "em": 0 }, - "predict": " Глава администрации в городе Туле, где родился Аркадий Семёнович Качко, с 19 марта 2012 года является Евгений Авилов.", + "predict": " Глава администрации в городе, где родился Аркадий Семёнович Качко (Тула), с 19 марта 2012 года по настоящее время — Евгений Авилов.", "sample": { "messages": [ { @@ -12608,7 +12608,7 @@ "info": { "prompt_len": 384, "generated_len": [ - 64 + 61 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -12659,7 +12659,7 @@ "info": { "prompt_len": 373, "generated_len": [ - 64 + 61 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -12710,17 +12710,17 @@ "info": { "prompt_len": 266, "generated_len": [ - 64 + 61 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.1081081081081081, "em": 0 }, - "predict": " В рамках занимаемой должности писца при квесторе Флавий Либерал, скорее всего, занимался ведением государственного архива и казначейством, а также, возможно, предварительным расследованием дел, так как квесторы в то время специ��лизировались на уголовном правосудии и заведовании государственной каз", + "predict": " В рамках занятого Флавием Либералом поста писца при квесторе его юрисдикция была ограничена ведением дел и документооборотом, связанным с квестором, включая предварительное следствие по уголовным делам, хотя основная юрисдикция по уголовным делам оставалась у консулов.", "sample": { "messages": [ { @@ -12761,7 +12761,7 @@ "info": { "prompt_len": 274, "generated_len": [ - 64 + 61 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -12818,7 +12818,7 @@ "info": { "prompt_len": 408, "generated_len": [ - 64 + 61 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -12828,7 +12828,7 @@ "f1": 0, "em": 0 }, - "predict": " Глава города — мэр.", + "predict": " мэр", "sample": { "messages": [ { @@ -12869,7 +12869,7 @@ "info": { "prompt_len": 309, "generated_len": [ - 64 + 61 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -12926,17 +12926,17 @@ "info": { "prompt_len": 348, "generated_len": [ - 64 + 61 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2857142857142857, + "f1": 0.2727272727272727, "em": 0 }, - "predict": " Глава администрации (мэр) города Йошкар-Ола, где родился Михаил Петрович Краснов, с 28 декабря 2015 года - Евгений Васильевич Маслов.", + "predict": " Глава администрации (мэр) города Йошкар-Ола, где родился Михаил Петрович Краснов, с 28 декабря 2015 года — Евгений Васильевич Маслов.", "sample": { "messages": [ { @@ -12977,17 +12977,17 @@ "info": { "prompt_len": 344, "generated_len": [ - 64 + 61 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.13333333333333333, "em": 0 }, - "predict": " Мариупольский горсовет.", + "predict": " В городе Мариуполь, где родился Василий Александрович Мельников, работает Мариупольский городской совет.", "sample": { "messages": [ { @@ -13034,17 +13034,17 @@ "info": { "prompt_len": 414, "generated_len": [ - 44 + 53 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.47058823529411764, + "f1": 0.22222222222222224, "em": 0 }, - "predict": " Город рождения Финна Лемке, Бремен, находится на территории земли Вольный ганзейский город Бремен.", + "predict": " Город рождения Финна Лемке, Бремен, находится на территории земли (федеральной земли) Бремен в Германии.", "sample": { "messages": [ { @@ -13085,17 +13085,17 @@ "info": { "prompt_len": 374, "generated_len": [ - 44 + 53 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.18181818181818182, + "f1": 0, "em": 0 }, - "predict": " Река, питающаяся от реки, притоком которой является Гунъёган, называется Аган.", + "predict": " Река, питающаяся от реки, притоком которой является Гунъёган, называется Ванъёган.", "sample": { "messages": [ { @@ -13136,7 +13136,7 @@ "info": { "prompt_len": 198, "generated_len": [ - 44 + 53 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -13187,17 +13187,17 @@ "info": { "prompt_len": 270, "generated_len": [ - 44 + 53 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0.6666666666666666, + "em": 0 }, - "predict": " Люк Лемонье", + "predict": " Люк Лемонье (Luc Lemonnier)", "sample": { "messages": [ { @@ -13238,17 +13238,17 @@ "info": { "prompt_len": 279, "generated_len": [ - 44 + 53 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0.8571428571428571, + "em": 0 }, - "predict": " Курляндия и Семигалия", + "predict": " герцогство Курляндия и Семигалия.", "sample": { "messages": [ { @@ -13295,7 +13295,7 @@ "info": { "prompt_len": 473, "generated_len": [ - 44 + 53 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -13305,7 +13305,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Ереванский городской совет", + "predict": " Ереванский городской совет.", "sample": { "messages": [ { @@ -13352,17 +13352,17 @@ "info": { "prompt_len": 267, "generated_len": [ - 44 + 53 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.08, + "f1": 0.12121212121212122, "em": 0 }, - "predict": " Алексей Филиппович Чернышёв жил в Российской империи, где главой государства был Император. В период его жизни (1824-1863) титулом Императора Всероссийским обладал Николай I.", + "predict": " Алексей Филиппович Чернышёв был гражданином Российской империи, в которой главой государства был Император. В период его жизни (1824—1863) главой государства был Император Всероссийский, который носил титул Императора Всероссийского и Отца Отечества.", "sample": { "messages": [ { @@ -13409,7 +13409,7 @@ "info": { "prompt_len": 283, "generated_len": [ - 44 + 53 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -13419,7 +13419,7 @@ "f1": 0, "em": 0 }, - "predict": " Римская крепость Кастра Регина.", + "predict": " Территория города Регенсбурга ранее занимала кельтская и римская культуры.", "sample": { "messages": [ { @@ -13460,7 +13460,7 @@ "info": { "prompt_len": 528, "generated_len": [ - 25 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -13470,7 +13470,7 @@ "f1": 0, "em": 0 }, - "predict": " Большая Омелич", + "predict": " Река, питающаяся от реки, притоком которой является Малый Омелич, называется Омелич.", "sample": { "messages": [ { @@ -13511,7 +13511,7 @@ "info": { "prompt_len": 213, "generated_len": [ - 25 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -13521,7 +13521,7 @@ "f1": 0, "em": 0 }, - "predict": " Река Маравка впадает в реку Катка.", + "predict": " Река Маравка впадает в реку Катку.", "sample": { "messages": [ { @@ -13568,17 +13568,17 @@ "info": { "prompt_len": 416, "generated_len": [ - 25 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.14285714285714288, + "f1": 0.10526315789473684, "em": 0 }, - "predict": " Кутерген впадает в реку Чарыш, которая, в свою очередь, является левым притоком Оби.", + "predict": " Река, притоком которой является Кутерген, впадает в реку Чарыш, а Чарыш в свою очередь впадает в реку Обь.", "sample": { "messages": [ { @@ -13625,7 +13625,7 @@ "info": { "prompt_len": 204, "generated_len": [ - 25 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -13682,7 +13682,7 @@ "info": { "prompt_len": 382, "generated_len": [ - 25 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -13739,7 +13739,7 @@ "info": { "prompt_len": 417, "generated_len": [ - 25 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -13749,7 +13749,7 @@ "f1": 0.14285714285714288, "em": 0 }, - "predict": " Государственная Дума Федерального Собрания Российской Федерации", + "predict": " Государственная Дума Федерального Собрания Российской Федерации.", "sample": { "messages": [ { @@ -13796,7 +13796,7 @@ "info": { "prompt_len": 590, "generated_len": [ - 25 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -13853,7 +13853,7 @@ "info": { "prompt_len": 217, "generated_len": [ - 25 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -13863,7 +13863,7 @@ "f1": 0, "em": 0 }, - "predict": " Окишева впадает в реку Большой Петряк.", + "predict": " Река, в которую впадает Окишева, — Большой Петряк.", "sample": { "messages": [ { @@ -13904,7 +13904,7 @@ "info": { "prompt_len": 224, "generated_len": [ - 48 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -13914,7 +13914,7 @@ "f1": 0, "em": 0 }, - "predict": " Река Суходревка впадает в реку Суходрев.", + "predict": " Река Суходревка в свою очередь является притоком реки Суходрев.", "sample": { "messages": [ { @@ -13961,17 +13961,17 @@ "info": { "prompt_len": 180, "generated_len": [ - 48 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.23076923076923078, "em": 0 }, - "predict": " Главой администрации в городе, где родилась Нурдия Гарифовна Джураева, является мэр.", + "predict": " Главой администрации в городе Казани, где родилась Нурдия Гарифовна Джураева, является мэр. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", "sample": { "messages": [ { @@ -14012,17 +14012,17 @@ "info": { "prompt_len": 358, "generated_len": [ - 48 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.15384615384615385, + "f1": 0.19999999999999998, "em": 0 }, - "predict": " Законодательный орган, работающий в Мексике, где гражданство имеет Хесус Ангуло, — это двухпалатный Конгресс, состоящий из Сената (128 мест) и Палаты депутатов (500 мест).", + "predict": " Законодательный орган, работающий в стране гражданства Хесуса Ангуло (Мексика), — двухпалатный Конгресс, состоящий из Сената и Палаты депутатов.", "sample": { "messages": [ { @@ -14063,7 +14063,7 @@ "info": { "prompt_len": 334, "generated_len": [ - 48 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -14120,17 +14120,17 @@ "info": { "prompt_len": 529, "generated_len": [ - 48 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.11764705882352941, + "f1": 0.08888888888888888, "em": 0 }, - "predict": " Александр Петрович Рождественский был гражданином Российской империи, и главой государства в то время был Император.", + "predict": " Александр Петрович Рождественский был гражданином Российской империи, и главой государства в то время был Император. Титул Император Всероссийский носил Пётр I, а затем последующие императоры, включая Николая II, который правил до Февральской революции 1917 года. Таким образом, во время жизни и деятельности Рождествен", "sample": { "messages": [ { @@ -14171,7 +14171,7 @@ "info": { "prompt_len": 408, "generated_len": [ - 48 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -14181,7 +14181,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Евгений Авилов", + "predict": " Евгений Авилов.", "sample": { "messages": [ { @@ -14222,7 +14222,7 @@ "info": { "prompt_len": 445, "generated_len": [ - 48 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -14279,7 +14279,7 @@ "info": { "prompt_len": 260, "generated_len": [ - 48 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -14289,7 +14289,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Ереванский городской совет", + "predict": " Ереванский городской совет.", "sample": { "messages": [ { @@ -14336,7 +14336,7 @@ "info": { "prompt_len": 190, "generated_len": [ - 46 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -14346,7 +14346,7 @@ "f1": 0.19999999999999998, "em": 0 }, - "predict": " Глава администрации в городе, где родился Тенгиз Сулейманович Хахва (Батуми), с 13 ноября 2017 года является Лаша Комахидзе.", + "predict": " Глава администрации в городе Батуми, где родился Тенгиз Сулейманович Хахва, с 13 ноября 2017 года — Лаша Комахидзе.", "sample": { "messages": [ { @@ -14393,17 +14393,17 @@ "info": { "prompt_len": 333, "generated_len": [ - 46 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0, + "em": 0 }, - "predict": " Довгопол, Олег Анатолиевич", + "predict": " Костырко, Виктор Иванович", "sample": { "messages": [ { @@ -14450,7 +14450,7 @@ "info": { "prompt_len": 486, "generated_len": [ - 46 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -14460,7 +14460,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Санкт-Петербург", + "predict": " Санкт-Петербург.", "sample": { "messages": [ { @@ -14501,17 +14501,17 @@ "info": { "prompt_len": 204, "generated_len": [ - 46 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.08333333333333334, + "f1": 0.19999999999999998, "em": 0 }, - "predict": " Глава администрации в городе, где родился Мухсин Муслимович Мухамадиев, является Рустамом Эмомали, который с 12 января 2017 года является мэром города Душанбе.", + "predict": " Глава администрации в городе Душанбе, где родился Мухсин Муслимович Мухамадиев, с 12 января 2017 года — Рустам Эмомали.", "sample": { "messages": [ { @@ -14552,17 +14552,17 @@ "info": { "prompt_len": 303, "generated_len": [ - 46 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0.6666666666666666, + "em": 0 }, - "predict": " Озеро Виксинселькя", + "predict": " Виксинселькя", "sample": { "messages": [ { @@ -14609,17 +14609,17 @@ "info": { "prompt_len": 238, "generated_len": [ - 46 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.19999999999999998, + "f1": 0.2666666666666667, "em": 0 }, - "predict": " Глава администрации в городе Душанбе, где родилась Тахмина Пулоджоновна Раджабова, с 12 января 2017 года является Рустам Эмомали.", + "predict": " Главой администрации в городе Душанбе, где родилась Тахмина Пулоджоновна Раджабова, является Рустам Эмомали.", "sample": { "messages": [ { @@ -14660,7 +14660,7 @@ "info": { "prompt_len": 306, "generated_len": [ - 46 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -14670,7 +14670,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Ереванский городской совет", + "predict": " Ереванский городской совет.", "sample": { "messages": [ { @@ -14717,7 +14717,7 @@ "info": { "prompt_len": 183, "generated_len": [ - 46 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -14774,7 +14774,7 @@ "info": { "prompt_len": 229, "generated_len": [ - 44 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -14831,17 +14831,17 @@ "info": { "prompt_len": 249, "generated_len": [ - 44 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.16666666666666669, + "f1": 0.05882352941176471, "em": 0 }, - "predict": " В стране гражданства Чарльза Брэндона, 1-го герцога Саффолка, Англии, работал парламент.", + "predict": " В стране гражданства Чарльза Брэндона, 1-го герцога Саффолка, Англии, действовал парламент. В частности, в тексте упоминается, что в период правления короля Ричарда II, когда он был узурпирован лордами-апеллянтами, парламент фактически узурпировал власть, ограни", "sample": { "messages": [ { @@ -14888,17 +14888,17 @@ "info": { "prompt_len": 827, "generated_len": [ - 44 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.6666666666666666, + "f1": 0, "em": 0 }, - "predict": " В Европе", + "predict": " В Литве и Латвии.", "sample": { "messages": [ { @@ -14945,7 +14945,7 @@ "info": { "prompt_len": 300, "generated_len": [ - 44 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -14955,7 +14955,7 @@ "f1": 0.23076923076923078, "em": 0 }, - "predict": " Глава администрации в городе, где родился Владимир Пантелеймонович Жузе (Казань), является мэр. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", + "predict": " В городе, где родился Владимир Пантелеймонович Жузе (Казань), главой администрации является мэр. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", "sample": { "messages": [ { @@ -15002,7 +15002,7 @@ "info": { "prompt_len": 371, "generated_len": [ - 44 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -15059,7 +15059,7 @@ "info": { "prompt_len": 382, "generated_len": [ - 44 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -15069,7 +15069,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Валентин Резниченко", + "predict": " Валентин Резниченко.", "sample": { "messages": [ { @@ -15110,17 +15110,17 @@ "info": { "prompt_len": 311, "generated_len": [ - 44 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.17391304347826084, "em": 0 }, - "predict": " Виталий Бахметьев, глава города (с 26 октября 2015 г., исполняющий обязанности с 25 декабря 2014 г.).", + "predict": " Главой администрации в Магнитогорске, где родился Анатолий Дмитриевич Кириллов, является Сергей Бердников, который занимает эту должность с 25 октября 2016 года.", "sample": { "messages": [ { @@ -15161,7 +15161,7 @@ "info": { "prompt_len": 247, "generated_len": [ - 44 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -15171,7 +15171,7 @@ "f1": 0, "em": 0 }, - "predict": " Сордук впадает в Фёдоровку.", + "predict": " Река, в которую впадает Сордук, — Фёдоровка.", "sample": { "messages": [ { @@ -15225,10 +15225,10 @@ } { "metric": { - "f1": 0.16, + "f1": 0.125, "em": 0 }, - "predict": " Глава администрации в регионе, где родился Павел Александрович Афанасьев, является губернатором Тульской области. 22 сентября 2016 года на эту должность вступил Алексей Дюмин.", + "predict": " Глава администрации в регионе, где родился Павел Александрович Афанасьев, — губернатор Тульской области. В данном случае губернатором Тульской области является Алексей Дюмин, который вступил в должность 22 сентября 2016 года.", "sample": { "messages": [ { @@ -15276,10 +15276,10 @@ } { "metric": { - "f1": 0, + "f1": 0.18181818181818182, "em": 0 }, - "predict": " Городская дума", + "predict": " Горьковский городской Совет", "sample": { "messages": [ { @@ -15330,7 +15330,7 @@ "f1": 0, "em": 0 }, - "predict": " Грязненка впадает в реку Изверь.", + "predict": " Река, в которую впадает Грязненка, — Изверь.", "sample": { "messages": [ { @@ -15384,10 +15384,10 @@ } { "metric": { - "f1": 0.09090909090909091, + "f1": 0.09523809523809525, "em": 0 }, - "predict": " Законодательный орган государства, гражданином которого является Марко Муньос, называется Конгресс Мексики. Конгресс состоит из двух палат: Сенат и Палата депутатов.", + "predict": " Законодательным органом государства, гражданином которого является Марко Муньос, является Конгресс Мексики, состоящий из двух палат: Сената и Палаты депутатов.", "sample": { "messages": [ { @@ -15438,7 +15438,7 @@ "f1": 0, "em": 0 }, - "predict": " В Северную Сосьву.", + "predict": " Река, в которую впадает река Лямьинъя, — Сёвъя.", "sample": { "messages": [ { @@ -15489,7 +15489,7 @@ "f1": 0, "em": 0 }, - "predict": " Большая Мулонда впадает в Вага.", + "predict": " Большая Мулонда в свою очередь является притоком реки Ваги.", "sample": { "messages": [ { @@ -15597,7 +15597,7 @@ "f1": 0, "em": 0 }, - "predict": " Река, в которую впадает Мичуг, — река Конюг.", + "predict": " Река Мичуг сливается с рекой Конюг, образуя реку Межа.", "sample": { "messages": [ { @@ -15644,17 +15644,17 @@ "info": { "prompt_len": 341, "generated_len": [ - 31 + 36 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.33333333333333337, + "f1": 0.23076923076923078, "em": 0 }, - "predict": " Законодательная власть в городе Ереван, где родился Махмуд Керим оглы Керимов, осуществляется ереванским городским советом.", + "predict": " В городе, где родился Махмуд Керим оглы Керимов, то есть в Ереване, работает ереванский городской совет. Этот орган осуществляет законодательную власть в городе.", "sample": { "messages": [ { @@ -15701,7 +15701,7 @@ "info": { "prompt_len": 254, "generated_len": [ - 31 + 36 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -15711,7 +15711,7 @@ "f1": 0.5, "em": 0 }, - "predict": " Михаил Евграфович Салтыков, автор произведения \"Дикий помещик\", родился в селе Спас-Угол Калязинского уезда Тверской губернии.", + "predict": " Михаил Евграфович Салтыков-Щедрин, автор произведения \"Дикий помещик\", родился в селе Спас-Угол Калязинского уезда Тверской губернии.", "sample": { "messages": [ { @@ -15770,7 +15770,7 @@ "info": { "prompt_len": 268, "generated_len": [ - 31 + 36 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -15780,7 +15780,7 @@ "f1": 0, "em": 0 }, - "predict": " река Печора.", + "predict": " Печора.", "sample": { "messages": [ { @@ -15839,7 +15839,7 @@ "info": { "prompt_len": 266, "generated_len": [ - 31 + 36 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -15890,7 +15890,7 @@ "info": { "prompt_len": 424, "generated_len": [ - 31 + 36 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -15900,7 +15900,7 @@ "f1": 0, "em": 0 }, - "predict": " Законодательный орган, работающий в городе Ереван, где родился Арутюн Минасович Минасян, — ереванский городской совет.", + "predict": " Законодательный орган, осуществляющий власть в городе, где родился Арутюн Минасович Минасян, — ереванский городской совет.", "sample": { "messages": [ { @@ -15941,17 +15941,17 @@ "info": { "prompt_len": 215, "generated_len": [ - 31 + 36 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.375, "em": 0 }, - "predict": " Глава города — мэр.", + "predict": " Главой города Казани, где родился Олег Валентинович Горюнов, является мэр И. Р. Метшин.", "sample": { "messages": [ { @@ -15992,17 +15992,17 @@ "info": { "prompt_len": 297, "generated_len": [ - 31 + 36 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.25, + "f1": 0.2857142857142857, "em": 0 }, - "predict": " Прежде на территории, где жил Пахомий Русан, находилась Византия (Византийская империя, Восточная Римская империя).", + "predict": " Прежде на территории государства, гражданином которого являлся Пахомий Русан, находилась Римская империя.", "sample": { "messages": [ { @@ -16049,17 +16049,17 @@ "info": { "prompt_len": 557, "generated_len": [ - 31 + 36 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.13333333333333333, "em": 0 }, - "predict": " Река Инцкуры впадает в реку Лыльйок, которая в свою очередь впадает в Баренцево море.", + "predict": " Река Инцкуры впадает в реку Лыльйок, которая в свою очередь впадает в реку Иоканга.", "sample": { "messages": [ { @@ -16100,7 +16100,7 @@ "info": { "prompt_len": 373, "generated_len": [ - 43 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -16110,7 +16110,7 @@ "f1": 0, "em": 0 }, - "predict": " Волошная впадает в реку Юзу.", + "predict": " Река Волошная является притоком реки Юзы.", "sample": { "messages": [ { @@ -16151,17 +16151,17 @@ "info": { "prompt_len": 274, "generated_len": [ - 43 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0, + "em": 0 }, - "predict": " Зеленоградский административный округ", + "predict": " Зеленоград, Москва.", "sample": { "messages": [ { @@ -16208,17 +16208,17 @@ "info": { "prompt_len": 329, "generated_len": [ - 43 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0.14285714285714288, + "em": 0 }, - "predict": " Мезень", + "predict": " Река, питающаяся от реки, притоком которой является Средняя Попьюга, — это река Мезень.", "sample": { "messages": [ { @@ -16259,17 +16259,17 @@ "info": { "prompt_len": 238, "generated_len": [ - 43 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.23076923076923078, + "f1": 0.33333333333333337, "em": 0 }, - "predict": " Глава администрации в городе, где родился Альберт Ильдарович Яруллин, является мэром Казани. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", + "predict": " Главой администрации в городе Казани, где родился Альберт Ильдарович Яруллин, является мэр И. Р. Метшин.", "sample": { "messages": [ { @@ -16310,7 +16310,7 @@ "info": { "prompt_len": 296, "generated_len": [ - 43 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -16361,17 +16361,17 @@ "info": { "prompt_len": 452, "generated_len": [ - 43 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.35294117647058826, + "f1": 0, "em": 0 }, - "predict": " Самвел Мисакович Баласанян является главой администрации в городе Гюмри, где родился Левон Геворкович Исаакян.", + "predict": " В городе, где родился Левон Геворкович Исаакян (Александрополе, ныне Гюмри), главой администрации в разное время были Микаел Оганесович Варданян (1994—1999), Вардан Николаевич Гукасян (1999—201", "sample": { "messages": [ { @@ -16418,7 +16418,7 @@ "info": { "prompt_len": 317, "generated_len": [ - 43 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -16428,7 +16428,7 @@ "f1": 0, "em": 0 }, - "predict": " Река, питающаяся от реки, притоком которой является Кечёвка, называется Иж.", + "predict": " Река, питающаяся от реки, притоком которой является Кечёвка, называется Иж. Кечёвка является левым притоком реки Иж.", "sample": { "messages": [ { @@ -16481,7 +16481,7 @@ "info": { "prompt_len": 286, "generated_len": [ - 43 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -16532,7 +16532,7 @@ "info": { "prompt_len": 135, "generated_len": [ - 40 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -16542,7 +16542,7 @@ "f1": 0, "em": 0 }, - "predict": " Федеральный парламент Бельгии состоит из двух палат: Нижняя палата (Палата представителей) и Верхняя палата (Сенат). В стране гражданства Франсуа Вейергана работают обе эти палаты парламента.", + "predict": " В стране гражданства Франсуа Вейергана, Бельгии, работает двухпалатный федеральный парламент, состоящий из Палаты представителей и Сената.", "sample": { "messages": [ { @@ -16583,7 +16583,7 @@ "info": { "prompt_len": 467, "generated_len": [ - 40 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -16640,17 +16640,17 @@ "info": { "prompt_len": 341, "generated_len": [ - 40 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.24000000000000002, + "f1": 0.33333333333333337, "em": 0 }, - "predict": " Глава администрации в городе, где умер Мариан Альбертович Ковальский, является мэр. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", + "predict": " Главой администрации в городе Казани, где умер Мариан Альбертович Ковальский, является мэр И. Р. Метшин.", "sample": { "messages": [ { @@ -16691,7 +16691,7 @@ "info": { "prompt_len": 336, "generated_len": [ - 40 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -16701,7 +16701,7 @@ "f1": 0, "em": 0 }, - "predict": " Кеть", + "predict": " Река, питающаяся от реки, притоком которой является Петейга, называется Кеть.", "sample": { "messages": [ { @@ -16748,7 +16748,7 @@ "info": { "prompt_len": 348, "generated_len": [ - 40 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -16805,7 +16805,7 @@ "info": { "prompt_len": 208, "generated_len": [ - 40 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -16815,7 +16815,7 @@ "f1": 0, "em": 0 }, - "predict": " Большая Эквпцоко сливается в реку Малка.", + "predict": " Река Большая Эквпецоко сливается в реку Малка.", "sample": { "messages": [ { @@ -16868,7 +16868,7 @@ "info": { "prompt_len": 378, "generated_len": [ - 40 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -16878,7 +16878,7 @@ "f1": 0, "em": 0 }, - "predict": " Река, в которую впадает Охан, это Большой Тап.", + "predict": " Река, в которую впадает Охан, — Большой Тап.", "sample": { "messages": [ { @@ -16931,17 +16931,17 @@ "info": { "prompt_len": 337, "generated_len": [ - 40 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2857142857142857, + "f1": 0.2666666666666667, "em": 0 }, - "predict": " Глава администрации в городе, где родилась Надежда Яковлевна Фридьева (Челябинск), Евгений Тефтелев.", + "predict": " Главой администрации в городе Челябинске, где родилась Надежда Яковлевна Фридьева, был Евгений Тефтелев.", "sample": { "messages": [ { @@ -16988,17 +16988,17 @@ "info": { "prompt_len": 408, "generated_len": [ - 30 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.16666666666666669, + "f1": 0.15384615384615385, "em": 0 }, - "predict": " Сестра Дины Алексеевны Авериной, Арина Аверина, родилась в Заволжье, Нижегородской области.", + "predict": " Сестра Дины Алексеевны Авериной, Арина Аверина, также родилась в Заволжье, Нижегородской области.", "sample": { "messages": [ { @@ -17045,17 +17045,17 @@ "info": { "prompt_len": 500, "generated_len": [ - 30 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2222222222222222, + "f1": 0.19999999999999998, "em": 0 }, - "predict": " Вилли Фроммельт, брат Пауля Фроммельта, родился в Шане.", + "predict": " Человек, который был братом Пауля Фроммельта, родился в Шане.", "sample": { "messages": [ { @@ -17096,17 +17096,17 @@ "info": { "prompt_len": 302, "generated_len": [ - 30 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0, + "em": 0 }, - "predict": " Варшава", + "predict": " Смерть режиссёра Анджея Вайды настигла в Варшаве.", "sample": { "messages": [ { @@ -17147,7 +17147,7 @@ "info": { "prompt_len": 365, "generated_len": [ - 30 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -17198,7 +17198,7 @@ "info": { "prompt_len": 233, "generated_len": [ - 30 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -17208,7 +17208,7 @@ "f1": 0, "em": 0 }, - "predict": " Большая Горевка сливается в реку Печора.", + "predict": " Река Большая Горевка сливается в реку Печора.", "sample": { "messages": [ { @@ -17249,7 +17249,7 @@ "info": { "prompt_len": 452, "generated_len": [ - 30 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -17306,17 +17306,17 @@ "info": { "prompt_len": 276, "generated_len": [ - 30 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.375, + "f1": 0.23076923076923078, "em": 0 }, - "predict": " Ситников Сергей Константинович является главой администрации в регионе, где родился Николай Николаевич Назаров.", + "predict": " Ситников Сергей Константинович является главой администрации в регионе, где родился Николай Николаевич Назаров. Он стал губернатором Костромской области с 13 апреля 2012 года.", "sample": { "messages": [ { @@ -17363,7 +17363,7 @@ "info": { "prompt_len": 315, "generated_len": [ - 30 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -17373,7 +17373,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Ереванский городской совет", + "predict": " Ереванский городской совет.", "sample": { "messages": [ { @@ -17426,7 +17426,7 @@ "info": { "prompt_len": 257, "generated_len": [ - 32 + 31 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -17436,7 +17436,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Ереванский городской совет", + "predict": " Ереванский городской совет.", "sample": { "messages": [ { @@ -17483,7 +17483,7 @@ "info": { "prompt_len": 245, "generated_len": [ - 32 + 31 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -17534,7 +17534,7 @@ "info": { "prompt_len": 336, "generated_len": [ - 32 + 31 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -17544,7 +17544,7 @@ "f1": 0, "em": 0 }, - "predict": " Большая Теректа", + "predict": " Большая Теректа.", "sample": { "messages": [ { @@ -17591,7 +17591,7 @@ "info": { "prompt_len": 201, "generated_len": [ - 32 + 31 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -17601,7 +17601,7 @@ "f1": 0, "em": 0 }, - "predict": " Большая Филимониха сливается с Бердь.", + "predict": " Большая Филимониха вливается в реку Бердь.", "sample": { "messages": [ { @@ -17648,7 +17648,7 @@ "info": { "prompt_len": 231, "generated_len": [ - 32 + 31 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -17699,7 +17699,7 @@ "info": { "prompt_len": 310, "generated_len": [ - 32 + 31 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -17750,17 +17750,17 @@ "info": { "prompt_len": 375, "generated_len": [ - 32 + 31 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.10526315789473684, + "f1": 0, "em": 0 }, - "predict": " Стейнс-апон-Темз находится в Европе, так как Темза — это река на юге Великобритании, что является частью Западной Европы.", + "predict": " Стейнс-апон-Темз располагается в Европе, так как Темза — это река на юге Великобритании, которая находится в Европе.", "sample": { "messages": [ { @@ -17807,17 +17807,17 @@ "info": { "prompt_len": 335, "generated_len": [ - 32 + 31 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2857142857142857, + "f1": 0.2666666666666667, "em": 0 }, - "predict": " Глава администрации в городе, где родилась Мария Сергеевна Фарносова (Челябине), Евгений Тефтелев.", + "predict": " Главой администрации в городе Челябинске, где родилась Мария Сергеевна Фарносова, является Евгений Тефтелев.", "sample": { "messages": [ { @@ -17864,7 +17864,7 @@ "info": { "prompt_len": 375, "generated_len": [ - 44 + 41 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -17874,7 +17874,7 @@ "f1": 0, "em": 0 }, - "predict": " Судиловка вливается в Стыр.", + "predict": " Река, в которую впадает Судиловка, — это Стыр.", "sample": { "messages": [ { @@ -17933,7 +17933,7 @@ "info": { "prompt_len": 365, "generated_len": [ - 44 + 41 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -17943,7 +17943,7 @@ "f1": 0, "em": 0 }, - "predict": " Персидский залив", + "predict": " Персидский залив.", "sample": { "messages": [ { @@ -17990,17 +17990,17 @@ "info": { "prompt_len": 331, "generated_len": [ - 44 + 41 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.3076923076923077, + "f1": 0.2666666666666667, "em": 0 }, - "predict": " Команда, за тренировки которой отвечал Вацлав Ежек, играет в Первой лиге.", + "predict": " Команда, за тренировки которой отвечал Вацлав Ежек, \"Спарта\", играла в Первой лиге Чехии.", "sample": { "messages": [ { @@ -18047,7 +18047,7 @@ "info": { "prompt_len": 344, "generated_len": [ - 44 + 41 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -18057,7 +18057,7 @@ "f1": 0, "em": 0 }, - "predict": " Законодательный орган государства, гражданином которого является Густав Юберти, называется Федеральным парламентом. В составе Федерального парламента есть две палаты: Нижняя палата — палата представителей, и Верхняя палата — Сенат.", + "predict": " Законодательный орган государства, гражданином которого является Густав Юберти, называется Федеральным парламентом Бельгии. В частности, это двухпалатный парламент, состоящий из Палаты представителей и Сената.", "sample": { "messages": [ { @@ -18098,7 +18098,7 @@ "info": { "prompt_len": 369, "generated_len": [ - 44 + 41 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -18155,7 +18155,7 @@ "info": { "prompt_len": 397, "generated_len": [ - 44 + 41 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -18212,7 +18212,7 @@ "info": { "prompt_len": 329, "generated_len": [ - 44 + 41 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -18222,7 +18222,7 @@ "f1": 0, "em": 0 }, - "predict": " С рекой Очаковка.", + "predict": " С рекой Очаковкой сливается река, в которую впадает Кукринский ручей.", "sample": { "messages": [ { @@ -18269,17 +18269,17 @@ "info": { "prompt_len": 311, "generated_len": [ - 44 + 41 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.18181818181818182, + "f1": 0.15384615384615385, "em": 0 }, - "predict": " Василий Фёдорович Болдырев посвятил себя энтомологии, разделу зоологии, изучающему насекомых.", + "predict": " Василий Фёдорович Болдырев посвятил себя энтомологии, которая является разделом зоологии, изучающей насекомых.", "sample": { "messages": [ { @@ -18320,7 +18320,7 @@ "info": { "prompt_len": 558, "generated_len": [ - 22 + 50 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -18377,17 +18377,17 @@ "info": { "prompt_len": 264, "generated_len": [ - 22 + 50 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0.13333333333333333, + "em": 0 }, - "predict": " Станислав Воскресенский.", + "predict": " Главой администрации в регионе, где родилась Дарья Михайловна Балясникова (Ивановская область), является Станислав Воскресенский. Он вступил в должность губернатора после досрочного освобождения Павла Конькова 19 сентября 2018 года.", "sample": { "messages": [ { @@ -18428,7 +18428,7 @@ "info": { "prompt_len": 531, "generated_len": [ - 22 + 50 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -18485,7 +18485,7 @@ "info": { "prompt_len": 242, "generated_len": [ - 22 + 50 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -18542,17 +18542,17 @@ "info": { "prompt_len": 430, "generated_len": [ - 22 + 50 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0.14285714285714288, + "em": 0 }, - "predict": " Пномпень.", + "predict": " Город Пномпене является местом рождения режиссёра фильма \"Плотина против Тихого океана\" Ритхи Пань.", "sample": { "messages": [ { @@ -18599,17 +18599,17 @@ "info": { "prompt_len": 251, "generated_len": [ - 22 + 50 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2222222222222222, + "f1": 0.125, "em": 0 }, - "predict": " Река, притоком которой является Туречка, впадает в Уржумку.", + "predict": " Река, притоком которой является Туречка, — Ноля. Ноля в свою очередь впадает в реку Уржумку.", "sample": { "messages": [ { @@ -18656,7 +18656,7 @@ "info": { "prompt_len": 129, "generated_len": [ - 22 + 50 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -18666,7 +18666,7 @@ "f1": 0, "em": 0 }, - "predict": " Глава администрации в городе, где родилась Мария Александровна Воронцова, является мэр.", + "predict": " Глава города, где родилась Мария Александровна Воронцова, является мэр.", "sample": { "messages": [ { @@ -18707,7 +18707,7 @@ "info": { "prompt_len": 242, "generated_len": [ - 22 + 50 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -18717,7 +18717,7 @@ "f1": 0, "em": 0 }, - "predict": " Река, в которую впадает Пескушь, — Кусь.", + "predict": " Река, в которую впадает Пескушь, — это река Кусь.", "sample": { "messages": [ { @@ -18770,17 +18770,17 @@ "info": { "prompt_len": 272, "generated_len": [ - 40 + 41 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.24000000000000002, + "f1": 0.23076923076923078, "em": 0 }, - "predict": " Глава администрации в городе, где родился Юрий Константинович Плугин, является мэром. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", + "predict": " Главой администрации в городе Казани, где родился Юрий Константинович Плугин, является мэр. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", "sample": { "messages": [ { @@ -18821,7 +18821,7 @@ "info": { "prompt_len": 312, "generated_len": [ - 40 + 41 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -18831,7 +18831,7 @@ "f1": 0, "em": 0 }, - "predict": " Византия", + "predict": " Византийская империя.", "sample": { "messages": [ { @@ -18878,7 +18878,7 @@ "info": { "prompt_len": 677, "generated_len": [ - 40 + 41 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -18935,7 +18935,7 @@ "info": { "prompt_len": 295, "generated_len": [ - 40 + 41 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -18945,7 +18945,7 @@ "f1": 0, "em": 0 }, - "predict": " Симъёль впадает в Велью.", + "predict": " Велью.", "sample": { "messages": [ { @@ -18986,7 +18986,7 @@ "info": { "prompt_len": 262, "generated_len": [ - 40 + 41 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -18996,7 +18996,7 @@ "f1": 0, "em": 0 }, - "predict": " Палата представителей (Lower House) и Сенат (Upper House)", + "predict": " Палата представителей (нижняя палата парламента)", "sample": { "messages": [ { @@ -19043,7 +19043,7 @@ "info": { "prompt_len": 223, "generated_len": [ - 40 + 41 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -19094,17 +19094,17 @@ "info": { "prompt_len": 283, "generated_len": [ - 40 + 41 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.24000000000000002, + "f1": 0.23076923076923078, "em": 0 }, - "predict": " Главой администрации в городе, где родился Евгений Константинович Забиякин, является мэр. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", + "predict": " Главой администрации в городе Казани, где родился Евгений Константинович Забиякин, является мэр. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", "sample": { "messages": [ { @@ -19145,17 +19145,17 @@ "info": { "prompt_len": 279, "generated_len": [ - 40 + 41 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.19999999999999998, + "f1": 0.16, "em": 0 }, - "predict": " Глава администрации в городе Душанбе, где родилась Ситора Шохиновна Алиева, с 12 января 2017 года является Рустам Эмомали.", + "predict": " Глава администрации в городе Душанбе, где родилась Ситора Шохиновна Алиева, является мэр города. С 12 января 2017 года мэром Душанбе является Рустам Эмомали.", "sample": { "messages": [ { @@ -19196,7 +19196,7 @@ "info": { "prompt_len": 297, "generated_len": [ - 51 + 53 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -19206,7 +19206,7 @@ "f1": 0, "em": 0 }, - "predict": " Река, через которую построен Белорусский железнодорожный мост, — Москва.", + "predict": " Река, через которую построен Белорусский железнодорожный мост, — река Москва.", "sample": { "messages": [ { @@ -19253,7 +19253,7 @@ "info": { "prompt_len": 286, "generated_len": [ - 51 + 53 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -19263,7 +19263,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Ереванский городской совет", + "predict": " Ереванский городской совет.", "sample": { "messages": [ { @@ -19310,7 +19310,7 @@ "info": { "prompt_len": 201, "generated_len": [ - 51 + 53 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -19367,7 +19367,7 @@ "info": { "prompt_len": 507, "generated_len": [ - 51 + 53 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -19377,7 +19377,7 @@ "f1": 0.14285714285714288, "em": 0 }, - "predict": " Законодательный орган, принимающий законы в государстве, гражданином которого является Пунит Раджкумар, — двухпалатный парламент Индии, состоящий из верхней палаты \"Раджья сабха\" и нижней палаты \"Лок сабхи\".", + "predict": " Законодательный орган, принимающий законы в государстве, гражданином которого является Пунит Раджкумар (Индия), — двухпалатный парламент, состоящий из верхней палаты \"Раджья сабха\" и нижней палаты \"Лок сабхи\".", "sample": { "messages": [ { @@ -19424,7 +19424,7 @@ "info": { "prompt_len": 634, "generated_len": [ - 51 + 53 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -19481,7 +19481,7 @@ "info": { "prompt_len": 376, "generated_len": [ - 51 + 53 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -19491,7 +19491,7 @@ "f1": 0.23076923076923078, "em": 0 }, - "predict": " Глава администрации в городе Казани, где умер Николай Петрович Слугинов, является мэр. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", + "predict": " Главой администрации в городе Казани, где умер Николай Петрович Слугинов, является мэр. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", "sample": { "messages": [ { @@ -19532,7 +19532,7 @@ "info": { "prompt_len": 345, "generated_len": [ - 51 + 53 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -19542,7 +19542,7 @@ "f1": 0, "em": 0 }, - "predict": " Шамхорчай вливается в Шамхорское водохранилище, которое, в свою очередь, является частью бассейна Куры. Таким образом, с рекой Кура сливается река, в которую впадает Шамхорчай.", + "predict": " Река, в которую впадает Шамхорчай, сливается с Куры.", "sample": { "messages": [ { @@ -19583,7 +19583,7 @@ "info": { "prompt_len": 324, "generated_len": [ - 51 + 53 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -19593,7 +19593,7 @@ "f1": 0, "em": 0 }, - "predict": " Рига", + "predict": " Балашиха", "sample": { "messages": [ { @@ -19634,7 +19634,7 @@ "info": { "prompt_len": 185, "generated_len": [ - 33 + 34 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -19644,7 +19644,7 @@ "f1": 0, "em": 0 }, - "predict": " Река, в которую впадает Пультыткувеемкай, — Раучуа.", + "predict": " Река Пультыткувеемкай сливается в реку Раучуа.", "sample": { "messages": [ { @@ -19685,17 +19685,17 @@ "info": { "prompt_len": 448, "generated_len": [ - 33 + 34 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.09523809523809525, + "f1": 0.17391304347826084, "em": 0 }, - "predict": " Глава администрации в городе, где родился Александр Тимофеевич Прокопенко (Бобруйске), является Михаил Викторович Желудов, который занимает должность председателя горсовета.", + "predict": " Глава администрации в городе Бобруйске, где родился Александр Тимофеевич Прокопенко, является Александр Студнев, который занимает должность председателя Бобруйского городского исполнительного комитета.", "sample": { "messages": [ { @@ -19736,7 +19736,7 @@ "info": { "prompt_len": 413, "generated_len": [ - 33 + 34 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -19787,17 +19787,17 @@ "info": { "prompt_len": 196, "generated_len": [ - 33 + 34 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Верховный лидер", + "predict": " Высший руководитель", "sample": { "messages": [ { @@ -19868,7 +19868,7 @@ "info": { "prompt_len": 675, "generated_len": [ - 33 + 34 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -19925,7 +19925,7 @@ "info": { "prompt_len": 435, "generated_len": [ - 33 + 34 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -19935,7 +19935,7 @@ "f1": 0, "em": 0 }, - "predict": " Река, в которую впадает Пуя, это Вага.", + "predict": " Река Пуя сливается в реку Вага.", "sample": { "messages": [ { @@ -19982,17 +19982,17 @@ "info": { "prompt_len": 235, "generated_len": [ - 33 + 34 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0.23529411764705882, + "em": 0 }, - "predict": " Городская дума", + "predict": " Законодательный орган города, где родился Олег Яковлевич Ухналёв (Горьковский период), — Городская дума Нижнего Новгорода.", "sample": { "messages": [ { @@ -20039,7 +20039,7 @@ "info": { "prompt_len": 488, "generated_len": [ - 33 + 34 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -20049,7 +20049,7 @@ "f1": 0.15384615384615385, "em": 0 }, - "predict": " Слободско-Украинская губерния", + "predict": " Слободско-Украинская губерния.", "sample": { "messages": [ { @@ -20090,17 +20090,17 @@ "info": { "prompt_len": 392, "generated_len": [ - 27 + 47 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2857142857142857, + "f1": 0.21052631578947367, "em": 0 }, - "predict": " Сергей Бердников является главой администрации в городе, где родился Игорь Евгеньевич Морозов.", + "predict": " Главой администрации в Магнитогорске, где родился Игорь Евгеньевич Морозов, является Сергей Бердников (с 25 октября 2016 г.).", "sample": { "messages": [ { @@ -20141,7 +20141,7 @@ "info": { "prompt_len": 227, "generated_len": [ - 27 + 47 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -20151,7 +20151,7 @@ "f1": 0.4, "em": 0 }, - "predict": " Законодательный орган города, где родился Марк Владимирович Григорян, называется ереванский горо��ской совет.", + "predict": " Законодательный орган города, где родился Марк Владимирович Григорян, называется ереванским городским советом.", "sample": { "messages": [ { @@ -20198,7 +20198,7 @@ "info": { "prompt_len": 420, "generated_len": [ - 27 + 47 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -20255,17 +20255,17 @@ "info": { "prompt_len": 252, "generated_len": [ - 27 + 47 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.6666666666666666, + "f1": 0.3, "em": 0 }, - "predict": " Городская дума Нижнего Новгорода.", + "predict": " Городской дума Нижнего Новгорода работает в городе, где родился Евгений Платонович Иванов.", "sample": { "messages": [ { @@ -20312,7 +20312,7 @@ "info": { "prompt_len": 341, "generated_len": [ - 27 + 47 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -20322,7 +20322,7 @@ "f1": 0, "em": 0 }, - "predict": " Амкуяха сливается с рекой Лямин.", + "predict": " Река, в которую впадает Амкуяха, — это Лямин.", "sample": { "messages": [ { @@ -20369,7 +20369,7 @@ "info": { "prompt_len": 517, "generated_len": [ - 27 + 47 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -20379,7 +20379,7 @@ "f1": 0, "em": 0 }, - "predict": " Премьер-министр.", + "predict": " Глава государства в стране, чьим гражданином был Мортеза-Коли Баят, — шах Мохаммед Реза Пехлеви. В то время Иран был монархией, а главой государства был шах.", "sample": { "messages": [ { @@ -20420,7 +20420,7 @@ "info": { "prompt_len": 570, "generated_len": [ - 27 + 47 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -20471,17 +20471,17 @@ "info": { "prompt_len": 250, "generated_len": [ - 27 + 47 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.14285714285714285, + "f1": 0.0625, "em": 0 }, - "predict": " Александр Матвеевич Курганов был гражданином Российской империи, главой государства которой был Император.", + "predict": " Александр Матвеевич Курганов был гражданином Российской империи, и главой государства в это время был император. Таким образом, должность главы государства в стране, чьим гражданином был Александр Матвеевич Курганов, была император.", "sample": { "messages": [ { @@ -20522,7 +20522,7 @@ "info": { "prompt_len": 384, "generated_len": [ - 33 + 49 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -20532,7 +20532,7 @@ "f1": 0, "em": 0 }, - "predict": " Река, питающаяся от реки, притоком которой является Ай-Хораюган, называется Хораюган.", + "predict": " Река Хораюган питается от реки, притоком которой является Ай-Хораюган.", "sample": { "messages": [ { @@ -20573,7 +20573,7 @@ "info": { "prompt_len": 192, "generated_len": [ - 33 + 49 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -20630,7 +20630,7 @@ "info": { "prompt_len": 613, "generated_len": [ - 33 + 49 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -20693,7 +20693,7 @@ "info": { "prompt_len": 263, "generated_len": [ - 33 + 49 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -20750,17 +20750,17 @@ "info": { "prompt_len": 337, "generated_len": [ - 33 + 49 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.09090909090909091, + "f1": 0.09523809523809525, "em": 0 }, - "predict": " Законодательный орган государства, гражданином которого является Рауль Гудиньо, называется Конгресс Мексики. Конгресс состоит из двух палат: Сенат и Палата депутатов.", + "predict": " Законодательным органом государства, гражданином которого является Рауль Гудиньо, является Конгресс Мексики, состоящий из двух палат: Сената и Палаты депутатов.", "sample": { "messages": [ { @@ -20801,7 +20801,7 @@ "info": { "prompt_len": 318, "generated_len": [ - 33 + 49 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -20858,7 +20858,7 @@ "info": { "prompt_len": 317, "generated_len": [ - 33 + 49 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -20909,17 +20909,17 @@ "info": { "prompt_len": 276, "generated_len": [ - 33 + 49 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.23076923076923078, + "f1": 0.33333333333333337, "em": 0 }, - "predict": " Глава администрации в городе Казани, где умер Хусаин Мингазетдинович Ямашев, является мэр. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", + "predict": " Главой администрации в городе Казани, где умер Хусаин Мингазетдинович Ямашев, является мэр И. Р. Метшин.", "sample": { "messages": [ { @@ -21027,7 +21027,7 @@ "f1": 0, "em": 0 }, - "predict": " Река, в которую впадает Бишконь, - Деркул.", + "predict": " Деркул", "sample": { "messages": [ { @@ -21084,7 +21084,7 @@ "f1": 0, "em": 0 }, - "predict": " Губернатор Ивановской области", + "predict": " Губернатор Нижегородской области", "sample": { "messages": [ { @@ -21132,10 +21132,10 @@ } { "metric": { - "f1": 0.375, + "f1": 0.35294117647058826, "em": 0 }, - "predict": " Глава администрации в городе Коломне, где родился Александр Сергеевич Соколов, Денис Юрьевич Лебедев.", + "predict": " Глава администрации в городе Коломне, где родился Александр Сергеевич Соколов, является Лебедев Денис Юрьевич.", "sample": { "messages": [ { @@ -21252,10 +21252,10 @@ } { "metric": { - "f1": 0.3157894736842105, + "f1": 0.23076923076923078, "em": 0 }, - "predict": " Законодательный орган, принимающий законы в городе Ереван, где умер Левон Оганесович Ахвердян, — ереванский городской совет.", + "predict": " Законодательный орган, который принимает законы в городе, где умер Левон Оганесович Ахвердян (Ереван), — ереванский городской совет. Главой этого органа является мэр Еревана.", "sample": { "messages": [ { @@ -21312,7 +21312,7 @@ "f1": 0, "em": 0 }, - "predict": " Большая Тотыдэоттаяха", + "predict": " Река, питающаяся от реки, притоком которой является Кагылькы, называется Большая Тотыдэоттаяха.", "sample": { "messages": [ { @@ -21360,10 +21360,10 @@ } { "metric": { - "f1": 0.6666666666666666, + "f1": 0.2857142857142857, "em": 0 }, - "predict": " Городская дума Нижнего Новгорода", + "predict": " Законодательным органом города, где родился Андрей Кременчук, является Городская дума Нижнего Новгорода.", "sample": { "messages": [ { @@ -21410,7 +21410,7 @@ "info": { "prompt_len": 477, "generated_len": [ - 49 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -21461,7 +21461,7 @@ "info": { "prompt_len": 361, "generated_len": [ - 49 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -21471,7 +21471,7 @@ "f1": 0, "em": 0 }, - "predict": " Законодательный орган, принимающий законы в государстве, гражданином которого является Пол Янссен, — Федеральный парламент, состоящий из двух палат: Нижняя палата парламента — палата представителей (Королевский Сенат) и Верхняя палата — Сенат.", + "predict": " Законодательный орган, который принимает законы в государстве, гражданином которого является Пол Янссен, — Федеральный парламент Бельгии, состоящий из двух палат: Палаты представителей и Сената.", "sample": { "messages": [ { @@ -21512,7 +21512,7 @@ "info": { "prompt_len": 364, "generated_len": [ - 49 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -21563,7 +21563,7 @@ "info": { "prompt_len": 275, "generated_len": [ - 49 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -21614,17 +21614,17 @@ "info": { "prompt_len": 207, "generated_len": [ - 49 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Мезенская Пижма", + "predict": " Мезень", "sample": { "messages": [ { @@ -21665,17 +21665,17 @@ "info": { "prompt_len": 246, "generated_len": [ - 49 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.18181818181818182, + "f1": 0.14285714285714288, "em": 0 }, - "predict": " Река Шехмань, притоком которой является Матыра, впадает в реку Воронеж.", + "predict": " Река Шехмань, являющаяся правым притоком Матыры, в свою очередь, впадает в реку Воронеж.", "sample": { "messages": [ { @@ -21716,7 +21716,7 @@ "info": { "prompt_len": 582, "generated_len": [ - 49 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -21726,7 +21726,7 @@ "f1": 0, "em": 0 }, - "predict": " Император", + "predict": " Городской голова", "sample": { "messages": [ { @@ -21767,17 +21767,17 @@ "info": { "prompt_len": 356, "generated_len": [ - 49 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2857142857142857, + "f1": 0.2666666666666667, "em": 0 }, - "predict": " Глава администрации в городе, где родилась Ольга Владимировна Гречкина (Челябине), Евгений Тефтелев.", + "predict": " Глава администрации в городе Челябинске, где родилась Ольга Владимировна Гречкина, — Евгений Тефтелев.", "sample": { "messages": [ { @@ -21824,7 +21824,7 @@ "info": { "prompt_len": 441, "generated_len": [ - 24 + 22 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -21881,7 +21881,7 @@ "info": { "prompt_len": 605, "generated_len": [ - 24 + 22 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -21891,7 +21891,7 @@ "f1": 0, "em": 0 }, - "predict": " Река Гэрдъю вливается в Большой Паток.", + "predict": " Река, в которую впадает Гэрдъю, — Большой Паток.", "sample": { "messages": [ { @@ -21944,7 +21944,7 @@ "info": { "prompt_len": 369, "generated_len": [ - 24 + 22 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -21954,7 +21954,7 @@ "f1": 0, "em": 0 }, - "predict": " Лудега впадает в Северную Двину.", + "predict": " Северная Двина.", "sample": { "messages": [ { @@ -21995,7 +21995,7 @@ "info": { "prompt_len": 424, "generated_len": [ - 24 + 22 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -22046,17 +22046,17 @@ "info": { "prompt_len": 401, "generated_len": [ - 24 + 22 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.5714285714285715, + "f1": 0, "em": 0 }, - "predict": " Первое советское испытание атомной бомбы.", + "predict": " Первая советская атомная бомба была испытана на территории Казахстана.", "sample": { "messages": [ { @@ -22109,7 +22109,7 @@ "info": { "prompt_len": 584, "generated_len": [ - 24 + 22 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -22166,7 +22166,7 @@ "info": { "prompt_len": 369, "generated_len": [ - 24 + 22 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -22217,7 +22217,7 @@ "info": { "prompt_len": 281, "generated_len": [ - 24 + 22 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -22268,7 +22268,7 @@ "info": { "prompt_len": 162, "generated_len": [ - 54 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -22278,7 +22278,7 @@ "f1": 0, "em": 0 }, - "predict": " Вардан Николаевич Гукасян является главой администрации в городе Гюмри, где он родился.", + "predict": " Главой администрации в городе Гюмри, где родился Вардан Николаевич Гукасян, был Вардан Николаевич Гукасян сам. Он занимал должность мэра Гюмри с 1999 по 2012 год.", "sample": { "messages": [ { @@ -22325,17 +22325,17 @@ "info": { "prompt_len": 502, "generated_len": [ - 54 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.19999999999999998, + "f1": 0.16, "em": 0 }, - "predict": " Законодательный орган, который работает в городе, где появился на свет Матвей Соломонович Ганнушкин, — Городская дума Нижнего Новгорода.", + "predict": " Городом, где появился на свет Матвей Соломонович Ганнушкин, является Нижний Новгород, и законодательный орган, работающий в этом городе, — Городская дума Нижнего Новгорода.", "sample": { "messages": [ { @@ -22382,17 +22382,17 @@ "info": { "prompt_len": 418, "generated_len": [ - 54 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.18181818181818182, + "f1": 0.16666666666666669, "em": 0 }, - "predict": " Законодательный орган города, где родился Михаил Владимирович Харачура, называется горсовет.", + "predict": " Законодательный орган города Жданов, где родился Михаил Владимирович Харачура, называется горсовет.", "sample": { "messages": [ { @@ -22439,7 +22439,7 @@ "info": { "prompt_len": 458, "generated_len": [ - 54 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -22490,7 +22490,7 @@ "info": { "prompt_len": 399, "generated_len": [ - 54 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -22500,7 +22500,7 @@ "f1": 0, "em": 0 }, - "predict": " Бздыриха впадает в Корожечну.", + "predict": " Река Бздыриха является притоком реки Корожечна.", "sample": { "messages": [ { @@ -22547,17 +22547,17 @@ "info": { "prompt_len": 345, "generated_len": [ - 54 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.13793103448275862, "em": 0 }, - "predict": " Законодательный орган, работающий в стране гражданства Даршила Сафари (Индия), состоит из двух палат: верхней палаты, называемой \"Раджья сабха\" (Совет штатов), и нижней палаты \"Лок сабхи\" (Народная палата).", + "predict": " Законодательный орган, работающий в стране гражданства Даршила Сафари (Индия), — двухпалатный парламент, состоящий из верхней палаты \"Раджья сабха\" (Совет штатов) и нижней палаты \"Лок сабхи\" (Народной палаты).", "sample": { "messages": [ { @@ -22604,17 +22604,17 @@ "info": { "prompt_len": 562, "generated_len": [ - 54 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.2857142857142857, "em": 0 }, - "predict": " Ярославль", + "predict": " Вениамин Ефимович Баснер родился в Ярославле.", "sample": { "messages": [ { @@ -22655,7 +22655,7 @@ "info": { "prompt_len": 370, "generated_len": [ - 54 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -22706,17 +22706,17 @@ "info": { "prompt_len": 225, "generated_len": [ - 55 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.6666666666666666, + "f1": 0.2666666666666667, "em": 0 }, - "predict": " Городская дума Нижнего Новгорода.", + "predict": " Законодательный орган города Нижнего Новгорода, где умер Марк Маркович Валентинов, называется Городская дума.", "sample": { "messages": [ { @@ -22763,17 +22763,17 @@ "info": { "prompt_len": 352, "generated_len": [ - 55 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.18181818181818182, + "f1": 0.14285714285714288, "em": 0 }, - "predict": " Александр Александрович Яхонтов посвятил себя энтомологии, разделу зоологии, изучающему насекомых.", + "predict": " Александр Александрович Яхонтов посвятил себя науке энтомологии, которая является разделом зоологии, изучающим насекомых.", "sample": { "messages": [ { @@ -22820,7 +22820,7 @@ "info": { "prompt_len": 673, "generated_len": [ - 55 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -22830,7 +22830,7 @@ "f1": 0, "em": 0 }, - "predict": " Сенат и Палата депутатов.", + "predict": " Сенат и Палата депутатов (Конгресс Мексики)", "sample": { "messages": [ { @@ -22871,7 +22871,7 @@ "info": { "prompt_len": 362, "generated_len": [ - 55 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -22922,17 +22922,17 @@ "info": { "prompt_len": 593, "generated_len": [ - 55 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.05714285714285715, + "f1": 0.16, "em": 0 }, - "predict": " Государство, гражданином которого являлся Георгий Писида, было Византийской империей. Георгий Писида родился в Писидии, что находится в пределах Византийской империи, и был её представителем в качестве писателя, поэта, гимнографа, полемиста и религиозного деятеля.", + "predict": " Государство, граж��анином которого являлся Георгий Писида, было Византийской империей (Восточной Римской империей). Георгий Писида родился в Писидии, что находится в пределах Византийской империи.", "sample": { "messages": [ { @@ -22979,17 +22979,17 @@ "info": { "prompt_len": 495, "generated_len": [ - 55 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.23076923076923078, + "f1": 0.33333333333333337, "em": 0 }, - "predict": " Главой администрации в городе, где родился Илья Валерьевич Шикшин (Казань), является мэр. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", + "predict": " Главой администрации в городе Казани, где родился Илья Валерьевич Шикшин, является мэр И. Р. Метшин.", "sample": { "messages": [ { @@ -23030,17 +23030,17 @@ "info": { "prompt_len": 398, "generated_len": [ - 55 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.0909090909090909, "em": 0 }, - "predict": " Река, через которую построен Уткин мост, сливается с рекой Охтой.", + "predict": " Река, через которую построен Уткин мост, сливается с рекой Оккервиль. Оккервиль является левым притоком реки Охты, в которую и впадает Оккервиль.", "sample": { "messages": [ { @@ -23087,7 +23087,7 @@ "info": { "prompt_len": 261, "generated_len": [ - 55 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -23205,7 +23205,7 @@ "f1": 0, "em": 0 }, - "predict": " Хуанхэ", + "predict": " Хуанхэ.", "sample": { "messages": [ { @@ -23418,10 +23418,10 @@ } { "metric": { - "f1": 0.16666666666666669, + "f1": 0.18181818181818182, "em": 0 }, - "predict": " Луи Жак Бальсан, брат Этьена Бальсана, родился в Шатору, Эндр, Франция.", + "predict": " Жак Бальсан, брат Этьена Бальсана, родился в Шатору, Эндр, Франция.", "sample": { "messages": [ { @@ -23576,7 +23576,7 @@ "info": { "prompt_len": 375, "generated_len": [ - 34 + 41 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -23586,7 +23586,7 @@ "f1": 0, "em": 0 }, - "predict": " Кизрека", + "predict": " Река, питающаяся от реки, притоком которой является Улма, называется Кизрека.", "sample": { "messages": [ { @@ -23627,17 +23627,17 @@ "info": { "prompt_len": 366, "generated_len": [ - 34 + 41 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.6666666666666666, "em": 0 }, - "predict": " Северная Премьер-Лига", + "predict": " Северная Национальной лиге", "sample": { "messages": [ { @@ -23678,7 +23678,7 @@ "info": { "prompt_len": 235, "generated_len": [ - 34 + 41 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -23735,7 +23735,7 @@ "info": { "prompt_len": 210, "generated_len": [ - 34 + 41 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -23786,17 +23786,17 @@ "info": { "prompt_len": 407, "generated_len": [ - 34 + 41 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.4210526315789474, + "f1": 0.3076923076923077, "em": 0 }, - "predict": " Законодательный орган, работающий в стране гражданства Одила Алимжановича Ахмедова (Узбекистан), — Олий Мажлис Республики Узбекистан.", + "predict": " В стране гражданства Одила Алимжановича Ахмедова, Узбекистана, работает Олий Мажлис Республики Узбекистан, который является высшим государственным представительным органом и осуществляет законодательную власть.", "sample": { "messages": [ { @@ -23843,17 +23843,17 @@ "info": { "prompt_len": 354, "generated_len": [ - 34 + 41 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2666666666666667, + "f1": 0.16, "em": 0 }, - "predict": " Глава администрации в городе Душанбе, где родился Павел Михайлович Харчик, является Рустам Эмомали.", + "predict": " Глава администрации в городе Душанбе, где родился Павел Михайлович Харчик, является Рустам Эмомали, который с 12 января 2017 года занимает должность мэра города.", "sample": { "messages": [ { @@ -23894,7 +23894,7 @@ "info": { "prompt_len": 190, "generated_len": [ - 34 + 41 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -23945,17 +23945,17 @@ "info": { "prompt_len": 160, "generated_len": [ - 34 + 41 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.11764705882352941, + "f1": 0.375, "em": 0 }, - "predict": " Василий Николаевич Потрясаев является главой администрации в месте, где родился Юрий Николаевич Васильев (футболист).", + "predict": " Юрий Владимирович Галдун является главой администрации в Белгороде, где родился Юрий Николаевич Васильев.", "sample": { "messages": [ { @@ -23996,17 +23996,17 @@ "info": { "prompt_len": 300, "generated_len": [ - 44 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.35294117647058826, + "f1": 0.3, "em": 0 }, - "predict": " Самвел Мисакович Баласанян является главой администрации в городе Гюмри, где родилась Евгения Михайловна Аветисян.", + "predict": " Главой администрации в городе, где родилась Евгения Михайловна Аветисян (Гюмри), является Самвел Мисакович Баласанян (с 2012 года).", "sample": { "messages": [ { @@ -24053,17 +24053,17 @@ "info": { "prompt_len": 384, "generated_len": [ - 44 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.16, "em": 0 }, - "predict": " Шереньга впадает в реку Вага.", + "predict": " Река, в которую впадает Шереньга, — Вага. Шереньга является правым притоком реки Вага, которая в свою очередь является крупнейшим левым притоком Северной Двины.", "sample": { "messages": [ { @@ -24110,7 +24110,7 @@ "info": { "prompt_len": 271, "generated_len": [ - 44 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -24161,17 +24161,17 @@ "info": { "prompt_len": 341, "generated_len": [ - 44 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.06060606060606061, + "f1": 0, "em": 0 }, - "predict": " Иван Степанович Бароцци занимал должность члена Российской империи, то есть он был подданным императора, жившим в период существования Российской империи. Однако, конкретно его должность в правительстве не указана в предоставленных текстах.", + "predict": " Иван Степанович Бароцци занимал должность российского государствен��ого деятеля, но точную должность не указано в предоставленном тексте 1. Однако, учитывая контекст и время его жизни (1760—1822), можно предположить, что он мог занимать различные государственные посты в Российской империи, включая, но не ограничив", "sample": { "messages": [ { @@ -24212,17 +24212,17 @@ "info": { "prompt_len": 267, "generated_len": [ - 44 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0, + "em": 0 }, - "predict": " Ереван", + "predict": " там же", "sample": { "messages": [ { @@ -24263,7 +24263,7 @@ "info": { "prompt_len": 174, "generated_len": [ - 44 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -24273,7 +24273,7 @@ "f1": 0.2666666666666667, "em": 0 }, - "predict": " Наивысшей точкой горного хребта, к которому принадлежит Холзун, является гора Белуха (4506 м).", + "predict": " Наивысшая точка горного хребта, к которому принадлежит Холзун, — гора Белуха (4506 м).", "sample": { "messages": [ { @@ -24320,7 +24320,7 @@ "info": { "prompt_len": 410, "generated_len": [ - 44 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -24371,7 +24371,7 @@ "info": { "prompt_len": 304, "generated_len": [ - 44 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -24381,7 +24381,7 @@ "f1": 0.15384615384615385, "em": 0 }, - "predict": " Уроженцем города Скрантоне, штат Пенсильвания, является режиссёр фильма \"Звук ярости\" Сая Эндфилд.", + "predict": " Режиссёр фильма \"Звук ярости\" Сая Эндфилд является уроженцем города Скрантоне, штат Пенсильвания.", "sample": { "messages": [ { @@ -24428,7 +24428,7 @@ "info": { "prompt_len": 506, "generated_len": [ - 43 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -24438,7 +24438,7 @@ "f1": 0, "em": 0 }, - "predict": " Река, в которую впадает Большая Шилея, - Уфалейка.", + "predict": " Река, в которую впадает Большая Шилея, — Уфалейка.", "sample": { "messages": [ { @@ -24485,7 +24485,7 @@ "info": { "prompt_len": 205, "generated_len": [ - 43 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -24542,7 +24542,7 @@ "info": { "prompt_len": 398, "generated_len": [ - 43 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -24593,17 +24593,17 @@ "info": { "prompt_len": 408, "generated_len": [ - 43 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.8571428571428571, + "f1": 0.16666666666666666, "em": 0 }, - "predict": " Губернатор С. И. Морозов.", + "predict": " Губернатором области в 2013 году был Сергей Иванович Морозов.", "sample": { "messages": [ { @@ -24650,7 +24650,7 @@ "info": { "prompt_len": 400, "generated_len": [ - 43 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -24660,7 +24660,7 @@ "f1": 0.23076923076923078, "em": 0 }, - "predict": " Глава администрации в городе, где родился Айрат Касимович Хаматов (Казань), является мэр. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", + "predict": " Главой администрации в городе Казани, где родился Айрат Касимович Хаматов, является мэр. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", "sample": { "messages": [ { @@ -24701,17 +24701,17 @@ "info": { "prompt_len": 646, "generated_len": [ - 43 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.23076923076923078, + "f1": 0.33333333333333337, "em": 0 }, - "predict": " Глава администрации в городе Казани, где умер Кирилл Прокофьевич Ситников, является мэр. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", + "predict": " Главой администрации в городе Казани, где умер Кирилл Прокофьевич Ситников, является мэр И. Р. Метшин.", "sample": { "messages": [ { @@ -24752,7 +24752,7 @@ "info": { "prompt_len": 474, "generated_len": [ - 43 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -24809,17 +24809,17 @@ "info": { "prompt_len": 179, "generated_len": [ - 43 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2666666666666667, + "f1": 0.09302325581395349, "em": 0 }, - "predict": " Глава администрации в городе Туле, где умер Игорь Владимирович Ильинский, является Юрий Цкипури.", + "predict": " Глава администрации в городе Туле, где умер Игорь Владимирович Ильинский, является мэр Юрий Цкипури. Этот факт следует из информации в тексте 2, где указано, что Юрий Цкипури был избран мэром Тулы 29 сентября 2014 года на первом заседании Тульской городской Думы.", "sample": { "messages": [ { @@ -24860,7 +24860,7 @@ "info": { "prompt_len": 381, "generated_len": [ - 36 + 62 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -24911,17 +24911,17 @@ "info": { "prompt_len": 391, "generated_len": [ - 36 + 62 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.5, + "f1": 0.13333333333333336, "em": 0 }, - "predict": " Византийская империя.", + "predict": " Византия (Византийская империя) прежде находилась на территории государства, гражданином которого являлся Никифор Комнин.", "sample": { "messages": [ { @@ -24968,7 +24968,7 @@ "info": { "prompt_len": 832, "generated_len": [ - 36 + 62 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -25025,17 +25025,17 @@ "info": { "prompt_len": 560, "generated_len": [ - 36 + 62 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.6666666666666666, + "f1": 0.2666666666666667, "em": 0 }, - "predict": " Городская дума Нижнего Новгорода", + "predict": " Законодательный орган города, где родился Владимир Олегович Самойлов, называется Городская дума Нижнего Новгорода.", "sample": { "messages": [ { @@ -25082,7 +25082,7 @@ "info": { "prompt_len": 379, "generated_len": [ - 36 + 62 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -25092,7 +25092,7 @@ "f1": 0, "em": 0 }, - "predict": " Законодательный орган, принимающий законы в Королевстве Бельгии, где проживает Роберт Грослот, — Федеральный парламент, состоящий из двух палат: Палата представителей и Сенат.", + "predict": " Законодательный орган, принимающий законы в государстве, гражданином которого является Роберт Грослот (Бельгия), — Федеральный парламент, который состоит из двух палат: Палаты представителей и Сената.", "sample": { "messages": [ { @@ -25133,7 +25133,7 @@ "info": { "prompt_len": 349, "generated_len": [ - 36 + 62 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -25184,7 +25184,7 @@ "info": { "prompt_len": 253, "generated_len": [ - 36 + 62 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -25194,7 +25194,7 @@ "f1": 0, "em": 0 }, - "predict": " Агитка сливается с рекой Вагай.", + "predict": " Вагай.", "sample": { "messages": [ { @@ -25253,7 +25253,7 @@ "info": { "prompt_len": 473, "generated_len": [ - 36 + 62 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -25263,7 +25263,7 @@ "f1": 0, "em": 0 }, - "predict": " Река Байту впадает в реку Киимбай.", + "predict": " Устье реки Байту находится в 18 км по правому берегу реки Киимбай, поэтому водоток, в который впадает река Байту, — это река Киимбай.", "sample": { "messages": [ { @@ -25371,7 +25371,7 @@ "f1": 0, "em": 0 }, - "predict": " Команда, тренером которой является Пабло Санчес, играет в чилийской лиге, так как он тренировал чилийский клуб \"Аудакс Итальяно\".", + "predict": " Команда, тренером которой является Пабло Санчес, играет в Чили. В частности, он тренировал чилийский клуб \"Аудакс Итальяно\".", "sample": { "messages": [ { @@ -25479,7 +25479,7 @@ "f1": 0, "em": 0 }, - "predict": " Владимир Иванович Алфеев родился в селе Миловское, Шуйский уезд, Иваново-Вознесенская губерния, РСФСР, которая сейчас является частью Комсомольского района Ивановской области. Глава администрации в регионе, где родился Владимир Иванович Алфеев, на момент его рождения, был главой администрации Иваново-Вознесен", + "predict": " Глава администрации в регионе, где родился Владимир Иванович Алфеев (Комсомольский район Ивановской области), на момент его рождения не был указан в предоставленных текстах. Однако, начиная с 1983 года, когда скончался Владимир Иванович Алфеев, главой администрации Ивановской области последовательно были Михаил Мень,", "sample": { "messages": [ { @@ -25527,10 +25527,10 @@ } { "metric": { - "f1": 0.13636363636363635, + "f1": 0.1276595744680851, "em": 0 }, - "predict": " Юрий Владимирович Галдун является главой администрации в городе, где родился Владимир Борисович Барковский. Владимир Борисович Барковский родился в городе Белой Церкви, который в настоящее время является административным центром Белгородской области, где Юрий Владимирович Галдун занимал пост главы администрации с 2019 года.", + "predict": " Владимир Борисович Барковский родился в городе Белой Церкви, который входит в состав Белгородской области. В Белгороде главой администрации последовательно были Георгий Георгиевич Голиков, Василий Николаевич Потрясаев, Сергей Андреевич Боженов, Константин Алексеевич Полежаев и Юрий Владимирович Галдун. Таким образом, главой администрации в городе, где родился", "sample": { "messages": [ { @@ -25632,7 +25632,7 @@ "f1": 0, "em": 0 }, - "predict": " Глава администрации в городе, где родился Сергей Андрианович Суслов, является мэр.", + "predict": " Главой администрации в ��ороде Казани, где родился Сергей Андрианович Суслов, является мэр.", "sample": { "messages": [ { @@ -25731,10 +25731,10 @@ } { "metric": { - "f1": 0.2857142857142857, + "f1": 0.2666666666666667, "em": 0 }, - "predict": " Глава администрации в городе, где родился Адик Аскарович Абдурахманов, — Евгений Тефтелев.", + "predict": " Глава администрации в городе Челябинске, где родился Адик Аскарович Абдурахманов, — Евгений Тефтелев.", "sample": { "messages": [ { @@ -25791,7 +25791,7 @@ "f1": 0, "em": 0 }, - "predict": " Саванка вливается в Ратыню.", + "predict": " Река, в которую впадает Саванка, — это Ратыня.", "sample": { "messages": [ { @@ -25848,7 +25848,7 @@ "f1": 0, "em": 0 }, - "predict": " Уфа", + "predict": " Уфа.", "sample": { "messages": [ { @@ -25902,10 +25902,10 @@ } { "metric": { - "f1": 0.14285714285714285, + "f1": 0.06896551724137931, "em": 0 }, - "predict": " Михаил Петрович Драгоманов был гражданином Российской империи, где главой государства был император.", + "predict": " Михаил Петрович Драгоманов был гражданином Российской империи, и главой государства в это время был император. Последним императором Российской империи до Февральской революции 1917 года был Николай II.", "sample": { "messages": [ { @@ -25962,7 +25962,7 @@ "f1": 0, "em": 0 }, - "predict": " Зубра", + "predict": " река Зубра", "sample": { "messages": [ { @@ -26013,7 +26013,7 @@ "f1": 0.6666666666666666, "em": 0 }, - "predict": " Городская дума Нижнего Новгорода", + "predict": " Городская дума Нижнего Новгорода.", "sample": { "messages": [ { @@ -26168,7 +26168,7 @@ "info": { "prompt_len": 259, "generated_len": [ - 29 + 51 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -26178,7 +26178,7 @@ "f1": 0, "em": 0 }, - "predict": " Ереванский городской совет", + "predict": " Ереванский городской совет.", "sample": { "messages": [ { @@ -26219,7 +26219,7 @@ "info": { "prompt_len": 362, "generated_len": [ - 29 + 51 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -26229,7 +26229,7 @@ "f1": 0, "em": 0 }, - "predict": " Река Поеж вливается в реку Белый Лух.", + "predict": " Река Поеж сливается в реку Белый Лух.", "sample": { "messages": [ { @@ -26276,17 +26276,17 @@ "info": { "prompt_len": 355, "generated_len": [ - 29 + 51 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2222222222222222, + "f1": 0.15384615384615385, "em": 0 }, - "predict": " Роджер Споттисвуд родился в городе Оттава, Онтарио, Канада.", + "predict": " Родом для режиссёра фильма \"Дети Хуанг Ши\" является город Оттава, Онтарио, Канада.", "sample": { "messages": [ { @@ -26327,17 +26327,17 @@ "info": { "prompt_len": 144, "generated_len": [ - 29 + 51 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.35294117647058826, + "f1": 0.23076923076923078, "em": 0 }, - "predict": " Законодательная власть в городе Ереван, где умер Бабкен Адамович Колозян, осуществляется ереванским городским советом.", + "predict": " Законодательный орган, который принимает законы в городе, где умер Бабкен Адамович Колозян (Ереван), — ереванский городской совет. Главой этого совета яв��яется мэр Еревана.", "sample": { "messages": [ { @@ -26384,17 +26384,17 @@ "info": { "prompt_len": 326, "generated_len": [ - 29 + 51 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.375, + "f1": 0.1875, "em": 0 }, - "predict": " Глава администрации в городе, где родился Валерий Аркадьевич Дьяконов (Тюмень), Руслан Николаевич Кухарук.", + "predict": " Валерий Аркадьевич Дьяконов родился в городе Тюмени, где главой администрации является лицо, назначаемое на должность Тюменской городской Думой. С 8 октября 2018 года эту должность занимает Руслан Николаевич Кухарук.", "sample": { "messages": [ { @@ -26435,17 +26435,17 @@ "info": { "prompt_len": 249, "generated_len": [ - 29 + 51 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.08695652173913045, "em": 0 }, - "predict": " Кеть", + "predict": " Река, питающаяся от реки, притоком которой является Ёлтырева, называется Кеть. Ёлтырева является притоком реки Кеть, которая в свою очередь впадает в Обь.", "sample": { "messages": [ { @@ -26492,17 +26492,17 @@ "info": { "prompt_len": 375, "generated_len": [ - 29 + 51 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Премьер-лига", + "predict": " Премьер-лиге", "sample": { "messages": [ { @@ -26543,7 +26543,7 @@ "info": { "prompt_len": 462, "generated_len": [ - 29 + 51 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -26553,7 +26553,7 @@ "f1": 0, "em": 0 }, - "predict": " Верхняя Целега впадает в реку Мезень.", + "predict": " Река, в которую впадает Верхняя Целега, — это Мезень.", "sample": { "messages": [ { @@ -26594,7 +26594,7 @@ "info": { "prompt_len": 329, "generated_len": [ - 31 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -26604,7 +26604,7 @@ "f1": 0, "em": 0 }, - "predict": " Вэркы-Чатылькы", + "predict": " Река, питающаяся от реки, притоком которой является Вэркы-Чатылькы, называется Чатылькы.", "sample": { "messages": [ { @@ -26645,17 +26645,17 @@ "info": { "prompt_len": 180, "generated_len": [ - 31 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.6666666666666666, + "f1": 0.5, "em": 0 }, - "predict": " Остров Идра", + "predict": " на острове Идра.", "sample": { "messages": [ { @@ -26696,17 +26696,17 @@ "info": { "prompt_len": 267, "generated_len": [ - 31 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.4, + "f1": 0.2222222222222222, "em": 0 }, - "predict": " Верховный Совет СССР.", + "predict": " Законодательный орган, который работает в городе Авдеевке, где родилась Нина Ивановна Стрельникова, — Авдеевский городской совет.", "sample": { "messages": [ { @@ -26747,17 +26747,17 @@ "info": { "prompt_len": 160, "generated_len": [ - 31 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.35294117647058826, + "f1": 0.3, "em": 0 }, - "predict": " Законодательная власть в городе Ереван, где умер Геворк Амвросьевич Абаджян, осуществляется ереванским городским советом.", + "predict": " Законодательный орган, который принимает законы в городе, где умер Геворк Амбарцумович Абаджян (Ереван), — ереванский городской совет.", "sample": { "messages": [ { @@ -26804,7 +26804,7 @@ "info": { "prompt_len": 265, "generated_len": [ - 31 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -26814,7 +26814,7 @@ "f1": 0, "em": 0 }, - "predict": " Река, в которую впадает Вахма, — это Лобань.", + "predict": " Река Вахма вливается в реку Лобань.", "sample": { "messages": [ { @@ -26861,7 +26861,7 @@ "info": { "prompt_len": 366, "generated_len": [ - 31 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -26912,7 +26912,7 @@ "info": { "prompt_len": 192, "generated_len": [ - 31 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -26969,17 +26969,17 @@ "info": { "prompt_len": 327, "generated_len": [ - 31 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0.6666666666666666, + "em": 0 }, - "predict": " Император Всероссийский", + "predict": " Император", "sample": { "messages": [ { @@ -27026,17 +27026,17 @@ "info": { "prompt_len": 589, "generated_len": [ - 46 + 62 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.18181818181818182, "em": 0 }, - "predict": " Уроженцем города Карлайла является режиссёр фильма \"Мистер Джонс\" Майк Фиггис.", + "predict": " Режиссёр фильма \"Мистер Джонс\", Майк Фиггис, родился в Карлайле, Англия.", "sample": { "messages": [ { @@ -27083,17 +27083,17 @@ "info": { "prompt_len": 193, "generated_len": [ - 46 + 62 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.23076923076923078, + "f1": 0.33333333333333337, "em": 0 }, - "predict": " Главой администрации в городе Казани, где родилась Фарида Рашидовна Курбангалеева, является мэр. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", + "predict": " Главой администрации в городе Казани, где родилась Фарида Рашидовна Курбангалеева, является мэр И. Р. Метшин.", "sample": { "messages": [ { @@ -27134,17 +27134,17 @@ "info": { "prompt_len": 245, "generated_len": [ - 46 + 62 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Премьер-лига", + "predict": " Премьер-лиге.", "sample": { "messages": [ { @@ -27185,17 +27185,17 @@ "info": { "prompt_len": 610, "generated_len": [ - 46 + 62 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.16, + "f1": 0.09756097560975609, "em": 0 }, - "predict": " Глава администрации в регионе, где родился Виктор Дмитриевич Козлов (Ивановская область), на момент последнего обновления информации (9 сентября 2018 года) — Станислав Воскресенский.", + "predict": " Главой администрации в регионе, где родился Виктор Дмитриевич Козлов (Ивановской области), является Станислав Воскресенский. Он вступил в должность губернатора 19 сентября 2014 года и продолжал занимать эту должность до 9 сентября 2018 года, когда был избран на выборах губернатора.", "sample": { "messages": [ { @@ -27236,17 +27236,17 @@ "info": { "prompt_len": 527, "generated_len": [ - 46 + 62 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.35294117647058826, + "f1": 0.2608695652173913, "em": 0 }, - "predict": " Законодательная власть в городе Ереван, где умер Степан Данилович Лисициан, осуществляется ереванским городским советом.", + "predict": " В городе, где умер Степан Данилович Лисициан (Ереване), законодательный орган — ереванский городской совет. Главой этого совета является мэр Еревана.", "sample": { "messages": [ { @@ -27293,7 +27293,7 @@ "info": { "prompt_len": 479, "generated_len": [ - 46 + 62 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -27303,7 +27303,7 @@ "f1": 0, "em": 0 }, - "predict": " В Германии", + "predict": " Берлин", "sample": { "messages": [ { @@ -27344,17 +27344,17 @@ "info": { "prompt_len": 391, "generated_len": [ - 46 + 62 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.09090909090909091, + "f1": 0.09523809523809525, "em": 0 }, - "predict": " Законодательный орган государства, гражданином которого является Марко Уриель, называется Конгресс Мексики. Конгресс состоит из двух палат: Сенат и Палата депутатов.", + "predict": " Законодательным органом государства, гражданином которого является Марко Уриель, является Конгресс Мексики, состоящий из двух палат: Сената и Палаты депутатов.", "sample": { "messages": [ { @@ -27395,7 +27395,7 @@ "info": { "prompt_len": 332, "generated_len": [ - 46 + 62 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -27405,7 +27405,7 @@ "f1": 0, "em": 0 }, - "predict": " Первая лига", + "predict": " Первая лига.", "sample": { "messages": [ { @@ -27446,7 +27446,7 @@ "info": { "prompt_len": 352, "generated_len": [ - 32 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -27497,7 +27497,7 @@ "info": { "prompt_len": 348, "generated_len": [ - 32 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -27507,7 +27507,7 @@ "f1": 0, "em": 0 }, - "predict": " Джозеф Рубен, режиссёр фильма \"В постели с врагом\", является гражданином США.", + "predict": " Режиссёр фильма \"В постели с врагом\" Джозеф Рубен является гражданином США.", "sample": { "messages": [ { @@ -27554,17 +27554,17 @@ "info": { "prompt_len": 139, "generated_len": [ - 32 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.21052631578947367, + "f1": 0.23529411764705882, "em": 0 }, - "predict": " Глава администрации в городе, где родился Андре Капле (Гавр), с 2017 года является Люк Лемонье (Luc Lemonnier).", + "predict": " Глава администрации в городе, где родился Андре Капле (Гавр), с 2017 года — Люк Лемонье.", "sample": { "messages": [ { @@ -27605,17 +27605,17 @@ "info": { "prompt_len": 284, "generated_len": [ - 32 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.15384615384615385, + "f1": 0, "em": 0 }, - "predict": " Налиминка сливается в реку Кельват, которая в свою очередь впадает в Васюган.", + "predict": " Река, в которую впадает Налиминка, — это Кельват.", "sample": { "messages": [ { @@ -27662,7 +27662,7 @@ "info": { "prompt_len": 241, "generated_len": [ - 32 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -27713,17 +27713,17 @@ "info": { "prompt_len": 150, "generated_len": [ - 32 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.1111111111111111, "em": 0 }, - "predict": " Река, в которую впадает река, притоком которой является Пуджелга, - Косец.", + "predict": " Река, в которую впадает река Косец, в которую в свою очередь впадает Пуджелга, — это река Тым.", "sample": { "messages": [ { @@ -27764,17 +27764,17 @@ "info": { "prompt_len": 191, "generated_len": [ - 32 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.2222222222222222, "em": 0 }, - "predict": " Большая Брусенка впадает в реку Сухону.", + "predict": " Река, в которую впадает Большая Брусенка, — Сухона.", "sample": { "messages": [ { @@ -27815,17 +27815,17 @@ "info": { "prompt_len": 438, "generated_len": [ - 32 + 28 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.33333333333333337, + "f1": 0.17391304347826084, "em": 0 }, - "predict": " Глава администрации в городе, где родилась Леокадия Серафинович, Миндаугас Синкявичюс.", + "predict": " Миндаугас Синкявичюс является главой администрации в городе, где родилась Леокадия Серафинович (Ионава, Литва), будучи мэром Ионавы с 2011 по 2016 год.", "sample": { "messages": [ { @@ -27866,7 +27866,7 @@ "info": { "prompt_len": 438, "generated_len": [ - 33 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -27923,17 +27923,17 @@ "info": { "prompt_len": 324, "generated_len": [ - 33 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.08695652173913045, + "f1": 0.08, "em": 0 }, - "predict": " Глава администрации в городе, где родился Михаил Наумович Герчик, является Александр Студнев, который занимает должность председателя Бобруйского городского исполнительного комитета.", + "predict": " Глава администрации в городе Бобруйске, где родился Михаил Наумович Герчик, является Александр Студнев, который занимает должность председателя Бобруйского городского исполнительного комитета (горисполкома).", "sample": { "messages": [ { @@ -27974,7 +27974,7 @@ "info": { "prompt_len": 255, "generated_len": [ - 33 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -28031,7 +28031,7 @@ "info": { "prompt_len": 228, "generated_len": [ - 33 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -28082,17 +28082,17 @@ "info": { "prompt_len": 456, "generated_len": [ - 33 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.35294117647058826, + "f1": 0.3, "em": 0 }, - "predict": " Самвел Мисакович Баласанян является главой администрации в городе Гюмри, где родился Гурген Тигранович Чолахян.", + "predict": " В городе, где родился Гурген Тигранович Чолахян (Гюмри), главой администрации является Баласанян Самвел Мисакович (с 2012 года).", "sample": { "messages": [ { @@ -28139,17 +28139,17 @@ "info": { "prompt_len": 375, "generated_len": [ - 33 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.25, + "f1": 0, "em": 0 }, - "predict": " Законодательная власть в городе Ереван, где родился Леон Арменович Тахтаджян, осуществляется ереванским городским советом.", + "predict": " Законодательный орган, работающий в городе, где родился Леон Арменович Тахтаджян, — ереванский городской совет.", "sample": { "messages": [ { @@ -28190,17 +28190,17 @@ "info": { "prompt_len": 246, "generated_len": [ - 33 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2857142857142857, + "f1": 0, "em": 0 }, - "predict": " Законодательный орган города, где родился Гурген Норикович Варданян, называется ереванским городским советом.", + "predict": " Городской совет.", "sample": { "messages": [ { @@ -28241,7 +28241,7 @@ "info": { "prompt_len": 241, "generated_len": [ - 33 + 55 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -28298,17 +28298,17 @@ "info": { "prompt_len": 350, "generated_len": [ - 35 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.1904761904761905, + "f1": 0.2727272727272727, "em": 0 }, - "predict": " Глава администрации в городе Тирасполе, где родился Павел Иванович Крупко, с 23 декабря 2016 года - Олег Анатольевич Довгопол.", + "predict": " Глава администрации в городе Тирасполе, где родился Павел Иванович Крупко, с 23 декабря 2016 года — Олег Анатолиевич Довгопол.", "sample": { "messages": [ { @@ -28355,7 +28355,7 @@ "info": { "prompt_len": 586, "generated_len": [ - 35 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -28412,17 +28412,17 @@ "info": { "prompt_len": 351, "generated_len": [ - 35 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0, + "em": 0 }, - "predict": " Гонконг.", + "predict": " Гонконгское.", "sample": { "messages": [ { @@ -28469,7 +28469,7 @@ "info": { "prompt_len": 517, "generated_len": [ - 35 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -28520,7 +28520,7 @@ "info": { "prompt_len": 341, "generated_len": [ - 35 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -28577,7 +28577,7 @@ "info": { "prompt_len": 441, "generated_len": [ - 35 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -28587,7 +28587,7 @@ "f1": 0.4, "em": 0 }, - "predict": " Законодательный орган города, где родился Левон Гумединович Варданян, называется ереванским городским советом.", + "predict": " Законодательным органом города, где родился Левон Гумединович Варданян, является ереванский городской совет.", "sample": { "messages": [ { @@ -28634,7 +28634,7 @@ "info": { "prompt_len": 213, "generated_len": [ - 35 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -28644,7 +28644,7 @@ "f1": 0, "em": 0 }, - "predict": " Варка-Сылькы", + "predict": " Река, питающаяся от реки, притоком которой является Кыталькы, называется Варка-Сылькы.", "sample": { "messages": [ { @@ -28685,17 +28685,17 @@ "info": { "prompt_len": 386, "generated_len": [ - 35 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.6, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Глава города Казань - мэр И. Р. Метшин.", + "predict": " И. Р. Метшин", "sample": { "messages": [ { @@ -28736,17 +28736,17 @@ "info": { "prompt_len": 384, "generated_len": [ - 37 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.14285714285714285, + "f1": 0.06896551724137931, "em": 0 }, - "predict": " Михаил Васильевич Авдеев был гражданином Российской империи, где главой государства был Император.", + "predict": " Михаил Васильевич Авдеев был русским писателем и критиком, следовательно, он был гражданином Российской империи. В Российской империи главой государства был император, который также носил титул Самодержца Всероссийского.", "sample": { "messages": [ { @@ -28787,7 +28787,7 @@ "info": { "prompt_len": 219, "generated_len": [ - 37 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -28797,7 +28797,7 @@ "f1": 0, "em": 0 }, - "predict": " Президент", + "predict": " Президент Сирии", "sample": { "messages": [ { @@ -28844,7 +28844,7 @@ "info": { "prompt_len": 510, "generated_len": [ - 37 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -28854,7 +28854,7 @@ "f1": 0.2857142857142857, "em": 0 }, - "predict": " Глава администрации города, где родился Дмитрий Александрович Бурмистров (Тула), — Юрий Цкипури.", + "predict": " Глава администрации города Тула, где родился Дмитрий Александрович Бурмистров, — Юрий Цкипури.", "sample": { "messages": [ { @@ -28895,7 +28895,7 @@ "info": { "prompt_len": 344, "generated_len": [ - 37 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -28958,7 +28958,7 @@ "info": { "prompt_len": 177, "generated_len": [ - 37 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -29015,17 +29015,17 @@ "info": { "prompt_len": 587, "generated_len": [ - 37 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2857142857142857, + "f1": 0.14285714285714285, "em": 0 }, - "predict": " Городская дума Нижнего Новгорода работает в городе, где родился Дмитрий Анатольевич Индейцев.", + "predict": " Городской дума Нижнего Новгорода работает в городе, где родился Дмитрий Анатольевич Индейцев.", "sample": { "messages": [ { @@ -29072,17 +29072,17 @@ "info": { "prompt_len": 322, "generated_len": [ - 37 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.47619047619047616, + "f1": 0.5, "em": 0 }, - "predict": " Миколас Мартинович Бурокявичюс родился в городе Алитус, который является административным центром Алитусского уезда и Алитусского района.", + "predict": " Город Алитус, где родился Миколас Мартинович Бурокявичюс, является административным центром Алитусского уезда и Алитусского района.", "sample": { "messages": [ { @@ -29123,7 +29123,7 @@ "info": { "prompt_len": 232, "generated_len": [ - 37 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -29180,7 +29180,7 @@ "info": { "prompt_len": 468, "generated_len": [ - 50 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -29190,7 +29190,7 @@ "f1": 0, "em": 0 }, - "predict": " Большой Юган", + "predict": " Река, питающаяся от реки, притоком которой является Канциях, называется Большой Юган.", "sample": { "messages": [ { @@ -29237,7 +29237,7 @@ "info": { "prompt_len": 320, "generated_len": [ - 50 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -29300,17 +29300,17 @@ "info": { "prompt_len": 362, "generated_len": [ - 50 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.19354838709677416, + "f1": 0.23076923076923078, "em": 0 }, - "predict": " Главой администрации в городе, где родился Валерий Закирович Гатаев, является мэр. В Казани, где родился Валерий Гатаев, с 17 ноября 2005 года эту должность занимает И. Р. Метшин.", + "predict": " В городе, где родился Валерий Закирович Гатаев (Казань), главой администрации является мэр. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", "sample": { "messages": [ { @@ -29351,7 +29351,7 @@ "info": { "prompt_len": 315, "generated_len": [ - 50 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -29402,7 +29402,7 @@ "info": { "prompt_len": 221, "generated_len": [ - 50 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -29453,7 +29453,7 @@ "info": { "prompt_len": 578, "generated_len": [ - 50 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -29463,7 +29463,7 @@ "f1": 0, "em": 0 }, - "predict": " Атемеша сливается с рекой Молога.", + "predict": " Река Атемеша сливается с рекой Молога.", "sample": { "messages": [ { @@ -29504,17 +29504,17 @@ "info": { "prompt_len": 571, "generated_len": [ - 50 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.6666666666666666, + "f1": 0.1904761904761905, "em": 0 }, - "predict": " Городская дума Нижнего Новгорода.", + "predict": " Законодательный орган, работающий в городе, где появился на свет Александр Давидович Познанский (Нижний Новгород), — Городская дума Нижнего Новгорода.", "sample": { "messages": [ { @@ -29561,7 +29561,7 @@ "info": { "prompt_len": 517, "generated_len": [ - 50 + 42 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -29612,7 +29612,7 @@ "info": { "prompt_len": 273, "generated_len": [ - 28 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -29622,7 +29622,7 @@ "f1": 0, "em": 0 }, - "predict": " В Сосьву.", + "predict": " Река, в которую впадает река, притоком которой является Сотрина, — это Сосьва.", "sample": { "messages": [ { @@ -29663,7 +29663,7 @@ "info": { "prompt_len": 344, "generated_len": [ - 28 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -29673,7 +29673,7 @@ "f1": 0, "em": 0 }, - "predict": " Река, в которую впадает Узвай, это Ирымка.", + "predict": " Река, в которую впадает Узвай, — это Ирымка.", "sample": { "messages": [ { @@ -29720,7 +29720,7 @@ "info": { "prompt_len": 299, "generated_len": [ - 28 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -29777,17 +29777,17 @@ "info": { "prompt_len": 341, "generated_len": [ - 28 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0, + "em": 0 }, - "predict": " Артамонов, Игорь Георгиевич.", + "predict": " Королёв, Олег Петрович.", "sample": { "messages": [ { @@ -29834,7 +29834,7 @@ "info": { "prompt_len": 356, "generated_len": [ - 28 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -29844,7 +29844,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Ереванский городской совет", + "predict": " Ереванский городской совет.", "sample": { "messages": [ { @@ -29891,17 +29891,17 @@ "info": { "prompt_len": 225, "generated_len": [ - 28 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.11764705882352941, + "f1": 0.05, "em": 0 }, - "predict": " Степан Гаврилович Глотов был гражданином Российской империи, главой государства которой в его время был Император.", + "predict": " Степан Гаврилович Глотов был гражданином Российской империи, главой государства которой в его время был Император. В период жизни Глотова (около 1729—1769) главой государства был Петр III, хотя до его правления и после него также были Императоры, включая Екатер", "sample": { "messages": [ { @@ -29948,7 +29948,7 @@ "info": { "prompt_len": 473, "generated_len": [ - 28 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -30005,17 +30005,17 @@ "info": { "prompt_len": 227, "generated_len": [ - 28 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.1904761904761905, + "f1": 0.07407407407407407, "em": 0 }, - "predict": " Александр Викторович Архипов, будучи депутатом II Государственной Думы Российской империи, служил в стране, где главой государства был Император Всероссийский.", + "predict": " Александр Викторович Архипов был гражданином Российской империи, и главой государства в этой стране был император. В период его жизни (1875—после 1907) главой государства являлся Николай II.", "sample": { "messages": [ { @@ -30062,7 +30062,7 @@ "info": { "prompt_len": 437, "generated_len": [ - 40 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -30113,7 +30113,7 @@ "info": { "prompt_len": 163, "generated_len": [ - 40 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -30170,7 +30170,7 @@ "info": { "prompt_len": 165, "generated_len": [ - 40 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -30221,7 +30221,7 @@ "info": { "prompt_len": 558, "generated_len": [ - 40 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -30231,7 +30231,7 @@ "f1": 0.23076923076923078, "em": 0 }, - "predict": " Глава администрации в городе, где родился Геннадий Васильевич Средин (Казань), является мэр. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", + "predict": " Главой администрации в городе Казани, где родился Геннадий Васильевич Средин, является мэр. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", "sample": { "messages": [ { @@ -30272,7 +30272,7 @@ "info": { "prompt_len": 290, "generated_len": [ - 40 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -30329,7 +30329,7 @@ "info": { "prompt_len": 384, "generated_len": [ - 40 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -30380,17 +30380,17 @@ "info": { "prompt_len": 284, "generated_len": [ - 40 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.6666666666666666, "em": 0 }, - "predict": " Мекуль впадает в Большой Юган.", + "predict": " Юганская Обь", "sample": { "messages": [ { @@ -30437,17 +30437,17 @@ "info": { "prompt_len": 309, "generated_len": [ - 40 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.18181818181818182, + "f1": 0.10526315789473684, "em": 0 }, - "predict": " Глава государства в Российской империи, чьим гражданином был Василий Васильевич Нечаев, занимал должность Императора Всероссийского. Последним императором был Николай II.", + "predict": " Василий Васильевич Нечаев, проживавший в Российской империи, был гражданином страны, где главой государства являлся император. В период его жизни (1861—1918 годы) главой Российской империи был титулованный как Император Всероссийский. Последним императором до Февральской революции 1917 года", "sample": { "messages": [ { @@ -30494,7 +30494,7 @@ "info": { "prompt_len": 379, "generated_len": [ - 35 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -30504,7 +30504,7 @@ "f1": 0, "em": 0 }, - "predict": " Глава города, где родился Александр Григорьевич Вольфович, является мэр.", + "predict": " Глава города Казань, где родился Александр Григорьевич Вольфович, является мэр.", "sample": { "messages": [ { @@ -30545,7 +30545,7 @@ "info": { "prompt_len": 343, "generated_len": [ - 35 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -30555,7 +30555,7 @@ "f1": 0, "em": 0 }, - "predict": " Виталий Бахметьев, глава города с 26 октября 2015 года, исполняющий обязанности с 25 декабря 2014 года.", + "predict": " В городе Магнитогорске, где умер Пётр Иванович Захаров, главой администрации на момент его смерти был Виталий Бахметьев, который занимал эту должность с 25 декабря 2014 года по 26 октября 2015 года в качестве исполняющего обязанности, а с 26 октября 2", "sample": { "messages": [ { @@ -30596,17 +30596,17 @@ "info": { "prompt_len": 314, "generated_len": [ - 35 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.375, + "f1": 0.3157894736842105, "em": 0 }, - "predict": " Законодательная власть в городе, где умер Вардгес Цолакович Гнуни, осуществляется ереванским городским советом.", + "predict": " Законодательный орган, который принимает законы в городе, где умер Вардгес Цолакович Гнуни, — ереванский городской совет.", "sample": { "messages": [ { @@ -30659,7 +30659,7 @@ "info": { "prompt_len": 193, "generated_len": [ - 35 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -30669,7 +30669,7 @@ "f1": 0, "em": 0 }, - "predict": " Законодательный орган, работающий в городе Ереван, где родился Мовсес Геворкович Горгисян, — ереванский городской совет.", + "predict": " В городе, где родился Мовсес Геворкович Горгисян, то есть в Ереване, законодательный орган — ереванский городской совет.", "sample": { "messages": [ { @@ -30710,17 +30710,17 @@ "info": { "prompt_len": 243, "generated_len": [ - 35 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.16666666666666669, "em": 0 }, - "predict": " Законодательный орган города, где родился Рустам Иванович Аджи, называется Мариупольским горсоветом.", + "predict": " Законодательный орган города, где родился Рустам Иванович Аджи (Жданова), — горсовет.", "sample": { "messages": [ { @@ -30767,7 +30767,7 @@ "info": { "prompt_len": 338, "generated_len": [ - 35 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -30830,17 +30830,17 @@ "info": { "prompt_len": 379, "generated_len": [ - 35 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2727272727272727, + "f1": 0.15789473684210528, "em": 0 }, - "predict": " Глава администрации в городе Коломне, где родился Виталий Анатольевич Нидбайкин, с 3 ноября 2016 года — Лебедев Денис Юрьевич.", + "predict": " Глава администрации в городе Коломне, где родился Виталий Анатольевич Нидбайкин, на момент его рождения и до 2016 года был Валерий Иванович Шувалов. Однако после 3 ноября 2016 года главой городского округа стал Денис Юрьевич Лебедев.", "sample": { "messages": [ { @@ -30887,17 +30887,17 @@ "info": { "prompt_len": 276, "generated_len": [ - 35 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2666666666666667, + "f1": 0.2857142857142857, "em": 0 }, - "predict": " Главой администрации в городе, где родилась Диана Александровна Циринг (Челябине), является Евгений Тефтелев.", + "predict": " Главой администрации в Челябинске, где родилась Диана Александровна Циринг, является Евгений Тефтелев.", "sample": { "messages": [ { @@ -30944,7 +30944,7 @@ "info": { "prompt_len": 417, "generated_len": [ - 27 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -30995,7 +30995,7 @@ "info": { "prompt_len": 258, "generated_len": [ - 27 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -31005,7 +31005,7 @@ "f1": 0.2857142857142857, "em": 0 }, - "predict": " Главой администрации в городе, где родился Александр Владимирович Турбанов, является Евгений Тефтелев.", + "predict": " Главой администрации в Челябинске, где родился Александр Владимирович Турбанов, является Евгений Тефтелев.", "sample": { "messages": [ { @@ -31052,7 +31052,7 @@ "info": { "prompt_len": 372, "generated_len": [ - 27 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -31109,7 +31109,7 @@ "info": { "prompt_len": 362, "generated_len": [ - 27 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -31119,7 +31119,7 @@ "f1": 0, "em": 0 }, - "predict": " Анеп", + "predict": " Анеп.", "sample": { "messages": [ { @@ -31166,7 +31166,7 @@ "info": { "prompt_len": 209, "generated_len": [ - 27 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -31176,7 +31176,7 @@ "f1": 0, "em": 0 }, - "predict": " Река, питающаяся от реки, притоком которой является Худяшовка, называется Иня.", + "predict": " Река, питающаяся от реки, притоком которой является Худяшовка, — это Иня.", "sample": { "messages": [ { @@ -31223,7 +31223,7 @@ "info": { "prompt_len": 389, "generated_len": [ - 27 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -31274,17 +31274,17 @@ "info": { "prompt_len": 362, "generated_len": [ - 27 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Воч", + "predict": " Северная Кельтма.", "sample": { "messages": [ { @@ -31343,17 +31343,17 @@ "info": { "prompt_len": 305, "generated_len": [ - 27 + 23 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0, + "em": 0 }, - "predict": " Обь", + "predict": " Пиковский Ёган", "sample": { "messages": [ { @@ -31400,7 +31400,7 @@ "info": { "prompt_len": 232, "generated_len": [ - 44 + 41 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -31410,7 +31410,7 @@ "f1": 0, "em": 0 }, - "predict": " Лопань", + "predict": " Река Артёмовка.", "sample": { "messages": [ { @@ -31457,17 +31457,17 @@ "info": { "prompt_len": 525, "generated_len": [ - 44 + 41 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.19999999999999998, + "f1": 0.2857142857142857, "em": 0 }, - "predict": " Глава администрации в городе, где родился Эрик Заурбекович Амбалов (Душанбе), с 12 января 2017 года является Рустам Эмомали.", + "predict": " Главой администрации города Душанбе, где родился Эрик Заурбекович Амбалов, является Рустам Эмомали.", "sample": { "messages": [ { @@ -31508,7 +31508,7 @@ "info": { "prompt_len": 299, "generated_len": [ - 44 + 41 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -31518,7 +31518,7 @@ "f1": 0.23076923076923078, "em": 0 }, - "predict": " Глава администрации в городе Казани, где родился Николай Всеволодович Первушин, является мэр. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", + "predict": " Главой администрации в городе Казани, где родился Николай Всеволодович Первушин, является мэр. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", "sample": { "messages": [ { @@ -31565,17 +31565,17 @@ "info": { "prompt_len": 461, "generated_len": [ - 44 + 41 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2857142857142857, + "f1": 0.2666666666666667, "em": 0 }, - "predict": " Главой администрации в городе, где родился Александр Анатольевич Тридчиков, является Евгений Тефтелев.", + "predict": " Главой администрации в городе Челябинске, где родился Александр Анатольевич Тридчиков, является Евгений Тефтелев.", "sample": { "messages": [ { @@ -31622,7 +31622,7 @@ "info": { "prompt_len": 370, "generated_len": [ - 44 + 41 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -31691,17 +31691,17 @@ "info": { "prompt_len": 358, "generated_len": [ - 44 + 41 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.6666666666666666, + "f1": 0.5, "em": 0 }, - "predict": " Городская дума Нижнего Новгорода", + "predict": " Городской думой.", "sample": { "messages": [ { @@ -31748,7 +31748,7 @@ "info": { "prompt_len": 562, "generated_len": [ - 44 + 41 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -31758,7 +31758,7 @@ "f1": 0, "em": 0 }, - "predict": " Законодательный орган, работающий в Мексике, где гражданство Увальдо Луны, — двухпалатный Конгресс, состоящий из Сената (128 мест) и Палаты депутатов (500 мест).", + "predict": " Законодательный орган, работающий в стране гражданства Увальдо Луны (Мексика), — это двухпалатный Конгресс, состоящий из Сената и Палаты депутатов.", "sample": { "messages": [ { @@ -31799,7 +31799,7 @@ "info": { "prompt_len": 383, "generated_len": [ - 44 + 41 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -31856,7 +31856,7 @@ "info": { "prompt_len": 495, "generated_len": [ - 51 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -31866,7 +31866,7 @@ "f1": 0, "em": 0 }, - "predict": " Трипанъёль сливается с рекой Лемъю.", + "predict": " Река, в которую впадает Трипанъёль, — это Лемъю.", "sample": { "messages": [ { @@ -31907,7 +31907,7 @@ "info": { "prompt_len": 264, "generated_len": [ - 51 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -31917,7 +31917,7 @@ "f1": 0, "em": 0 }, - "predict": " В Республике Кот-д’Ивуар, гражданином которой является Франсуа Зауи, законодательный орган, принимающий законы, состоит из двух палат: Национальной ассамблеи (нижняя палата) и Сената (верхняя палата).", + "predict": " В государстве, гражданином которого является Франсуа Зауи (Кот-д’Ивуар), законодательный орган, принимающий законы, — двухпалатный парламент.", "sample": { "messages": [ { @@ -31958,7 +31958,7 @@ "info": { "prompt_len": 228, "generated_len": [ - 51 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -32009,17 +32009,17 @@ "info": { "prompt_len": 306, "generated_len": [ - 51 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.888888888888889, + "f1": 0, "em": 0 }, - "predict": " В Тазовскую губу Карского моря.", + "predict": " Река Сокумарре впадает в реку Пур.", "sample": { "messages": [ { @@ -32060,17 +32060,17 @@ "info": { "prompt_len": 297, "generated_len": [ - 51 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0.6666666666666666, + "em": 0 }, - "predict": " Городская дума", + "predict": " Городская дума Нижнего Новгорода.", "sample": { "messages": [ { @@ -32117,7 +32117,7 @@ "info": { "prompt_len": 333, "generated_len": [ - 51 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -32180,7 +32180,7 @@ "info": { "prompt_len": 510, "generated_len": [ - 51 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -32190,7 +32190,7 @@ "f1": 0, "em": 0 }, - "predict": " Дамир-Апаранчай", + "predict": " Дамир-Апаранчай.", "sample": { "messages": [ { @@ -32231,7 +32231,7 @@ "info": { "prompt_len": 387, "generated_len": [ - 51 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -32294,7 +32294,7 @@ "info": { "prompt_len": 278, "generated_len": [ - 44 + 62 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -32304,7 +32304,7 @@ "f1": 0.18181818181818182, "em": 0 }, - "predict": " Наивысшей точкой горного хребта, к которому принадлежит Руговское ущелье, является гора Езерца (2692 м), которая находится в составе Проклейских гор.", + "predict": " Наивысшей точкой горного хребта, к которому принадлежит Руговское ущелье, является гора Езерца (2692 м), которая находится в составе гор Проктие.", "sample": { "messages": [ { @@ -32345,17 +32345,17 @@ "info": { "prompt_len": 402, "generated_len": [ - 44 + 62 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0, + "em": 0 }, - "predict": " Баласанян, Самвел Мисакович", + "predict": " Вардан Николаевич Гукасян", "sample": { "messages": [ { @@ -32402,17 +32402,17 @@ "info": { "prompt_len": 367, "generated_len": [ - 44 + 62 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.6666666666666666, + "f1": 0.13333333333333336, "em": 0 }, - "predict": " Городская дума Нижнего Новгорода.", + "predict": " Городской думой Нижнего Новгорода, в котором родился Александр Михайлович Прилуцкий, является законодательный орган.", "sample": { "messages": [ { @@ -32459,7 +32459,7 @@ "info": { "prompt_len": 418, "generated_len": [ - 44 + 62 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -32516,17 +32516,17 @@ "info": { "prompt_len": 182, "generated_len": [ - 44 + 62 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.08333333333333334, + "f1": 0.06451612903225806, "em": 0 }, - "predict": " Михаил Иванович Соколов, будучи гражданином Российской империи, мог иметь в виду императора, так как именно император являлся главой государства в Российской империи.", + "predict": " Михаил Иванович Соколов, будучи российским священником, был гражданином Российской империи, где главой государства был император. Таким образом, главой государства в стране, гражданином которой был Михаил Иванович Соколов, был император.", "sample": { "messages": [ { @@ -32567,7 +32567,7 @@ "info": { "prompt_len": 246, "generated_len": [ - 44 + 62 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -32577,7 +32577,7 @@ "f1": 0, "em": 0 }, - "predict": " Река, в которую впадает Машок, — Нугрь.", + "predict": " Река Машок вливается в реку Нугрь.", "sample": { "messages": [ { @@ -32624,17 +32624,17 @@ "info": { "prompt_len": 321, "generated_len": [ - 44 + 62 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.125, + "f1": 0.09523809523809523, "em": 0 }, - "predict": " В государстве, гражданином которого является Франческо Корнер, высшим совещательным органом власти был Большой совет, состоящий из выборных депутатов. Этот орган играл ключевую роль в ограничении могущества дожей и принятии законодательства.", + "predict": " Законодательный орган, принимающий законы в государстве, гражданином которого является Франческо Корнер, — это Большой совет, состоящий из выборных депутатов. Этот орган стал высшим совещательным органом власти в республике после одного из восстаний в 1172 году и сильно ограничивал могущество дожей.", "sample": { "messages": [ { @@ -32675,7 +32675,7 @@ "info": { "prompt_len": 837, "generated_len": [ - 44 + 62 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -32732,7 +32732,7 @@ "info": { "prompt_len": 308, "generated_len": [ - 49 + 61 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -32742,7 +32742,7 @@ "f1": 0.14285714285714288, "em": 0 }, - "predict": " Законодательная власть в государстве, гражданином которого является Закир Хуссейн, принимает законы через двухпалатный парламент Индии, состоящий из верхней палаты \"Раджья сабха\" и нижней палаты \"Лок сабхи\".", + "predict": " В государстве, гражданином которого является Закир Хусейн, принимает законы двухпалатный парламент, состоящий из верхней палаты \"Раджья сабха\" (Совет штатов) и нижней палаты \"Лок сабхи\" (Народной палаты).", "sample": { "messages": [ { @@ -32789,17 +32789,17 @@ "info": { "prompt_len": 708, "generated_len": [ - 49 + 61 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.13333333333333336, + "f1": 0.1111111111111111, "em": 0 }, - "predict": " Иван Яковлевич Бартенев был гражданином Российской империи, в которой главой государства был Император.", + "predict": " Иван Яковлевич Бартенев был гражданином Российской империи, главой государства которой в период его жизни был император.", "sample": { "messages": [ { @@ -32846,7 +32846,7 @@ "info": { "prompt_len": 313, "generated_len": [ - 49 + 61 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -32856,7 +32856,7 @@ "f1": 0, "em": 0 }, - "predict": " Унь сливается с Дикая Утка.", + "predict": " Дикая Утка", "sample": { "messages": [ { @@ -32897,7 +32897,7 @@ "info": { "prompt_len": 251, "generated_len": [ - 49 + 61 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -32907,7 +32907,7 @@ "f1": 0, "em": 0 }, - "predict": " Толкуляй впадает в Большую Азясь.", + "predict": " Река Толкуляй впадает в Большую Азясь.", "sample": { "messages": [ { @@ -32954,7 +32954,7 @@ "info": { "prompt_len": 221, "generated_len": [ - 49 + 61 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -33011,17 +33011,17 @@ "info": { "prompt_len": 330, "generated_len": [ - 49 + 61 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.1111111111111111, + "f1": 0, "em": 0 }, - "predict": " Законодательный орган, принимающий законы в городе, где появился на свет Пётр Иванович Васильев (Мариуполь), — Мариупольский горсовет.", + "predict": " Законодательный орган, принимающий законы в городе, где появился на свет Пётр Иванович Васильев (Мариуполе), — Донецкий областной совет. Однако стоит отметить, что с середины 2014 года этот орган стал функционировать в другом месте из-за территориальных изменений в Донецкой области.", "sample": { "messages": [ { @@ -33068,7 +33068,7 @@ "info": { "prompt_len": 330, "generated_len": [ - 49 + 61 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -33125,7 +33125,7 @@ "info": { "prompt_len": 440, "generated_len": [ - 49 + 61 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -33135,7 +33135,7 @@ "f1": 0, "em": 0 }, - "predict": " Марк Ноний Суфенат, ��анимая пост квестора, имел юрисдикцию, связанную с уголовными делами и заведованием государственной казной и государственным архивом. Таким образом, его юрисдикция распространялась на территории, где проводились уголовные расследования и разбирательства, а также на управление государственными финанс", + "predict": " Марк Ноний Суфенат, занимая пост квестора, имел юрисдикцию по уголовным делам и ведению государственной казны и государственного архива. Его полномочия включали предварительное расследование и сбор доказательств по уголовным делам, а также управление финансовыми и архивными вопросами государства.", "sample": { "messages": [ { @@ -33182,7 +33182,7 @@ "info": { "prompt_len": 332, "generated_len": [ - 64 + 59 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -33239,7 +33239,7 @@ "info": { "prompt_len": 367, "generated_len": [ - 64 + 59 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -33296,7 +33296,7 @@ "info": { "prompt_len": 652, "generated_len": [ - 64 + 59 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -33306,7 +33306,7 @@ "f1": 0, "em": 0 }, - "predict": " Войтоловка", + "predict": " Войтоловка.", "sample": { "messages": [ { @@ -33353,7 +33353,7 @@ "info": { "prompt_len": 244, "generated_len": [ - 64 + 59 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -33410,7 +33410,7 @@ "info": { "prompt_len": 365, "generated_len": [ - 64 + 59 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -33467,7 +33467,7 @@ "info": { "prompt_len": 270, "generated_len": [ - 64 + 59 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -33477,7 +33477,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Ереванский городской совет", + "predict": " Ереванский городской совет.", "sample": { "messages": [ { @@ -33524,7 +33524,7 @@ "info": { "prompt_len": 238, "generated_len": [ - 64 + 59 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -33534,7 +33534,7 @@ "f1": 0, "em": 0 }, - "predict": " Казань, Российская империя", + "predict": " Казань, Российская империя.", "sample": { "messages": [ { @@ -33581,7 +33581,7 @@ "info": { "prompt_len": 595, "generated_len": [ - 64 + 59 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -33591,7 +33591,7 @@ "f1": 0, "em": 0 }, - "predict": " Лепля", + "predict": " Лепля.", "sample": { "messages": [ { @@ -33632,7 +33632,7 @@ "info": { "prompt_len": 223, "generated_len": [ - 31 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -33642,7 +33642,7 @@ "f1": 0, "em": 0 }, - "predict": " Река Маркова Речка впадает в Юм.", + "predict": " Река Маркова Речка втекает в реку Юм.", "sample": { "messages": [ { @@ -33695,7 +33695,7 @@ "info": { "prompt_len": 224, "generated_len": [ - 31 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -33705,7 +33705,7 @@ "f1": 0, "em": 0 }, - "predict": " Законодательный орган государства, гражданином которого является Аксель Ирсу, — Федеральный парламент, состоящий из двух палат: Палата представителей и Сенат.", + "predict": " Законодательным органом государства, гражданином которого является Аксел�� Ирсу, является Федеральный парламент Бельгии, состоящий из двух палат: Палаты представителей и Сената.", "sample": { "messages": [ { @@ -33746,7 +33746,7 @@ "info": { "prompt_len": 308, "generated_len": [ - 31 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -33756,7 +33756,7 @@ "f1": 0, "em": 0 }, - "predict": " Данилюк, Сергей Валерьевич", + "predict": " Безбабченко, Андрей Иванович", "sample": { "messages": [ { @@ -33803,7 +33803,7 @@ "info": { "prompt_len": 334, "generated_len": [ - 31 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -33813,7 +33813,7 @@ "f1": 0, "em": 0 }, - "predict": " Ирзек впадает в Лумпун.", + "predict": " Река Ирзек впадает в реку Лумпун.", "sample": { "messages": [ { @@ -33866,7 +33866,7 @@ "info": { "prompt_len": 380, "generated_len": [ - 31 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -33876,7 +33876,7 @@ "f1": 0.6666666666666666, "em": 0 }, - "predict": " Городская дума Нижнего Новгорода", + "predict": " Городская дума Нижнего Новгорода.", "sample": { "messages": [ { @@ -33923,7 +33923,7 @@ "info": { "prompt_len": 348, "generated_len": [ - 31 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -33933,7 +33933,7 @@ "f1": 0, "em": 0 }, - "predict": " Вага", + "predict": " Северная Двина.", "sample": { "messages": [ { @@ -33980,7 +33980,7 @@ "info": { "prompt_len": 310, "generated_len": [ - 31 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -33990,7 +33990,7 @@ "f1": 0.2857142857142857, "em": 0 }, - "predict": " Главой администрации в городе, где родился Николай Григорьевич Глазков, является Евгений Тефтелев.", + "predict": " главой администрации в Челябинске, где родился Николай Григорьевич Глазков, является Евгений Тефтелев.", "sample": { "messages": [ { @@ -34037,17 +34037,17 @@ "info": { "prompt_len": 440, "generated_len": [ - 31 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0.3, + "em": 0 }, - "predict": " Евгений Васильевич Маслов", + "predict": " Павел Вячеславович Плотников (до 25 ноября 2015 года) и Евгений Васильевич Маслов (с 28 декабря 2015 года).", "sample": { "messages": [ { @@ -34094,7 +34094,7 @@ "info": { "prompt_len": 351, "generated_len": [ - 47 + 46 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -34151,7 +34151,7 @@ "info": { "prompt_len": 524, "generated_len": [ - 47 + 46 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -34202,17 +34202,17 @@ "info": { "prompt_len": 373, "generated_len": [ - 47 + 46 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.16, "em": 0 }, - "predict": " Законодательный орган государства, гражданином которого является Хариш Ханде, называется двухпалатным парламентом Индии, состоящим из верхней палаты \"Раджья сабха\" и нижней палаты \"Лок сабхи\".", + "predict": " Законодательным органом государства, гражданином которого является Хариш Ханде, является двухпалатный парламент Индии, состоящий из верхней палаты \"Раджья сабха\" и нижней палаты \"Лок сабхи\".", "sample": { "messages": [ { @@ -34259,7 +34259,7 @@ "info": { "prompt_len": 501, "generated_len": [ - 47 + 46 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -34269,7 +34269,7 @@ "f1": 0, "em": 0 }, - "predict": " Нюролька", + "predict": " Нюролька.", "sample": { "messages": [ { @@ -34316,17 +34316,17 @@ "info": { "prompt_len": 221, "generated_len": [ - 47 + 46 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.33333333333333337, + "f1": 0.3076923076923077, "em": 0 }, - "predict": " Законодательный орган города, где родился Павлос Нирванас, называется Мариупольским горсоветом.", + "predict": " Законодательный орган города, где родился Павлос Нирванас (Мариуполь), называется Мариупольским горсоветом.", "sample": { "messages": [ { @@ -34373,7 +34373,7 @@ "info": { "prompt_len": 219, "generated_len": [ - 47 + 46 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -34436,7 +34436,7 @@ "info": { "prompt_len": 391, "generated_len": [ - 47 + 46 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -34446,7 +34446,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Ереванский городской совет", + "predict": " Ереванский городской совет.", "sample": { "messages": [ { @@ -34493,7 +34493,7 @@ "info": { "prompt_len": 227, "generated_len": [ - 47 + 46 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -34503,7 +34503,7 @@ "f1": 0, "em": 0 }, - "predict": " Президент Сирийской Арабской Республики", + "predict": " Президент Сирии.", "sample": { "messages": [ { @@ -34557,10 +34557,10 @@ } { "metric": { - "f1": 0.11764705882352941, + "f1": 0.06666666666666667, "em": 0 }, - "predict": " Фёдор Михайлович Цомакион жил в Российской империи, и главой государства в то время был император.", + "predict": " Фёдор Михайлович Цомакион был гражданином Российской империи, и главой государства в то время был император. Таким образом, Фёдор Михайлович Цомакион мог иметь дело с императором как главой государства.", "sample": { "messages": [ { @@ -34659,10 +34659,10 @@ } { "metric": { - "f1": 0, + "f1": 0.16, "em": 0 }, - "predict": " Законодательный орган государства, гражданином которого является Джо Мадиат, называется двухпалатным парламентом, состоящим из верхней палаты \"Раджья сабха\" и нижней палаты \"Лок сабхи\".", + "predict": " Законодательным органом государства, гражданином которого является Джо Мадиат, является двухпалатный парламент Индии, состоящий из верхней палаты \"Раджья сабха\" и нижней палаты \"Лок сабхи\".", "sample": { "messages": [ { @@ -34770,7 +34770,7 @@ "f1": 0, "em": 0 }, - "predict": " Губернатор Тульской области", + "predict": " Губернатор Тульской области.", "sample": { "messages": [ { @@ -34818,10 +34818,10 @@ } { "metric": { - "f1": 0.08, + "f1": 0.19999999999999998, "em": 0 }, - "predict": " Глава администрации в городе, где родился Евгений Виллиевич Вальц, является Рустамом Эмомали, который с 12 января 2017 года занимает должность мэра города Душанбе.", + "predict": " Глава администрации в городе Душанбе, где родился Евгений Виллиевич Вальц, с 12 января 2017 года является Рустам Эмомали.", "sample": { "messages": [ { @@ -34869,10 +34869,10 @@ } { "metric": { - "f1": 0.1, + "f1": 0.13333333333333333, "em": 0 }, - "predict": " Река Еринат впадает в реку Большой Абакан, который в свою очередь при слиянии с Малым Абаканом образует реку Абакан.", + "predict": " Река Еринат впадает в реку Большой Абакан, который в свою очередь образует реку Абакан.", "sample": { "messages": [ { @@ -34920,10 +34920,10 @@ } { "metric": { - "f1": 0.2857142857142857, + "f1": 0.15789473684210528, "em": 0 }, - "predict": " Глава администрации в городе Коломне, где родился Геннадий Васильевич Киселёв, с ноября 2016 года — Лебедев Денис Юрьевич.", + "predict": " Глава администрации в городе Коломне, где родился Геннадий Васильевич Киселёв, на момент его смерти (2008 год) был Валерий Иванович Шувалов. Однако после его ухода на пост главы городского округа Коломны был назначен Денис Юрьевич Лебедев.", "sample": { "messages": [ { @@ -34970,7 +34970,7 @@ "info": { "prompt_len": 332, "generated_len": [ - 31 + 51 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -35021,17 +35021,17 @@ "info": { "prompt_len": 383, "generated_len": [ - 31 + 51 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.6666666666666666, + "f1": 0.11764705882352941, "em": 0 }, - "predict": " Городская дума Нижнего Новгорода.", + "predict": " Городской думой Нижнего Новгорода работает орган законодательной власти, где появился на свет Михаил Александрович Костюков.", "sample": { "messages": [ { @@ -35078,17 +35078,17 @@ "info": { "prompt_len": 469, "generated_len": [ - 31 + 51 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.6666666666666666, + "f1": 0.5, "em": 0 }, - "predict": " Городская дума Нижнего Новгорода", + "predict": " Городской думой.", "sample": { "messages": [ { @@ -35135,17 +35135,17 @@ "info": { "prompt_len": 479, "generated_len": [ - 31 + 51 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.16666666666666669, + "f1": 0.13793103448275862, "em": 0 }, - "predict": " Команда, за тренировки которой отвечает Крис Саттон, играет в Лиге 1, которая является третьим по значимости дивизионом в системе футбольных лиг Англии.", + "predict": " Команда \"Линкольн Сити\", за которую отвечал Крис Саттон в качестве главного тренера, играет в Лиге 1, которая является третьим по значимости дивизионом в системе футбольных лиг Англии.", "sample": { "messages": [ { @@ -35186,7 +35186,7 @@ "info": { "prompt_len": 425, "generated_len": [ - 31 + 51 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -35196,7 +35196,7 @@ "f1": 0, "em": 0 }, - "predict": " Большой Перекоп", + "predict": " Река Большой Перекоп.", "sample": { "messages": [ { @@ -35243,7 +35243,7 @@ "info": { "prompt_len": 312, "generated_len": [ - 31 + 51 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -35253,7 +35253,7 @@ "f1": 0.35294117647058826, "em": 0 }, - "predict": " Владимир Владимирович Владимиров (с 2013 года исполняющий обязанности губернатора, в 2014 году избран губернатором)", + "predict": " Владимир Владимирович Владимиров (с 2013 года исполняю��ий обязанности губернатора, в 2014 году избран губернатором).", "sample": { "messages": [ { @@ -35294,17 +35294,17 @@ "info": { "prompt_len": 342, "generated_len": [ - 31 + 51 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0.3333333333333333, + "em": 0 }, - "predict": " Городская дума", + "predict": " Городской дума Нижнего Новгорода.", "sample": { "messages": [ { @@ -35351,17 +35351,17 @@ "info": { "prompt_len": 328, "generated_len": [ - 31 + 51 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2857142857142857, + "f1": 0.16666666666666669, "em": 0 }, - "predict": " Кинг Ху Цзиньцюань скончался в Тайбэе.", + "predict": " Кинг Ху, создатель сценария к фильму \"Прикосновение дзена\", скончался в Тайбэе.", "sample": { "messages": [ { @@ -35408,7 +35408,7 @@ "info": { "prompt_len": 526, "generated_len": [ - 41 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -35471,17 +35471,17 @@ "info": { "prompt_len": 319, "generated_len": [ - 41 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.15384615384615385, "em": 0 }, - "predict": " Река, притоком которой является Куруткан, впадает в Большую Сумульту.", + "predict": " Река, притоком которой является Куруткан, в свою очередь впадает в реку Катунь.", "sample": { "messages": [ { @@ -35528,7 +35528,7 @@ "info": { "prompt_len": 288, "generated_len": [ - 41 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -35585,7 +35585,7 @@ "info": { "prompt_len": 328, "generated_len": [ - 41 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -35642,7 +35642,7 @@ "info": { "prompt_len": 690, "generated_len": [ - 41 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -35652,7 +35652,7 @@ "f1": 0, "em": 0 }, - "predict": " Сирия, место смерти Муаза ибн Джабаля, является республикой, где главой государства является президент.", + "predict": " Глава государства, ставшего местом смерти Муаза ибн Джабаля, — президент Сирии. В то время, когда Муаз ибн Джабаль скончался в Сирии, в стране была установлена современная форма правления, основанная на президентской системе, которая начала формироваться после распада Сирийской республики в 1958 году", "sample": { "messages": [ { @@ -35699,17 +35699,17 @@ "info": { "prompt_len": 316, "generated_len": [ - 41 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2222222222222222, + "f1": 0.24000000000000002, "em": 0 }, - "predict": " Владимир Владимирович Владимиров (с 2013 года исполняющий обязанности губернатора, в 2014 году избран губернатором) является главой администрации в регионе, где родился Александр Николаевич Ситковский.", + "predict": " Главой администрации в регионе, где родился Александр Николаевич Ситковский, является Владимир Владимирович Владимиров, который с 2013 года исполняет обязанности губернатора Ставропольского края.", "sample": { "messages": [ { @@ -35750,17 +35750,17 @@ "info": { "prompt_len": 296, "generated_len": [ - 41 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.6666666666666666, + "f1": 0.3333333333333333, "em": 0 }, - "predict": " Городская дума Нижнего Новгорода.", + "predict": " Городской дума Нижнего Новгорода.", "sample": { "messages": [ { @@ -35807,17 +35807,17 @@ "info": { "prompt_len": 259, "generated_len": [ - 41 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.24000000000000002, + "f1": 0.23076923076923078, "em": 0 }, - "predict": " Главой администрации в городе, где родился Андрей Олегович Макаров, является мэр. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", + "predict": " Главой администрации в городе Казани, где родился Андрей Олегович Макаров, является мэр. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", "sample": { "messages": [ { @@ -35858,17 +35858,17 @@ "info": { "prompt_len": 316, "generated_len": [ - 46 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.6, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Глава города Казань - мэр И. Р. Метшин.", + "predict": " И. Р. Метшин", "sample": { "messages": [ { @@ -35909,7 +35909,7 @@ "info": { "prompt_len": 335, "generated_len": [ - 46 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -35919,7 +35919,7 @@ "f1": 0.2666666666666667, "em": 0 }, - "predict": " Юрий Парахин является главой администрации в городе Орёл, где родился Николай Владимирович Сиротинин.", + "predict": " Юрий Парахин является главой администрации в городе Орле, где родился Николай Владимирович Сиротинин.", "sample": { "messages": [ { @@ -35960,7 +35960,7 @@ "info": { "prompt_len": 674, "generated_len": [ - 46 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -35970,7 +35970,7 @@ "f1": 0, "em": 0 }, - "predict": " Река, в которую впадает Койбыш, это Иня.", + "predict": " Река, в которую впадает Койбыш, — это Иня.", "sample": { "messages": [ { @@ -36017,17 +36017,17 @@ "info": { "prompt_len": 316, "generated_len": [ - 46 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.6666666666666666, + "f1": 0.25, "em": 0 }, - "predict": " Городская дума Нижнего Новгорода", + "predict": " Законодательным органом города, где родился Владимир Николаевич Воробьев (хоккеист), является Городская дума Нижнего Новгорода.", "sample": { "messages": [ { @@ -36074,17 +36074,17 @@ "info": { "prompt_len": 421, "generated_len": [ - 46 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.19999999999999998, + "f1": 0, "em": 0 }, - "predict": " В Исламской Республике Иран главой государства является Высший руководитель, который назначает ключевых государственных деятелей и подотчётен Совету экспертов.", + "predict": " Глава государства в Исламской Республике Иран, гражданкой которой была Марьян Калхор, занимает должность Высшего руководителя (или Рахбара).", "sample": { "messages": [ { @@ -36131,17 +36131,17 @@ "info": { "prompt_len": 529, "generated_len": [ - 46 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.23076923076923078, + "f1": 0.33333333333333337, "em": 0 }, - "predict": " Глава администрации в городе Казани, где умер Наиль Шамсутдинович Шайхутдинов, является мэр. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", + "predict": " Главой администрации в городе Казани, где умер Наиль Шамсутдинович Шайхутдинов, является мэр И. Р. Метшин.", "sample": { "messages": [ { @@ -36182,17 +36182,17 @@ "info": { "prompt_len": 328, "generated_len": [ - 46 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Премьер-лига", + "predict": " Премьер-лиге.", "sample": { "messages": [ { @@ -36233,17 +36233,17 @@ "info": { "prompt_len": 562, "generated_len": [ - 46 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0, + "em": 0 }, - "predict": " И. Р. Метшин", + "predict": " Главой города Казань является мэр.", "sample": { "messages": [ { @@ -36284,17 +36284,17 @@ "info": { "prompt_len": 310, "generated_len": [ - 50 + 61 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.14285714285714288, + "f1": 0.125, "em": 0 }, - "predict": " Законодательный орган, принимающий законы в государстве, гражданином которого является Селина Джейтли, — двухпалатный парламент Индии, состоящий из верхней палаты \"Раджья сабха\" и нижней палаты \"Лок сабхи\".", + "predict": " Законодательный орган, принимающий законы в государстве, гражданином которого является Селина Джейтли (Индия), — двухпалатный парламент, состоящий из верхней палаты \"Раджья сабха\" (Совет штатов) и нижней палаты \"Лок сабхи\" (Народной палаты).", "sample": { "messages": [ { @@ -36341,7 +36341,7 @@ "info": { "prompt_len": 594, "generated_len": [ - 50 + 61 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -36351,7 +36351,7 @@ "f1": 0, "em": 0 }, - "predict": " Сухая Чеварда сливается с Мокрой Чевардой.", + "predict": " Сухая Чеварда сливается с рекой Мокрая Чеварда.", "sample": { "messages": [ { @@ -36398,7 +36398,7 @@ "info": { "prompt_len": 332, "generated_len": [ - 50 + 61 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -36449,17 +36449,17 @@ "info": { "prompt_len": 438, "generated_len": [ - 50 + 61 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.18181818181818182, + "f1": 0.19999999999999998, "em": 0 }, - "predict": " Максимилиан Максимилианович Голлербах посвятил себя науке альгологии, которая изучает водоросли.", + "predict": " Максимилианович Голлербах посвятил себя науке альгологии, которая изучает водоросли.", "sample": { "messages": [ { @@ -36500,7 +36500,7 @@ "info": { "prompt_len": 330, "generated_len": [ - 50 + 61 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -36510,7 +36510,7 @@ "f1": 0, "em": 0 }, - "predict": " Большая Золотанка впадает в Улс.", + "predict": " Большая Золотанка впадает в реку Улс.", "sample": { "messages": [ { @@ -36551,7 +36551,7 @@ "info": { "prompt_len": 190, "generated_len": [ - 50 + 61 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -36608,7 +36608,7 @@ "info": { "prompt_len": 577, "generated_len": [ - 50 + 61 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -36659,7 +36659,7 @@ "info": { "prompt_len": 289, "generated_len": [ - 50 + 61 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -36710,7 +36710,7 @@ "info": { "prompt_len": 211, "generated_len": [ - 43 + 63 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -36767,7 +36767,7 @@ "info": { "prompt_len": 283, "generated_len": [ - 43 + 63 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -36777,7 +36777,7 @@ "f1": 0, "em": 0 }, - "predict": " Законодательную власть в государстве, гражданином которого является Шарль Бельгийский, осуществляет Федеральный парламент, состоящий из двух палат: Нижняя палата парламента — палата представителей, и Верхняя палата — Сенат.", + "predict": " В государстве, гражданином которого является Шарль Бельгийский, законы принимаются Федеральным парламентом, который состоит из двух палат: Палаты представителей и Сената.", "sample": { "messages": [ { @@ -36830,7 +36830,7 @@ "info": { "prompt_len": 427, "generated_len": [ - 43 + 63 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -36840,7 +36840,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Кембридж", + "predict": " Кембридж.", "sample": { "messages": [ { @@ -36881,7 +36881,7 @@ "info": { "prompt_len": 289, "generated_len": [ - 43 + 63 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -36938,7 +36938,7 @@ "info": { "prompt_len": 599, "generated_len": [ - 43 + 63 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -36948,7 +36948,7 @@ "f1": 0, "em": 0 }, - "predict": " Мариупольский горсовет.", + "predict": " Законодательный орган, принимающий законы в городе, где умер Иван Никандрович Просвирнин (Мариуполе), — Донецкий областной совет. Однако с середины 2014 года этот орган находится в Мариуполе, так как Донецкий областной совет переехал туда из Донецка.", "sample": { "messages": [ { @@ -36989,7 +36989,7 @@ "info": { "prompt_len": 477, "generated_len": [ - 43 + 63 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -37040,7 +37040,7 @@ "info": { "prompt_len": 436, "generated_len": [ - 43 + 63 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -37050,7 +37050,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Ереванский городской совет", + "predict": " Ереванский городской совет.", "sample": { "messages": [ { @@ -37097,7 +37097,7 @@ "info": { "prompt_len": 458, "generated_len": [ - 43 + 63 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -37148,7 +37148,7 @@ "info": { "prompt_len": 278, "generated_len": [ - 58 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -37158,7 +37158,7 @@ "f1": 0.19999999999999998, "em": 0 }, - "predict": " Законодательный орган, принимающий законы в городе Нижнем Новгороде, где умер Андрей Глебович Покровский, — Городская дума Нижнего Новгорода.", + "predict": " Законодательный орган, принимающий законы в городе, где умер Андрей Глебович Покровский (Нижний Новгород), — Городская дума Нижнего Новгорода.", "sample": { "messages": [ { @@ -37205,17 +37205,17 @@ "info": { "prompt_len": 413, "generated_len": [ - 58 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.08695652173913045, + "f1": 0.08333333333333333, "em": 0 }, - "predict": " Законодательный орган, принимающий законы в государстве, гражданином которого является Филип Вольтер, — Федеральный парламент, состоящий из двух палат: Палаты представителей и Сената.", + "predict": " Законодательный орган, принимающий законы в государстве, гражданином которого является Филип Вольтер, — Федеральный парламент Бельгии, состоящий из двух палат: Палаты представителей и Сената.", "sample": { "messages": [ { @@ -37262,17 +37262,17 @@ "info": { "prompt_len": 344, "generated_len": [ - 58 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.23076923076923078, + "f1": 0.2222222222222222, "em": 0 }, - "predict": " Глава администрации в городе, где родилась Татьяна Вячеславовна Аристовская (Казань), является мэром. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", + "predict": " Глава администрации в городе, где родилась Татьяна Вячеславовна Аристовская (Казань), является мэром города. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", "sample": { "messages": [ { @@ -37313,7 +37313,7 @@ "info": { "prompt_len": 267, "generated_len": [ - 58 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -37323,7 +37323,7 @@ "f1": 0, "em": 0 }, - "predict": " Сакмара", + "predict": " Сакмара.", "sample": { "messages": [ { @@ -37364,17 +37364,17 @@ "info": { "prompt_len": 325, "generated_len": [ - 58 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.18181818181818182, + "f1": 0, "em": 0 }, - "predict": " Аманулла Габдулхаевич Рамазанов родился в Павлодарской области, которая является областью Республики Казахстан. В настоящее время главой администрации региона является Скаков Абылкаир Бактыбаевич, который вступил в должность 21 января 2020 года.", + "predict": " Глава администрации в регионе, где родился Аманулла Габдулхаевич Рамазанов (Павлодарская область), на момент его смерти (2003 год) был Бакытжан Сагинтаев (30 сентября 2008 — 20 января 2012).", "sample": { "messages": [ { @@ -37433,17 +37433,17 @@ "info": { "prompt_len": 312, "generated_len": [ - 58 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.08695652173913045, + "f1": 0.0909090909090909, "em": 0 }, - "predict": " Река, питающаяся от реки, притоком которой является Чаршан, называется Кеть. Чаршан является притоком реки Кеть, которая в свою очередь впадает в Обь.", + "predict": " Река, питающаяся от реки, притоком которой является Чаршан, называется Кеть. Чаршан является притоком реки Кеть, а Кеть — притоком реки Оби.", "sample": { "messages": [ { @@ -37490,17 +37490,17 @@ "info": { "prompt_len": 382, "generated_len": [ - 58 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.6666666666666666, + "f1": 0.16666666666666669, "em": 0 }, - "predict": " Мариупольс��им горсоветом.", + "predict": " Законодательный орган города, где умер Андрей Яковлевич Булыгин, называется Мариупольский горсовет.", "sample": { "messages": [ { @@ -37547,17 +37547,17 @@ "info": { "prompt_len": 298, "generated_len": [ - 58 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.1818181818181818, + "f1": 0, "em": 0 }, - "predict": " Река, в которую впадает Калакор, сливается с Аварским Койсу.", + "predict": " Река, в которую впадает Калакор, сливается с рекой Джурмут.", "sample": { "messages": [ { @@ -37598,7 +37598,7 @@ "info": { "prompt_len": 437, "generated_len": [ - 31 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -37649,17 +37649,17 @@ "info": { "prompt_len": 265, "generated_len": [ - 31 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.25, + "f1": 0, "em": 0 }, - "predict": " Законодательная власть в городе Ереван, где умер Гамлет Арутюнович Вартапетян, осуществляется ереванским городским советом.", + "predict": " Законодательный орган, принимающий законы в городе, где умер Гамлет Арутюнович Вартапетян, — ереванский городской совет.", "sample": { "messages": [ { @@ -37700,17 +37700,17 @@ "info": { "prompt_len": 512, "generated_len": [ - 31 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.14285714285714288, + "f1": 0.15384615384615385, "em": 0 }, - "predict": " Наивысшей точкой среди гор, в которых расположены Кардамоновы горы, является Анай-Муди (2695 м).", + "predict": " Наивысшей точкой гор, среди которых расположены Кардамоновы горы, является Анай-Муди (2695 м).", "sample": { "messages": [ { @@ -37751,17 +37751,17 @@ "info": { "prompt_len": 470, "generated_len": [ - 31 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.6666666666666666, + "f1": 0, "em": 0 }, - "predict": " Мариупольский горсовет.", + "predict": " Законодательный орган, принимающий законы в городе, где умерла Наталья Никитична Юргенс (Мариуполь), — Мариупольский городской совет.", "sample": { "messages": [ { @@ -37808,7 +37808,7 @@ "info": { "prompt_len": 402, "generated_len": [ - 31 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -37865,7 +37865,7 @@ "info": { "prompt_len": 282, "generated_len": [ - 31 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -37922,7 +37922,7 @@ "info": { "prompt_len": 491, "generated_len": [ - 31 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -37932,7 +37932,7 @@ "f1": 0, "em": 0 }, - "predict": " Нилка сливается с рекой Нерль.", + "predict": " Река, в которую впадает Нилка, сливается с Нерль.", "sample": { "messages": [ { @@ -37979,7 +37979,7 @@ "info": { "prompt_len": 388, "generated_len": [ - 31 + 33 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -38030,17 +38030,17 @@ "info": { "prompt_len": 185, "generated_len": [ - 50 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0.6666666666666666, + "em": 0 }, - "predict": " Император Всероссийский", + "predict": " Император", "sample": { "messages": [ { @@ -38099,17 +38099,17 @@ "info": { "prompt_len": 364, "generated_len": [ - 50 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0, + "em": 0 }, - "predict": " Большой совет", + "predict": " Законодательный орган государства, гражданином которого является Франческо Фоскари, называется Большим советом.", "sample": { "messages": [ { @@ -38150,7 +38150,7 @@ "info": { "prompt_len": 679, "generated_len": [ - 50 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -38160,7 +38160,7 @@ "f1": 0, "em": 0 }, - "predict": " Дикарская Рассоха впадает в реку Сарёда.", + "predict": " Дикарская Рассоха впадает в реку Сарёду.", "sample": { "messages": [ { @@ -38201,17 +38201,17 @@ "info": { "prompt_len": 134, "generated_len": [ - 50 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.058823529411764705, + "f1": 0.09090909090909091, "em": 0 }, - "predict": " Василий Иванович Покровский был гражданином Российской империи, где главой государства был Император. Таким образом, Василий Иванович Покровский мог иметь дело с государственными структурами, которые подчинялись Императору, включая Сенат и другие судебные органы.", + "predict": " Василий Иванович Покровский был гражданином Российской империи, в которой главой государства был Император. Последним императором Российской империи был Николай II.", "sample": { "messages": [ { @@ -38258,17 +38258,17 @@ "info": { "prompt_len": 506, "generated_len": [ - 50 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.1111111111111111, + "f1": 0.23255813953488372, "em": 0 }, - "predict": " Карл Карстенс родился в городе Бремен, который расположен в земле Северный Рейн-Вестфалия, Германия.", + "predict": " Город, где родился Карл Карстенс, расположен на территории земли Северный Рейн-Вестфалия. В тексте 1 указано, что Карл Карстенс родился в Бремене, а в тексте 2 говорится, что Бремен входит в землю Вольный ганзейский город Бремен, которая в свою", "sample": { "messages": [ { @@ -38309,17 +38309,17 @@ "info": { "prompt_len": 420, "generated_len": [ - 50 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0.07999999999999999, + "em": 0 }, - "predict": " Казахское ханство.", + "predict": " Казахское ханство существовало раньше на территории страны, честь которой отстаивал в соревнованиях Ян Владимирович Вороговский. Казахское ханство было основано в начале XV века и просуществовало до XVIII века, когда территория была разделена между Российской империей и Китаем. Это историческое государство является частью культурного и исторического наследия современного Казахстана.", "sample": { "messages": [ { @@ -38366,7 +38366,7 @@ "info": { "prompt_len": 531, "generated_len": [ - 50 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -38429,7 +38429,7 @@ "info": { "prompt_len": 367, "generated_len": [ - 50 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -38439,7 +38439,7 @@ "f1": 0, "em": 0 }, - "predict": " Паломица", + "predict": " Паломица.", "sample": { "messages": [ { @@ -38486,17 +38486,17 @@ "info": { "prompt_len": 360, "generated_len": [ - 6 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.3333333333333333, "em": 0 }, - "predict": " Городская дума", + "predict": " Городская дума Нижнего Новгорода", "sample": { "messages": [ { @@ -38537,7 +38537,7 @@ "info": { "prompt_len": 349, "generated_len": [ - 6 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -38594,7 +38594,7 @@ "info": { "prompt_len": 707, "generated_len": [ - 6 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -38604,7 +38604,7 @@ "f1": 0, "em": 0 }, - "predict": " Малхойяха", + "predict": " Малхойяха.", "sample": { "messages": [ { @@ -38645,17 +38645,17 @@ "info": { "prompt_len": 242, "generated_len": [ - 6 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0.6666666666666666, + "em": 0 }, - "predict": " Городская дума", + "predict": " Городская дума Нижнего Новгорода.", "sample": { "messages": [ { @@ -38702,17 +38702,17 @@ "info": { "prompt_len": 382, "generated_len": [ - 6 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0.375, + "em": 0 }, - "predict": " Горловский городской совет", + "predict": " Законодательный орган города Горловки, где умер Василий Гаврилович Петренко, называется Горловский городской совет.", "sample": { "messages": [ { @@ -38753,17 +38753,17 @@ "info": { "prompt_len": 326, "generated_len": [ - 6 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.2, "em": 0 }, - "predict": " Городская дума", + "predict": " Городской думой.", "sample": { "messages": [ { @@ -38810,7 +38810,7 @@ "info": { "prompt_len": 394, "generated_len": [ - 6 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -38867,17 +38867,17 @@ "info": { "prompt_len": 234, "generated_len": [ - 6 + 27 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.1904761904761905, "em": 0 }, - "predict": " Городская дума", + "predict": " Законодательный орган города, где умер Валентин Арсеньевич Николаев, называется Городская дума Нижнего Новгорода.", "sample": { "messages": [ { @@ -38918,7 +38918,7 @@ "info": { "prompt_len": 629, "generated_len": [ - 45 + 46 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -38969,17 +38969,17 @@ "info": { "prompt_len": 260, "generated_len": [ - 45 + 46 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.23076923076923078, + "f1": 0.07692307692307691, "em": 0 }, - "predict": " Глава администрации в городе, где родился Максим Расимович Шарафутдинов, является мэром Казани. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", + "predict": " Глава администрации в городе Казани, где родился Максим Расимович Шарафутдинов, является мэром. С 17 ноября 2005 года мэром Казани является Игорь Рифгатович Метшин.", "sample": { "messages": [ { @@ -39020,17 +39020,17 @@ "info": { "prompt_len": 319, "generated_len": [ - 45 + 46 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0.25, + "em": 0 }, - "predict": " Франсуа-Ксавье Виллен.", + "predict": " Главой администрации в городе Камбре, где умер Эндрю Минарски, является Франсуа-Ксавье Виллен (François-Xavier Villain).", "sample": { "messages": [ { @@ -39071,7 +39071,7 @@ "info": { "prompt_len": 362, "generated_len": [ - 45 + 46 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -39122,7 +39122,7 @@ "info": { "prompt_len": 355, "generated_len": [ - 45 + 46 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -39132,7 +39132,7 @@ "f1": 0.23076923076923078, "em": 0 }, - "predict": " Глава администрации в городе, где родился Наиль Абдуллович Сахибуллин (Казань), является мэр. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", + "predict": " Главой администрации в городе Казани, где родился Наиль Абдуллович Сахибуллин, является мэр. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", "sample": { "messages": [ { @@ -39173,7 +39173,7 @@ "info": { "prompt_len": 308, "generated_len": [ - 45 + 46 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -39224,7 +39224,7 @@ "info": { "prompt_len": 523, "generated_len": [ - 45 + 46 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -39234,7 +39234,7 @@ "f1": 0, "em": 0 }, - "predict": " В городе, где родился Константин Васильевич Сивков (Белгород), главой администрации в декабре 2009 года был Василий Николаевич Потрясаев.", + "predict": " В декабре 2009 года главой администрации города Белгорода, где родился Константин Васильевич Сивков, был Василий Николаевич Потрясаев.", "sample": { "messages": [ { @@ -39275,7 +39275,7 @@ "info": { "prompt_len": 269, "generated_len": [ - 45 + 46 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -39285,7 +39285,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Рустам Эмомали", + "predict": " Рустам Эмомали.", "sample": { "messages": [ { @@ -39326,17 +39326,17 @@ "info": { "prompt_len": 345, "generated_len": [ - 51 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.19999999999999998, + "f1": 0.16666666666666669, "em": 0 }, - "predict": " Глава администрации в городе, где родился Акрам Ахматович Джураев (Сталинабад), с 12 января 2017 года является Рустам Эмомали.", + "predict": " Глава администрации в городе, где родился Акрам Ахматович Джураев, является Рустам Эмомали, который с 12 января 2017 года является мэром города Душанбе.", "sample": { "messages": [ { @@ -39377,7 +39377,7 @@ "info": { "prompt_len": 282, "generated_len": [ - 51 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -39428,7 +39428,7 @@ "info": { "prompt_len": 390, "generated_len": [ - 51 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -39438,7 +39438,7 @@ "f1": 0, "em": 0 }, - "predict": " Угутка впадает в реку Большой Юган.", + "predict": " Река, в которую впадает Угутка, — Большой Юган.", "sample": { "messages": [ { @@ -39485,7 +39485,7 @@ "info": { "prompt_len": 328, "generated_len": [ - 51 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -39542,7 +39542,7 @@ "info": { "prompt_len": 328, "generated_len": [ - 51 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -39552,7 +39552,7 @@ "f1": 0, "em": 0 }, - "predict": " Вожер впадает в реку Шиес.", + "predict": " Река Вожер впадает в реку Шиес.", "sample": { "messages": [ { @@ -39599,17 +39599,17 @@ "info": { "prompt_len": 274, "generated_len": [ - 51 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.14814814814814814, + "f1": 0.3076923076923077, "em": 0 }, - "predict": " Законодательный орган, принимающий законы в государстве, гражданином которого является Нарендра Кармаркар, - двухпалатный парламент Индии, состоящий из верхней палаты \"Раджья сабха\" и нижней палаты \"Лок сабхи\".", + "predict": " Парламент Индии (двухпалатный парламент, состоящий из \"Лок сабхи\" и \"Раджья сабхи\").", "sample": { "messages": [ { @@ -39656,7 +39656,7 @@ "info": { "prompt_len": 517, "generated_len": [ - 51 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -39666,7 +39666,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Гонконг", + "predict": " Гонконг.", "sample": { "messages": [ { @@ -39707,7 +39707,7 @@ "info": { "prompt_len": 419, "generated_len": [ - 51 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -39717,7 +39717,7 @@ "f1": 0, "em": 0 }, - "predict": " Каталанский язык был родным для отца Изабеллы де Вильены, Энрике де Вильена.", + "predict": " Отец Изабеллы де Вильены, Энрике де Вильена, был родом из кастильского и арагонского аристократического круга, что указывает на то, что его родным языком был испанский. Это подтверждается также тем, что он занимался переводами произведений на испанский язык и оставил значительное наследие в испанской литературе.", "sample": { "messages": [ { @@ -39764,7 +39764,7 @@ "info": { "prompt_len": 432, "generated_len": [ - 24 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -39821,17 +39821,17 @@ "info": { "prompt_len": 330, "generated_len": [ - 24 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.21052631578947367, + "f1": 0.23529411764705882, "em": 0 }, - "predict": " Глава государства в Российской империи, в которой жил и действовал Сергей Фёдорович Чубаров, занимал должность Императора Всероссийского.", + "predict": " Главой государства в Российской империи, чьим гражданином был Сергей Фёдорович Чубаров, была должность Императора Всероссийского.", "sample": { "messages": [ { @@ -39884,7 +39884,7 @@ "info": { "prompt_len": 274, "generated_len": [ - 24 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -39935,7 +39935,7 @@ "info": { "prompt_len": 254, "generated_len": [ - 24 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -39945,7 +39945,7 @@ "f1": 0, "em": 0 }, - "predict": " Глава администрации в городе, где родился Владимир Григорьевич Сухарев, является мэр.", + "predict": " Главой администрации в городе Казани, где родился Владимир Григорьевич Сухарев, являетс�� мэр.", "sample": { "messages": [ { @@ -39986,17 +39986,17 @@ "info": { "prompt_len": 359, "generated_len": [ - 24 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.3076923076923077, + "f1": 0.09523809523809523, "em": 0 }, - "predict": " Законодательный орган государства, гражданином которого является Маркантонио Бассетти, называется Большой совет.", + "predict": " Законодательный орган государства, гражданином которого является Маркантонио Бассетти, называется Большой совет. Этот орган был создан в 1172 году в Республике Венеция и состоял из выборных депутатов, которые с тех пор стали высшим совещательным органом власти и сильно ограничивали могущество дожей.", "sample": { "messages": [ { @@ -40037,7 +40037,7 @@ "info": { "prompt_len": 570, "generated_len": [ - 24 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -40094,7 +40094,7 @@ "info": { "prompt_len": 220, "generated_len": [ - 24 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -40151,17 +40151,17 @@ "info": { "prompt_len": 269, "generated_len": [ - 24 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.33333333333333337, + "f1": 0.3076923076923077, "em": 0 }, - "predict": " Команда, тренером которой был Карол Добиаш, играет в Первой лиге.", + "predict": " Команда, тренером которой является Карол Добиаш, играет в Первой лиге Чехии.", "sample": { "messages": [ { @@ -40202,17 +40202,17 @@ "info": { "prompt_len": 465, "generated_len": [ - 46 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.6666666666666666, "em": 0 }, - "predict": " Южная Америка", + "predict": " На территории Южной Америки.", "sample": { "messages": [ { @@ -40253,17 +40253,17 @@ "info": { "prompt_len": 281, "generated_len": [ - 46 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.22222222222222224, + "f1": 0.16666666666666669, "em": 0 }, - "predict": " Большая Сыя сливается в реку Белый Июс.", + "predict": " Река, в которую впадает Большая Сыя, — это Белый Июс.", "sample": { "messages": [ { @@ -40310,17 +40310,17 @@ "info": { "prompt_len": 399, "generated_len": [ - 46 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0, + "em": 0 }, - "predict": " Чарыш", + "predict": " Река, питающаяся от реки, притоком которой является Эбогон, называется Кан.", "sample": { "messages": [ { @@ -40361,7 +40361,7 @@ "info": { "prompt_len": 219, "generated_len": [ - 46 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -40412,17 +40412,17 @@ "info": { "prompt_len": 436, "generated_len": [ - 46 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.19999999999999998, + "f1": 0.33333333333333337, "em": 0 }, - "predict": " Главой администрации в городе, где родилась Евгения Максимовна Тарасова, является мэр. В Казани, столице Республики Татарстан, с 17 ноября 2005 года эту должность занимает И. Р. Метшин.", + "predict": " Главой администрации в городе Казани, где родилась Евгения Максимовна Т��расова, является мэр И. Р. Метшин.", "sample": { "messages": [ { @@ -40463,7 +40463,7 @@ "info": { "prompt_len": 583, "generated_len": [ - 46 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -40514,7 +40514,7 @@ "info": { "prompt_len": 564, "generated_len": [ - 46 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -40565,7 +40565,7 @@ "info": { "prompt_len": 509, "generated_len": [ - 46 + 29 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -40616,7 +40616,7 @@ "info": { "prompt_len": 299, "generated_len": [ - 50 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -40626,7 +40626,7 @@ "f1": 0, "em": 0 }, - "predict": " Хилари Мэнтел, автор произведения \"Зеркало и свет\", родилась 6 июля 1952 года в Глоссопе, Дербишир.", + "predict": " Хилари Мэнтел, автор произведения \"Зеркало и свет\", родилась в Глоссопе, Дербишир.", "sample": { "messages": [ { @@ -40667,7 +40667,7 @@ "info": { "prompt_len": 196, "generated_len": [ - 50 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -40677,7 +40677,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Ереван", + "predict": " Ереван.", "sample": { "messages": [ { @@ -40718,17 +40718,17 @@ "info": { "prompt_len": 306, "generated_len": [ - 50 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.16, + "f1": 0.13793103448275862, "em": 0 }, - "predict": " Законодательным органом государства, гражданином которого является Ранвир Сингх, является двухпалатный парламент Индии, состоящий из верхней палаты \"Раджья сабха\" и нижней палаты \"Лок сабхи\".", + "predict": " Законодательным органом государства, гражданином которого является Ранвир Сингх, является двухпалатный парламент Индии, состоящий из верхней палаты \"Раджья сабха\" (Совет штатов) и нижней палаты \"Лок сабхи\" (Народной палаты).", "sample": { "messages": [ { @@ -40775,17 +40775,17 @@ "info": { "prompt_len": 544, "generated_len": [ - 50 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0.04545454545454545, + "em": 0 }, - "predict": " Городская дума", + "predict": " Городской думой. Городской дума является законодательным органом Нижнего Новгорода, который ранее назывался Горьким. В тексте 1 указано, что Тимофей Фёдорович Ковалёв жил и работал в Горьком, а в тексте 2 говорится о том, что Нижний Новгород (бывший Горький) — административный центр Нижегородской", "sample": { "messages": [ { @@ -40832,17 +40832,17 @@ "info": { "prompt_len": 444, "generated_len": [ - 50 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2857142857142857, + "f1": 0.2727272727272727, "em": 0 }, - "predict": " Глава администрации в городе, где родился Михаил Яковлевич Коптильников, с 23 декабря 2016 года — Олег Анатолиевич Довгопол.", + "predict": " Глава администрации в городе Тирасполе, где родился Михаил Яковлевич Коптильников, с 23 декабря 2016 года — Олег Анатолиевич Довгопол.", "sample": { "messages": [ { @@ -40889,17 +40889,17 @@ "info": { "prompt_len": 452, "generated_len": [ - 50 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.1111111111111111, + "f1": 0.10526315789473684, "em": 0 }, - "predict": " Глава государства в Российской империи, стране, гражданином которой был Адольф Борисович Минкус, занимал должность Императора Всероссийский.", + "predict": " Глава государства в Российской империи, в которой жил и работал Адольф Борисович Минкус, занимал титул Императора Всероссийский.", "sample": { "messages": [ { @@ -40940,17 +40940,17 @@ "info": { "prompt_len": 517, "generated_len": [ - 50 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.05, + "f1": 0.0851063829787234, "em": 0 }, - "predict": " Самуил Исаевич Файнберг был эсер-боевиком, и его деятельность была связана с революционным движением в Российской империи, но он не занимал никакой официальной должности главы государства. В Российской империи главой государства был император, последний из которых — Николай II.", + "predict": " В стране, чьим гражданином был Самуил Исаевич Файнберг, главой государства была должность Императора Всероссийского. Файнберг был арестован за подготовку покушения на военного министра Российской империи Александра Редигера, что указывает на то, что в то время страной управлял император. В данном случае, последний император Российской империи", "sample": { "messages": [ { @@ -40997,7 +40997,7 @@ "info": { "prompt_len": 506, "generated_len": [ - 50 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -41048,7 +41048,7 @@ "info": { "prompt_len": 252, "generated_len": [ - 39 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -41099,7 +41099,7 @@ "info": { "prompt_len": 218, "generated_len": [ - 39 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -41109,7 +41109,7 @@ "f1": 0.23076923076923078, "em": 0 }, - "predict": " Глава администрации в городе, где умер Борис Михайлович Козырев, является мэр Казани. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", + "predict": " Главой администрации в городе Казани, где умер Борис Михайлович Козырев, является мэр. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", "sample": { "messages": [ { @@ -41150,17 +41150,17 @@ "info": { "prompt_len": 248, "generated_len": [ - 39 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.18181818181818182, + "f1": 0.17391304347826084, "em": 0 }, - "predict": " Глава администрации в городе, где родился Евсей Владимирович Эпштейн, является Александр Студнев, который занимает должность председателя Бобруйского городского исполнительного комитета.", + "predict": " Глава администрации в городе Бобруйске, где родился Евсей Владимирович Эпштейн, является Александр Студнев, который занимает должность председателя Бобруйского городского исполнительного комитета.", "sample": { "messages": [ { @@ -41201,7 +41201,7 @@ "info": { "prompt_len": 265, "generated_len": [ - 39 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -41211,7 +41211,7 @@ "f1": 0.6666666666666666, "em": 0 }, - "predict": " Городская дума Нижнего Новгорода", + "predict": " Городская дума Нижнего Новгорода.", "sample": { "messages": [ { @@ -41258,7 +41258,7 @@ "info": { "prompt_len": 375, "generated_len": [ - 39 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -41268,7 +41268,7 @@ "f1": 0, "em": 0 }, - "predict": " Вятка", + "predict": " Вятка.", "sample": { "messages": [ { @@ -41321,7 +41321,7 @@ "info": { "prompt_len": 353, "generated_len": [ - 39 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -41372,7 +41372,7 @@ "info": { "prompt_len": 520, "generated_len": [ - 39 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -41382,7 +41382,7 @@ "f1": 0.125, "em": 0 }, - "predict": " Дмитровский уезд", + "predict": " Дмитровский уезд.", "sample": { "messages": [ { @@ -41423,7 +41423,7 @@ "info": { "prompt_len": 479, "generated_len": [ - 39 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -41433,7 +41433,7 @@ "f1": 0, "em": 0 }, - "predict": " Гражданство королевы Сильвии - шведское.", + "predict": " Гражданство матери Виктории — шведское.", "sample": { "messages": [ { @@ -41493,10 +41493,10 @@ } { "metric": { - "f1": 0.6666666666666666, + "f1": 0.21052631578947367, "em": 0 }, - "predict": " Городская дума Нижнего Новгорода.", + "predict": " Законодательный орган, работающий в городе, где появился на свет Вячеслав Алексеевич Голубцов, — Городская дума Нижнего Новгорода.", "sample": { "messages": [ { @@ -41553,7 +41553,7 @@ "f1": 0.6666666666666666, "em": 0 }, - "predict": " Сараево, СФРЮ", + "predict": " Сараево, СФРЮ.", "sample": { "messages": [ { @@ -41601,10 +41601,10 @@ } { "metric": { - "f1": 0.4, + "f1": 0.6666666666666666, "em": 0 }, - "predict": " Городская дума", + "predict": " Городская дума Нижнего Новгорода.", "sample": { "messages": [ { @@ -41724,7 +41724,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Ижевск", + "predict": " Ижевск.", "sample": { "messages": [ { @@ -41930,7 +41930,7 @@ "info": { "prompt_len": 259, "generated_len": [ - 29 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -41940,7 +41940,7 @@ "f1": 0, "em": 0 }, - "predict": " Варка-Сылькы", + "predict": " Река, питающаяся от реки, притоком которой является Копамнярылькы, называется Варка-Сылькы.", "sample": { "messages": [ { @@ -41981,7 +41981,7 @@ "info": { "prompt_len": 352, "generated_len": [ - 29 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -42038,17 +42038,17 @@ "info": { "prompt_len": 213, "generated_len": [ - 29 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.35294117647058826, + "f1": 0.2727272727272727, "em": 0 }, - "predict": " Самвел Мисакович Баласанян является главой администрации в городе Гюмри, где родился Гегам Георгиевич Флджян.", + "predict": " В городе, где родился Гегам Георгиевич Флджян (Александрополь, ныне Гюмри), главой администрации является Баласанян Самвел Мисакович (с 2012 года).", "sample": { "messages": [ { @@ -42095,7 +42095,7 @@ "info": { "prompt_len": 460, "generated_len": [ - 29 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -42152,17 +42152,17 @@ "info": { "prompt_len": 255, "generated_len": [ - 29 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0.6666666666666666, + "em": 0 }, - "predict": " Городская дума", + "predict": " Городская дума Нижнего Новгорода", "sample": { "messages": [ { @@ -42209,7 +42209,7 @@ "info": { "prompt_len": 406, "generated_len": [ - 29 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -42266,7 +42266,7 @@ "info": { "prompt_len": 297, "generated_len": [ - 29 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -42276,7 +42276,7 @@ "f1": 0, "em": 0 }, - "predict": " Пикалов мост построен через канал Грибоедова, который сливается с Фонтанкой.", + "predict": " Река, через которую построен Пикалов мост, сливается с рекой Мойкой. Это следует из того, что канал Грибоедова, в который встроен мост, берёт начало от реки Мойки у Марсова поля.", "sample": { "messages": [ { @@ -42323,17 +42323,17 @@ "info": { "prompt_len": 479, "generated_len": [ - 29 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.33333333333333337, + "f1": 0.25, "em": 0 }, - "predict": " Хайбедияха сливается в Малый Ямсовей.", + "predict": " Река Хайбедияха сливается в реку Малый Ямсовей.", "sample": { "messages": [ { @@ -42374,7 +42374,7 @@ "info": { "prompt_len": 178, "generated_len": [ - 45 + 36 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -42384,7 +42384,7 @@ "f1": 0, "em": 0 }, - "predict": " Река, притоком которой является Куербак, впадает в Китат.", + "predict": " Река, притоком которой является Куербак, в свою очередь впадает в Китат.", "sample": { "messages": [ { @@ -42425,7 +42425,7 @@ "info": { "prompt_len": 148, "generated_len": [ - 45 + 36 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -42482,7 +42482,7 @@ "info": { "prompt_len": 388, "generated_len": [ - 45 + 36 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -42539,7 +42539,7 @@ "info": { "prompt_len": 288, "generated_len": [ - 45 + 36 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -42549,7 +42549,7 @@ "f1": 0, "em": 0 }, - "predict": " Варшаве", + "predict": " Варшаве.", "sample": { "messages": [ { @@ -42590,7 +42590,7 @@ "info": { "prompt_len": 204, "generated_len": [ - 45 + 36 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -42600,7 +42600,7 @@ "f1": 0, "em": 0 }, - "predict": " Законодательный орган города, где родился Александр Степанович Бугаёв, называется Горловский городской совет.", + "predict": " Законодательным органом города Горловки, где родился Александр Степанович Бугаёв, является Горловский городской совет.", "sample": { "messages": [ { @@ -42641,17 +42641,17 @@ "info": { "prompt_len": 251, "generated_len": [ - 45 + 36 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2857142857142857, + "f1": 0.2666666666666667, "em": 0 }, - "predict": " Законодательный орган города, где родился Василий Сергеевич Любченко, называется Горловский городской совет.", + "predict": " Законодательный орган города Горловки, где родился Василий Сергеевич Любченко, — Горловский городской совет.", "sample": { "messages": [ { @@ -42692,17 +42692,17 @@ "info": { "prompt_len": 201, "generated_len": [ - 45 + 36 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.20689655172413793, + "f1": 0.23076923076923078, "em": 0 }, - "predict": " Глава администрации в регионе, где родился Андрей Андреевич Енжиевский, с 2013 года Владимир Владимирович Владимиров, исполняющий обязанности губернатора, а с 2014 года — официально избранный губернатором.", + "predict": " Глава администрации в регионе, где родился Андрей Андреевич Енжиевский, — это Владимир Владимирович Владимиров, который с 2013 года исполняет обязанности губернатора Ставропольского края.", "sample": { "messages": [ { @@ -42743,7 +42743,7 @@ "info": { "prompt_len": 337, "generated_len": [ - 45 + 36 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -42800,17 +42800,17 @@ "info": { "prompt_len": 408, "generated_len": [ - 24 + 25 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0.4444444444444445, + "em": 0 }, - "predict": " Олий Мажлис Республики Узбекистан", + "predict": " законодательный орган государства, гражданином которого является Александр Владимирович Саюн, называется Олий Мажлис Республики Узбекистан.", "sample": { "messages": [ { @@ -42857,7 +42857,7 @@ "info": { "prompt_len": 410, "generated_len": [ - 24 + 25 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -42867,7 +42867,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Громаковский, Юрий Анатольевич", + "predict": " Громаковский, Юрий Анатольевич.", "sample": { "messages": [ { @@ -42920,7 +42920,7 @@ "info": { "prompt_len": 255, "generated_len": [ - 24 + 25 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -42930,7 +42930,7 @@ "f1": 0, "em": 0 }, - "predict": " Вильва", + "predict": " Вильва.", "sample": { "messages": [ { @@ -42971,7 +42971,7 @@ "info": { "prompt_len": 341, "generated_len": [ - 24 + 25 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -42981,7 +42981,7 @@ "f1": 0, "em": 0 }, - "predict": " Хобза вливается в Варнавинский сбросной канал, который ранее впадал в Адагум.", + "predict": " Река, в которую впадает Хобза, ранее впадала в Адагум.", "sample": { "messages": [ { @@ -43022,7 +43022,7 @@ "info": { "prompt_len": 279, "generated_len": [ - 24 + 25 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -43073,17 +43073,17 @@ "info": { "prompt_len": 214, "generated_len": [ - 24 + 25 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.6666666666666666, + "f1": 0, "em": 0 }, - "predict": " Удская губа Охотского моря", + "predict": " Река Уда.", "sample": { "messages": [ { @@ -43136,7 +43136,7 @@ "info": { "prompt_len": 322, "generated_len": [ - 24 + 25 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -43187,7 +43187,7 @@ "info": { "prompt_len": 310, "generated_len": [ - 24 + 25 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -43197,7 +43197,7 @@ "f1": 0, "em": 0 }, - "predict": " Бисерть", + "predict": " Бисерть.", "sample": { "messages": [ { @@ -43244,7 +43244,7 @@ "info": { "prompt_len": 258, "generated_len": [ - 37 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -43254,7 +43254,7 @@ "f1": 0.4, "em": 0 }, - "predict": " Законодательный орган города, где умер Сурен Григорьевич Петросян, называется ереванский городской совет.", + "predict": " Законодательный орган города, где умер Сурен Григорьевич Петросян, называется ереванским городским советом.", "sample": { "messages": [ { @@ -43301,7 +43301,7 @@ "info": { "prompt_len": 264, "generated_len": [ - 37 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -43311,7 +43311,7 @@ "f1": 0.2857142857142857, "em": 0 }, - "predict": " Глава администрации в городе, где умер Наум Иосифович Каган (Челябинск), Евгений Тефтелев.", + "predict": " Главой администрации в Челябинске, где умер Наум Иосифович Каган, является Евгений Тефтелев.", "sample": { "messages": [ { @@ -43358,7 +43358,7 @@ "info": { "prompt_len": 313, "generated_len": [ - 37 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -43368,7 +43368,7 @@ "f1": 0, "em": 0 }, - "predict": " Тайлоково сливается в реку Большой Тап.", + "predict": " Река, в которую впадает Тайлоково, — Большой Тап.", "sample": { "messages": [ { @@ -43421,17 +43421,17 @@ "info": { "prompt_len": 255, "generated_len": [ - 37 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Карл Брюллов родился в Санкт-Петербурге.", + "predict": " Санкт-Петербург.", "sample": { "messages": [ { @@ -43472,17 +43472,17 @@ "info": { "prompt_len": 448, "generated_len": [ - 37 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.6666666666666666, + "f1": 0, "em": 0 }, - "predict": " Мариупольский горсовет", + "predict": " Городской совет.", "sample": { "messages": [ { @@ -43529,7 +43529,7 @@ "info": { "prompt_len": 348, "generated_len": [ - 37 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -43580,7 +43580,7 @@ "info": { "prompt_len": 194, "generated_len": [ - 37 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -43590,7 +43590,7 @@ "f1": 0.1, "em": 0 }, - "predict": " Франсиско Хосе Карраско тренировал команду \"Атлетико Малагеньо\", которая играет в Сегунде Б (Segunda División B), резервной лиге испанской Примеры.", + "predict": " Команда, тренером которой зовут Франсиско Хосе Карраско, \"Атлетико Малагеньо\", играла в Сегунде (втором по силе дивизионе испанской футбольной лиги).", "sample": { "messages": [ { @@ -43637,17 +43637,17 @@ "info": { "prompt_len": 486, "generated_len": [ - 37 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.375, + "f1": 0.15, "em": 0 }, - "predict": " Глава администрации в городе, где родился Михаил Николаевич Барышев, — Пётр Николаевич Тултаев.", + "predict": " Глава администрации в городе, где родился Михаил Николаевич Барышев (Саранск), Пётр Николаевич Тултаев. Он был назначен главой Администрации городского округа Саранск 19 июня 2012 года и избран на должность Главы городского округа Саранск 1 ноября 2016 года.", "sample": { "messages": [ { @@ -43688,7 +43688,7 @@ "info": { "prompt_len": 306, "generated_len": [ - 37 + 62 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -43739,17 +43739,17 @@ "info": { "prompt_len": 518, "generated_len": [ - 37 + 62 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2857142857142857, + "f1": 0.20689655172413793, "em": 0 }, - "predict": " Глава администрации Луганской области, где родилась Татьяна Николаевна Черкасова, с 25 октября 2019 года — Гайдай Сергей Владимирович.", + "predict": " В месте, где родилась Татьяна Николаевна Черкасова (Луганская область, УССР), главой администрации в период с 25 октября 2019 года по настоящее время является Сергей Владимирович Гайдай.", "sample": { "messages": [ { @@ -43796,17 +43796,17 @@ "info": { "prompt_len": 289, "generated_len": [ - 37 + 62 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.33333333333333337, + "f1": 0, "em": 0 }, - "predict": " Законодательная власть в городе, где появился на свет Арнольд Арамович Адамян, осуществляется ереванским городским советом.", + "predict": " Законодательный орган, работающий в городе, где появился на свет Арнольд Арамович Адамян, — ереванский городской совет.", "sample": { "messages": [ { @@ -43853,17 +43853,17 @@ "info": { "prompt_len": 256, "generated_len": [ - 37 + 62 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.6666666666666666, + "f1": 0, "em": 0 }, - "predict": " Император.", + "predict": " Действительный статский советник.", "sample": { "messages": [ { @@ -43904,7 +43904,7 @@ "info": { "prompt_len": 249, "generated_len": [ - 37 + 62 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -43961,7 +43961,7 @@ "info": { "prompt_len": 307, "generated_len": [ - 37 + 62 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -44012,7 +44012,7 @@ "info": { "prompt_len": 226, "generated_len": [ - 37 + 62 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -44022,7 +44022,7 @@ "f1": 0, "em": 0 }, - "predict": " Вологда", + "predict": " Вологда.", "sample": { "messages": [ { @@ -44075,17 +44075,17 @@ "info": { "prompt_len": 386, "generated_len": [ - 37 + 62 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.07999999999999999, + "f1": 0.08333333333333333, "em": 0 }, - "predict": " Законодательный орган, принимающий законы в Королевстве Бельгии, где родился и живет Люк Тёйманс, — Федеральный парламент, состоящий из двух палат: Палаты представителей и Сената.", + "predict": " Законодательный орган, принимающий законы в государстве, гражданином которого является Люк Тёйманс (Бельгия), — Федеральный парламент, состоящий из двух палат: Палаты представителей и Сената.", "sample": { "messages": [ { @@ -44132,7 +44132,7 @@ "info": { "prompt_len": 363, "generated_len": [ - 42 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -44142,7 +44142,7 @@ "f1": 0.23076923076923078, "em": 0 }, - "predict": " Глава администрации в городе, где родился Виктор Фёдорович Ерин, является мэром Казани. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", + "predict": " Главой администрации в городе Казани, где родился Виктор Фёдорович Ерин, является мэр. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", "sample": { "messages": [ { @@ -44183,17 +44183,17 @@ "info": { "prompt_len": 438, "generated_len": [ - 42 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2666666666666667, + "f1": 0.14814814814814814, "em": 0 }, - "predict": " Глава администрации в городе Королёв, где умер Михаил Ильич Мочалов, — Александр Ходырев.", + "predict": " Главой администрации в городе Королёв (ранее Калининград), где умер Михаил Ильич Мочалов, является Александр Ходырев, избранный 14 сентября 2014 года кандидатом от партии \"Единая Россия\".", "sample": { "messages": [ { @@ -44234,7 +44234,7 @@ "info": { "prompt_len": 335, "generated_len": [ - 42 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -44285,7 +44285,7 @@ "info": { "prompt_len": 188, "generated_len": [ - 42 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -44295,7 +44295,7 @@ "f1": 0, "em": 0 }, - "predict": " Сутка", + "predict": " Сутка.", "sample": { "messages": [ { @@ -44348,7 +44348,7 @@ "info": { "prompt_len": 419, "generated_len": [ - 42 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -44358,7 +44358,7 @@ "f1": 0, "em": 0 }, - "predict": " Река Пышья впадает в Лопан.", + "predict": " Река Пышья в свою очередь впадает в реку Лопан.", "sample": { "messages": [ { @@ -44405,7 +44405,7 @@ "info": { "prompt_len": 212, "generated_len": [ - 42 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -44415,7 +44415,7 @@ "f1": 0.23076923076923078, "em": 0 }, - "predict": " Глава администрации в городе, где родился Сергей Ефремович Пермяков, является мэром Казани. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", + "predict": " Главой администрации в городе Казани, где родился Сергей Ефремович Пермяков, является мэр. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", "sample": { "messages": [ { @@ -44456,7 +44456,7 @@ "info": { "prompt_len": 505, "generated_len": [ - 42 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -44466,7 +44466,7 @@ "f1": 0, "em": 0 }, - "predict": " Премьер-лига", + "predict": " В Лиге Европы.", "sample": { "messages": [ { @@ -44507,17 +44507,17 @@ "info": { "prompt_len": 486, "generated_len": [ - 42 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.6666666666666666, + "f1": 0.36363636363636365, "em": 0 }, - "predict": " Городская дума Нижнего Новгорода", + "predict": " Законодательный орган города, где родилась Римма Ивановна Белякова (Горький), — Городская дума Нижнего Новгорода.", "sample": { "messages": [ { @@ -44564,17 +44564,17 @@ "info": { "prompt_len": 575, "generated_len": [ - 34 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.35294117647058826, + "f1": 0.25, "em": 0 }, - "predict": " Законодательная власть в городе Ереван, где умер Жак Ншанович Суприкян, осуществляется ерев��нским городским советом.", + "predict": " В городе, где умер Жак Ншанович Суприкян (Ереван, Армения), законодательный орган — ереванский городской совет. Главой этого органа является мэр Еревана.", "sample": { "messages": [ { @@ -44621,7 +44621,7 @@ "info": { "prompt_len": 283, "generated_len": [ - 34 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -44631,7 +44631,7 @@ "f1": 0, "em": 0 }, - "predict": " В реку Хабинейёган впадает река Антипаю.", + "predict": " Река, в которую впадает Антипаю, — это Хабинейёган.", "sample": { "messages": [ { @@ -44672,17 +44672,17 @@ "info": { "prompt_len": 253, "generated_len": [ - 34 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.21052631578947367, + "f1": 0.1904761904761905, "em": 0 }, - "predict": " Законодательный орган, работающий в городе, где появился на свет Модест Тихонович Третьяков, — Городская дума Нижнего Новгорода.", + "predict": " Законодательный орган, работающий в городе, где появился на свет Модест Тихонович Третьяков (Нижний Новгород), — Городская дума Нижнего Новгорода.", "sample": { "messages": [ { @@ -44729,7 +44729,7 @@ "info": { "prompt_len": 369, "generated_len": [ - 34 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -44739,7 +44739,7 @@ "f1": 0, "em": 0 }, - "predict": " Бича", + "predict": " Тоурнас вливается в реку Бича.", "sample": { "messages": [ { @@ -44780,7 +44780,7 @@ "info": { "prompt_len": 241, "generated_len": [ - 34 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -44843,7 +44843,7 @@ "info": { "prompt_len": 310, "generated_len": [ - 34 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -44894,7 +44894,7 @@ "info": { "prompt_len": 527, "generated_len": [ - 34 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -44945,7 +44945,7 @@ "info": { "prompt_len": 269, "generated_len": [ - 34 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -44955,7 +44955,7 @@ "f1": 0, "em": 0 }, - "predict": " Губернатор Тульской области", + "predict": " Губернатор Тульской области.", "sample": { "messages": [ { @@ -44996,7 +44996,7 @@ "info": { "prompt_len": 210, "generated_len": [ - 62 + 58 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -45047,7 +45047,7 @@ "info": { "prompt_len": 468, "generated_len": [ - 62 + 58 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -45057,7 +45057,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Станислав Воскресенский", + "predict": " Станислав Воскресенский.", "sample": { "messages": [ { @@ -45098,7 +45098,7 @@ "info": { "prompt_len": 495, "generated_len": [ - 62 + 58 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -45149,17 +45149,17 @@ "info": { "prompt_len": 539, "generated_len": [ - 62 + 58 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.18181818181818182, "em": 0 }, - "predict": " Законодательный орган, работающий в стране гражданства Сальвадора Пинеды (Мексика), состоит из двух палат: Сенат (128 мест, избираются на 6-летний срок) и Палата депутатов (500 мест, избираются на 3-летний срок).", + "predict": " Законодательный орган, работающий в стране гражданства Сальвадора Пинеды (Мексика), — это двухпалатный Конгресс Мексики, состоящий из Сената и Палаты депутатов.", "sample": { "messages": [ { @@ -45200,17 +45200,17 @@ "info": { "prompt_len": 451, "generated_len": [ - 62 + 58 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.05128205128205128, "em": 0 }, - "predict": " На территории, которую сейчас занимает Костромская губерния, раньше существовало Костромское наместничество, существовавшее с 1778 по 1796 годы.", + "predict": " Прежде чем была образована Костромская губерния, на территории, которая сейчас занимает Костромскую губернию, существовало Костромское наместничество. Оно было создано в 1778 году и просуществовало до 1796 года, после чего было преобразовано в Костромскую губернию.", "sample": { "messages": [ { @@ -45257,7 +45257,7 @@ "info": { "prompt_len": 269, "generated_len": [ - 62 + 58 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -45308,17 +45308,17 @@ "info": { "prompt_len": 241, "generated_len": [ - 62 + 58 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2857142857142857, + "f1": 0.2666666666666667, "em": 0 }, - "predict": " Глава администрации в городе, где родился Денис Александрович Кудрявцев (Челябинск), Евгений Тефтелев.", + "predict": " Главой администрации в городе, где родился Денис Александрович Кудрявцев (Челябине), является Евгений Тефтелев.", "sample": { "messages": [ { @@ -45365,17 +45365,17 @@ "info": { "prompt_len": 364, "generated_len": [ - 62 + 58 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.19999999999999998, + "f1": 0.25, "em": 0 }, - "predict": " Сценист фильма \"Куб Ноль\" Эрни Барбараш родом из США.", + "predict": " Сценист фильма \"Куб Ноль\" родом из США.", "sample": { "messages": [ { @@ -45416,7 +45416,7 @@ "info": { "prompt_len": 151, "generated_len": [ - 53 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -45426,7 +45426,7 @@ "f1": 0.2666666666666667, "em": 0 }, - "predict": " Главой администрации в городе, где родился Вячеслав Леонидович Войнов (Челябинск), является Евгений Тефтелев.", + "predict": " Главой администрации в городе Челябинске, где родился Вячеслав Леонидович Войнов, является Евгений Тефтелев.", "sample": { "messages": [ { @@ -45473,17 +45473,17 @@ "info": { "prompt_len": 448, "generated_len": [ - 53 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.24000000000000002, + "f1": 0.33333333333333337, "em": 0 }, - "predict": " Глава администрации в городе, где родился Роберт Юрьевич Ильясов, является мэр. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", + "predict": " Главой администрации в городе Казани, где родился Роберт Юрьевич Ильясов, является мэр И. Р. Метшин.", "sample": { "messages": [ { @@ -45524,17 +45524,17 @@ "info": { "prompt_len": 276, "generated_len": [ - 53 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.33333333333333337, + "f1": 0.6666666666666666, "em": 0 }, - "predict": " однопалатный парламент с 225 местами", + "predict": " Парламент Шри-Ланки", "sample": { "messages": [ { @@ -45581,7 +45581,7 @@ "info": { "prompt_len": 417, "generated_len": [ - 53 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -45632,17 +45632,17 @@ "info": { "prompt_len": 212, "generated_len": [ - 53 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.16, "em": 0 }, - "predict": " Законодательный орган, работающий в стране гражданства Свами Рамдева (Индия), состоит из двух палат: верхней палаты, называемой \"Раджья сабха\" (Совет штатов), и нижней палаты \"Лок сабхи\" (Народная палата).", + "predict": " Законодательный орган, работающий в стране гражданства Свами Рамдева (Индии), — двухпалатный парламент, состоящий из верхней палаты \"Раджья сабха\" и нижней палаты \"Лок сабхи\".", "sample": { "messages": [ { @@ -45689,7 +45689,7 @@ "info": { "prompt_len": 426, "generated_len": [ - 53 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -45699,7 +45699,7 @@ "f1": 0.4, "em": 0 }, - "predict": " В городе Горловка, где умер Александр Ефимович Тюренков, работает Горловский городской совет.", + "predict": " В городе Горловке, где умер Александр Ефимович Тюренков, работает Горловский городской совет.", "sample": { "messages": [ { @@ -45740,7 +45740,7 @@ "info": { "prompt_len": 225, "generated_len": [ - 53 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -45750,7 +45750,7 @@ "f1": 0, "em": 0 }, - "predict": " Палата представителей (Бельгия)", + "predict": " Палата представителей Бельгии.", "sample": { "messages": [ { @@ -45797,7 +45797,7 @@ "info": { "prompt_len": 309, "generated_len": [ - 53 + 45 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -45807,7 +45807,7 @@ "f1": 0, "em": 0 }, - "predict": " Законодательный орган, работающий в стране гражданства Армана Мейбома (Бельгия), состоит из двух палат: Нижняя палата парламента — палата представителей (Королевский Сенат) и Верхняя палата — Сенат. Обе палаты избираются прямым голосованием раз в четыре года.", + "predict": " Законодательный орган, работающий в стране гражданства Армана Мейбома (Бельгия), — это Федеральный парламент, состоящий из двух палат: Палаты представителей и Сената.", "sample": { "messages": [ { @@ -45854,7 +45854,7 @@ "info": { "prompt_len": 358, "generated_len": [ - 58 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -45864,7 +45864,7 @@ "f1": 0, "em": 0 }, - "predict": " Инсар", + "predict": " Инсар.", "sample": { "messages": [ { @@ -45911,7 +45911,7 @@ "info": { "prompt_len": 496, "generated_len": [ - 58 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -45962,17 +45962,17 @@ "info": { "prompt_len": 378, "generated_len": [ - 58 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Куръёх", + "predict": " Казым", "sample": { "messages": [ { @@ -46013,17 +46013,17 @@ "info": { "prompt_len": 205, "generated_len": [ - 58 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.3076923076923077, + "f1": 0.2857142857142857, "em": 0 }, - "predict": " Команда, за тренировки которой отвечает Омар Даф, играет в Лиге 2.", + "predict": " Команда \"Сошо\", за тренировки которой отвечает Омар Даф, играет в Лиге 2.", "sample": { "messages": [ { @@ -46064,17 +46064,17 @@ "info": { "prompt_len": 338, "generated_len": [ - 58 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.08333333333333333, + "f1": 0.09523809523809523, "em": 0 }, - "predict": " Законодательный орган государства, гражданином которого является Шарль Жузере, называется Федеральный парламент. В его состав входят нижняя палата (палата представителей) и верхняя палата (сенат).", + "predict": " Законодательным органом государства, гражданином которого является Шарль Жузере, является Федеральный парламент Бельгии, состоящий из двух палат: Палаты представителей и Сената.", "sample": { "messages": [ { @@ -46121,7 +46121,7 @@ "info": { "prompt_len": 269, "generated_len": [ - 58 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -46131,7 +46131,7 @@ "f1": 0, "em": 0 }, - "predict": " Река, питающаяся от реки, притоком которой является Линсфербах, называется Эдер.", + "predict": " Река, питающаяся от реки, притоком которой является Линсфербах, — это Эдер.", "sample": { "messages": [ { @@ -46178,7 +46178,7 @@ "info": { "prompt_len": 263, "generated_len": [ - 58 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -46229,7 +46229,7 @@ "info": { "prompt_len": 310, "generated_len": [ - 58 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -46239,7 +46239,7 @@ "f1": 0, "em": 0 }, - "predict": " Шяуляйский район", + "predict": " Шяуляйский уезд", "sample": { "messages": [ { @@ -46290,7 +46290,7 @@ "f1": 0.6666666666666666, "em": 0 }, - "predict": " Император Всероссийский", + "predict": " Император Всероссийский.", "sample": { "messages": [ { @@ -46341,7 +46341,7 @@ "f1": 0, "em": 0 }, - "predict": " Шапкиной", + "predict": " Шапкиной.", "sample": { "messages": [ { @@ -46446,10 +46446,10 @@ } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0, + "em": 0 }, - "predict": " Кильмезь", + "predict": " Вала", "sample": { "messages": [ { @@ -46506,7 +46506,7 @@ "f1": 0, "em": 0 }, - "predict": " Река, в которую впадает Пежъю, это Мезень.", + "predict": " Река, в которую впадает Пежъю, сливается с рекой Мезень.", "sample": { "messages": [ { @@ -46665,7 +46665,7 @@ "f1": 0, "em": 0 }, - "predict": " Река, в которую впадает Саловаяха, это Тыдэоттаяха.", + "predict": " Река Саловаяха сливается в Тыдэоттаяху.", "sample": { "messages": [ { @@ -46706,7 +46706,7 @@ "info": { "prompt_len": 219, "generated_len": [ - 17 + 34 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -46716,7 +46716,7 @@ "f1": 0, "em": 0 }, - "predict": " Охаръя вливается в Северную Сосьву.", + "predict": " Река, в которую впадает Охаръя, — Северная Сосьва.", "sample": { "messages": [ { @@ -46757,17 +46757,17 @@ "info": { "prompt_len": 259, "generated_len": [ - 17 + 34 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0.25, + "em": 0 }, - "predict": " Сиэтл", + "predict": " Место рождения дочери Дэвида Денни — Сиэтл.", "sample": { "messages": [ { @@ -46814,17 +46814,17 @@ "info": { "prompt_len": 493, "generated_len": [ - 17 + 34 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.6666666666666666, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Минск, СССР", + "predict": " Минск.", "sample": { "messages": [ { @@ -46865,7 +46865,7 @@ "info": { "prompt_len": 277, "generated_len": [ - 17 + 34 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -46875,7 +46875,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Громаковский, Юрий Анатольевич", + "predict": " Громаковский, Юрий Анатольевич.", "sample": { "messages": [ { @@ -46916,7 +46916,7 @@ "info": { "prompt_len": 302, "generated_len": [ - 17 + 34 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -46926,7 +46926,7 @@ "f1": 0, "em": 0 }, - "predict": " Глава администрации в городе, где родился Александр Сергеевич Панцырев, является мэр.", + "predict": " Глава администрации в городе Казани, где родился Александр Сергеевич Панцырев, является мэр.", "sample": { "messages": [ { @@ -46967,17 +46967,17 @@ "info": { "prompt_len": 251, "generated_len": [ - 17 + 34 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2857142857142857, + "f1": 0.17391304347826084, "em": 0 }, - "predict": " Евгений Авилов является главой администрации в городе, где родился Валерий Владимирович Поляков.", + "predict": " Глава администрации в городе, где родился Валерий Владимирович Поляков (Тула), с 19 марта 2012 года по настоящее время — Евгений Авилов.", "sample": { "messages": [ { @@ -47018,7 +47018,7 @@ "info": { "prompt_len": 458, "generated_len": [ - 17 + 34 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -47075,7 +47075,7 @@ "info": { "prompt_len": 676, "generated_len": [ - 17 + 34 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -47085,7 +47085,7 @@ "f1": 0, "em": 0 }, - "predict": " Река, в которую впадает Заманты, это Сейхан.", + "predict": " Река, в которую впадает Заманты, — это река Сейхан.", "sample": { "messages": [ { @@ -47126,7 +47126,7 @@ "info": { "prompt_len": 248, "generated_len": [ - 30 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -47189,7 +47189,7 @@ "info": { "prompt_len": 456, "generated_len": [ - 30 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -47199,7 +47199,7 @@ "f1": 0, "em": 0 }, - "predict": " Город Балашиха раньше существовал отдельно от города, где умер Пётр Ильич Сурков.", + "predict": " Город Балашиха раньше существовал отдельно от города, где умер Пётр Ильич Сурков. В тексте 1 указано, что Пётр Ильич Сурков скончался в городе Балашиха, который в то время был отдельным городом. В тексте 2 указано, что Балашиха — это город в России, в центре Московской области,", "sample": { "messages": [ { @@ -47240,7 +47240,7 @@ "info": { "prompt_len": 229, "generated_len": [ - 30 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -47291,7 +47291,7 @@ "info": { "prompt_len": 710, "generated_len": [ - 30 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -47342,17 +47342,17 @@ "info": { "prompt_len": 191, "generated_len": [ - 30 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2666666666666667, + "f1": 0.25, "em": 0 }, - "predict": " Глава администрации в городе Гавре, где родился Матиас Дюран-Рейнальдо, Люк Лемонье (Luc Lemonnier).", + "predict": " Глава администрации в городе Гавре, где родился Матиас Дюран-Рейнальдо, — Люк Лемонье (Luc Lemonnier).", "sample": { "messages": [ { @@ -47393,7 +47393,7 @@ "info": { "prompt_len": 270, "generated_len": [ - 30 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -47450,17 +47450,17 @@ "info": { "prompt_len": 321, "generated_len": [ - 30 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.35294117647058826, "em": 0 }, - "predict": " Глава города, где родился Мефодий (Зайцев), является мэр.", + "predict": " Главой администрации в городе Казани, где родился Мефодий (Зайцев), является мэр И. Р. Метшин.", "sample": { "messages": [ { @@ -47501,7 +47501,7 @@ "info": { "prompt_len": 275, "generated_len": [ - 30 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -47552,17 +47552,17 @@ "info": { "prompt_len": 200, "generated_len": [ - 33 + 43 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.1904761904761905, + "f1": 0, "em": 0 }, - "predict": " Глава администрации в городе, где родился Станислав Андреевич Намашко, с 23 декабря 2016 года — Олег Анатольевич Довгопол.", + "predict": " Глава администрации в городе Тирасполе, где родился Станислав Андреевич Намашко, на момент последнего упоминания (22 декабря 2016 года) был Сергей Валерьевич Данилюк.", "sample": { "messages": [ { @@ -47609,7 +47609,7 @@ "info": { "prompt_len": 605, "generated_len": [ - 33 + 43 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -47619,7 +47619,7 @@ "f1": 0, "em": 0 }, - "predict": " Синкъях сливается с рекой Нёгусъях.", + "predict": " Синкъях вливается в реку Нёгусъях.", "sample": { "messages": [ { @@ -47660,7 +47660,7 @@ "info": { "prompt_len": 236, "generated_len": [ - 33 + 43 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -47717,7 +47717,7 @@ "info": { "prompt_len": 201, "generated_len": [ - 33 + 43 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -47727,7 +47727,7 @@ "f1": 0, "em": 0 }, - "predict": " Река, в которую впадает Пактол, сливается с Герм (Гедиз).", + "predict": " Река, в которую впадает Пактол, сливается с рекой Герм (Гедиз).", "sample": { "messages": [ { @@ -47792,7 +47792,7 @@ "info": { "prompt_len": 245, "generated_len": [ - 33 + 43 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -47802,7 +47802,7 @@ "f1": 0, "em": 0 }, - "predict": " Федеральный парламент", + "predict": " Палата представителей (нижняя палата парламента)", "sample": { "messages": [ { @@ -47843,7 +47843,7 @@ "info": { "prompt_len": 465, "generated_len": [ - 33 + 43 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -47900,17 +47900,17 @@ "info": { "prompt_len": 282, "generated_len": [ - 33 + 43 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.25, "em": 0 }, - "predict": " Город рождения Антиповой Юлии Валерьевны — Зеленоград, который является административным округом Москвы.", + "predict": " Город рождения Юлии Валерьевны Антиповой, Зеленоград, находится в административной области Зеленоградский административный округ, который является одним из 12 административных округов Москвы.", "sample": { "messages": [ { @@ -47957,7 +47957,7 @@ "info": { "prompt_len": 471, "generated_len": [ - 33 + 43 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -48008,7 +48008,7 @@ "info": { "prompt_len": 496, "generated_len": [ - 24 + 31 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -48018,7 +48018,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Ереванский городской совет", + "predict": " Ереванский городской совет.", "sample": { "messages": [ { @@ -48065,17 +48065,17 @@ "info": { "prompt_len": 382, "generated_len": [ - 24 + 31 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.25, + "f1": 0, "em": 0 }, - "predict": " Глава города Подольска, где родился Владимир Алексеевич Комков, в настоящее время — Николай Пестов.", + "predict": " Глава администрации в городе Подольске, где родился Владимир Алексеевич Комков, является Николаем Пестовым.", "sample": { "messages": [ { @@ -48116,17 +48116,17 @@ "info": { "prompt_len": 339, "generated_len": [ - 24 + 31 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2857142857142857, + "f1": 0.2666666666666667, "em": 0 }, - "predict": " Глава администрации в городе, где родился Марат Зиннурович Зарипов, — Евгений Тефтелев.", + "predict": " Главой администрации в городе Челябинске, где родился Марат Зиннурович Зарипов, является Евгений Тефтелев.", "sample": { "messages": [ { @@ -48173,17 +48173,17 @@ "info": { "prompt_len": 321, "generated_len": [ - 24 + 31 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.19999999999999998, + "f1": 0, "em": 0 }, - "predict": " С рекой Мезень сливается река, в которую впадает Визеньга.", + "predict": " С рекой Кыма сливается река Визеньга.", "sample": { "messages": [ { @@ -48230,7 +48230,7 @@ "info": { "prompt_len": 172, "generated_len": [ - 24 + 31 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -48240,7 +48240,7 @@ "f1": 0, "em": 0 }, - "predict": " Законодательный орган города, где умер Юрий Александрович Марченков, называется Горсовет (Государственный Совет).", + "predict": " Законодательный орган города, где умер Юрий Александрович Марченков (Горький, Нижний Новгород), называется Горсовет (Государственный Совет).", "sample": { "messages": [ { @@ -48299,7 +48299,7 @@ "info": { "prompt_len": 615, "generated_len": [ - 24 + 31 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -48309,7 +48309,7 @@ "f1": 0, "em": 0 }, - "predict": " Георгий Ивашкевич занимал должность Апостольского администратора Могилёвской митр��полии в Российской империи.", + "predict": " Апостольский администратор", "sample": { "messages": [ { @@ -48356,7 +48356,7 @@ "info": { "prompt_len": 373, "generated_len": [ - 24 + 31 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -48366,7 +48366,7 @@ "f1": 0, "em": 0 }, - "predict": " Река Косшор впадает в реку Неруту.", + "predict": " Река, притоком которой является Косшор, — Нерута.", "sample": { "messages": [ { @@ -48407,7 +48407,7 @@ "info": { "prompt_len": 257, "generated_len": [ - 24 + 31 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -48464,17 +48464,17 @@ "info": { "prompt_len": 234, "generated_len": [ - 38 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0.6666666666666666, + "em": 0 }, - "predict": " Городская дума", + "predict": " Городская дума Нижнего Новгорода", "sample": { "messages": [ { @@ -48521,17 +48521,17 @@ "info": { "prompt_len": 479, "generated_len": [ - 38 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.19999999999999998, + "f1": 0.13333333333333333, "em": 0 }, - "predict": " Глава администрации в городе Туле, где родился Валерий Эдмундович Берлин, с 29 сентября 2014 года — Юрий Цкипури.", + "predict": " Глава администрации в городе Туле, где родился Валерий Эдмундович Берлин, — Юрий Цкипури. Он был избран мэром Тулы 29 сентября 2014 года на первом заседании Тульской городской Думы.", "sample": { "messages": [ { @@ -48572,7 +48572,7 @@ "info": { "prompt_len": 427, "generated_len": [ - 38 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -48623,7 +48623,7 @@ "info": { "prompt_len": 287, "generated_len": [ - 38 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -48633,7 +48633,7 @@ "f1": 0, "em": 0 }, - "predict": " Ендырь", + "predict": " Майпанъёх впадает в Ендырь.", "sample": { "messages": [ { @@ -48674,17 +48674,17 @@ "info": { "prompt_len": 276, "generated_len": [ - 38 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.6666666666666666, + "f1": 0.16666666666666669, "em": 0 }, - "predict": " Северный Кондас", + "predict": " Река, питающаяся от реки, притоком которой является Лемзер, называется Северный Кондас.", "sample": { "messages": [ { @@ -48725,7 +48725,7 @@ "info": { "prompt_len": 166, "generated_len": [ - 38 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -48735,7 +48735,7 @@ "f1": 0.19999999999999998, "em": 0 }, - "predict": " В городе, где родился Антоний Марцельевич Ходурский (Батуми), главой администрации с 13 ноября 2017 года является Лаша Комахидзе.", + "predict": " Глава администрации в городе Батуми, где родился Антоний Марцельевич Ходурский, с 13 ноября 2017 года — Лаша Комахидзе.", "sample": { "messages": [ { @@ -48776,7 +48776,7 @@ "info": { "prompt_len": 259, "generated_len": [ - 38 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -48786,7 +48786,7 @@ "f1": 0, "em": 0 }, - "predict": " Река, питающаяся от реки, притоком которой является Средняя Юрма, называется Большая Юрма (или просто Юрма).", + "predict": " Река, питающаяся от реки, притоком которой является Средняя Юрма, называется Юрма (Большая Юрма).", "sample": { "messages": [ { @@ -48833,7 +48833,7 @@ "info": { "prompt_len": 166, "generated_len": [ - 38 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -48843,7 +48843,7 @@ "f1": 0, "em": 0 }, - "predict": " Воръя", + "predict": " Река, питающаяся от реки, притоком которой является Яныг-Инквор, называется Воръя. Яныг-Инквор является притоком реки Воръя.", "sample": { "messages": [ { @@ -48884,7 +48884,7 @@ "info": { "prompt_len": 194, "generated_len": [ - 17 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -48894,7 +48894,7 @@ "f1": 0, "em": 0 }, - "predict": " Донецкий областной совет работает в городе, где родился Артём Анатольевич Клименко.", + "predict": " В городе, где родился Артём Анатольевич Клименко (Мариуполь), работает Донецкий областной совет.", "sample": { "messages": [ { @@ -48941,7 +48941,7 @@ "info": { "prompt_len": 319, "generated_len": [ - 17 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -48951,7 +48951,7 @@ "f1": 0, "em": 0 }, - "predict": " Собтыёган", + "predict": " Собтыёган.", "sample": { "messages": [ { @@ -48992,7 +48992,7 @@ "info": { "prompt_len": 341, "generated_len": [ - 17 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -49043,7 +49043,7 @@ "info": { "prompt_len": 355, "generated_len": [ - 17 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -49053,7 +49053,7 @@ "f1": 0, "em": 0 }, - "predict": " Москва-река", + "predict": " Москва", "sample": { "messages": [ { @@ -49100,7 +49100,7 @@ "info": { "prompt_len": 436, "generated_len": [ - 17 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -49110,7 +49110,7 @@ "f1": 0, "em": 0 }, - "predict": " Вятка.", + "predict": " Река, в которую впадает Пыжманка, — Вятка.", "sample": { "messages": [ { @@ -49157,17 +49157,17 @@ "info": { "prompt_len": 340, "generated_len": [ - 17 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.4, + "f1": 0.6666666666666666, "em": 0 }, - "predict": " Городская дума", + "predict": " Городская дума Нижнего Новгорода.", "sample": { "messages": [ { @@ -49214,7 +49214,7 @@ "info": { "prompt_len": 435, "generated_len": [ - 17 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -49271,7 +49271,7 @@ "info": { "prompt_len": 301, "generated_len": [ - 17 + 39 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -49281,7 +49281,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Громаковский, Юрий Анатольевич", + "predict": " Громаковский, Юрий Анатольевич.", "sample": { "messages": [ { @@ -49328,17 +49328,17 @@ "info": { "prompt_len": 408, "generated_len": [ - 45 + 38 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.17391304347826084, "em": 0 }, - "predict": " В Исламской Республике Иран главой государства является Верховный лидер, который избирается Советом экспертов и подотчётен ему. В период, когда Мехди Толути участвовал в соревнованиях, главой был Али Хаменеи.", + "predict": " Глава государства в Исламской Республике Иран, гражданином ��оторой был Мехди Толути, называется \"Высший руководитель\" или \"Рахбар\". Этот пост занимает Али Хаменеи.", "sample": { "messages": [ { @@ -49391,7 +49391,7 @@ "info": { "prompt_len": 472, "generated_len": [ - 45 + 38 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -49401,7 +49401,7 @@ "f1": 0, "em": 0 }, - "predict": " Варсынгъёхан.", + "predict": " Река, питающаяся от реки, притоком которой является Варсынгъёхан, называется Хоръёхан.", "sample": { "messages": [ { @@ -49442,7 +49442,7 @@ "info": { "prompt_len": 168, "generated_len": [ - 45 + 38 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -49452,7 +49452,7 @@ "f1": 0, "em": 0 }, - "predict": " Река Вятка.", + "predict": " Река Юртик сливается в реку Вятку.", "sample": { "messages": [ { @@ -49505,7 +49505,7 @@ "info": { "prompt_len": 376, "generated_len": [ - 45 + 38 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -49515,7 +49515,7 @@ "f1": 0, "em": 0 }, - "predict": " Чижапка", + "predict": " Чагва вливается в реку Чижапка.", "sample": { "messages": [ { @@ -49562,7 +49562,7 @@ "info": { "prompt_len": 321, "generated_len": [ - 45 + 38 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -49572,7 +49572,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Денис Юрьевич Лебедев", + "predict": " Лебедев Денис Юрьевич", "sample": { "messages": [ { @@ -49619,17 +49619,17 @@ "info": { "prompt_len": 231, "generated_len": [ - 45 + 38 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0.6666666666666666, + "em": 0 }, - "predict": " гора Снежка", + "predict": " гора Снежка (1602 м)", "sample": { "messages": [ { @@ -49676,7 +49676,7 @@ "info": { "prompt_len": 434, "generated_len": [ - 45 + 38 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -49686,7 +49686,7 @@ "f1": 0, "em": 0 }, - "predict": " Висвож впадает в Кыбантывис.", + "predict": " Висвож является притоком реки Кыбантывис.", "sample": { "messages": [ { @@ -49733,7 +49733,7 @@ "info": { "prompt_len": 154, "generated_len": [ - 45 + 38 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -49743,7 +49743,7 @@ "f1": 0.35294117647058826, "em": 0 }, - "predict": " Руслан Николаевич Кухарук является главой администрации в городе Тюмени, где родился Виктор Евгеньевич Леоненко.", + "predict": " Главой администрации в городе Тюмени, где родился Виктор Евгеньевич Леоненко, является Руслан Николаевич Кухарук.", "sample": { "messages": [ { @@ -49794,7 +49794,7 @@ "f1": 0, "em": 0 }, - "predict": " Ереванский городской совет", + "predict": " Ереванский городской совет.", "sample": { "messages": [ { @@ -49896,7 +49896,7 @@ "f1": 0.6666666666666666, "em": 0 }, - "predict": " Городская дума Нижнего Новгорода", + "predict": " Городская дума Нижнего Новгорода.", "sample": { "messages": [ { @@ -49950,10 +49950,10 @@ } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0, + "em": 0 }, - "predict": " Белка", + "predict": " Ахко", "sample": { "messages": [ { @@ -50004,7 +50004,7 @@ "f1": 0, "em": 0 }, - "predict": " Река, в которую впадает Телюбай, — Каерлык.", + "predict": " Река Телюбай сливается в реку Каерлык.", "sample": { "messages": [ { @@ -50052,10 +50052,10 @@ } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0.3, + "em": 0 }, - "predict": " Владимир Владимирович Владимиров", + "predict": " Анатолий Сергеевич Куликов родился в Ставропольском крае. В настоящее время главой администрации региона является Владимир Владимирович Владимиров.", "sample": { "messages": [ { @@ -50154,10 +50154,10 @@ } { "metric": { - "f1": 0, + "f1": 0.2222222222222222, "em": 0 }, - "predict": " У принцессы Елизаветы, герцогини Брабантской, мать Матильда имеет польское и бельгийское гражданство.", + "predict": " Матильда, мать Елизаветы, герцогини Брабантской, имеет гражданство Бельгии.", "sample": { "messages": [ { @@ -50204,7 +50204,7 @@ "info": { "prompt_len": 489, "generated_len": [ - 33 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -50214,7 +50214,7 @@ "f1": 0, "em": 0 }, - "predict": " Команда, тренером которой является Жорже Кошта, играет в Лиге I Румынии.", + "predict": " Команда, тренером которой является Жорже Кошта, играет в Лиге I Румынии. Это следует из текста 2, где указано, что ЧФР Клуж выступает в Лиге I.", "sample": { "messages": [ { @@ -50261,7 +50261,7 @@ "info": { "prompt_len": 310, "generated_len": [ - 33 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -50271,7 +50271,7 @@ "f1": 0, "em": 0 }, - "predict": " Щара", + "predict": " Щара.", "sample": { "messages": [ { @@ -50324,7 +50324,7 @@ "info": { "prompt_len": 327, "generated_len": [ - 33 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -50375,7 +50375,7 @@ "info": { "prompt_len": 239, "generated_len": [ - 33 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -50385,7 +50385,7 @@ "f1": 0, "em": 0 }, - "predict": " Ереванский городской совет", + "predict": " Ереванский городской совет.", "sample": { "messages": [ { @@ -50426,7 +50426,7 @@ "info": { "prompt_len": 187, "generated_len": [ - 33 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -50477,7 +50477,7 @@ "info": { "prompt_len": 331, "generated_len": [ - 33 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -50487,7 +50487,7 @@ "f1": 0, "em": 0 }, - "predict": " В Кобру", + "predict": " Кобра", "sample": { "messages": [ { @@ -50540,7 +50540,7 @@ "info": { "prompt_len": 391, "generated_len": [ - 33 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -50550,7 +50550,7 @@ "f1": 0, "em": 0 }, - "predict": " Ахко", + "predict": " Ахко. Река Ахко питается от реки Бох-Джага, которая является её притоком.", "sample": { "messages": [ { @@ -50591,7 +50591,7 @@ "info": { "prompt_len": 247, "generated_len": [ - 33 + 37 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -50642,7 +50642,7 @@ "info": { "prompt_len": 174, "generated_len": [ - 19 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -50693,17 +50693,17 @@ "info": { "prompt_len": 221, "generated_len": [ - 19 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.18181818181818182, + "f1": 0, "em": 0 }, - "predict": " Кокуйка питается от реки Ница, которая является правым притоком Туры.", + "predict": " Река, питающаяся от реки, п��итоком которой является Кокуйка, называется Ница.", "sample": { "messages": [ { @@ -50750,7 +50750,7 @@ "info": { "prompt_len": 194, "generated_len": [ - 19 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -50801,7 +50801,7 @@ "info": { "prompt_len": 671, "generated_len": [ - 19 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -50852,7 +50852,7 @@ "info": { "prompt_len": 631, "generated_len": [ - 19 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -50909,7 +50909,7 @@ "info": { "prompt_len": 278, "generated_len": [ - 19 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -50919,7 +50919,7 @@ "f1": 0, "em": 0 }, - "predict": " Хулучай сливается в реку Самур.", + "predict": " Река Хулучай сливается в реку Самур.", "sample": { "messages": [ { @@ -50960,17 +50960,17 @@ "info": { "prompt_len": 408, "generated_len": [ - 19 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2857142857142857, + "f1": 0.08695652173913045, "em": 0 }, - "predict": " Команда, тренера которой зовут Карлос Де лос Кобос, играет в Лиге МХ.", + "predict": " Команда, тренером которой зовут Карлос Де лос Кобос, играет в Лиге МХ (высшем дивизионе Мексики). Это следует из информации в первом тексте, где говорится о его клубной карьере, в том числе о его возвращении в \"Керетаро\" в третий раз в 1993 году, и из", "sample": { "messages": [ { @@ -51017,7 +51017,7 @@ "info": { "prompt_len": 556, "generated_len": [ - 19 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -51027,7 +51027,7 @@ "f1": 0, "em": 0 }, - "predict": " Аварское Койсу", + "predict": " Аварское Койсу.", "sample": { "messages": [ { @@ -51074,7 +51074,7 @@ "info": { "prompt_len": 366, "generated_len": [ - 47 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -51084,7 +51084,7 @@ "f1": 0, "em": 0 }, - "predict": " Пелым", + "predict": " Река, питающаяся от реки, притоком которой является Коутья, называется Пелым.", "sample": { "messages": [ { @@ -51125,17 +51125,17 @@ "info": { "prompt_len": 181, "generated_len": [ - 47 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.07692307692307693, + "f1": 0.10526315789473684, "em": 0 }, - "predict": " Глава государства в Объединённой Республике Танзании, на которую распространяется юрисдикция Апостольского нунция, — президент. Президент избирается населением на 5-летний срок, с возможностью второго срока подряд.", + "predict": " Глава государства в Объединённой Республике Танзании — президент, избираемый населением на 5-летний срок, с возможностью второго срока подряд.", "sample": { "messages": [ { @@ -51182,7 +51182,7 @@ "info": { "prompt_len": 551, "generated_len": [ - 47 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -51239,17 +51239,17 @@ "info": { "prompt_len": 224, "generated_len": [ - 47 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.07692307692307693, + "f1": 0.14285714285714288, "em": 0 }, - "predict": " Джордж Болл посвятил себя науке энтомологии, которая занимается изучением насекомых, их систематикой, биологией, а также практическими аспектами, связанными с вредителями и способами борьбы с ними.", + "predict": " Наука, которой посвятил себя Джордж Болл, — энтомология, в частности, систематика жесткокрылых насекомых.", "sample": { "messages": [ { @@ -51296,7 +51296,7 @@ "info": { "prompt_len": 783, "generated_len": [ - 47 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -51306,7 +51306,7 @@ "f1": 0, "em": 0 }, - "predict": " Виктор Валерьевич Постников родился в Магнитогорске, где с 2015 года главой администрации является Виталий Бахметьев.", + "predict": " В городе Магнитогорске, где родился Виктор Валерьевич Постников, главой администрации на момент его рождения (1992 год) был Евгений Карпов.", "sample": { "messages": [ { @@ -51347,7 +51347,7 @@ "info": { "prompt_len": 262, "generated_len": [ - 47 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -51357,7 +51357,7 @@ "f1": 0, "em": 0 }, - "predict": " Река, в которую впадает Тагаза, это Тондошка.", + "predict": " Река Тагаза сливается в реку Тондошку, а затем Тондошка впадает в реку Бию.", "sample": { "messages": [ { @@ -51398,17 +51398,17 @@ "info": { "prompt_len": 200, "generated_len": [ - 47 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.08, + "f1": 0.1212121212121212, "em": 0 }, - "predict": " Владимир Васильевич Верин родился в Ульяновской области, где главой администрации является губернатор. В 2013 году губернатором Ульяновской области был Сергей Иванович Морозов.", + "predict": " Владимир Васильевич Верин родился в Ульяновской области, которая входит в состав Приволжского федерального округа. Главой администрации Ульяновской области в период его рождения и до 2021 года был Сергей Иванович Морозов.", "sample": { "messages": [ { @@ -51455,7 +51455,7 @@ "info": { "prompt_len": 364, "generated_len": [ - 47 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -51512,7 +51512,7 @@ "info": { "prompt_len": 372, "generated_len": [ - 26 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -51522,7 +51522,7 @@ "f1": 0, "em": 0 }, - "predict": " Сарако сливается в реку Малка.", + "predict": " Река Сарако сливается в реку Малка.", "sample": { "messages": [ { @@ -51569,7 +51569,7 @@ "info": { "prompt_len": 542, "generated_len": [ - 26 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -51620,17 +51620,17 @@ "info": { "prompt_len": 233, "generated_len": [ - 26 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0.4210526315789474, + "em": 0 }, - "predict": " Олий Мажлис Республики Узбекистан.", + "predict": " Законодательный орган, работающий в стране гражданства Хикматиллы Шухратиллаевича Убайдуллаева (Узбекистан), — Олий Мажлис Республики Узбекистан.", "sample": { "messages": [ { @@ -51677,7 +51677,7 @@ "info": { "prompt_len": 351, "generated_len": [ - 26 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -51740,7 +51740,7 @@ "info": { "prompt_len": 401, "generated_len": [ - 26 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -51750,7 +51750,7 @@ "f1": 0, "em": 0 }, - "predict": " Палата представителей (Бельгия)", + "predict": " Палата представителей (Нижняя палата парламента)", "sample": { "messages": [ { @@ -51803,7 +51803,7 @@ "info": { "prompt_len": 283, "generated_len": [ - 26 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -51854,7 +51854,7 @@ "info": { "prompt_len": 265, "generated_len": [ - 26 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -51864,7 +51864,7 @@ "f1": 0, "em": 0 }, - "predict": " Двухпалатный парламент", + "predict": " Парламент", "sample": { "messages": [ { @@ -51905,17 +51905,17 @@ "info": { "prompt_len": 374, "generated_len": [ - 26 + 40 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.1904761904761905, + "f1": 0.2857142857142857, "em": 0 }, - "predict": " В городе Орёл, где родился Владимир Алексеевич Карлов, главой администрации (сити-менеджером) в период с 2020 года является Юрий Парахин.", + "predict": " Главой администрации города Орёл, где родился Владимир Алексеевич Карлов, является Юрий Парахин.", "sample": { "messages": [ { @@ -51956,7 +51956,7 @@ "info": { "prompt_len": 243, "generated_len": [ - 37 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -51966,7 +51966,7 @@ "f1": 0.4444444444444445, "em": 0 }, - "predict": " Законодательный орган государства, гражданином которого является Анзур Хусанович Исмаилов, называется Олий Мажлис Республики Узбекистан.", + "predict": " Законодательным органом государства, гражданином которого является Анзур Хусанович Исмаилов, является Олий Мажлис Республики Узбекистан.", "sample": { "messages": [ { @@ -52013,17 +52013,17 @@ "info": { "prompt_len": 344, "generated_len": [ - 37 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.375, + "f1": 0.21428571428571425, "em": 0 }, - "predict": " главой администрации в регионе, где родился Николай Николаевич Тараканов, является Ситников Сергей Константинович.", + "predict": " главой администрации в регионе, где родился Николай Николаевич Тараканов (Костромская область), является Ситников Сергей Константинович, который стал губернатором Костромской области с 13 апреля 2012 года.", "sample": { "messages": [ { @@ -52070,7 +52070,7 @@ "info": { "prompt_len": 283, "generated_len": [ - 37 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -52121,7 +52121,7 @@ "info": { "prompt_len": 257, "generated_len": [ - 37 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -52131,7 +52131,7 @@ "f1": 0, "em": 0 }, - "predict": " Свияга", + "predict": " Река, питающаяся от реки, притоком которой является Атяшевка, называется Свияга.", "sample": { "messages": [ { @@ -52184,7 +52184,7 @@ "info": { "prompt_len": 341, "generated_len": [ - 37 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -52194,7 +52194,7 @@ "f1": 0, "em": 0 }, - "predict": " С рекой Нейва сливается река Алапаиха.", + "predict": " С рекой Нейва сливается река Алапаиха, которая является её притоком.", "sample": { "messages": [ { @@ -52235,7 +52235,7 @@ "info": { "prompt_len": 263, "generated_len": [ - 37 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -52292,7 +52292,7 @@ "info": { "prompt_len": 409, "generated_len": [ - 37 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -52343,7 +52343,7 @@ "info": { "prompt_len": 271, "generated_len": [ - 37 + 44 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -52400,17 +52400,17 @@ "info": { "prompt_len": 445, "generated_len": [ - 44 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.35294117647058826, + "f1": 0.23076923076923078, "em": 0 }, - "predict": " Законодательная власть в городе Ереван, где родился Вули Аршакович Григорян, осуществляется ереванским городским советом.", + "predict": " В городе, где родился Вули Аршакович Григорян, то есть в Ереване, законодательный орган — ереванский городской совет. Главой этого органа является мэр Еревана.", "sample": { "messages": [ { @@ -52457,7 +52457,7 @@ "info": { "prompt_len": 287, "generated_len": [ - 44 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -52514,7 +52514,7 @@ "info": { "prompt_len": 211, "generated_len": [ - 44 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -52524,7 +52524,7 @@ "f1": 0, "em": 0 }, - "predict": " Глава администрации в городе, где родился Николай Григорьевич Чунтонов, является мэр.", + "predict": " Глава администрации в городе Казани, где родился Николай Григорьевич Чунтонов, является мэр.", "sample": { "messages": [ { @@ -52565,17 +52565,17 @@ "info": { "prompt_len": 398, "generated_len": [ - 44 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.05714285714285714, + "f1": 0.16666666666666669, "em": 0 }, - "predict": " Степан Владимирович Судейко умер в городе Горловка, который в то время был частью Донецкой области Украинской ССР. В Горловке работал Верховный Совет УССР, так как Степан Владимирович Судейко был депутатом этого органа.", + "predict": " Законодательный орган, который работал в городе, где умер Степан Владимирович Судейко, — Горловский городской совет депутатов трудящихся. Этот орган был создан в 1938 году, когда Судейко занимал должность председателя исполнительного комитета этого совета.", "sample": { "messages": [ { @@ -52616,17 +52616,17 @@ "info": { "prompt_len": 409, "generated_len": [ - 44 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.17391304347826084, + "f1": 0.16666666666666669, "em": 0 }, - "predict": " Глава администрации в городе Батуми, где родился Аршак Семёнович Александров, на момент последнего упоминания (13 ноября 2017 года) — Лаша Комахидзе.", + "predict": " Главой администрации в городе Батуми, где родился Аршак Семёнович Александров, является Лаша Комахидзе, который занимает эту должность с 13 ноября 2017 года.", "sample": { "messages": [ { @@ -52667,17 +52667,17 @@ "info": { "prompt_len": 241, "generated_len": [ - 44 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.2222222222222222, "em": 0 }, - "predict": " Большая Стариковка впадает в реку Печора.", + "predict": " Большая Стариковка является притоком реки Печоры, которая в свою очередь впадает в Печорскую губу Печорского моря.", "sample": { "messages": [ { @@ -52724,17 +52724,17 @@ "info": { "prompt_len": 404, "generated_len": [ - 44 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.25, + "f1": 0.048780487804878044, "em": 0 }, - "predict": " Законодательный орган, принимающий законы в городе, где умер Владимир Иванович Жарков, — Мариупольский горсовет.", + "predict": " Законодательный орган, принимающий законы в городе Мариуполе, это Мариупольский городской совет. В тексте 1 упоминается, что Владимир Иванович Жарков был 1-м секретарём Ждановского городского комитета КПУ Донецкой области, а Жданов является одним из районов Мариуполя. В тексте 2 указано,", "sample": { "messages": [ { @@ -52781,7 +52781,7 @@ "info": { "prompt_len": 270, "generated_len": [ - 44 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -52791,7 +52791,7 @@ "f1": 0, "em": 0 }, - "predict": " Москва-река", + "predict": " Москва", "sample": { "messages": [ { @@ -52838,7 +52838,7 @@ "info": { "prompt_len": 416, "generated_len": [ - 33 + 34 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -52848,7 +52848,7 @@ "f1": 0, "em": 0 }, - "predict": " Глава администрации в городе, где родился Сергей Анатольевич Широкий (Бобруйске), является Александр Студнев, председателем Бобруйского городского исполнительного комитета.", + "predict": " Глава администрации в городе Бобруйске, где родился Сергей Анатольевич Широкий, является Александр Студнев, который занимает должность председателя Бобруйского городского исполнительного комитета.", "sample": { "messages": [ { @@ -52889,7 +52889,7 @@ "info": { "prompt_len": 208, "generated_len": [ - 33 + 34 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -52899,7 +52899,7 @@ "f1": 0, "em": 0 }, - "predict": " Чёрная Лобань сливается с Белой Лобань.", + "predict": " Река, в которую впадает Чёрная Лобань, — это Белая Лобань.", "sample": { "messages": [ { @@ -52946,7 +52946,7 @@ "info": { "prompt_len": 296, "generated_len": [ - 33 + 34 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -52997,17 +52997,17 @@ "info": { "prompt_len": 282, "generated_len": [ - 33 + 34 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.09523809523809523, + "f1": 0.10526315789473684, "em": 0 }, - "predict": " Елена, чьё имя носит Еленин день, родилась в городке Дрепан в Вифинии, что находится недалеко от Константинополя в Малой Азии.", + "predict": " Елена, чьим именем назван Еленин день, родилась в городке Дрепан в Вифинии (недалеко от Константинополя в Малой Азии).", "sample": { "messages": [ { @@ -53060,7 +53060,7 @@ "info": { "prompt_len": 350, "generated_len": [ - 33 + 34 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -53070,7 +53070,7 @@ "f1": 0, "em": 0 }, - "predict": " Нязя", + "predict": " Нязя.", "sample": { "messages": [ { @@ -53111,7 +53111,7 @@ "info": { "prompt_len": 269, "generated_len": [ - 33 + 34 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -53168,7 +53168,7 @@ "info": { "prompt_len": 198, "generated_len": [ - 33 + 34 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -53219,17 +53219,17 @@ "info": { "prompt_len": 219, "generated_len": [ - 33 + 34 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.5, + "f1": 0.125, "em": 0 }, - "predict": " Республиканская партия США.", + "predict": " Республиканская партия США находится в оппозиции к Демократической партии США, к которой принадлежит Седрик Ричмонд.", "sample": { "messages": [ { @@ -53276,7 +53276,7 @@ "info": { "prompt_len": 565, "generated_len": [ - 30 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -53327,7 +53327,7 @@ "info": { "prompt_len": 285, "generated_len": [ - 30 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -53337,7 +53337,7 @@ "f1": 0, "em": 0 }, - "predict": " Анатолий Алексеевич Кретов", + "predict": " Анатолий Алексеевич Кретов (1996—2019)", "sample": { "messages": [ { @@ -53378,7 +53378,7 @@ "info": { "prompt_len": 347, "generated_len": [ - 30 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -53429,7 +53429,7 @@ "info": { "prompt_len": 338, "generated_len": [ - 30 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -53480,17 +53480,17 @@ "info": { "prompt_len": 227, "generated_len": [ - 30 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2222222222222222, + "f1": 0.19999999999999998, "em": 0 }, - "predict": " Законодательный орган, принимающий законы в городе, где умер Никандр Иванович Глориантов, — Городская дума Нижнего Новгорода.", + "predict": " Законодательный орган, принимающий законы в городе, где умер Никандр Иванович Глориантов (Нижний Новгород), — Городская дума Нижнего Новгорода.", "sample": { "messages": [ { @@ -53537,7 +53537,7 @@ "info": { "prompt_len": 563, "generated_len": [ - 30 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -53600,17 +53600,17 @@ "info": { "prompt_len": 307, "generated_len": [ - 30 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.15384615384615385, "em": 0 }, - "predict": " Город Паневежис, где родился Гедиминас Растянис, расположен на территории Паневежского района.", + "predict": " Город Паневежис, где родился Гедиминас Растянис, расположен на территории Паневежского района Литвы.", "sample": { "messages": [ { @@ -53651,7 +53651,7 @@ "info": { "prompt_len": 233, "generated_len": [ - 30 + 35 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -53708,17 +53708,17 @@ "info": { "prompt_len": 286, "generated_len": [ - 38 + 43 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.15384615384615385, + "f1": 0.18181818181818182, "em": 0 }, - "predict": " В Исламской Республике Иран главой государства является Высший руководитель, который избирается Советом экспертов и подотчётен ему. В настоящее время этим постом занимает Али Хаменеи.", + "predict": " Глава государства в Исламской Республике Иран занимает должность Высшего руководителя (или Хокума-йе Эслами), которая избирается Советом экспертов и подотчётна ему.", "sample": { "messages": [ { @@ -53765,7 +53765,7 @@ "info": { "prompt_len": 591, "generated_len": [ - 38 + 43 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -53816,17 +53816,17 @@ "info": { "prompt_len": 290, "generated_len": [ - 38 + 43 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2857142857142857, + "f1": 0, "em": 0 }, - "predict": " Законодательный орган города, где родился Василий Васильевич Доленко, называется ереванским городским советом.", + "predict": " Законодательным органом города, где родился Василий Васильевич Доленко, является ереванский городской совет.", "sample": { "messages": [ { @@ -53867,17 +53867,17 @@ "info": { "prompt_len": 173, "generated_len": [ - 38 + 43 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.21052631578947367, + "f1": 0.3076923076923077, "em": 0 }, - "predict": " Глава администрации в городе, где родился Юрий Геннадьевич Свирков, является Александр Студнев, председателем Бобруйского городского исполнительного комитета.", + "predict": " Глава администрации в городе, где родился Юрий Геннадьевич Свирков, Александр Студнев.", "sample": { "messages": [ { @@ -53918,17 +53918,17 @@ "info": { "prompt_len": 243, "generated_len": [ - 38 + 43 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2857142857142857, + "f1": 0.21428571428571425, "em": 0 }, - "predict": " Владимир Владимирович Владимиров (р. 1975) с 2013 года исполняет обязанности губернатора Ставропольского края, где родился Иван Дмитриевич Павлов.", + "predict": " Глава администрации в регионе, где родился Иван Дмитриевич Павлов (Ставропольский край), с 2013 года Владимир Владимирович Владимиров, который с 2014 года является губернатором Ставропольского края.", "sample": { "messages": [ { @@ -53969,7 +53969,7 @@ "info": { "prompt_len": 329, "generated_len": [ - 38 + 43 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -54026,7 +54026,7 @@ "info": { "prompt_len": 302, "generated_len": [ - 38 + 43 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -54036,7 +54036,7 @@ "f1": 0, "em": 0 }, - "predict": " Киргизская АССР, РСФСР. Магавья Алимханович Ермеков родился в Киргизской АССР, которая была частью Российской Федерации (РСФСР).", + "predict": " Киргизская АССР, РСФСР (ныне Россия) прежде находилась на территории государства, гражданином которого являлся Магавья Алимханович Ермеков.", "sample": { "messages": [ { @@ -54083,17 +54083,17 @@ "info": { "prompt_len": 571, "generated_len": [ - 38 + 43 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.05714285714285715, "em": 0 }, - "predict": " В стране, чьим гражданином был Жан Тейруз, главой государства является президент.", + "predict": " Глава государства в Сирии — президент. В тексте 2 упоминается, что Сирия — это Сирийская Арабская Республика, и далее приведены списки президентов и премьер-министров страны, что указывает на то, что главой государства является президент.", "sample": { "messages": [ { @@ -54140,17 +54140,17 @@ "info": { "prompt_len": 230, "generated_len": [ - 22 + 50 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.4, + "f1": 0.6666666666666666, "em": 0 }, - "predict": " Городская дума", + "predict": " Городская дума Нижнего Новгорода.", "sample": { "messages": [ { @@ -54197,7 +54197,7 @@ "info": { "prompt_len": 417, "generated_len": [ - 22 + 50 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -54248,17 +54248,17 @@ "info": { "prompt_len": 315, "generated_len": [ - 22 + 50 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2857142857142857, + "f1": 0, "em": 0 }, - "predict": " Большая Елбаш сливается с рекой Бердь.", + "predict": " река Елбаш.", "sample": { "messages": [ { @@ -54299,7 +54299,7 @@ "info": { "prompt_len": 149, "generated_len": [ - 22 + 50 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -54309,7 +54309,7 @@ "f1": 0, "em": 0 }, - "predict": " Вергеза впадает в Рутку, которая в свою очередь впадает в Чебоксарское водохранилище на Волге.", + "predict": " Река, в которую впадает Вергеза, — Рутка. Вергеза является притоком Рутки.", "sample": { "messages": [ { @@ -54362,17 +54362,17 @@ "info": { "prompt_len": 432, "generated_len": [ - 22 + 50 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.6666666666666666, - "em": 0 + "f1": 1.0, + "em": 1 }, - "predict": " Верховный лидер (Высший руководитель)", + "predict": " Высший руководитель", "sample": { "messages": [ { @@ -54413,7 +54413,7 @@ "info": { "prompt_len": 505, "generated_len": [ - 22 + 50 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -54423,7 +54423,7 @@ "f1": 0, "em": 0 }, - "predict": " Веймйок впадает в Уйму.", + "predict": " Река Веймйок является притоком реки Уйма.", "sample": { "messages": [ { @@ -54464,7 +54464,7 @@ "info": { "prompt_len": 468, "generated_len": [ - 22 + 50 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -54474,7 +54474,7 @@ "f1": 0, "em": 0 }, - "predict": " Фаэтонка впадает в реку Фортанга.", + "predict": " Река, в которую впадает Фаэтонка, — Фортанга.", "sample": { "messages": [ { @@ -54521,7 +54521,7 @@ "info": { "prompt_len": 167, "generated_len": [ - 22 + 50 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -54572,7 +54572,7 @@ "info": { "prompt_len": 253, "generated_len": [ - 37 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -54623,7 +54623,7 @@ "info": { "prompt_len": 547, "generated_len": [ - 37 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -54633,7 +54633,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Брэила", + "predict": " Брэила.", "sample": { "messages": [ { @@ -54680,17 +54680,17 @@ "info": { "prompt_len": 488, "generated_len": [ - 37 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2222222222222222, + "f1": 0.15384615384615385, "em": 0 }, - "predict": " Река, притоком которой является Чупал, впадает в Обь.", + "predict": " Река Чупал впадает в реку Большой Салым, который является притоком реки Оби.", "sample": { "messages": [ { @@ -54737,7 +54737,7 @@ "info": { "prompt_len": 264, "generated_len": [ - 37 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -54747,7 +54747,7 @@ "f1": 0, "em": 0 }, - "predict": " Смердиль впадает в Колпь.", + "predict": " Река, в которую впадает Смердиль, — Колпь.", "sample": { "messages": [ { @@ -54788,17 +54788,17 @@ "info": { "prompt_len": 323, "generated_len": [ - 37 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.6666666666666666, + "f1": 0, "em": 0 }, - "predict": " Ирландия", + "predict": " Нил Джордан, сценарист фильма \"Завтрак на Плутоне\", родом из Ирландии.", "sample": { "messages": [ { @@ -54839,7 +54839,7 @@ "info": { "prompt_len": 303, "generated_len": [ - 37 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -54890,17 +54890,17 @@ "info": { "prompt_len": 364, "generated_len": [ - 37 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.1904761904761905, + "f1": 0.1081081081081081, "em": 0 }, - "predict": " Наивысшей точкой горного хребта, к которому принадлежит Саур-Могила, является Могила Мечетная, которая поднимается на 366 метров над уровнем моря.", + "predict": " Наивысшей точкой горного хребта, к которому принадлежит Саур-Могила, является Могила Мечетная, которая имеет высоту 366 метров над уровнем моря. Этот курган расположен в Донецком кряже, на границе современных Украины и России. Саур-Могила, в свою очередь,", "sample": { "messages": [ { @@ -54947,7 +54947,7 @@ "info": { "prompt_len": 590, "generated_len": [ - 37 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -54957,7 +54957,7 @@ "f1": 0, "em": 0 }, - "predict": " Глава города, где родился Юрий Владимирович Ковалёв, является мэр.", + "predict": " Главой администрации в городе Казани, где родился Юрий Владимирович Ковалёв, является мэр.", "sample": { "messages": [ { @@ -54998,7 +54998,7 @@ "info": { "prompt_len": 383, "generated_len": [ - 40 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -55008,7 +55008,7 @@ "f1": 0, "em": 0 }, - "predict": " Река, в которую впадает Нигибнебяяха, — Ямсовей.", + "predict": " Река, в которую впадает Нигибнебяяха, — это Ямсовей.", "sample": { "messages": [ { @@ -55049,17 +55049,17 @@ "info": { "prompt_len": 294, "generated_len": [ - 40 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.15384615384615385, + "f1": 0.09756097560975609, "em": 0 }, - "predict": " Команда, за тренировки которой отвечает Маурицио Тромбетта, играет в Лиге Чемпионов.", + "predict": " Команда, за тренировки которой отвечает Маурицио Тромбетта, играет в Лиге Чемпионов (в первом же матче на турнире ЧФР-Клуж переиграли итальянскую \"Рому\", а в следующем туре сыграли вничью с английским \"Челси\"). Однако после вылета из Лиги Чемпионов Тромбетта был отправлен", "sample": { "messages": [ { @@ -55106,17 +55106,17 @@ "info": { "prompt_len": 400, "generated_len": [ - 40 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.2222222222222222, + "f1": 0.125, "em": 0 }, - "predict": " Команда, которую тренирует Энтони Хадсон, играет в Премьер-лиге.", + "predict": " Команда, которую тренирует Энтони Хадсон, играет в Премьер-лиге, высшем дивизионе в системе футбольных лиг Англии.", "sample": { "messages": [ { @@ -55157,7 +55157,7 @@ "info": { "prompt_len": 379, "generated_len": [ - 40 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -55167,7 +55167,7 @@ "f1": 0, "em": 0 }, - "predict": " Владимир Михайлович Огиевский умер в Магнитогорске, где главой администрации в 2005—2009 годах был Евгений Карпов.", + "predict": " Владимир Михайлович Огиевский умер в Магнитогорске, где главой администрации в то время был Евгений Карпов (2005—2009).", "sample": { "messages": [ { @@ -55208,7 +55208,7 @@ "info": { "prompt_len": 392, "generated_len": [ - 40 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -55259,7 +55259,7 @@ "info": { "prompt_len": 308, "generated_len": [ - 40 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -55316,7 +55316,7 @@ "info": { "prompt_len": 240, "generated_len": [ - 40 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -55326,7 +55326,7 @@ "f1": 0.23076923076923078, "em": 0 }, - "predict": " Главой администрации в городе, где родился Владимир Александрович Шмелёв, является мэр Казани. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", + "predict": " Главой администрации в городе Казани, где родился Владимир Александрович Шмелёв, является мэр. С 17 ноября 2005 года эту должность занимает И. Р. Метшин.", "sample": { "messages": [ { @@ -55367,7 +55367,7 @@ "info": { "prompt_len": 326, "generated_len": [ - 40 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -55418,7 +55418,7 @@ "info": { "prompt_len": 160, "generated_len": [ - 39 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -55428,7 +55428,7 @@ "f1": 0, "em": 0 }, - "predict": " Команда, за тренировки которой отвечает Дан Петреску, играет в Лиге 1.", + "predict": " Команда, за тренировки которой отвечает Дан Петреску, играет в Лиге 1. В первом тексте указано, что под его руководством команда \"Униря\" заняла 5-е место в Лиге 1 в сезоне 2007/08 и впервые в своей истории выиграла чемпионат Румынии в сезоне 20", "sample": { "messages": [ { @@ -55475,7 +55475,7 @@ "info": { "prompt_len": 557, "generated_len": [ - 39 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -55485,7 +55485,7 @@ "f1": 0, "em": 0 }, - "predict": " Москва-река", + "predict": " Москва-река.", "sample": { "messages": [ { @@ -55532,7 +55532,7 @@ "info": { "prompt_len": 342, "generated_len": [ - 39 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -55542,7 +55542,7 @@ "f1": 0, "em": 0 }, - "predict": " Река, питающаяся от реки, притоком которой является Торнынгсоим, называется Амня.", + "predict": " Амня.", "sample": { "messages": [ { @@ -55589,7 +55589,7 @@ "info": { "prompt_len": 195, "generated_len": [ - 39 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -55646,7 +55646,7 @@ "info": { "prompt_len": 364, "generated_len": [ - 39 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -55697,17 +55697,17 @@ "info": { "prompt_len": 474, "generated_len": [ - 39 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0, + "f1": 0.07692307692307693, "em": 0 }, - "predict": " Вятка.", + "predict": " Река, притоком которой является Большая Озерница, впадает в реку Вятку. В свою очередь, Вятка в свою очередь впадает в реку Каму, которая является притоком Волги.", "sample": { "messages": [ { @@ -55754,7 +55754,7 @@ "info": { "prompt_len": 284, "generated_len": [ - 39 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -55817,7 +55817,7 @@ "info": { "prompt_len": 414, "generated_len": [ - 39 + 64 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -55938,10 +55938,10 @@ } { "metric": { - "f1": 1.0, - "em": 1 + "f1": 0.3333333333333333, + "em": 0 }, - "predict": " Городская дума", + "predict": " Городской дума Нижнего Новгорода.", "sample": { "messages": [ { @@ -55995,10 +55995,10 @@ } { "metric": { - "f1": 0, + "f1": 0.16, "em": 0 }, - "predict": " Законодательный орган государства, гражданином которого является Амвросий Мадтха, называется двухпалатным парламентом, состоящим из верхней палаты \"Раджья сабха\" и нижней палаты \"Лок сабхи\".", + "predict": " Законодательным органом государства, гражданином которого является Амвросий Мадтха, является двухпалатный парламент Индии, состоящий из верхней палаты \"Раджья сабха\" и нижней палаты \"Лок сабхи\".", "sample": { "messages": [ { @@ -56052,10 +56052,10 @@ } { "metric": { - "f1": 0.08, + "f1": 0.07692307692307691, "em": 0 }, - "predict": " Владимир Моисеевич Смирнов посвятил себя зоологии, в частности, зоологии позвоночных и териологии, а также искусству, связанным с изобразительным отображением животных, особенно млекопитающих.", + "predict": " Владимир Моисеевич Смирин посвятил себя науке зоологии, в частности, разделу зоологии, связанному с изучением позвоночных животных, а также териологии, которая занимается изучением млекопитающих.", "sample": { "messages": [ { @@ -56106,7 +56106,7 @@ "f1": 0, "em": 0 }, - "predict": " Жапура сливается с Амазонкой.", + "predict": " Река, в которую впадает Жапура, это Амазонка.", "sample": { "messages": [ { @@ -56163,7 +56163,7 @@ "f1": 0, "em": 0 }, - "predict": " Премьер-лига", + "predict": " В Чемпионшипе.", "sample": { "messages": [ { @@ -56226,7 +56226,7 @@ "f1": 0, "em": 0 }, - "predict": " Варма", + "predict": " Река, питающаяся от реки, притоком которой является Варма, называется Мокша. В тексте 1 указано, что Варма является правым притоком реки Мокши.", "sample": { "messages": [ { @@ -56337,10 +56337,10 @@ } { "metric": { - "f1": 0.31999999999999995, + "f1": 0.22222222222222224, "em": 0 }, - "predict": " Законодательный орган, работающий в городе, где появился на свет Александр Александрович Сиверс, — Городская дума Нижнего Новгорода.", + "predict": " Город, где появился на свет Алексан��р Александрович Сиверс, — Нижний Новгород. В этом городе работает Нижегородский городской совет (Городская дума Нижнего Новгорода), который является законодательным органом местного самоуправления.", "sample": { "messages": [ { @@ -56460,7 +56460,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Варшава", + "predict": " Варшава.", "sample": { "messages": [ { @@ -56562,7 +56562,7 @@ "f1": 0.8571428571428571, "em": 0 }, - "predict": " Римская крепость Кастра Регина", + "predict": " Римская крепость Кастра Регина.", "sample": { "messages": [ { @@ -56619,7 +56619,7 @@ "f1": 0, "em": 0 }, - "predict": " Карюг", + "predict": " Северная Большая питается от реки Карюг, которая является её притоком.", "sample": { "messages": [ { @@ -56780,7 +56780,7 @@ "info": { "prompt_len": 262, "generated_len": [ - 8 + 15 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -56790,7 +56790,7 @@ "f1": 0, "em": 0 }, - "predict": " Печора", + "predict": " Печора.", "sample": { "messages": [ { @@ -56837,7 +56837,7 @@ "info": { "prompt_len": 388, "generated_len": [ - 8 + 15 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -56894,7 +56894,7 @@ "info": { "prompt_len": 368, "generated_len": [ - 8 + 15 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -56904,7 +56904,7 @@ "f1": 1.0, "em": 1 }, - "predict": " Гватемала", + "predict": " Гватемала.", "sample": { "messages": [ { @@ -56945,17 +56945,17 @@ "info": { "prompt_len": 213, "generated_len": [ - 8 + 15 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } } { "metric": { - "f1": 0.6666666666666666, + "f1": 0.1818181818181818, "em": 0 }, - "predict": " Городская дума Нижнего Новгорода.", + "predict": " Городской думой Нижнего Новгорода, где родился Анатолий Юрьевич Москвин.", "sample": { "messages": [ { @@ -57002,7 +57002,7 @@ "info": { "prompt_len": 411, "generated_len": [ - 8 + 15 ], "generated_cumulative_logprob": "TODO: calculate for hf model" } @@ -57012,7 +57012,7 @@ "f1": 0.6666666666666666, "em": 0 }, - "predict": " Городская дума Нижнего Новгорода", + "predict": " Городская дума Нижнего Новгорода.", "sample": { "messages": [ { @@ -57059,7 +57059,7 @@ "info": { "prompt_len": 397, "generated_len": [ - 8 + 15 ], "generated_cumulative_logprob": "TODO: calculate for hf model" }