Геншер бе и начело на Партията на свободните демократи от 1974 г. до 1985 г. По негово време от партньор на социалдемократите в правителството свободните демократи влизат в коалиция с христяндемократите в правителството на Хелмут Кол.
Играе ключова роля за обединението на Германия и падането на комунистическите режими в Централна и Източна Европа. Дълги години Геншер води т. нар. Източна политика на сближаване със съветския блок. Една от най-популярните си реплики произнася по повод разговор със съветския си колега Андрей Громико:
Громико казва: "Но ние спечелихме войната". На това аз отговарям: "Тогава пък ние ще спечелим мира".
Още през 1986 г. Геншел един от първите, които съзират в лицето на съветския президент Михаил Горбачов възможност за сближаване между Изтока и Запада. На 30 септември 1989 г. в Прага Геншер обявява пред ликуващо множество, че чешките власти ще позволят на стотици бежанци от комунистическата ГДР да отидат в Западна Германия, което е първи пробив в Желязната завеса. Записите пазаят атмосферата на този исторически момент:
Дойдох, за да ви съобщя, че днес се разрешава отпътуването ви за Федералната република.
Апогеят на неговата кариера идва година по-късно, през септември 1990 г., когато четирите страни окупаторки на Германия от края на Втората световна война се отказват от своята опека и това позволява обединението на Германия на 3 октомври 1990 г.
През 1992 г. Геншер доброволно се отегля като външен министър, но до 1998 г. продължава да е депутат.
Заедно с Хелмут Кол Ханс-Дитрих Геншер е смятан за архитект на обединението на Германия.
