Cuando Calvino pasó por Ginebra en 1536, el año en que se introdujo el culto reformado en esa ciudad, fue instado por Farel para que se quedara y lo ayudara en sus labores.
Junto con Farel se esforzó por crear una iglesia modelo, un gobierno espiritual basado en una colaboración armoniosa entre la iglesia y el gobierno civil. Al darse cuenta de que entonces sería imposible llevar a cabo tal plan en Ginebra, permaneció allí sólo poco más de un año.
En abril de 1538 los dos reformadores fueron expulsados de Ginebra porque se opusieron a acceder a algunas medidas que consideraron como una interferencia civil en los asuntos eclesiásticos.
Calvino se refugió en Estrasburgo, donde sirvió como pastor y maestro de la comunidad francesa, además de revisar su Institución. Contrajo matrimonio con Idelette de Bure, viuda de un anabaptista. En Estrasburgo también dio forma a la liturgia eclesiástica que llegó a ser la base de la organización de la iglesia en su obra posterior.
Al asistir a algunas asambleas alemanas conoció a Melanchton, con quien trabó amistad.
Mientras tanto se formó en Ginebra un gobierno más favorable a Calvino, y se le pidió que regresara; pero le repugnaba mucho el pensamiento de volver a una ciudad de la que había sido expulsado.
Calvino escribió a Farel que preferiría soportar un millar de muertes antes que llevar esa cruz de volver a Ginebra. Pero Farel insistió y Calvino finalmente asintió. "Si se me diera a elegir, haría cualquier cosa antes que acceder en este asunto -le escribió a Farel-; pero como recuerdo que no me pertenezco, ofrezco mi corazón como si fuera muerto en sacrificio para el Señor" (Williston Walker, John Calvin, pp. 259-260).
Calvino luchó incesantemente con sus adversarios en Ginebra durante los siguientes catorce años. Más de cincuenta personas fueron deportadas, encarceladas o ejecutadas.
El más sensacional de estos casos fue el de Miguel Servet, médico y teólogo español que fue quemado en 1553. Servet era considerado como hereje tanto por católicos como por protestantes, porque estaba en desacuerdo con enseñanzas básicas del cristianismo, especialmente la doctrina de la Trinidad.
Calvino, que antes había tenido dificultad con esta doctrina en su controversia con Bolsec, consideró que era su deber librar a la iglesia cristiana de Servet, porque resultaba detestable no sólo para él mismo, en Ginebra, sino también para los dirigentes en otras partes de Suiza, cuya opinión acerca del teólogo español Calvino había solicitado y conseguido.
La condenación de Servet le dio a Calvino una ventaja decisiva en Ginebra, pues desde ese momento su posición fue indiscutida, y llevó adelante su plan de reformar las costumbres de la iglesia. Publicó la edición final de su Institución, e influyó para que Teodoro de Beza fuera llamado para dirigir la recién fundada academia de Ginebra.
Calvino era de constitución física frágil y sufría constantemente de dolencias de varias clases; murió en 1564. Pero estableció sólidamente su gobierno eclesiástico en Ginebra y fijó un patrón de evangelismo que llevó la fe protestante no sólo a su Francia natal sino también a Holanda, Inglaterra y Norteamérica.
Ginebra se convirtió en un centro de atracción para hombres prominentes de muchos países. Uno de ellos fue Juan Knox, de Escocia, quien vivió por algún tiempo en Ginebra.